[MÚSICA] [MÚSICA] Nesta aula, nós vamos discutir outro método de estimação, o método de mÃnimos quadrados ordinários para o modelo de regressão linear múltipla. Lembre-se de que o nosso modelo de regressão linear múltipla é expresso por "y" igual a "Beta 0" mais "Beta 1" "x1" mais todas as combinações dos "Betas" com as variáveis explicativas até o "Beta k" "xk", mais um termo de erro. A lógica do estimador de mÃnimos quadrados ordinários é a mesma que vimos nos modelos de regressão linear simples. Ou seja, nós vamos minimizar a soma dos quadrados dos resÃduos escolhendo os "Betas" do modelo. Agora temos "k" mais uma incógnitas, que são os parâmetros do nosso modelo de regressão linear múltipla. Note, também, que o nosso resÃduo será o "yi" menos o "Beta chapéu 0", menos "Beta 1" "x1", menos todos os pares até o "Beta k" "xk". Note que elevamos o resÃduo ao quadrado para eliminar a diferença de sinal entre os resÃduos positivos e negativos e para penalizar aquelas observações que estão mais longe da nossa reta de regressão. Resolvendo o nosso problema de minimização da soma dos quadrados dos resÃduos, nós teremos, então, "k" mais uma condições de primeira ordem, que serão a derivada da soma dos quadrados dos resÃduos em função de cada um dos estimadores iguais a zero. Note que a primeira condição de primeira ordem é equivalente à primeira condição de momento que vimos no método dos momentos, ou seja, que a soma dos resÃduos é, equivalentemente à primeira condição de momento que vimos no método dos momentos, igual a zero, ou que a média simples dos resÃduos é igual a zero. A segunda condição de primeira ordem em relação ao "Beta chapéu 1" também será igual à segunda condição de momento amostral, e assim sucessivamente até a nossa última condição de primeira ordem, que será equivalente à última condição de momento que vimos no método dos momentos. Ou seja, nesse caso, para os momentos que vimos na aula anterior, o estimador de mÃnimos quadrados ordinários será equivalente ao estimador pelo método dos momentos. Então, se resolvermos esse sistema, teremos o mesmo resultado do sistema que deixamos em aberto na aula passada. Para facilitar essa resolução, nós vamos usar, então, álgebra matricial. Veremos, agora, como podemos escrever o nosso modelo de regressão linear múltipla em termos de vetores e matrizes. A primeira coisa que temos que fazer é ter um modelo de regressão linear múltipla, com "k" variáveis como vimos no começo dessa aula e também uma amostra aleatória com "n" observações. Se temos o modelo e a amostra, nós conseguimos escrever o nosso modelo para cada observação "i", ou seja, "yi" igual a "Beta 0", "Beta 1" "x1i", mais todos os outros termos até o "Beta k" "xki", mais "ui". E esse modelo vale para todo "i" de 1 até "n". Outra forma seria escrever um modelo para todas as observações da nossa amostra, como mostra esse slide. Então nós temos modelo para o indivÃduo 1, o modelo para o indivÃduo 2, o modelo para o indivÃduo 3, até o modelo para o indivÃduo "n". Note que o Ãndice, aqui, indica a observação a que se refere o modelo. Dada essa representação para cada observação da nossa amostra, nós podemos, então, definir vetor de "y", que seria o vetor da variável de resposta para cada indivÃduo da amostra. Esse vetor "y" é vetor "n" por 1, ou seja, tem "n" linhas e apenas uma coluna. Nós podemos, também, definir um vetor para o nosso termo de erro. Nós temos um erro para cada observação, ou seja, "n" erros, que serão, também, um vetor coluna "n" por 1. Outro vetor importante para escrevermos o nosso modelo é o vetor dos "Betas". Nós temos, aqui, "k" mais 1 "Betas" no nosso modelo, que se repetem entre todas as observações. Então nosso vetor "Beta" vai ser um vetor coluna "k" mais 1 por 1. Ou seja, vai ter "k" mais 1 parâmetros desconhecidos do "Beta 0" até o "Beta k". Por fim, para conseguirmos representar esse sistema de equações para cada observação, nós precisamos definir a matriz "x". Uma particularidade dessa matriz "x" é que a sua primeira coluna deve ser uma coluna toda preenchida de 1. Isso porque, ao multiplicarmos a nossa matriz "x" pelo nosso vetor de "Betas", nós precisamos incluir o "Beta 0", e a variável que acompanha o "Beta 0" no nosso modelo é um escalar igual a 1. A segunda coluna, então, da nossa matriz "x" vai ser a coluna que identifica as observações da variável "x1" para os "n" indivÃduos. Ou seja, vai ser uma coluna de "x1" com "n" observações. A terceira coluna será a variável "x2" para todos os "n" indivÃduos, e assim sucessivamente até a coluna "k" mais 1, que conterá a variável "xk" para as "n" observações na nossa amostra. Assim, a nossa matriz "x" será uma matriz com "n" linhas e "k" mais 1 colunas. Podemos então representar o nosso modelo na forma matricial por "y" igual a "x" "Beta" mais "u", sendo que todos esses elementos estão na sua forma de matriz ou vetor. Como exercÃcio, pegue cada elemento desses vetores e faça a multiplicação. Você deve chegar ao mesmo resultado do sistema para cada indivÃduo. Agora, com essa definição matricial nós podemos redefinir o nosso problema de minimização da soma dos quadrados dos resÃduos, usando os vetores que vimos. Veja que a soma dos quadrados dos resÃduos em forma matricial seria o "u chapéu linha", "u chapéu", sendo que o "u chapéu" seria o vetor dos resÃduos. O nosso vetor de resÃduos será, então, "y" menos "x" "Beta chapéu", ou seja, basta substituir o nosso vetor de parâmetros pelo vetor de estimadores. O vetor de estimadores também será um vetor coluna "k" mais 1 por 1. Podemos, então, reescrever as nossas condições de primeira ordem por "x linha" "u chapéu" igual a "0", sendo esse "0" um vetor de "k" mais 1 por 1 "0". Assim, nós temos "k" mais uma condições de primeira ordem. Veja como é fácil encontrarmos a fórmula matricial do nosso estimador a partir dessa simples notação matricial: ao substituirmos o "u chapéu" por "y" menos "x" "Beta chapéu", temos que o nosso "Beta chapéu" será a inversa de "x linha" "x", multiplicada por "x linha" "y". Uma primeira coisa importante é que a inversa de "x linha" "x" deve existir para que a gente derive o nosso estimador de MQO no formato matricial. Nós precisamos calcular, também, as condições de segunda ordem para verificar se o nosso estimador de MQO é realmente ponto de mÃnimo. Pelas condições de segunda ordem, nós vemos que será ponto de mÃnimo quando existir a inversa de "x linha" "x" -- a mesma condição para existência do nosso estimador. Na próxima aula, nosso formalizaremos esse conceito dentro das propriedades dos estimadores de MQO. É interessante também derivarmos o nosso estimador de regressão múltipla usando o teorema de Frisch-Waugh-Lovell. Por esse teorema, nós conseguimos enxergar o que está por trás da formulação matricial. Cada "Beta chapéu" "j", agora, vai ser expresso por uma fórmula em formato de somatório. Suponha o mesmo modelo que vimos no começo dessa aula. Podemos escrever, por exemplo, que o nosso "Beta chapéu 1", ou seja, o estimador de mÃnimos quadrados ordinários para o parâmetro "Beta 1", vai ser igual ao somatório do "r chapéu 1i" vezes "yi", dividido pelo somatório do "r chapéu 1i" ao quadrado. O "r chapéu 1" vai ser o resÃduo da regressão de "x1" contra as demais explicativas do modelo. Vamos ilustrar esse mecanismo usando o diagrama de Venn. Na figura de cima, nós vemos um exemplo de uma regressão múltipla com duas variáveis, "x1" e "x2", explicando "y". A área cinza representa o quanto cada uma das variáveis explica da variação de "y", o que captamos pelo nosso modelo de regressão múltipla. Veja que, se fizermos uma regressão de "x1" contra "x2" e pegarmos o resÃduo dessa regressão (identificada pela área cinza claro na nossa figura) e regredirmos essa área cinza clara com a nossa variável "y", nós teremos a mesma área cinza destacada na primeira figura. Ou seja, o efeito da variável "x1" na explicação da variável "y" na regressão linear múltipla. Essa é a mesma intuição que veremos, agora, usando álgebra de somatório. Veja então que o "x1" pode ser escrito como um "x chapéu 1", que seria a previsão de "x1" usando as outras variáveis explicativas do modelo, e um termo "r1" que seria o resÃduo dessa regressão. Se usarmos a condição de primeira ordem relacionada ao "Beta 1" do problema de minimização da soma dos quadrados dos resÃduos e substituirmos, agora, essa nova equação, veremos que somatório de "x chapéu" "ui", mais o somatório de "r chapéu 1" "ui" vai ser igual a zero. Podemos então partir dessas relações e substituir o nosso modelo de regressão linear múltipla para chegar na fórmula que vimos do teorema do Frisch-Waugh-Lovell. Nesse slide, nós estendemos esse resultado para qualquer "Beta chapéu" "j", que se refere ao efeito da variável "xj" sobre "y". A intuição, aqui, é a mesma vista do diagrama de Venn, ou seja, utilizamos uma regressão simples entre o "yi" e o resÃduo da regressão de "x1" contra as demais variáveis para identificar o efeito parcial de uma variável, como se fosse numa regressão simples. Nós veremos, também, que o cálculo da variância utilizando esse teorema vai facilitar a interpretação e a intuição da variância do nosso estimador. [MÚSICA] [MÚSICA] [MÚSICA]
