O objetivo deste artigo é apoiar os iniciantes em ciência de dados. Nele, exploramos de forma simples três métodos para resolver a equação de regressão linear: solução analítica, descida de gradiente e descida de gradiente estocástica. Para a solução analítica, aplicamos a fórmula 
. Neste artigo, como indica o título, vamos justificar a aplicação dessa fórmula ou, em outras palavras, derivá-la por conta própria.
Por que vale a pena prestar atenção especial à fórmula 
?
É com a equação matricial que, na maioria das vezes, se inicia o aprendizado sobre regressão linear. No entanto, as deduções detalhadas de como a fórmula foi derivada são raramente apresentadas.
Por exemplo, nos cursos de aprendizado de máquina do Yandex, quando os alunos são introduzidos à regularização, eles são incentivados a usar funções da biblioteca sklearn, sem mencionar a representação matricial do algoritmo. É nesse momento que alguns alunos podem sentir a vontade de entender melhor essa questão — escrever o código sem usar funções prontas. E para isso, primeiro precisamos apresentar a equação com o regularizador em forma matricial. Este artigo é justamente para aqueles que desejam adquirir tais habilidades. Vamos começar.
Condições iniciais
Indicadores alvo
Temos uma série de valores de um indicador alvo. Por exemplo, o indicador alvo pode ser o preço de um ativo: petróleo, ouro, trigo, dólar, etc. Neste contexto, uma série de valores do indicador alvo se refere ao número de observações. Essas observações podem ser, por exemplo, os preços mensais do petróleo ao longo de um ano, o que nos dará 12 valores do indicador alvo. Começaremos a introduzir as notações. Vamos denotar cada valor do indicador alvo como 
. No total, temos 
observações, o que significa que podemos representar nossas observações como 
.
Regressores
Vamos considerar que existem fatores que, de certa forma, explicam os valores do indicador-alvo. Por exemplo, a taxa da paridade dólar/rublo é fortemente influenciada pelo preço do petróleo, pela taxa do Fed, entre outros. Esses fatores são chamados de regressore. Portanto, cada valor do indicador-alvo deve corresponder a um valor do regressor, ou seja, se temos 12 indicadores-alvo para cada mês de 2018, também devemos ter 12 valores de regressore para o mesmo período. Vamos designar os valores de cada regressor através de 
. Suponhamos que em nosso caso existam 
regressores (ou seja, 
fatores que influenciam os valores do indicador-alvo). Assim, nossos regressore podem ser representados da seguinte forma: para o 1º regressor (por exemplo, o preço do petróleo): 
, para o 2º regressor (por exemplo, a taxa do Fed): 
, para o "
-ésimo" regressor: 
A dependência dos indicadores-alvo em relação aos regressores
Vamos supor que a dependência do indicador-alvo 
em relação aos regressores "
-ésimo" pode ser expressa através da equação de regressão linear do tipo:
, onde 
— «
-ésimo" valor do regressor de 1 a 
,
- número de regressores de 1 a 
- coeficientes angulares que representam a magnitude com que o indicador-alvo calculado mudará, em média, ao alterar o regressor.
Em outras palavras, para cada (exceto 
) regressor, determinamos seu "próprio" coeficiente 
, em seguida multiplicamos os coeficientes pelos valores dos regressores "
-ésimo" da observação, resultando em uma aproximação do "
-ésimo" indicador-alvo.
Portanto, precisamos encontrar coeficientes 
, para os quais os valores de nossa função aproximadora 
estarão dispostos o mais próximo possível dos valores dos indicadores-alvo.
Avaliação da qualidade da função aproximadora
Vamos determinar a avaliação da qualidade da função aproximadora pelo método dos mínimos quadrados. A função de avaliação da qualidade, nesse caso, terá a seguinte forma:
Precisamos encontrar valores de coeficientes $w$, para os quais o valor 
será o menor.
Convertendo a equação para a forma matricial
Representação vetorial
Para começar, a fim de facilitar nosso trabalho, devemos prestar atenção à equação de regressão linear e notar que o primeiro coeficiente 
não é multiplicado por nenhum regressor. Quando transformarmos os dados em forma matricial, essa circunstância complicará seriamente os cálculos. Nesse sentido, propõe-se introduzir mais um regressor para o primeiro coeficiente 
e igualá-lo a um. Mais precisamente, cada "
-ésimo" valor desse regressor deve ser igual a um — pois, ao multiplicar por um, não teremos mudanças em termos de resultados dos cálculos, e, em termos das regras de multiplicação de matrizes, nossas dificuldades serão substancialmente reduzidas.
Agora, por um tempo, para simplificar o material, suponhamos que temos apenas uma "
-ésima" observação. Então, consideremos os valores dos regressors da "
-ésima" observação como um vetor 
. O vetor 
tem dimensão 
, ou seja, 
linhas e 1 coluna:
Vamos representar os coeficientes procurados na forma de um vetor 
, que tem dimensão 
:
A equação de regressão linear para a "
-ésima" observação tomará a forma:
A função de avaliação da qualidade do modelo linear tomará a forma:
Observamos que, de acordo com as regras de multiplicação de matrizes, precisamos transpor o vetor 
.
Representação matricial
Como resultado da multiplicação de vetores, obteremos um número: 
, que era o que se esperava. Este número é a aproximação do "
-ésimo" indicador alvo. Mas precisamos de uma aproximação não de um valor do indicador alvo, mas de todos. Para isso, escreveremos todos os "
-ésimos" regressors na forma de uma matriz 
. A matriz resultante tem dimensão 
:
Agora a equação de regressão linear tomará a forma:
Vamos denotar os valores dos indicadores alvo (todos 
) como um vetor 
com dimensão 
:
Agora podemos escrever a equação da avaliação da qualidade do modelo linear em formato matricial:
De fato, dessa fórmula obtemos a fórmula que já conhecemos 
Como isso é feito? Expandem-se os parênteses, realiza-se a diferenciação, transformam-se as expressões obtidas etc., e é exatamente isso que faremos agora.
Transformações matriciais
Vamos expandir os parênteses
Vamos preparar a equação para diferenciação
Para isso, faremos algumas transformações. Nos cálculos subsequentes, será mais conveniente que o vetor 
seja representado no início de cada produto na equação.
Transformação 1
Como isso aconteceu? Para responder a essa pergunta, basta olhar para os tamanhos das matrizes multiplicadas e ver que a saída é um número ou, de outra forma, 
.
Vamos registrar os tamanhos das expressões matriciais.
Transformação 2
Descreveremos de forma semelhante à transformação 1
Na saída, obtemos a equação que precisamos diferenciar:
Diferenciamos a função de avaliação da qualidade do modelo
Diferenciaremos em relação ao vetor 
:
Não deve haver perguntas sobre o porquê 
, mas as operações para a definição das derivadas nas duas outras expressões vamos discutir com mais detalhes.
Diferenciação 1
Abriremos a diferenciação: 
Para definir a derivada de uma matriz ou vetor, precisamos olhar o que há dentro deles. Vamos dar uma olhada:
Denominaremos o produto de matrizes 
por meio de uma matriz 
. A matriz 
é quadrada e, além disso, é simétrica. Essas propriedades serão úteis mais adiante, vamos nos lembrar delas. A matriz 
tem dimensão 
:
Agora, nossa tarefa é multiplicar vetores pela matriz corretamente e não obter "duas vezes dois é cinco", portanto, vamos nos concentrar e ser extremamente cuidadosos.
No entanto, temos uma expressão elaborada! Na verdade, obtivemos um número — um escalar. E agora, finalmente, vamos passar à diferenciação. Precisamos encontrar a derivada da expressão obtida em relação a cada coeficiente 
e obter um vetor de dimensão 
. Apenas para garantir, descreverei os procedimentos passo a passo:
1) diferenciar em relação a 
, obteremos: 
2) diferenciar em relação a 
, obteremos: 
3) diferenciar em relação a 
, obteremos: 
Na saída — o vetor prometido de tamanho 
:
Se olharmos com mais atenção para o vetor, podemos notar que os elementos à esquerda e à direita correspondentes podem ser agrupados de tal forma que, no final, do vetor apresentado podemos destacar um vetor 
de tamanho 
. Por exemplo, 
(o elemento esquerdo da primeira linha do vetor) 
(o elemento direito da primeira linha do vetor) pode ser representado como 
, e 
— como 
e assim por diante para cada linha. Vamos agrupar:
Vamos colocar o vetor 
e na saída obteremos:
Agora, vamos analisar a matriz resultante. A matriz é a soma de duas matrizes 
:
Lembremos que há algumas seções atrás, mencionamos uma propriedade importante da matriz 
— ela é simétrica. Com base nessa propriedade, podemos afirmar com confiança que a expressão 
é igual a 
. Isso pode ser facilmente verificado, expandendo o produto de matrizes elemento por elemento. 
Não faremos isso aqui, quem desejar pode fazer a verificação por conta própria.
Voltando à nossa expressão. Após nossas transformações, ela ficou exatamente como queríamos vê-la:
Assim, conseguimos a primeira diferenciação. Vamos passar para a segunda expressão.
Diferenciação 2
Vamos seguir o caminho já trilhado. Ele será muito mais curto que o anterior, então não se afaste muito da tela.
Vamos expor vetores e a matriz elemento a elemento:
Por enquanto, vamos retirar o dois das contas — ele não tem grande importância, depois o colocaremos de volta. Vamos multiplicar os vetores pela matriz. Primeiro, multiplicaremos a matriz 
pelo vetor 
, aqui não temos nenhuma restrição. Obtivemos um vetor de tamanho 
:
Vamos realizar a próxima ação — multiplicar o vetor 
pelo vetor obtido. O resultado será um número:
É esse que iremos diferenciar. O resultado será um vetor de dimensão 
:
Algo soa familiar? Isso mesmo! É o produto da matriz 
pelo vetor 
.
Dessa forma, a segunda diferenciação foi concluída com sucesso.
Em conclusão
Agora sabemos como surgiu a igualdade 
.
Por fim, descreveremos um caminho rápido para as transformações das fórmulas principais.
Vamos avaliar a qualidade do modelo de acordo com o método dos mínimos quadrados:
Diferenciaremos a expressão obtida:
Literatura
Fontes da internet:
1)
2)
3)
4)
Livros e coleções de exercícios:
1) Resumo de aulas de matemática avançada: curso completo / D.T. Pismennyi – 4ª ed. – Moscovo: Airis-Press, 2006
2) Análise de regressão aplicada / N. Draper, G. Smith – 2ª ed. – Moscovo: Finanças e estatísticas, 1986 (tradução do inglês)
3) Tarefas sobre resolução de equações matriciais:
Fonte: habr.com
