O obxectivo do artigo é proporcionar apoio aos científicos de datos principiantes. EN Deseñamos tres formas de resolver unha ecuación de regresión lineal: solución analítica, descenso do gradiente e descenso do gradiente estocástico. Despois, para a solución analítica aplicamos a fórmula . Neste artigo, como indica o título, xustificaremos o uso desta fórmula ou, dito doutro xeito, derivarémolo nós mesmos.
Por que ten sentido prestarlle máis atención á fórmula ?
É coa ecuación matricial que na maioría dos casos comeza a familiarizarse coa regresión lineal. Ao mesmo tempo, os cálculos detallados de como se derivou a fórmula son raros.
Por exemplo, nos cursos de aprendizaxe automática de Yandex, cando os estudantes se introducen na regularización, ofréceselles usar funcións da biblioteca. sklearn, aínda que non se menciona unha palabra sobre a representación matricial do algoritmo. Neste momento é posible que algúns oíntes queiran comprender este problema con máis detalle: escribir código sen usar funcións preparadas. E para iso, primeiro debes presentar a ecuación cun regularizador en forma de matriz. Este artigo permitirá que aqueles que desexen dominar tales habilidades. Imos comezar.
Condicións iniciais
Indicadores obxectivos
Temos un rango de valores obxectivo. Por exemplo, o indicador obxectivo podería ser o prezo de calquera activo: petróleo, ouro, trigo, dólar, etc. Ao mesmo tempo, por unha serie de valores indicadores obxectivo entendemos o número de observacións. Tales observacións poderían ser, por exemplo, os prezos mensuais do petróleo para o ano, é dicir, teremos 12 valores obxectivo. Comecemos a introducir a notación. Denotemos cada valor do indicador obxectivo como . En total temos observacións, o que significa que podemos representar as nosas observacións como .
Regresores
Asumiremos que hai factores que, en certa medida, explican os valores do indicador obxectivo. Por exemplo, o tipo de cambio dólar/rublo está fortemente influenciado polo prezo do petróleo, a taxa da Reserva Federal, etc. Estes factores chámanse regresores. Ao mesmo tempo, cada valor de indicador obxectivo debe corresponder a un valor de regresión, é dicir, se temos 12 indicadores obxectivo para cada mes en 2018, tamén deberíamos ter 12 valores de regresión para o mesmo período. Denotemos os valores de cada regresor por . Que no noso caso o haxa regresores (i.e. factores que inflúen nos valores dos indicadores obxectivo). Isto significa que os nosos regresores pódense presentar do seguinte xeito: para o primeiro regresor (por exemplo, o prezo do petróleo): , para o segundo regresor (por exemplo, a taxa da Fed): , para "-th" regresor:
Dependencia dos indicadores obxectivo de regresores
Supoñamos que a dependencia do indicador obxectivo de regresores"a observación pódese expresar mediante unha ecuación de regresión lineal da forma:
onde - "-th" valor do regresor de 1 a ,
— número de regresores de 1 a
— coeficientes angulares, que representan a cantidade en que cambiará de media o indicador obxectivo calculado cando cambie o regresor.
Noutras palabras, somos para todos (excepto ) do regresor determinamos o “noso” coeficiente , entón multiplique os coeficientes polos valores dos regresores "th" observación, como resultado obtemos unha certa aproximación "-th" indicador de destino.
Polo tanto, necesitamos seleccionar tales coeficientes , no que os valores da nosa función aproximada situarase o máis preto posible dos valores do indicador obxectivo.
Valoración da calidade da función aproximada
Determinaremos a avaliación da calidade da función aproximada mediante o método dos mínimos cadrados. A función de avaliación da calidade neste caso terá a seguinte forma:
Necesitamos seleccionar tales valores dos coeficientes $w$ para os que o valor será o máis pequeno.
Converter a ecuación en forma matricial
Representación vectorial
Para comezar, para facilitarche a vida, debes prestar atención á ecuación de regresión lineal e observar que o primeiro coeficiente non se multiplica por ningún regresor. Ao mesmo tempo, cando convertemos os datos en forma de matriz, a circunstancia anteriormente mencionada complicará seriamente os cálculos. A este respecto, proponse introducir outro regresor para o primeiro coeficiente e igualalo a un. Ou mellor dito, cada"igualar o valor th deste regresor a un - despois de todo, cando se multiplica por un, nada cambiará desde o punto de vista do resultado dos cálculos, pero desde o punto de vista das regras para o produto das matrices, o noso tormento reducirase significativamente.
Agora, polo momento, para simplificar o material, supoñamos que só temos un "-ª observación. Entón, imaxina os valores dos regresores "-th" observacións como vector . Vector ten dimensión É dicir, filas e 1 columna:
Imos representar os coeficientes necesarios como un vector , tendo dimensión :
Ecuación de regresión lineal para "-th" observación terá a forma:
A función para avaliar a calidade dun modelo lineal terá a forma:
Teña en conta que de acordo coas regras de multiplicación matricial, necesitabamos transpoñer o vector .
Representación matricial
Como resultado da multiplicación dos vectores, obtemos o número: , que é de esperar. Este número é a aproximación "-th" indicador de destino. Pero necesitamos unha aproximación non só dun valor obxectivo, senón de todos. Para iso, escribamos todo "-th" regresores en formato matricial . A matriz resultante ten a dimensión :
Agora a ecuación de regresión lineal terá a forma:
Denotemos os valores dos indicadores obxectivo (todos ) por vector dimensión :
Agora podemos escribir a ecuación para avaliar a calidade dun modelo lineal en formato matricial:
En realidade, desta fórmula obtemos ademais a fórmula coñecida por nós
Como se fai? Ábrense os corchetes, realízase a diferenciación, transfórmanse as expresións resultantes, etc., e iso é exactamente o que faremos agora.
Transformacións matriciales
Abrimos os corchetes
Imos preparar unha ecuación para a diferenciación
Para iso, realizaremos algunhas transformacións. En cálculos posteriores será máis conveniente para nós se o vector representarase ao comezo de cada produto da ecuación.
Conversión 1
Como pasou? Para responder a esta pregunta, basta con mirar os tamaños das matrices que se multiplican e ver que na saída obtemos un número ou non .
Escribamos os tamaños das expresións matriciales.
Conversión 2
Escribimos de xeito similar á transformación 1
Na saída obtemos unha ecuación que temos que diferenciar:
Diferenciamos a función de avaliación da calidade do modelo
Diferenciamos con respecto ao vector :
Preguntas por que non debería haber, pero examinaremos con máis detalle as operacións para determinar derivadas nas outras dúas expresións.
Diferenciación 1
Ampliemos a diferenciación:
Para determinar a derivada dunha matriz ou vector, cómpre mirar o que hai no seu interior. Vexamos:
Denotamos o produto das matrices a través da matriz . Matriz cadrado e ademais, é simétrico. Estas propiedades seránnos útiles máis adiante, lembremos. Matriz ten dimensión :
Agora a nosa tarefa é multiplicar correctamente os vectores pola matriz e non obter "dous veces dous son cinco", así que concentrémonos e teñamos moito coidado.
Non obstante, conseguimos unha expresión complicada! De feito, temos un número - un escalar. E agora, de verdade, pasamos á diferenciación. É necesario atopar a derivada da expresión resultante para cada coeficiente e obter o vector dimensión como saída . Por se acaso, escribirei os procedementos por acción:
1) diferenciar por , obtemos:
2) diferenciar por , obtemos:
3) diferenciar por , obtemos:
A saída é o vector de tamaño prometido :
Se observas o vector máis detidamente, notarás que os elementos da esquerda e da dereita correspondentes do vector poden agruparse de tal xeito que, como resultado, un vector pode ser illado do vector presentado. tamaño . Por exemplo (elemento esquerdo da liña superior do vector) (o elemento dereito da liña superior do vector) pódese representar como E - como etc. en cada liña. Agrupemos:
Saquemos o vector e na saída obtemos:
Agora, vexamos máis de cerca a matriz resultante. A matriz é a suma de dúas matrices :
Lembremos que un pouco antes observamos unha propiedade importante da matriz - é simétrica. Con base nesta propiedade, podemos dicir con confianza que a expresión é igual . Isto pódese verificar facilmente ampliando o produto das matrices elemento por elemento . Non o faremos aquí, os interesados poden comprobalo eles mesmos.
Volvamos á nosa expresión. Despois das nosas transformacións, resultou como queriamos velo:
Entón, completamos a primeira diferenciación. Pasemos á segunda expresión.
Diferenciación 2
Sigamos o camiño trillado. Será moito máis curto que o anterior, así que non te afastas demasiado da pantalla.
Imos expandir os vectores e a matriz elemento por elemento:
Quitemos os dous dos cálculos por un tempo: non ten un papel importante, entón volverémolo poñer no seu lugar. Multipliquemos os vectores pola matriz. Primeiro de todo, imos multiplicar a matriz vectorizar , non temos restricións aquí. Obtemos o vector tamaño :
Imos realizar a seguinte acción: multiplicar o vector ao vector resultante. Á saída estaranos agardando o número:
Despois imos diferencialo. Na saída obtemos un vector de dimensión :
Lémbrame algo? Correcto! Este é o produto da matriz vectorizar .
Así, a segunda diferenciación complétase con éxito.
En vez de unha conclusión
Agora sabemos como xurdiu a igualdade .
Finalmente, describiremos unha forma rápida de transformar fórmulas básicas.
Imos avaliar a calidade do modelo de acordo co método dos mínimos cadrados:
Diferenciamos a expresión resultante:
Literatura
Fontes de Internet:
1)
2)
3)
4)
Libros de texto, coleccións de problemas:
1) Apuntes de matemáticas superiores: curso completo / D.T. Escrito - 4ª ed. – M.: Iris-press, 2006
2) Análise de regresión aplicada / N. Draper, G. Smith - 2a ed. – M.: Finance and Statistics, 1986 (tradución do inglés)
3) Problemas para resolver ecuacións matriciales:
Fonte: www.habr.com