El propósito del artículo es brindar apoyo a los científicos de datos principiantes. EN Hemos descrito tres formas de resolver una ecuación de regresión lineal: solución analítica, descenso de gradiente y descenso de gradiente estocástico. Luego para la solución analítica aplicamos la fórmula . En este artículo, como sugiere el título, justificaremos el uso de esta fórmula o, en otras palabras, la derivaremos nosotros mismos.
Por qué tiene sentido prestar especial atención a la fórmula ?
Es con la ecuación matricial que en la mayoría de los casos uno comienza a familiarizarse con la regresión lineal. Al mismo tiempo, los cálculos detallados de cómo se obtuvo la fórmula son raros.
Por ejemplo, en los cursos de aprendizaje automático de Yandex, cuando a los estudiantes se les presenta la regularización, se les ofrece utilizar funciones de la biblioteca. aprender, mientras que no se menciona una palabra sobre la representación matricial del algoritmo. Es en este momento que algunos oyentes pueden querer comprender este problema con más detalle: escribir código sin utilizar funciones listas para usar. Y para ello, primero debes presentar la ecuación con un regularizador en forma matricial. Este artículo permitirá a quienes deseen dominar dichas habilidades. Empecemos.
Condiciones iniciales
Indicadores objetivo
Disponemos de una gama de valores objetivo. Por ejemplo, el indicador objetivo podría ser el precio de cualquier activo: petróleo, oro, trigo, dólar, etc. Al mismo tiempo, por número de valores de indicadores objetivo nos referimos al número de observaciones. Tales observaciones podrían ser, por ejemplo, los precios mensuales del petróleo para el año, es decir, tendremos 12 valores objetivo. Empecemos introduciendo la notación. Denotemos cada valor del indicador objetivo como . en total tenemos observaciones, lo que significa que podemos representar nuestras observaciones como .
Regresores
Supondremos que existen factores que explican en cierta medida los valores del indicador objetivo. Por ejemplo, el tipo de cambio dólar/rublo está fuertemente influenciado por el precio del petróleo, el tipo de cambio de la Reserva Federal, etc. Estos factores se denominan regresores. Al mismo tiempo, cada valor de indicador objetivo debe corresponder a un valor de regresor, es decir, si tenemos 12 indicadores objetivo para cada mes en 2018, entonces también deberíamos tener 12 valores de regresor para el mismo período. Denotemos los valores de cada regresor por . Que en nuestro caso haya regresores (es decir, factores que influyen en los valores del indicador objetivo). Esto significa que nuestros regresores se pueden presentar de la siguiente manera: para el primer regresor (por ejemplo, el precio del petróleo): , para el segundo regresor (por ejemplo, la tasa de la Reserva Federal): , para "-th" regresor:
Dependencia de los indicadores objetivo de los regresores
Supongamos que la dependencia del indicador objetivo de regresores "La observación se puede expresar mediante una ecuación de regresión lineal de la forma:
Donde - "-ésimo" valor del regresor de 1 a ,
— número de regresores de 1 a
— coeficientes angulares, que representan la cantidad en la que el indicador objetivo calculado cambiará en promedio cuando cambie el regresor.
En otras palabras, somos para todos (excepto ) del regresor determinamos “nuestro” coeficiente , luego multiplica los coeficientes por los valores de los regresores "th" observación, como resultado obtenemos una cierta aproximación "-th" indicador de objetivo.
Por lo tanto, debemos seleccionar tales coeficientes. , en el que los valores de nuestra función aproximada se ubicará lo más cerca posible de los valores objetivo del indicador.
Evaluación de la calidad de la función de aproximación.
Determinaremos la evaluación de la calidad de la función de aproximación utilizando el método de mínimos cuadrados. La función de evaluación de la calidad en este caso adoptará la siguiente forma:
Necesitamos seleccionar valores de los coeficientes $w$ para los cuales el valor será el más pequeño.
Convertir la ecuación en forma matricial
Representación vectorial
Para empezar, para hacerte la vida más fácil, debes prestar atención a la ecuación de regresión lineal y notar que el primer coeficiente no se multiplica por ningún regresor. Al mismo tiempo, cuando convertimos los datos en forma matricial, la circunstancia mencionada anteriormente complicará seriamente los cálculos. En este sentido, se propone introducir otro regresor para el primer coeficiente. y equipararlo a uno. O mejor dicho, cada "equiparar el valor ésimo de este regresor a uno; después de todo, cuando se multiplica por uno, nada cambiará desde el punto de vista del resultado de los cálculos, pero desde el punto de vista de las reglas para el producto de matrices, nuestro tormento se reducirá significativamente.
Ahora, por el momento, para simplificar el material, supongamos que solo tenemos uno "-ésima" observación. Luego, imagina los valores de los regresores "-ésima" observaciones como vector . Vector tiene dimensión es decir, filas y 1 columna:
Representemos los coeficientes requeridos como un vector. , teniendo dimensión :
Ecuación de regresión lineal para "-ésima" observación tomará la forma:
La función para evaluar la calidad de un modelo lineal tomará la forma:
Tenga en cuenta que de acuerdo con las reglas de la multiplicación de matrices, necesitábamos transponer el vector .
Representación matricial
Como resultado de multiplicar vectores, obtenemos el número: , lo cual es de esperar. Este número es la aproximación "-th" indicador de objetivo. Pero necesitamos una aproximación no sólo de un valor objetivo, sino de todos ellos. Para ello, anotemos todo”-th" regresores en formato matricial . La matriz resultante tiene la dimensión :
Ahora la ecuación de regresión lineal tomará la forma:
Denotemos los valores de los indicadores objetivo (todos ) por vector dimensión :
Ahora podemos escribir la ecuación para evaluar la calidad de un modelo lineal en formato matricial:
En realidad, de esta fórmula obtenemos además la fórmula que conocemos.
¿Cómo está hecho? Se abren los corchetes, se realiza la diferenciación, se transforman las expresiones resultantes, etc., y eso es exactamente lo que haremos ahora.
Transformaciones matriciales
Abramos los corchetes
Preparemos una ecuación para la diferenciación.
Para ello realizaremos algunas transformaciones. En cálculos posteriores nos resultará más conveniente si el vector se representará al principio de cada producto de la ecuación.
Conversión 1
¿Cómo ha ocurrido? Para responder a esta pregunta, simplemente mire los tamaños de las matrices que se multiplican y vea que en la salida obtenemos un número o no. .
Anotemos los tamaños de las expresiones matriciales.
Conversión 2
Escribámoslo de forma similar a la transformación 1.
Como resultado obtenemos una ecuación que tenemos que derivar:
Diferenciamos la función de evaluación de la calidad del modelo
Diferenciamos con respecto al vector. :
Preguntas por qué no debería haberlo, pero examinaremos con más detalle las operaciones para determinar las derivadas en las otras dos expresiones.
Diferenciación 1
Ampliemos la diferenciación:
Para determinar la derivada de una matriz o un vector, es necesario observar lo que hay dentro de ellos. Miremos:
Denotemos el producto de matrices. a través de la matriz . La matriz cuadrado y además es simétrico. Estas propiedades nos serán útiles más adelante, recordémoslas. Matriz tiene dimensión :
Ahora nuestra tarea es multiplicar correctamente los vectores por la matriz y no obtener “dos por dos es cinco”, así que concentrémonos y tengamos mucho cuidado.
Sin embargo, ¡hemos logrado una expresión intrincada! De hecho, obtuvimos un número: un escalar. Y ahora, de verdad, pasamos a la diferenciación. Es necesario encontrar la derivada de la expresión resultante para cada coeficiente. y obtener el vector de dimensión como salida . Por si acaso, anotaré los procedimientos por acción:
1) diferenciar por , obtenemos:
2) diferenciar por , obtenemos:
3) diferenciar por , obtenemos:
La salida es el vector de tamaño prometido. :
Si observa el vector más de cerca, notará que los elementos izquierdo y derecho correspondiente del vector se pueden agrupar de tal manera que, como resultado, se puede aislar un vector del vector presentado. размера . Por ejemplo, (elemento izquierdo de la línea superior del vector) (el elemento derecho de la línea superior del vector) se puede representar como Y - como etc. en cada línea. Agrupemos:
saquemos el vector y en la salida obtenemos:
Ahora, echemos un vistazo más de cerca a la matriz resultante. La matriz es la suma de dos matrices. :
Recordemos que un poco antes notamos una propiedad importante de la matriz. - es simétrico. Con base en esta propiedad, podemos decir con confianza que la expresión igual . Esto se puede verificar fácilmente expandiendo el producto de matrices elemento por elemento. . Esto no lo haremos aquí, los interesados pueden comprobarlo por sí mismos.
Volvamos a nuestra expresión. Después de nuestras transformaciones, quedó como queríamos verlo:
Entonces, hemos completado la primera diferenciación. Pasemos a la segunda expresión.
Diferenciación 2
Sigamos el camino trillado. Será mucho más corto que el anterior, así que no te alejes demasiado de la pantalla.
Ampliemos los vectores y la matriz elemento por elemento:
Eliminemos los dos de los cálculos por un tiempo; no juega un papel importante, luego los devolveremos a su lugar. Multipliquemos los vectores por la matriz. Primero que nada, multipliquemos la matriz. a vector , no tenemos restricciones aquí. Obtenemos el vector de tamaño. :
Realicemos la siguiente acción: multipliquemos el vector. al vector resultante. A la salida nos estará esperando el número:
Luego lo diferenciaremos. En la salida obtenemos un vector de dimensión. :
¿Me recuerda a algo? ¡Así es! Este es el producto de la matriz. a vector .
De este modo, la segunda diferenciación se completa con éxito.
En lugar de una conclusión
Ahora sabemos cómo surgió la igualdad. .
Finalmente, describiremos una forma rápida de transformar fórmulas básicas.
Evaluamos la calidad del modelo de acuerdo con el método de mínimos cuadrados:
Diferenciamos la expresión resultante:
Literatura
Fuentes de Internet:
1)
2)
3)
4)
Libros de texto, colecciones de problemas:
1) Apuntes de clase sobre matemáticas superiores: curso completo / D.T. Escrito – 4ª ed. – M.: Iris-press, 2006
2) Análisis de regresión aplicada / N. Draper, G. Smith - 2ª ed. – M.: Finanzas y Estadísticas, 1986 (traducción del inglés)
3) Problemas para resolver ecuaciones matriciales:
Fuente: habr.com