L'objectiu de l'article és donar suport als científics de dades principiants. EN Hem esbossat tres maneres de resoldre una equació de regressió lineal: solució analítica, descens del gradient, descens del gradient estocàstic. A continuació, per a la solució analítica hem aplicat la fórmula . En aquest article, com indica el títol, justificarem l'ús d'aquesta fórmula o, dit d'una altra manera, la derivarem nosaltres mateixos.
Per què té sentit prestar més atenció a la fórmula ?
És amb l'equació matricial que en la majoria dels casos es comença a familiaritzar-se amb la regressió lineal. Al mateix temps, els càlculs detallats de com es va derivar la fórmula són rars.
Per exemple, als cursos d'aprenentatge automàtic de Yandex, quan els estudiants s'inicien en la regularització, se'ls ofereix l'ús de funcions de la biblioteca. sklearn, tot i que no s'esmenta ni una paraula sobre la representació matricial de l'algorisme. És en aquest moment que alguns oients poden voler entendre aquest problema amb més detall: escriure codi sense utilitzar funcions ja fetes. I per fer-ho, primer heu de presentar l'equació amb un regularitzador en forma de matriu. Aquest article permetrà a aquells que vulguin dominar aquestes habilitats. Comencem.
Condicions inicials
Indicadors objectiu
Tenim un ventall de valors objectiu. Per exemple, l'indicador objectiu podria ser el preu de qualsevol actiu: petroli, or, blat, dòlar, etc. Al mateix temps, per una sèrie de valors indicadors objectiu entenem el nombre d'observacions. Aquestes observacions podrien ser, per exemple, els preus mensuals del petroli de l'any, és a dir, tindrem 12 valors objectiu. Comencem a introduir la notació. Denotem cada valor de l'indicador objectiu com a . En total tenim observacions, el que significa que podem representar les nostres observacions com .
Regressors
Assumirem que hi ha factors que en certa mesura expliquen els valors de l'indicador objectiu. Per exemple, el tipus de canvi dòlar/ruble està fortament influenciat pel preu del petroli, la taxa de la Reserva Federal, etc. Aquests factors s'anomenen regressors. Al mateix temps, cada valor d'indicador objectiu ha de correspondre a un valor de regressor, és a dir, si tenim 12 indicadors objectiu per a cada mes del 2018, també hauríem de tenir 12 valors de regressor per al mateix període. Denotem els valors de cada regressor per . Que en el nostre cas n'hi hagi regressors (és a dir factors que influeixen en els valors dels indicadors objectiu). Això vol dir que els nostres regressors es poden presentar de la següent manera: per al primer regressor (per exemple, el preu del petroli): , per al segon regressor (per exemple, la taxa de la Fed): , per "-th" regressor:
Dependència dels indicadors objectius dels regressors
Suposem que la dependència de l'indicador objectiu de regressors"La "observació" es pot expressar mitjançant una equació de regressió lineal de la forma:
On - "-th" valor del regressor d'1 a ,
— nombre de regressors d'1 a
— coeficients angulars, que representen la quantitat en què l'indicador objectiu calculat canviarà de mitjana quan canvia el regressor.
En altres paraules, som per a tothom (excepte ) del regressor determinem el "nostre" coeficient , després multipliqueu els coeficients pels valors dels regressors ""observació, com a resultat obtenim una certa aproximació"-th" indicador objectiu.
Per tant, hem de seleccionar aquests coeficients , en què els valors de la nostra funció aproximada se situarà el més a prop possible dels valors de l'indicador objectiu.
Avaluació de la qualitat de la funció aproximada
Determinarem l'avaluació de la qualitat de la funció aproximada mitjançant el mètode dels mínims quadrats. La funció d'avaluació de la qualitat en aquest cas tindrà la forma següent:
Hem de seleccionar aquests valors dels coeficients $w$ per als quals el valor serà el més petit.
Convertir l'equació en forma matricial
Representació vectorial
Per començar, per facilitar-vos la vida, heu de parar atenció a l'equació de regressió lineal i observar que el primer coeficient no es multiplica per cap regressor. Al mateix temps, quan convertim les dades en forma de matriu, la circumstància esmentada anteriorment complicarà seriosament els càlculs. En aquest sentit, es proposa introduir un altre regressor per al primer coeficient i equiparar-lo a un. O millor dit, cada"igualar el valor d'aquest regressor a un; després de tot, quan es multiplica per un, res canviarà des del punt de vista del resultat dels càlculs, però des del punt de vista de les regles per al producte de matrius, el nostre turment es reduirà considerablement.
Ara, de moment, per simplificar el material, suposem que només tenim un "-è" observació. Aleshores, imagineu els valors dels regressors "-th" observacions com a vector . Vector té dimensió Això és, files i 1 columna:
Representem els coeficients requerits com a vector , tenint dimensió :
Equació de regressió lineal per a "-th" observació tindrà la forma:
La funció per avaluar la qualitat d'un model lineal tindrà la forma:
Tingueu en compte que, d'acord amb les regles de multiplicació de matrius, calia transposar el vector .
Representació matricial
Com a resultat de multiplicar vectors, obtenim el nombre: , que és d'esperar. Aquest nombre és l'aproximació "-th" indicador objectiu. Però necessitem una aproximació no només d'un valor objectiu, sinó de tots. Per fer-ho, anotem-ho tot "-th" regressors en format matricial . La matriu resultant té la dimensió :
Ara l'equació de regressió lineal tindrà la forma:
Denotem els valors dels indicadors objectiu (tots ) per vector dimensió :
Ara podem escriure l'equació per avaluar la qualitat d'un model lineal en format matricial:
En realitat, d'aquesta fórmula obtenim més la fórmula que ens coneixem
Com es fa? S'obren els claudàtors, es realitza la diferenciació, es transformen les expressions resultants, etc., i això és exactament el que farem ara.
Transformació matricial
Obrim els claudàtors
Preparem una equació per a la diferenciació
Per fer-ho, realitzarem algunes transformacions. En càlculs posteriors ens serà més convenient si el vector es representarà al començament de cada producte de l'equació.
Conversió 1
Com ha passat? Per respondre a aquesta pregunta, només cal mirar les mides de les matrius que es multipliquen i veure que a la sortida obtenim un nombre o no .
Escrivim les mides de les expressions matricials.
Conversió 2
Escrivim-ho de manera semblant a la transformació 1
A la sortida obtenim una equació que hem de diferenciar:
Diferenciem la funció d'avaluació de la qualitat del model
Diferenciarem respecte al vector :
Preguntes per què no n'hi hauria d'haver, però examinarem amb més detall les operacions per determinar les derivades de les altres dues expressions.
Diferenciació 1
Ampliem la diferenciació:
Per determinar la derivada d'una matriu o vector, cal mirar què hi ha dins. Mirem:
Denotem el producte de matrius a través de la matriu . Matriu quadrat i, a més, és simètric. Aquestes propietats ens seran útils més endavant, recordem-les. Matriu té dimensió :
Ara la nostra tasca és multiplicar correctament els vectors per la matriu i no obtenir "dos cops dos són cinc", així que concentrem-nos i tinguem molta cura.
Tanmateix, hem aconseguit una expressió complicada! De fet, tenim un nombre: un escalar. I ara, de veritat, passem a la diferenciació. Cal trobar la derivada de l'expressió resultant per a cada coeficient i obteniu el vector de dimensions com a sortida . Per si de cas, anotaré els procediments per acció:
1) diferenciar per , obtenim:
2) diferenciar per , obtenim:
3) diferenciar per , obtenim:
La sortida és el vector promès de mida :
Si observeu el vector més de prop, notareu que els elements esquerre i dret corresponents del vector es poden agrupar de manera que, com a resultat, un vector es pot aïllar del vector presentat. la mida . Per exemple (element esquerre de la línia superior del vector) (l'element dret de la línia superior del vector) es pot representar com I - com etc. a cada línia. Agrupem:
Traiem el vector i a la sortida obtenim:
Ara, fem una ullada més de prop a la matriu resultant. La matriu és la suma de dues matrius :
Recordem que una mica abans vam assenyalar una propietat important de la matriu - és simètric. A partir d'aquesta propietat, podem dir amb confiança que l'expressió és igual . Això es pot verificar fàcilment ampliant el producte de matrius element per element . No ho farem aquí; els interessats ho poden comprovar ells mateixos.
Tornem a la nostra expressió. Després de les nostres transformacions, va resultar com volíem veure-ho:
Així doncs, hem completat la primera diferenciació. Passem a la segona expressió.
Diferenciació 2
Seguim el camí triturat. Serà molt més curt que l'anterior, així que no us allunyeu massa de la pantalla.
Ampliem els vectors i la matriu element per element:
Traiem els dos dels càlculs una estona: no té un paper important, després el tornarem a posar al seu lloc. Multipliquem els vectors per la matriu. Primer de tot, multipliquem la matriu a vector , aquí no tenim cap restricció. Obtenim el vector mida :
Realitzem la següent acció: multipliquem el vector al vector resultant. A la sortida ens estarà esperant el número:
Després ho diferenciarem. A la sortida obtenim un vector de dimensió :
Em recorda alguna cosa? Això està bé! Aquest és el producte de la matriu a vector .
Així, la segona diferenciació es completa amb èxit.
En lloc d'una conclusió
Ara ja sabem com va sorgir la igualtat .
Finalment, descriurem una manera ràpida de transformar fórmules bàsiques.
Avaluem la qualitat del model d'acord amb el mètode dels mínims quadrats:
Diferenciarem l'expressió resultant:
Literatura
Fonts d'Internet:
1)
2)
3)
4)
Llibres de text, col·leccions de problemes:
1) Apunts de classe de matemàtiques superiors: curs complet / D.T. Escrit – 4a ed. – M.: Iris-press, 2006
2) Anàlisi de regressió aplicada / N. Draper, G. Smith - 2a ed. – M.: Finances and Statistics, 1986 (traducció de l'anglès)
3) Problemes per resoldre equacions matricials:
Font: www.habr.com