Vi omformulerar ekvationen för linjär regression i matrisform

Syftet med artikeln är att stödja nybörjare inom datavetenskap. I den föregående artikeln detta avsnitt har vi enkelt gått igenom tre sätt att lösa en linjär regressionslikning: analytisk lösning, gradientnedstigning och stokastisk gradientnedstigning. För den analytiska lösningen använde vi formeln . I denna artikel, som titeln antyder, kommer vi att motivera användningen av denna formel, eller med andra ord, härleda den själva.

Varför det är värt att fokusera mer på formeln ?

Det är just med den matrisk likningen som för de flesta börjar bekantskapen med linjär regression. Å andra sidan är detaljerade redovisningar av hur formeln härleddes sällsynta.

Till exempel, på maskininlärningskurser från Yandex, när deltagarna introduceras till regularisering, erbjuds de att använda funktioner från biblioteket sklearn, utan att nämna något om den matrisk representationen av algoritmen. Det är vid detta tillfälle som några deltagare kan få lust att dyka djupare in i frågan och skriva kod utan att använda färdiga funktioner. För detta måste man först framställa likningen med regulariseraren i matrisk form. Denna artikel kommer just att möjliggöra för de som önskar att behärska sådana färdigheter. Låt oss börja.

Ursprungliga förhållanden

Målindikatorer

Vi har en serie värden för målindikatorn. Till exempel kan målindikatorn vara priset på en viss tillgång: olja, guld, vete, dollar, osv. Här med en serie värden för målindikatorn menar vi antalet observationer. Sådana observationer kan till exempel vara månatliga oljepriser under ett år, vilket innebär att vi har 12 värden för målindikatorn. Låt oss börja introducera beteckningar. Vi betecknar varje värde för målindikatorn som . Totalt har vi observationer, vilket innebär att vi kan presentera våra observationer som .

Regressorer

Vi kan anta att det finns faktorer som på olika sätt förklarar värdena på det målrelaterade måttet. Till exempel påverkar oljepriser, Fed:s räntesats och andra faktorer kursen för dollar/rubeln kraftigt. Dessa faktorer kallas regressorer. Dessutom måste varje värde på det målrelaterade måttet motsvara ett värde av regressorn, det vill säga, om vi har 12 målrelaterade mätningar för varje månad under 2018, så måste vi också ha 12 värden av regressorerna för samma period. Låt oss beteckna värdena för varje regressorn genom . Anta att vi i vårt fall har regressorer (det vill säga faktorer som påverkar värdena på det målrelaterade måttet). Det betyder att våra regressorer kan representeras på följande sätt: för 1:a regressorn (till exempel oljepriset): , för 2:a regressorn (till exempel Fed:s räntesats): , för «-te» regressorn:

Beroendet av de målrelaterade mätningarna från regressorerna

Anta att beroendet av det målrelaterade måttet från regressorerna «-te» observation kan uttryckas genom en linjär regressionslikning av typen:

, där — «-te» värdet av regressorn från 1 till ,

— antalet regressorer från 1 till

— lutningskoefficienter, som representerar den mängd medelvärdet på det beräknade målrelaterade måttet som kommer att ändras vid en förändring i regressorn.

Med andra ord definierar vi för varje (utom ) regressorn en «egen» koefficient , sedan multiplicerar vi koefficienterna med värdena på regressorerna «-te» observation, vilket resulterar i ett visst närmevärde av «-te» målrelaterade måttet.

Följaktligen behöver vi optimera sådana koefficienter , där värdena av vår approximativa funktion är så nära som möjligt de värden av de målrelaterade mätningarna.

Utvärdering av kvaliteten på den approximativa funktionen

Vi kommer att bestämma kvaliteten på den approximativa funktionen med metoden för minsta kvadraters princip. Kvalitetsfunktionsformeln kommer i detta fall att se ut som följer:

Vi behöver optimera sådana värden på koefficienterna $w$, där värdet av är det minsta.

Vi omvandlar likningen till matrisform

Vektorrepresentation

För att underlätta för oss själva bör vi först titta på linjär regressionslikningen och märka att den första koefficienten multipliceras inte med någon regressorn. När vi transformerar data till matrisform kommer den ovan nämnda situationen att allvarligt komplicera beräkningarna. I detta avseende föreslås att införa en ytterligare regressorn för den första koefficienten och sätta den till ett. Mer exakt, varje "-te" värde av denna regressorn ska sättas till ett — eftersom multiplikering med ett inte förändrar resultaten av beräkningarna, samtidigt som det enligt reglerna för matrisprodukter avsevärt minskar våra svårigheter.

Nu, för en tid, för att förenkla materialet, anta att vi bara har en "-te" observation. Då föreställer vi oss värdena för regressorerna för "-te" observationen som en vektor . Vektorn har dimension , det vill säga rader och 1 kolumn:

Låt oss representera de önskade koefficienterna som en vektor , som har dimensionen :

Ekvationen för linjär regression för "-te" observationen kommer att anta följande form:

Kvalitetsbedömningsfunktionen för den linjära modellen kommer att ta följande form:

Vi noterar att i enlighet med reglerna för matrisberäkning måste vi transponera vektorn .

Matrisrepresentationen

Som ett resultat av multiplikationen av vektorer får vi ett tal: , vilket var att förvänta. Detta tal är approximationen av "-te" målvariabeln. Men vi behöver en approximation av inte bara ett värde av målvariabeln, utan alla. För detta kommer vi att skriva alla "-te" regressorer i matrisformat . Den erhållna matrisen har dimension :

Nu kommer ekvationen för linjär regression att anta följande form:

Låt oss beteckna värdena för målvariablerna (alla ) som vektorn med dimensionen :

Nu kan vi skriva ekvationen för kvalitetsbedömningen av den linjära modellen i matrisformat:

I själva verket får vi med denna formel den kända formeln

Hur görs detta? Parenteserna öppnas, deriveringar utförs, de erhållna uttrycken omformas osv., och precis detta kommer vi nu att syssla med.

Matristransformeringar

Öppna parenteserna

Förbered ekvationen för derivation

För detta kommer vi att göra vissa omvandlingar. I de följande beräkningarna kommer det att vara bekvämare om vektorn presenteras i början av varje produkt i ekvationen.

Transformation 1

Hur gick det till? För att svara på denna fråga räcker det med att titta på storlekarna av de multiplerade matriserna och se att vi får ut ett tal eller annorlunda uttryckt. .

Låt oss skriva ner storlekarna på matriskonstruktionerna.

Transformation 2

Vi skriver ut på samma sätt som i transformation 1

Vi får en ekvation som vi kommer att derivera:

Vi deriverar funktionsvärderingen av modellens kvalitet.

Vi deriverar med avseende på vektorn. :

Det borde inte finnas några frågor om varför. Men vi kommer att gå igenom operationerna för att bestämma derivatorna i de två andra uttrycken mer noggrant.

Derivering 1

Låt oss utveckla deriveringen:

För att bestämma derivatan av en matris eller vektor behöver vi titta på vad som finns inuti dem. Vi tittar:

Låt oss beteckna produkten av matriser genom matrisen . Matrisen är kvadratisk och dessutom symmetrisk. Dessa egenskaper kommer att vara användbara för oss senare, låt oss komma ihåg dem. Matrisen har dimension :

Nu är vår uppgift att korrekt multiplicera vektorerna med matrisen och inte få "två gånger två är fem", så vi måste fokusera och vara extremt noggranna.

Men det komplicerade uttrycket har vi fått! Faktum är att vi fick ett tal — en skalar. Och nu går vi verkligen vidare till deriveringen. Vi behöver hitta derivatan av det resulterande uttrycket med avseende på varje koefficient och få ut en vektor av dimension . För säkerhets skull skriver jag ut procedurerna med åtgärderna:

1) vi deriverar med avseende på , vi får:

2) vi deriverar med avseende på , vi får:

3) vi deriverar med avseende på , vi får:

Resultatet — den utlovade vektorn av storlek :

Om man tittar noga på vektorn kan man märka att de vänstra och motsvarande högra elementen i vektorn kan grupperas på ett sådant sätt att man till slut kan särskilja en vektor av storlek . Till exempel, (vänster element i den översta raden av vektorn) (höger element i den översta raden av vektorn) kan representeras som , och — som och så vidare för varje rad. Låt oss gruppera:

Vi tar ut vektorn och vi får:

Nu, låt oss titta på den resulterande matrisen. Matrisen är en summa av två matriser :

Kom ihåg att vi tidigare har noterat en viktig egenskap hos matrisen — den är symmetrisk. Utifrån denna egenskap kan vi med säkerhet påstå att uttrycket är lika med . Detta kan enkelt verifieras genom att utveckla matriserna element för element. . Vi kommer inte att göra det här, de som vill kan göra en kontroll själva.

Låt oss återkomma till vårt uttryck. Efter våra transformationer har det blivit precis som vi ville se det:

Så, vi har klarat av den första deriveringen. Låt oss gå vidare till det andra uttrycket.

Derivering 2

Vi går den inrutade vägen. Den kommer att vara mycket kortare än den föregående, så håll er nära skärmen.

Låt oss bryta ner vektorerna och matrisen element för element:

För tillfället tar vi bort tvåan från beräkningarna — den spelar ingen stor roll, vi sätter tillbaka den senare. Vi multiplicerar vektorerna med matrisen. Först multiplicerar vi matrisen med vektorn , här har vi inga begränsningar. Vi får en vektor av storlek :

Vi utför nästa steg — vi multiplicerar vektorn med den erhållna vektorn. Som resultat förväntar vi oss ett tal:

Det är vad vi ska derivera. Utan får vi en vektor av dimension :

Känns det bekant? Helt rätt! Det är produkten av matrisen med vektorn .

Således har den andra deriveringen avslutats framgångsrikt.

Avslutande

Nu vet vi hur likheten uppstod .

Som sista punkt ska vi beskriva en snabb väg för transformationer av grundformler.

Vi bedömer modellens kvalitet enligt metoden för minsta kvadrat:

Vi deriverar det erhållna uttrycket:

Litteratur

Internetkällor:

1) habr.com/ru/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/ru/post/307004
4) nabatchikov.com/blog/view/matrix_der

Läroböcker, samlingar av uppgifter:

1) Föreläsningsnotater i avancerad matematik: komplett kurs / D.T. Písmeny – 4:e upplagan – Moskva: Iris-press, 2006
2) Tillämpad regressionsanalys / N. Draper, G. Smith – 2:a upplagan – Moskva: Finanser och statistik, 1986 (översättning från engelska)
3) Uppgifter om att lösa matrixekvationer:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Källa: habr.com