Den Zweck vum Artikel ass Ënnerstëtzung fir Ufänger Datewëssenschaftler ze bidden. IN Mir hunn dräi Weeër skizzéiert fir eng linear Regressioungleichung ze léisen: analytesch Léisung, Gradient Ofstamung, stochastesch Gradient Ofstamung. Dann fir déi analytesch Léisung hu mir d'Formel applizéiert . An dësem Artikel, wéi den Titel et scho seet, wäerte mir d'Benotzung vun dëser Formel berechtegen oder, an anere Wierder, mir wäerte se selwer ofleeden.
Firwat et Sënn mécht extra Opmierksamkeet op d'Formel ze bezuelen ?
Et ass mat der Matrixequatioun datt een an deene meeschte Fäll mat der linearer Regressioun ufänkt. Zur selwechter Zäit sinn detailléiert Berechnunge wéi d'Formel ofgeleet gouf seelen.
Zum Beispill, a Maschinnléiere Coursen aus Yandex, wann d'Studenten an d'Regulariséierung agefouert ginn, gi se ugebuede fir Funktiounen aus der Bibliothéik ze benotzen léieren, wärend kee Wuert iwwer d'Matrixrepresentatioun vum Algorithmus ernimmt gëtt. Et ass zu dësem Moment datt e puer Nolauschterer dëst Thema méi am Detail wëllen verstoen - Code schreiwen ouni fäerdege Funktiounen ze benotzen. A fir dëst ze maachen, musst Dir als éischt d'Gleichung mat engem Regularizer a Matrixform presentéieren. Dësen Artikel erlaabt déi, déi esou Fäegkeeten beherrschen wëllen. Loosst eis ufänken.
Éischt Konditiounen
Zil Indicateuren
Mir hunn eng Rei vun Zilwäerter. Zum Beispill kann den Zilindikator de Präis vun all Verméigen sinn: Ueleg, Gold, Weess, Dollar, etc. Zur selwechter Zäit, mat enger Zuel vun Zilindikatorwäerter menge mir d'Zuel vun den Observatiounen. Esou Observatioune kënnen zum Beispill monatlecht Uelegpräisser fir d'Joer sinn, dat heescht, mir wäerten 12 Zilwäerter hunn. Loosst eis d'Notatioun virstellen. Loosst eis all Wäert vun der Zil- Luucht bezeechnen als . Am Ganzen hu mir Observatioune, dat heescht mir kënnen eis Observatioune representéieren als .
Regressoren
Mir wäerten dovun ausgoen datt et Faktoren sinn déi zu engem gewësse Mooss d'Wäerter vum Zilindikator erklären. Zum Beispill gëtt den Dollar / Rubel-Taux staark beaflosst vum Uelegpräis, dem Federal Reserve Tarif, etc.. Esou Faktore ginn Regressoren genannt. Zur selwechter Zäit muss all Zilindikatorwäert engem Regressorwäert entspriechen, dat heescht, wa mir 12 Zilindikatoren fir all Mount am Joer 2018 hunn, da sollte mir och 12 Regressorwäerter fir déi selwecht Period hunn. Loosst eis d'Wäerter vun all Regressor bezeechnen duerch . Loosst eis an eisem Fall do sinn Regressoren (d.h. Faktoren déi d'Zilindikatorwäerter beaflossen). Dëst bedeit datt eis Regressoren wéi follegt presentéiert kënne ginn: fir den 1. Regressor (zum Beispill de Präis vum Ueleg): , fir den 2. Regressor (zum Beispill de Fed Taux): , fir"-th" regressor:
Ofhängegkeet vun Zilindikatoren op Regressoren
Loosst eis dovun ausgoen, datt d'Ofhängegkeet vun der Zil- Luucht vun regressors "th" Observatioun kann duerch eng linear Regressiounsequatioun vun der Form ausgedréckt ginn:
wou - "-th" Regressor Wäert vun 1 bis ,
- Zuel vun regressors vun 1 ze
- Wénkelkoeffizienten, déi de Betrag representéieren, mat deem de berechent Zilindikator am Duerchschnëtt ännert wann de Regressor ännert.
An anere Wierder, mir si fir jiddereen (ausser ) vum Regressor bestëmmen mir "eise" Koeffizient , multiplizéiert dann d'Koeffizienten mat de Wäerter vun de Regressoren ""Observatioun, als Resultat kréien mir eng gewëssen Approximatioun"-th" Zilindikator.
Dofir musse mir esou Koeffizienten auswielen , bei deenen d'Wäerter vun eiser approximéierender Funktioun wäert sou no wéi méiglech un d'Zilindikatorwäerter lokaliséiert ginn.
Bewäertung vun der Qualitéit vun der Approximatiounsfunktioun
Mir bestëmmen d'Qualitéitsbewäertung vun der Approximatiounsfunktioun mat der Method vun der mannst Quadrat. D'Qualitéit Bewäertungsfunktioun an dësem Fall wäert déi folgend Form huelen:
Mir mussen esou Wäerter vun de Koeffizienten $w$ auswielen, fir déi de Wäert wäert de klengste sinn.
Ëmwandlung vun der Equatioun an Matrixform
Vector Representatioun
Fir unzefänken, fir Äert Liewen méi einfach ze maachen, sollt Dir op d'linear Regressioungleichung oppassen a bemierken datt den éischte Koeffizient gëtt net mat engem Regressor multiplizéiert. Zur selwechter Zäit, wa mir d'Donnéeën an d'Matrixform konvertéieren, wäerten déi uewe genannten Ëmstänn d'Berechnungen eescht komplizéieren. An dëser Hisiicht ass et proposéiert en anere Regressor fir den éischte Koeffizient aféieren an gläichberechtegt et zu engem. Oder éischter, all "gläicht den th Wäert vun dësem Regressor zu engem - schliisslech, wann Dir mat engem multiplizéiert gëtt, ännert sech näischt aus der Siicht vum Resultat vun de Berechnungen, awer aus der Siicht vun de Regele fir de Produkt vun de Matrizen, eis Péng wäert däitlech reduzéiert ginn.
Elo, fir de Moment, fir d'Material ze vereinfachen, loosst eis unhuelen datt mir nëmmen een hunn "-th" Observatioun. Da stellt Iech d'Wäerter vun de Regressoren vir "-th" Observatioune als Vektor . Vector huet Dimensioun , dat ass Reihen an 1 Kolonn:
Loosst eis déi erfuerderlech Koeffizienten als Vektor representéieren , Dimensioun hunn :
Linear Regressioun Equatioun fir "-th" Observatioun wäert d'Form huelen:
D'Funktioun fir d'Qualitéit vun engem lineare Modell ze bewäerten wäert d'Form huelen:
Notéiert w.e.g. datt am Aklang mat de Reegele vun der Matrixmultiplikatioun, mir de Vektor musse transposéieren .
Matrix Representatioun
Als Resultat vun der Multiplizéieren vun Vecteure kréien mir d'Zuel: , wat ze erwaarden ass. Dës Zuel ass d'Approximatioun "-th" Zilindikator. Awer mir brauchen eng Approximatioun vun net nëmmen engem Zilwäert, awer all vun hinnen. Fir dëst ze maachen, loosst eis alles opschreiwen "-th" Regressoren am Matrixformat . Déi resultéierend Matrix huet d'Dimensioun :
Elo wäert d'linear Regressiounsgleichung d'Form huelen:
Loosst eis d'Wäerter vun Zilindikatoren (all ) pro Vektor Dimensioun :
Elo kënne mir d'Gleichung schreiwen fir d'Qualitéit vun engem lineare Modell am Matrixformat ze bewäerten:
Eigentlech, aus dëser Formel kréien mir weider d'Formel déi eis bekannt ass
Wéi gëtt et gemaach? D'Klammeren ginn opgemaach, d'Differenzéierung gëtt duerchgefouert, déi resultéierend Ausdréck ginn transforméiert, etc., an dat ass genau wat mir elo maachen.
Matrixentgasung
Loosst eis d'Klammeren opmaachen
Loosst eis eng Equatioun fir d'Differenzéierung virbereeden
Fir dëst ze maachen, wäerte mir e puer Transformatiounen ausféieren. A spéider Berechnungen ass et méi bequem fir eis wann de Vektor wäert am Ufank vun all Produit an der Equatioun vertruede ginn.
Konversioun 1
Wéi ass et geschitt? Fir dës Fro ze beäntweren, kuckt just op d'Gréisste vun de Matrixen déi multiplizéiert ginn a kuckt datt mir beim Ausgang eng Zuel kréien oder soss .
Loosst eis d'Gréisste vu Matrixausdréck opschreiwen.
Konversioun 2
Loosst eis et op eng ähnlech Manéier schreiwen wéi d'Transformatioun 1
Um Ausgang kréie mir eng Equatioun déi mir mussen differenzéieren:
Mir ënnerscheeden de Modell Qualitéit Bewäertung Funktioun
Loosst eis mat Respekt zum Vektor ënnerscheeden :
Froen firwat et soll net sinn, mä mir wäerten d'Operatiounen ënnersicht fir Derivate an deenen aneren zwee Ausdréck méi am Detail ze bestëmmen.
Differenzéierung 1
Loosst eis d'Differenzéierung erweideren:
Fir d'Derivat vun enger Matrix oder Vektor ze bestëmmen, musst Dir kucken wat an hinnen ass. Loosst eis kucken:
Loosst eis d'Produkt vu Matrizen bezeechnen duerch d'Matrix . Matrix quadratesch an ausserdeem ass et symmetresch. Dës Eegeschafte wäerten eis spéider nëtzlech sinn, loosst eis se erënneren. Matrix huet Dimensioun :
Elo ass eis Aufgab d'Vecteure korrekt mat der Matrix ze multiplizéieren an net "zweemol zwee ass fënnef" ze kréien, also loosst eis konzentréieren an extrem virsiichteg sinn.
Wéi och ëmmer, mir hunn e komplizéierten Ausdrock erreecht! Tatsächlech hu mir eng Zuel - eng Skalar. An elo, wierklech, fuere mir op d'Differenzéierung. Et ass néideg d'Derivat vum resultéierende Ausdrock fir all Koeffizient ze fannen a kritt den Dimensiounsvektor als Ausgang . Just am Fall wäert ech d'Prozeduren duerch Handlung opschreiwen:
1) z'ënnerscheeden duerch , mir kréien:
2) z'ënnerscheeden duerch , mir kréien:
3) z'ënnerscheeden duerch , mir kréien:
D'Ausgab ass de versprach Vektor vu Gréisst :
Wann Dir de Vektor méi genee kuckt, mierkt Dir datt déi lénks a entspriechend riets Elementer vum Vektor esou gruppéiere kënnen, datt, als Resultat, e Vektor aus dem presentéiert Vektor isoléiert ka ginn. Gréisst . Zum Beispill (lénks Element vun der ieweschter Linn vum Vektor) (déi richteg Element vun der ieweschter Linn vum Vecteure) kann als representéiert ginn an - als etc. op all Linn. Loosst eis gruppéieren:
Loosst eis de Vektor eraushuelen an um Ausgang kréien mir:
Loosst eis elo déi resultéierend Matrix méi no kucken. D'Matrix ass d'Zomm vun zwou Matrixen :
Loosst eis drun erënneren datt e bësse virdrun eng wichteg Eegeschafte vun der Matrix bemierkt hunn - et ass symmetresch. Baséiert op dëser Propriétéit, kënne mir zouversiichtlech soen, datt den Ausdrock gläicht . Dëst kann einfach verifizéiert ginn andeems d'Produkt vu Matrizen Element fir Element ausgebaut gëtt . Mir maachen dat hei net, déi interesséiert kënne se selwer kucken.
Komme mer zréck op eisen Ausdrock. No eisen Transformatiounen ass et erausgaang wéi mir et wollten gesinn:
Also, mir hunn déi éischt Differenzéierung ofgeschloss. Loosst eis op den zweeten Ausdrock goen.
Differenzéierung 2
Loosst eis de geschloene Wee verfollegen. Et wäert vill méi kuerz sinn wéi dee virdrun, also gitt net ze wäit vum Écran.
Loosst eis d'Vektoren an d'Matrix Element duerch Element erweideren:
Loosst eis déi zwee e bëssen aus de Berechnungen ewechhuelen - et spillt keng grouss Roll, da setzen mir se erëm op seng Plaz. Loosst eis d'Vektore mat der Matrix multiplizéieren. Als éischt, loosst eis d'Matrix multiplizéieren zu vektor , Mir hu keng Restriktiounen hei. Mir kréien d'Gréisst Vektor :
Loosst eis déi folgend Aktioun ausféieren - de Vektor multiplizéieren zum resultéierende Vektor. Bei der Sortie waart d'Nummer op eis:
Da wäerte mir et ënnerscheeden. Um Ausgang kréie mir e Vektor vun der Dimensioun :
Erënnert mech un eppes? Dat ass richteg! Dëst ass d'Produkt vun der Matrix zu vektor .
Also ass déi zweet Differenzéierung erfollegräich ofgeschloss.
Amplaz vun enger Konklusioun
Elo wësse mer wéi d'Gläichheet entstanen ass .
Schlussendlech wäerte mir e séiere Wee beschreiwen fir Basisformelen ze transforméieren.
Loosst eis d'Qualitéit vum Modell evaluéieren am Aklang mat der klengste Quadratmethod:
Loosst eis de resultéierende Ausdrock differenzéieren:
Literatur
Internet Quellen:
1)
2)
3)
4)
Léierbicher, Sammlung vu Probleemer:
1) Virliesungsnotizen iwwer méi héijer Mathematik: Vollkurs / D.T. Geschriwwen - 4. Ed. – M.: Iris-Press, 2006
2) Angewandte Regressiounsanalyse / N. Draper, G. Smith - 2. Ed. – M.: Finanzen a Statistiken, 1986 (Iwwersetzung aus Englesch)
3) Problemer fir Matrix Equatiounen ze léisen:
Source: will.com