Qëllimi i artikullit është të ofrojë mbështetje për shkencëtarët fillestarë të të dhënave. NË Ne kemi përshkruar tre mënyra për të zgjidhur një ekuacion të regresionit linear: zgjidhje analitike, zbritje gradient, zbritje stokastike e gradientit. Më pas për zgjidhjen analitike aplikuam formulën . Në këtë artikull, siç sugjeron titulli, ne do të justifikojmë përdorimin e kësaj formule ose, me fjalë të tjera, do ta nxjerrim vetë.
Pse ka kuptim t'i kushtohet vëmendje shtesë formulës ?
Është me ekuacionin e matricës që në shumicën e rasteve fillon të njihet me regresionin linear. Në të njëjtën kohë, llogaritjet e hollësishme se si është nxjerrë formula janë të rralla.
Për shembull, në kurset e mësimit të makinerive nga Yandex, kur studentët njihen me rregullimin, atyre u ofrohet të përdorin funksione nga biblioteka sklearin, ndërsa nuk përmendet asnjë fjalë për paraqitjen matricore të algoritmit. Është në këtë moment që disa dëgjues mund të dëshirojnë ta kuptojnë këtë çështje në më shumë detaje - shkruani kodin pa përdorur funksione të gatshme. Dhe për ta bërë këtë, së pari duhet të paraqisni ekuacionin me një rregullues në formë matrice. Ky artikull do t'i lejojë ata që dëshirojnë të zotërojnë aftësi të tilla. Le të fillojmë.
Kushtet fillestare
Treguesit e synuar
Ne kemi një sërë vlerash të synuara. Për shembull, treguesi i synuar mund të jetë çmimi i çdo aktivi: naftë, ar, grurë, dollar, etj. Në të njëjtën kohë, me një numër vlerash të treguesve të synuar nënkuptojmë numrin e vëzhgimeve. Vëzhgime të tilla mund të jenë, për shembull, çmimet mujore të naftës për vitin, domethënë do të kemi 12 vlera të synuara. Le të fillojmë të prezantojmë shënimin. Le të shënojmë çdo vlerë të treguesit të synuar si . Në total kemi vëzhgimet, që do të thotë se ne mund t'i paraqesim vëzhgimet tona si .
Regresorët
Do të supozojmë se ka faktorë që shpjegojnë në një farë mase vlerat e treguesit të synuar. Për shembull, kursi i këmbimit dollar/rubla ndikohet fuqishëm nga çmimi i naftës, kursi i Rezervës Federale, etj. Faktorë të tillë quhen regresorë. Në të njëjtën kohë, çdo vlerë treguese e synuar duhet të korrespondojë me një vlerë regresori, domethënë nëse kemi 12 tregues objektiv për çdo muaj në 2018, atëherë duhet të kemi edhe 12 vlera regresore për të njëjtën periudhë. Le të shënojmë vlerat e çdo regresori me . Le të ketë në rastin tonë regresorët (d.m.th. faktorët që ndikojnë në vlerat e treguesve të synuar). Kjo do të thotë që regresorët tanë mund të paraqiten si më poshtë: për regresorin e parë (për shembull, çmimi i naftës): , për regresorin e dytë (për shembull, norma e Fed): , per "-th" regresori:
Varësia e treguesve të synuar nga regresorët
Le të supozojmë se varësia e treguesit të synuar nga regresorët"Vëzhgimi th" mund të shprehet përmes një ekuacioni të regresionit linear të formës:
Ku - "-th" vlera e regresorit nga 1 në ,
- numri i regresorëve nga 1 në
— koeficientët këndorë, të cilët përfaqësojnë sasinë me të cilën treguesi objektiv i llogaritur do të ndryshojë mesatarisht kur ndryshon regresori.
Me fjalë të tjera, ne jemi për të gjithë (përveç ) të regresorit përcaktojmë koeficientin “tona”. , pastaj shumëzoni koeficientët me vlerat e regresorëve "th "vëzhgimi, si rezultat marrim një përafrim të caktuar"-th" tregues objektiv.
Prandaj, ne duhet të zgjedhim koeficientë të tillë , në të cilën funksionojnë vlerat e përafrimit tonë do të vendosen sa më afër vlerave të treguesit të synuar.
Vlerësimi i cilësisë së funksionit të përafrimit
Ne do të përcaktojmë vlerësimin e cilësisë së funksionit të përafërt duke përdorur metodën e katrorëve më të vegjël. Funksioni i vlerësimit të cilësisë në këtë rast do të marrë formën e mëposhtme:
Duhet të zgjedhim vlera të tilla të koeficientëve $w$ për të cilët është vlera do të jetë më i vogli.
Shndërrimi i ekuacionit në formë matrice
Paraqitja vektoriale
Si fillim, për ta bërë jetën tuaj më të lehtë, duhet t'i kushtoni vëmendje ekuacionit të regresionit linear dhe të vini re se koeficienti i parë nuk shumëzohet me asnjë regresor. Në të njëjtën kohë, kur i shndërrojmë të dhënat në formë matrice, rrethanat e sipërpërmendura do të komplikojnë seriozisht llogaritjet. Në këtë drejtim, propozohet të futet një tjetër regresor për koeficientin e parë dhe e barazojmë me një. Ose më mirë, çdo "barazoni vlerën e këtij regresori me një - në fund të fundit, kur shumëzohet me një, asgjë nuk do të ndryshojë nga pikëpamja e rezultatit të llogaritjeve, por nga pikëpamja e rregullave për produktin e matricave, mundimi ynë do të reduktohet ndjeshëm.
Tani, për momentin, për të thjeshtuar materialin, le të supozojmë se kemi vetëm një "-th" vëzhgim. Atëherë, imagjinoni vlerat e regresorëve "-th" vëzhgimet si vektor . Vektor ka dimension që është rreshta dhe 1 kolonë:
Le të paraqesim koeficientët e kërkuar si vektor , duke pasur dimension :
Ekuacioni i regresionit linear për "Vëzhgimi -th" do të marrë formën:
Funksioni për vlerësimin e cilësisë së një modeli linear do të marrë formën:
Ju lutemi vini re se në përputhje me rregullat e shumëzimit të matricës, na duhej të transpozonim vektorin .
Paraqitja e matricës
Si rezultat i shumëzimit të vektorëve, marrim numrin: , gjë që pritet. Ky numër është përafrimi "-th" tregues objektiv. Por ne kemi nevojë për një përafrim jo vetëm të një vlere të synuar, por të të gjitha. Për ta bërë këtë, le të shkruajmë gjithçka "-th" regresorët në formatin matricë . Matrica që rezulton ka dimensionin :
Tani ekuacioni i regresionit linear do të marrë formën:
Le të tregojmë vlerat e treguesve të synuar (të gjithë ) për vektor dimension :
Tani mund të shkruajmë ekuacionin për vlerësimin e cilësisë së një modeli linear në formatin matricë:
Në fakt, nga kjo formulë marrim më tej formulën e njohur për ne
Si është bërë? Hapen kllapat, kryhet diferencimi, transformohen shprehjet që rezultojnë, etj., Dhe pikërisht këtë do të bëjmë tani.
Transformimet e matricës
Le të hapim kllapat
Le të përgatisim një ekuacion për diferencim
Për ta bërë këtë, ne do të kryejmë disa transformime. Në llogaritjet e mëvonshme do të jetë më i përshtatshëm për ne nëse vektori do të paraqitet në fillim të çdo produkti në ekuacion.
Konvertimi 1
Si ndodhi? Për t'iu përgjigjur kësaj pyetjeje, thjesht shikoni madhësitë e matricave që shumëzohen dhe shikoni që në dalje marrim një numër ose ndryshe .
Le të shkruajmë madhësitë e shprehjeve të matricës.
Konvertimi 2
Le ta shkruajmë në një mënyrë të ngjashme me transformimin 1
Në dalje marrim një ekuacion që duhet ta diferencojmë:
Ne dallojmë funksionin e vlerësimit të cilësisë së modelit
Le të dallojmë në lidhje me vektorin :
Pyetje pse nuk duhet të ketë, por veprimet për përcaktimin e derivateve në dy shprehjet e tjera do t'i shqyrtojmë më në detaje.
Diferencimi 1
Le të zgjerojmë diferencimin:
Për të përcaktuar derivatin e një matrice ose vektori, duhet të shikoni se çfarë është brenda tyre. Le të shohim:
Le të shënojmë prodhimin e matricave përmes matricës . Matricë katror dhe për më tepër, është simetrik. Këto veti do të jenë të dobishme për ne më vonë, le t'i kujtojmë ato. Matricë ka dimension :
Tani detyra jonë është të shumëzojmë saktë vektorët me matricën dhe të mos marrim "dy herë dy është pesë", kështu që le të përqendrohemi dhe të jemi jashtëzakonisht të kujdesshëm.
Megjithatë, ne kemi arritur një shprehje të ndërlikuar! Në fakt, ne morëm një numër - një skalar. Dhe tani, me të vërtetë, ne kalojmë te diferencimi. Është e nevojshme të gjendet derivati i shprehjes që rezulton për secilin koeficient dhe merrni vektorin e dimensionit si dalje . Për çdo rast, unë do t'i shkruaj procedurat me veprim:
1) dalloj sipas , marrim:
2) dalloj sipas , marrim:
3) dalloj sipas , marrim:
Prodhimi është vektori i premtuar i madhësisë :
Nëse e shikoni vektorin më nga afër, do të vini re se elementët e majtë dhe përkatës të djathtë të vektorit mund të grupohen në atë mënyrë që, si rezultat, një vektor mund të izolohet nga vektori i paraqitur. madhësia . Për shembull, (elementi i majtë i vijës së sipërme të vektorit) (elementi i djathtë i vijës së sipërme të vektorit) mund të paraqitet si Dhe - si etj. në çdo rresht. Le të grupojmë:
Le të heqim vektorin dhe në dalje marrim:
Tani, le të hedhim një vështrim më të afërt në matricën që rezulton. Matrica është shuma e dy matricave :
Le të kujtojmë se pak më herët kemi vërejtur një veti të rëndësishme të matricës - është simetrik. Bazuar në këtë pronë, mund të themi me besim se shprehja barazohet . Kjo mund të verifikohet lehtësisht duke zgjeruar produktin e matricave element pas elementi . Ne nuk do ta bëjmë këtë këtu; të interesuarit mund ta kontrollojnë vetë.
Le të kthehemi te shprehja jonë. Pas transformimeve tona, doli ashtu siç donim ta shihnim:
Pra, kemi përfunduar diferencimin e parë. Le të kalojmë në shprehjen e dytë.
Diferencimi 2
Le të ndjekim rrugën e rrahur. Do të jetë shumë më i shkurtër se ai i mëparshmi, ndaj mos u largoni shumë nga ekrani.
Le të zgjerojmë vektorët dhe matricën element pas elementi:
Le t'i heqim të dyja nga llogaritjet për një kohë - nuk luan një rol të madh, pastaj do ta vendosim përsëri në vendin e vet. Le të shumëzojmë vektorët me matricën. Para së gjithash, le të shumëzojmë matricën te vektori , këtu nuk kemi kufizime. Marrim vektorin e madhësisë :
Le të kryejmë veprimin e mëposhtëm - shumëzojmë vektorin te vektori që rezulton. Në dalje do të na presë numri:
Atëherë do ta dallojmë. Në dalje marrim një vektor të dimensionit :
Më kujton diçka? Kjo është e drejtë! Ky është produkti i matricës te vektori .
Kështu, diferencimi i dytë përfundon me sukses.
Në vend të një përfundimi
Tani e dimë se si erdhi barazia .
Së fundi, ne do të përshkruajmë një mënyrë të shpejtë për të transformuar formulat bazë.
Le të vlerësojmë cilësinë e modelit në përputhje me metodën e katrorëve më të vegjël:
Le të dallojmë shprehjen që rezulton:
Letërsi
Burimet e internetit:
1)
2)
3)
4)
Tekste shkollore, përmbledhje problemash:
1) Shënime leksioni për matematikën e lartë: kurs i plotë / D.T. Shkruar - botimi i 4-të. - M.: Iris-press, 2006
2) Analiza e aplikuar e regresionit / N. Draper, G. Smith - 2nd ed. – M.: Financa dhe statistika, 1986 (përkthim nga anglishtja)
3) Problemet për zgjidhjen e ekuacioneve të matricës:
Burimi: www.habr.com