Artikkelin tarkoituksena on tarjota tukea aloitteleville datatieteilijöille. SISÄÄN Olemme hahmotelleet kolme tapaa ratkaista lineaarisen regressioyhtälön: analyyttinen ratkaisu, gradienttilasku, stokastinen gradienttilasku. Sitten analyyttiseen ratkaisuun käytimme kaavaa . Tässä artikkelissa, kuten otsikko ehdottaa, perustelemme tämän kaavan käytön tai toisin sanoen johdamme sen itse.
Miksi on järkevää kiinnittää erityistä huomiota kaavaan ?
Matriisiyhtälön avulla useimmissa tapauksissa aletaan tutustua lineaariseen regressioon. Samaan aikaan yksityiskohtaiset laskelmat kaavan johdosta ovat harvinaisia.
Esimerkiksi Yandexin koneoppimiskursseilla, kun opiskelijat tutustuvat regularisointiin, heille tarjotaan kirjaston toimintojen käyttöä. sklearn, kun taas algoritmin matriisiesittelystä ei mainita sanaakaan. Juuri tällä hetkellä jotkut kuuntelijat saattavat haluta ymmärtää tämän ongelman yksityiskohtaisemmin - kirjoittaa koodia käyttämättä valmiita toimintoja. Ja tehdäksesi tämän, sinun on ensin esitettävä yhtälö regularisoijalla matriisimuodossa. Tämä artikkeli antaa niille, jotka haluavat hallita tällaiset taidot. Aloitetaan.
Alkuolosuhteet
Tavoiteindikaattorit
Meillä on joukko tavoitearvoja. Tavoiteindikaattori voi olla esimerkiksi minkä tahansa omaisuuden hinta: öljy, kulta, vehnä, dollari jne. Samaan aikaan useilla tavoiteindikaattoriarvoilla tarkoitamme havaintojen määrää. Tällaisia havaintoja voivat olla esimerkiksi öljyn kuukausihinnat vuodelle, eli meillä on 12 tavoitearvoa. Aloitetaan merkinnän esittely. Merkitään jokainen tavoiteindikaattorin arvo nimellä . Yhteensä meillä on havainnot, mikä tarkoittaa, että voimme esittää havaintojamme .
Regressorit
Oletetaan, että on olemassa tekijöitä, jotka jossain määrin selittävät tavoiteindikaattorin arvot. Esimerkiksi dollarin/ruplan vaihtokurssiin vaikuttavat voimakkaasti öljyn hinta, Federal Reserve -kurssi jne. Tällaisia tekijöitä kutsutaan regressoreiksi. Samanaikaisesti jokaisen tavoiteindikaattorin arvon tulee vastata regressoriarvoa, eli jos meillä on 12 tavoiteindikaattoria jokaiselle kuukaudelle vuonna 2018, niin meillä pitäisi olla myös 12 regressoriarvoa samalle ajanjaksolle. Merkitään jokaisen regressorin arvot . Olkoon meidän tapauksessamme regressorit (esim. tekijät, jotka vaikuttavat tavoiteindikaattorin arvoihin). Tämä tarkoittaa, että regressorimme voidaan esittää seuraavasti: 1. regressorille (esimerkiksi öljyn hinta): , 2. regressorille (esimerkiksi Fed-korko): , varten "-th" regressori:
Tavoiteindikaattoreiden riippuvuus regressoreista
Oletetaan, että tavoiteindikaattorin riippuvuus taantujilta"th" havainto voidaan ilmaista lineaarisen regressioyhtälön muodossa:
Missä - "-th" regressorin arvo välillä 1 - ,
— regressorien lukumäärä 1:stä
— kulmakertoimet, jotka edustavat määrää, jolla laskettu tavoiteindikaattori muuttuu keskimäärin regressorin muuttuessa.
Toisin sanoen olemme kaikkia varten (paitsi ) regressorista määritämme "meidän" kertoimen , kerro sitten kertoimet regressorien arvoilla ""havainto, tuloksena saadaan tietty likiarvo"-th" tavoiteindikaattori.
Siksi meidän on valittava tällaiset kertoimet , jossa approksimoivamme funktiomme arvot sijoitetaan mahdollisimman lähelle tavoiteindikaattorin arvoja.
Approksimointifunktion laadun arviointi
Määritämme approksimoivan funktion laadunarvioinnin pienimmän neliösumman menetelmällä. Laadunarviointitoiminto on tässä tapauksessa seuraava:
Meidän on valittava sellaiset kertoimien $w$ arvot, joille arvo on tulee olemaan pienin.
Yhtälön muuntaminen matriisimuotoon
Vektoriesitys
Aluksi elämäsi helpottamiseksi sinun tulee kiinnittää huomiota lineaariseen regressioyhtälöön ja huomata, että ensimmäinen kerroin ei kerrota millään regressorilla. Samalla kun muunnamme tiedot matriisimuotoon, edellä mainittu seikka vaikeuttaa laskelmia vakavasti. Tässä suhteessa ehdotetaan toisen regressorin käyttöönottoa ensimmäiselle kertoimelle ja rinnastaa se yhteen. Tai pikemminkin jokainen"rinnastaa tämän regressorin arvo yhdeksi - kunhan kerrottuna yhdellä, mikään ei muutu laskelmien tuloksen kannalta, mutta matriisien tulon sääntöjen kannalta meidän kärsimyksemme vähenee merkittävästi.
Oletetaan nyt tällä hetkellä materiaalin yksinkertaistamiseksi, että meillä on vain yksi "-th" havainto. Kuvittele sitten regressoreiden arvot "-th" havainnot vektorina . Vektori on ulottuvuus Toisin sanoen, rivit ja 1 sarake:
Esitetään tarvittavat kertoimet vektorina , jolla on mitta :
Lineaarinen regressioyhtälö ""-th" havainto on muotoa:
Lineaarisen mallin laadun arviointifunktio on muotoa:
Huomaa, että matriisin kertolaskusääntöjen mukaisesti meidän piti transponoida vektori .
Matriisiesitys
Vektorien kertomisen tuloksena saamme luvun: , mikä on odotettavissa. Tämä luku on likimääräinen "-th" tavoiteindikaattori. Mutta emme tarvitse likiarvoa vain yhdestä tavoitearvosta, vaan kaikista niistä. Tätä varten kirjoitetaan kaikki ylös ""th" regressorit matriisimuodossa . Tuloksena olevalla matriisilla on ulottuvuus :
Nyt lineaarinen regressioyhtälö saa muodon:
Merkitään tavoiteindikaattoreiden arvot (kaikki ) vektoria kohti ulottuvuus :
Nyt voimme kirjoittaa yhtälön lineaarisen mallin laadun arvioimiseksi matriisimuodossa:
Itse asiassa tästä kaavasta saamme edelleen meille tunteman kaavan
Miten se on tehty? Sulut avataan, eriyttäminen suoritetaan, tuloksena olevat lausekkeet muunnetaan jne., ja juuri näin teemme nyt.
Matriisimuunnokset
Avataan sulut
Valmistetaan yhtälö differentiaatiota varten
Tätä varten teemme joitain muutoksia. Myöhemmissä laskelmissa meille on mukavampaa, jos vektori on esitetty yhtälön jokaisen tuotteen alussa.
Muunnos 1
Miten se tapahtui? Vastataksesi tähän kysymykseen, katso vain kerrottavien matriisien kokoa ja katso, että tulosteessa saamme luvun tai muuten .
Kirjataan ylös matriisilausekkeiden koot.
Muunnos 2
Kirjoitetaan se samalla tavalla kuin muunnos 1
Lähdössä saamme yhtälön, joka meidän on erotettava:
Erottelemme mallin laadunarviointitoiminnon
Erotetaan vektorin suhteen :
Kysymykset miksi ei pitäisi olla, mutta tarkastelemme tarkemmin kahden muun lausekkeen derivaattojen määritysoperaatioita.
Erottelu 1
Laajennamme erottelua:
Matriisin tai vektorin derivaatan määrittämiseksi sinun on katsottava, mitä niiden sisällä on. Katsotaan:
Merkitään matriisien tuloa matriisin kautta . Matriisi neliö ja lisäksi se on symmetrinen. Nämä ominaisuudet ovat hyödyllisiä meille myöhemmin, muistetaan ne. Matriisi on ulottuvuus :
Nyt tehtävämme on kertoa vektorit oikein matriisilla eikä saada "kaksi kertaa kaksi on viisi", joten keskitytään ja ollaan erittäin varovaisia.
Olemme kuitenkin saavuttaneet monimutkaisen ilmeen! Itse asiassa meillä on numero - skalaari. Ja nyt todellakin siirrymme erotteluun. On tarpeen löytää tuloksena olevan lausekkeen derivaatta jokaiselle kertoimelle ja saada dimensiovektori tulosteena . Varmuuden vuoksi kirjoitan ylös menettelyt toimenpitein:
1) erottaa , saamme:
2) erottaa , saamme:
3) erottaa , saamme:
Tulos on luvattu koon vektori :
Jos katsot vektoria tarkemmin, huomaat, että vektorin vasen ja vastaava oikea elementti voidaan ryhmitellä siten, että tuloksena vektori voidaan eristää esitetystä vektorista koko . Esimerkiksi (vektorin ylärivin vasen elementti) (vektorin ylärivin oikea elementti) voidaan esittää muodossa Ja - kuten jne. jokaisella rivillä. Ryhmään:
Otetaan vektori pois ja ulostulossa saamme:
Katsotaanpa nyt saatua matriisia lähemmin. Matriisi on kahden matriisin summa :
Muistakaamme, että hieman aikaisemmin huomasimme yhden tärkeän matriisin ominaisuuden - se on symmetrinen. Tämän ominaisuuden perusteella voimme luottavaisesti sanoa, että ilmaisu on yhtä suuri kuin . Tämä voidaan helposti varmistaa laajentamalla matriisien tuloa elementti kerrallaan . Emme tee tätä täällä, kiinnostuneet voivat tarkistaa asian itse.
Palataan ilmaisuumme. Muutostemme jälkeen se osoittautui sellaiseksi kuin halusimme sen nähdä:
Olemme siis saaneet ensimmäisen erottelun valmiiksi. Siirrytään toiseen lauseeseen.
Erottelu 2
Seurataan soitettua polkua. Se on paljon lyhyempi kuin edellinen, joten älä mene liian kauas näytöstä.
Laajennetaan vektoreita ja matriisia elementeiltä:
Poistetaan nämä kaksi hetkeksi laskelmista - sillä ei ole suurta merkitystä, sitten laitetaan se takaisin paikoilleen. Kerrotaan vektorit matriisilla. Ensinnäkin kerrotaan matriisi vektoriin , meillä ei ole täällä rajoituksia. Saamme kokovektorin :
Suoritetaan seuraava toimenpide - kerrotaan vektori tuloksena olevaan vektoriin. Uloskäynnissä meitä odottaa numero:
Sitten erotamme sen. Lähdössä saamme ulottuvuuden vektorin :
Muistuttaako minua jostain? Oikein! Tämä on matriisin tulos vektoriin .
Siten toinen erottelu on suoritettu onnistuneesti.
Sen sijaan johtopäätös
Nyt tiedämme, miten tasa-arvo syntyi .
Lopuksi kuvataan nopea tapa muuttaa peruskaavoja.
Arvioidaan mallin laatu pienimmän neliösumman menetelmällä:
Erotetaan tuloksena oleva lauseke:
Kirjallisuus
Internetin lähteet:
1)
2)
3)
4)
Oppikirjoja, tehtäväkokoelmia:
1) Korkeamman matematiikan luentomuistiinpanot: koko kurssi / D.T. Kirjoitettu – 4. painos. – M.: Iris-press, 2006
2) Sovellettu regressioanalyysi / N. Draper, G. Smith - 2. painos. – M.: Finance and Statistics, 1986 (käännös englannista)
3) Tehtäviä matriisiyhtälöiden ratkaisemiseksi:
Lähde: will.com