L-iskop tal-artikolu huwa li jipprovdi appoġġ lil xjenzati tad-dejta li jibdew. IN Iddeskrivejna tliet modi biex issolvi ekwazzjoni ta' rigressjoni lineari: soluzzjoni analitika, dixxendenza tal-gradjent, dixxendenza tal-gradjent stokastiku. Imbagħad għas-soluzzjoni analitika applikajna l-formula . F'dan l-artiklu, kif jissuġġerixxi t-titlu, aħna se niġġustifikaw l-użu ta 'din il-formula jew, fi kliem ieħor, se nġibuha aħna stess.
Għaliex jagħmel sens li tingħata attenzjoni żejda lill-formula ?
Huwa bl-ekwazzjoni tal-matriċi li f'ħafna każijiet wieħed jibda jiffamiljarizza ruħu mar-rigressjoni lineari. Fl-istess ħin, kalkoli dettaljati ta 'kif il-formula ġiet derivata huma rari.
Pereżempju, fil-korsijiet tat-tagħlim tal-magni minn Yandex, meta l-istudenti jiġu introdotti għar-regolarizzazzjoni, huma offruti li jużaw funzjonijiet mil-librerija sklearn, filwaqt li ma tissemma l-ebda kelma dwar ir-rappreżentazzjoni tal-matriċi tal-algoritmu. Huwa f'dan il-mument li xi semmiegħa jistgħu jkunu jridu jifhmu din il-kwistjoni f'aktar dettall - ikteb kodiċi mingħajr ma tuża funzjonijiet lesti. U biex tagħmel dan, l-ewwel trid tippreżenta l-ekwazzjoni b'regolarizzatur f'forma ta 'matriċi. Dan l-artikolu se jippermetti lil dawk li jixtiequ jegħlbu dawn il-ħiliet. Ejja nibdew.
Kundizzjonijiet inizjali
Indikaturi fil-mira
Għandna firxa ta 'valuri fil-mira. Pereżempju, l-indikatur fil-mira jista’ jkun il-prezz ta’ kwalunkwe assi: żejt, deheb, qamħ, dollaru, eċċ. Fl-istess ħin, b'numru ta 'valuri ta' indikaturi fil-mira nifhmu n-numru ta 'osservazzjonijiet. Osservazzjonijiet bħal dawn jistgħu jkunu, pereżempju, prezzijiet taż-żejt ta 'kull xahar għas-sena, jiġifieri, se jkollna 12-il valur fil-mira. Ejja nibdew nintroduċu n-notazzjoni. Ejja nindikaw kull valur tal-indikatur fil-mira bħala . B’kollox għandna osservazzjonijiet, li jfisser li nistgħu nirrappreżentaw l-osservazzjonijiet tagħna bħala .
Rigressuri
Se nassumu li hemm fatturi li sa ċertu punt jispjegaw il-valuri tal-indikatur fil-mira. Pereżempju, ir-rata tal-kambju tad-dollaru/rublu hija influwenzata ħafna mill-prezz taż-żejt, ir-rata tal-Federal Reserve, eċċ. Fatturi bħal dawn jissejħu rigressuri. Fl-istess ħin, kull valur indikatur fil-mira għandu jikkorrispondi għal valur rigressur, jiġifieri, jekk ikollna 12-il indikatur fil-mira għal kull xahar fl-2018, allura għandu jkollna wkoll 12-il valur rigressur għall-istess perjodu. Ejja nindikaw il-valuri ta 'kull rigressur bi . Ħalli fil-każ tagħna jkun hemm rigressuri (i.e. fatturi li jinfluwenzaw il-valuri tal-indikaturi fil-mira). Dan ifisser li r-rigressuri tagħna jistgħu jiġu ppreżentati kif ġej: għall-ewwel rigressur (per eżempju, il-prezz taż-żejt): , għat-tieni rigressur (pereżempju, ir-rata tal-Fed): , Għal "-th" rigressur:
Dipendenza ta' indikaturi fil-mira fuq rigressuri
Ejja nassumu li d-dipendenza tal-indikatur fil-mira minn rigressuri "l-osservazzjoni tista' tiġi espressa permezz ta' ekwazzjoni ta' rigressjoni lineari tal-forma:
fejn - "-th" valur rigressur minn 1 sa ,
— numru ta' rigressuri minn 1 sa
— koeffiċjenti angolari, li jirrappreżentaw l-ammont li bih l-indikatur tal-mira kkalkulat jinbidel bħala medja meta jinbidel ir-rigressur.
Fi kliem ieħor, aħna għal kulħadd (ħlief ) tar-rigressur niddeterminaw il-koeffiċjent "tagħna". , imbagħad immoltiplika l-koeffiċjenti bil-valuri tar-rigressuri "th" osservazzjoni, bħala riżultat niksbu ċerta approssimazzjoni "-th" indikatur fil-mira.
Għalhekk, għandna bżonn nagħżlu koeffiċjenti bħal dawn , li fiha l-valuri tal-funzjoni approssimattiva tagħna se jkun lokalizzat kemm jista' jkun qrib il-valuri tal-indikaturi fil-mira.
Evalwazzjoni tal-kwalità tal-funzjoni approssimattiva
Se niddeterminaw il-valutazzjoni tal-kwalità tal-funzjoni approssimattiva bl-użu tal-metodu tal-inqas kwadri. Il-funzjoni tal-valutazzjoni tal-kwalità f'dan il-każ se tieħu l-forma li ġejja:
Għandna bżonn nagħżlu tali valuri tal-koeffiċjenti $w$ li għalihom il-valur se jkun l-iżgħar.
Konverżjoni tal-ekwazzjoni f'forma matriċi
Rappreżentazzjoni tal-vettur
Biex tibda, biex tagħmillek ħajtek aktar faċli, għandek tagħti attenzjoni lill-ekwazzjoni tar-rigressjoni lineari u tinnota li l-ewwel koeffiċjent mhix immultiplikata b'ebda rigressur. Fl-istess ħin, meta nikkonverti d-dejta f'forma ta 'matriċi, iċ-ċirkustanza msemmija hawn fuq tikkomplika serjament il-kalkoli. F'dan ir-rigward, qed jiġi propost li jiġi introdott rigressur ieħor għall-ewwel koeffiċjent u ekwiparaha għal waħda. Jew aħjar, kull "tqabbel il-valur th ta 'dan ir-rigressur għal wieħed - wara kollox, meta mmultiplikat b'wieħed, xejn mhu se jinbidel mil-lat tar-riżultat tal-kalkoli, iżda mil-lat tar-regoli għall-prodott tal-matriċi, it-torment tagħna se jitnaqqas b'mod sinifikanti.
Issa, għalissa, sabiex nissimplifikaw il-materjal, ejja nassumu li għandna wieħed biss "-th" osservazzjoni. Imbagħad, immaġina l-valuri tar-rigressuri "-th" osservazzjonijiet bħala vettur . Vettore għandu dimensjoni Dan huwa, ringieli u kolonna 1:
Ejja nirrappreżentaw il-koeffiċjenti meħtieġa bħala vettur , li għandu dimensjoni :
Ekwazzjoni ta' rigressjoni lineari għal "-th" osservazzjoni se tieħu l-forma:
Il-funzjoni għall-valutazzjoni tal-kwalità ta 'mudell lineari se tieħu l-forma:
Jekk jogħġbok innota li skont ir-regoli tal-multiplikazzjoni tal-matriċi, kellna bżonn nittrasponu l-vettur .
Rappreżentazzjoni matriċi
Bħala riżultat tal-multiplikazzjoni tal-vettori, irridu n-numru: , li huwa mistenni. Dan in-numru huwa l-approssimazzjoni "-th" indikatur fil-mira. Imma neħtieġu approssimazzjoni ta' mhux biss valur fil-mira wieħed, iżda kollha kemm huma. Biex tagħmel dan, ejja nikteb kollox "-th" rigressuri f'format matriċi . Il-matriċi li tirriżulta għandha d-dimensjoni :
Issa l-ekwazzjoni ta' rigressjoni lineari se tieħu l-forma:
Ejja nindikaw il-valuri tal-indikaturi fil-mira (kollha ) għal kull vettur dimensjoni :
Issa nistgħu niktbu l-ekwazzjoni għall-valutazzjoni tal-kwalità ta 'mudell lineari f'format matriċi:
Fil-fatt, minn din il-formula nkomplu niksbu l-formula magħrufa lilna
Kif isir? Il-parentesi jinfetħu, titwettaq id-divrenzjar, l-espressjonijiet li jirriżultaw huma trasformati, eċċ., U dan huwa eżattament dak li se nagħmlu issa.
Trasformazzjonijiet tal-matriċi
Ejja niftħu l-parentesi
Ejja nħejju ekwazzjoni għad-divrenzjar
Biex tagħmel dan, aħna se nwettqu xi trasformazzjonijiet. Fil-kalkoli sussegwenti se jkun aktar konvenjenti għalina jekk il-vettur se jkun rappreżentat fil-bidu ta 'kull prodott fl-ekwazzjoni.
Konverżjoni 1
Kif ġara? Biex twieġeb din il-mistoqsija, ħares biss lejn id-daqsijiet tal-matriċi li qed jiġu mmultiplikati u ara li fl-output iġibu numru jew mod ieħor .
Ejja ikteb id-daqsijiet tal-espressjonijiet matriċi.
Konverżjoni 2
Ejja niktbuha b'mod simili għat-trasformazzjoni 1
Fl-output nikseb ekwazzjoni li rridu niddifferenzjaw:
Aħna niddifferenzjaw il-funzjoni tal-valutazzjoni tal-kwalità tal-mudell
Ejja niddifferenzjaw fir-rigward tal-vettur :
Mistoqsijiet għaliex m'għandux ikun hemm, iżda aħna se nanalizzaw l-operazzjonijiet għad-determinazzjoni tad-derivattivi fiż-żewġ espressjonijiet l-oħra f'aktar dettall.
Differenzjazzjoni 1
Ejja nespandu d-divrenzjar:
Sabiex tiddetermina d-derivattiva ta 'matriċi jew vettur, trid tħares lejn dak li hemm ġewwa fihom. Ejja nħarsu:
Ejja nindikaw il-prodott tal-matriċi permezz tal-matriċi . Matriċi kwadru u barra minn hekk, huwa simetriku. Dawn il-proprjetajiet se jkunu utli għalina aktar tard, ejja niftakruhom. Matriċi għandu dimensjoni :
Issa l-kompitu tagħna huwa li nimmultiplikaw b'mod korrett il-vettori bil-matriċi u ma niksbux "darbtejn tnejn huma ħamsa", allura ejja nikkonċentraw u noqogħdu attenti ħafna.
Madankollu, ksibna espressjoni kkomplikata! Fil-fatt, aħna ltqajna numru - skalar. U issa, għal veru, nimxu fuq id-divrenzjar. Huwa meħtieġ li jinstab id-derivattiv tal-espressjoni li tirriżulta għal kull koeffiċjent u tikseb il-vettur tad-dimensjoni bħala output . Fil-każ, se nikteb il-proċeduri b'azzjoni:
1) jiddifferenzjaw bi , nikbru:
2) jiddifferenzjaw bi , nikbru:
3) jiddifferenzjaw bi , nikbru:
L-output huwa l-vettur imwiegħed tad-daqs :
Jekk tħares lejn il-vettur aktar mill-qrib, tinduna li l-elementi tax-xellug u tal-lemin korrispondenti tal-vettur jistgħu jiġu miġbura b’tali mod li, bħala riżultat, vettur jista’ jiġi iżolat mill-vettur ippreżentat daqs . Pereżempju (element tax-xellug tal-linja ta' fuq tal-vettur) (l-element dritt tal-linja ta 'fuq tal-vettur) jista' jiġi rappreżentat bħala U - kif eċċ. fuq kull linja. Ejja nigruppaw:
Ejja noħroġ il-vettur u fl-output irridu:
Issa, ejja nagħtu ħarsa aktar mill-qrib lejn il-matriċi li tirriżulta. Il-matriċi hija s-somma ta 'żewġ matriċi :
Ejja nfakkru li ftit qabel innutajna proprjetà importanti waħda tal-matriċi - huwa simetriku. Ibbażat fuq din il-proprjetà, nistgħu ngħidu b'fiduċja li l-espressjoni ugwali . Dan jista 'jiġi vverifikat faċilment billi jespandi l-prodott ta' matriċi element b'element . Mhux se nagħmlu dan hawn; dawk interessati jistgħu jiċċekkjawh huma stess.
Ejja nerġgħu lura għall-espressjoni tagħna. Wara t-trasformazzjonijiet tagħna, irriżulta kif ridna narawha:
Allura, lestejna l-ewwel differenzjazzjoni. Ejja ngħaddu għat-tieni espressjoni.
Differenzjazzjoni 2
Ejja nimxu fuq it-triq imsawta. Se jkun ħafna iqsar minn dak preċedenti, għalhekk ma tmurx wisq 'il bogħod mill-iskrin.
Ejja nespandu l-vettori u l-element matriċi b'element:
Ejja nneħħu t-tnejn mill-kalkoli għal ftit żmien - ma għandux rwol kbir, imbagħad nerġgħu npoġġuh f'postu. Ejja mmultiplika l-vettori bil-matriċi. L-ewwelnett, ejja mmultiplika l-matriċi għall-vettur , ma għandna l-ebda restrizzjonijiet hawn. Aħna nġibu l-vettur tad-daqs :
Ejja nwettqu l-azzjoni li ġejja - immoltiplika l-vettur għall-vettur li jirriżulta. Fil-ħruġ in-numru jkun qed jistenniena:
Imbagħad aħna se jiddifferenzjawha. Fl-output aħna tikseb vettur ta 'dimensjoni :
Ifakkarni f'xi ħaġa? Hekk hu! Dan huwa l-prodott tal-matriċi għall-vettur .
Għalhekk, it-tieni differenzjazzjoni titlesta b'suċċess.
Minflok ma tikkonkludi
Issa nafu kif saret l-ugwaljanza .
Fl-aħħarnett, se niddeskrivu mod rapidu biex tittrasforma l-formuli bażiċi.
Ejja nevalwaw il-kwalità tal-mudell skont il-metodu tal-inqas kwadri:
Ejja niddifferenzjaw l-espressjoni li tirriżulta:
Letteratura
Sorsi tal-Internet:
1)
2)
3)
4)
Kotba tat-test, kollezzjonijiet ta' problemi:
1) Noti tal-lecture dwar il-matematika ogħla: kors sħiħ / D.T. Miktub – 4 ed. – M.: Iris-press, 2006
2) Analiżi ta' rigressjoni applikata / N. Draper, G. Smith - it-2 ed. – M.: Finanzi u Statistika, 1986 (traduzzjoni mill-Ingliż)
3) Problemi għas-soluzzjoni ta' ekwazzjonijiet matriċi:
Sors: www.habr.com