U scopu di l'articulu hè di furnisce un supportu à i scientisti di dati principianti. IN Avemu delineatu trè manere di risolve una equazione di regressione lineale: suluzione analitica, discesa di gradiente, discesa di gradiente stochasticu. Allora per a suluzione analitica avemu applicatu a formula . In questu articulu, cum'è u tìtulu suggerisce, ghjustificà l'usu di sta formula o, in altre parolle, l'avemu da noi stessi.
Perchè hè sensu di prestà una attenzione extra à a formula ?
Hè cù l'equazioni matriciali chì in a maiò parte di i casi si principia à cunnosce a regressione lineale. À u listessu tempu, i calculi detallati di cumu a formula hè stata derivata sò rari.
Per esempiu, in i corsi di machine learning da Yandex, quandu i studienti sò intrudutti à a regularizazione, sò offerti à utilizà funzioni da a biblioteca. sklearn, mentri ùn hè micca menzionatu una parolla nantu à a rapprisintazioni matriciali di l'algoritmu. Hè in questu mumentu chì certi ascoltatori puderanu capisce stu prublema in più detail - scrivite codice senza aduprà funzioni pronti. È per fà questu, avete prima di presentà l'equazioni cù un regularizer in forma di matrice. Questu articulu permetterà à quelli chì vulianu ammaistrà tali cumpetenze. Cuminciamu.
Cundizioni iniziali
Indicatori di destinazione
Avemu una gamma di valori di destinazione. Per esempiu, l'indicatore di destinazione puderia esse u prezzu di qualsiasi attivu: oliu, oru, granu, dollaru, etc. À u listessu tempu, per una quantità di valori indicatori di destinazione intendemu u numeru di osservazioni. Tali osservazioni puderanu esse, per esempiu, i prezzi mensili di l'oliu per l'annu, vale à dì, averemu 12 valori di destinazione. Cuminciamu à introduci a notazione. Denotemu ogni valore di l'indicatore di destinazione cum'è . In totale avemu osservazioni, chì significa chì pudemu rapprisintà i nostri osservazioni cum'è .
Regressori
Assumiremu chì ci sò fatturi chì à un certu puntu spiegà i valori di l'indicatore di destinazione. Per esempiu, u scambiu di u dollaru / rublu hè assai influinzatu da u prezzu di l'oliu, a tarifa di a Riserva Federale, etc. Tali fatturi sò chjamati regressori. À u listessu tempu, ogni valore di l'indicatore di destinazione deve currisponde à un valore di regressore, vale à dì, se avemu 12 indicatori di destinazione per ogni mese in 2018, allora duvemu ancu avè 12 valori di regressore per u stessu periodu. Denotemu i valori di ogni regressore per . Chì in u nostru casu ci sia regressori (i.e. fattori chì influenzanu i valori di l'indicatore target). Questu significa chì i nostri regressori ponu esse presentati cusì: per u 1u regressore (per esempiu, u prezzu di l'oliu): , per u 2u regressore (per esempiu, a tarifa Fed): , per "-th" regressor:
Dipendenza di l'indicatori di mira nantu à i regressori
Assumimu chì a dependenza di l'indicatore di destinazione da i regressori "L'osservazione pò esse espressa per una equazione di regressione lineale di a forma:
induve - "-th" valore di regressore da 1 à ,
- numeru di regressori da 1 à
- coefficienti angulari, chì rapprisentanu a quantità da quale l'indicatore di destinazione calculatu cambia in media quandu u regressore cambia.
In altre parolle, simu per tutti (eccettu ) di u regressore determinamu "u nostru" coefficient , poi multiplicate i coefficienti per i valori di i regressori "th "osservazione, cum'è u risultatu avemu ottene una certa approssimazione "-th" indicatore di destinazione.
Dunque, avemu bisognu di selezziunà tali coefficienti , à quale i valori di a nostra funzione approssimativa serà situatu u più vicinu pussibule à i valori di l'indicatore di destinazione.
A valutazione di a qualità di a funzione approssimativa
Determineremu a valutazione di qualità di a funzione approssimativa cù u metudu di i minimi quadrati. A funzione di valutazione di qualità in questu casu hà da piglià a seguente forma:
Avemu bisognu di selezziunà tali valori di i coefficienti $w$ per quale u valore serà u più chjucu.
Cunvertisce l'equazioni in forma di matrice
Rapprisintazioni vettoriali
Per principià, per fà a vostra vita più faciule, duvete attentu à l'equazioni di regressione lineale è avvisate chì u primu coefficient ùn hè micca multiplicatu da alcun regressore. À u listessu tempu, quandu avemu cunvertisce i dati in forma di matrice, a circustanza sopra citata complicà seriamente i calculi. In questu riguardu, hè prupostu di introduci un altru regressore per u primu coefficient è uguali à unu. O piuttostu, ogni "equate u valore th di stu regressor à unu - dopu à tuttu, quandu multiplicate da unu, nunda ùn cambierà da u puntu di vista di u risultatu di i calculi, ma da u puntu di vista di e regule per u pruduttu di matrici, u nostru turmentu. serà ridutta significativamente.
Avà, per u mumentu, per simplificà u materiale, assumemu chì avemu solu una "-e "osservazione. Allora, imaginate i valori di i regressori "-th" osservazioni cum'è un vettore . Vettore hà una dimensione , questu hè fila è 1 colonna:
Rappresentemu i coefficienti necessarii cum'è un vettore , avè dimensione :
Equazione di regressione lineare per "-th" osservazione hà da piglià a forma:
A funzione per valutà a qualità di un mudellu lineale hà da piglià a forma:
Per piacè nutate chì in cunfurmità cù e regule di multiplicazione di a matrice, avemu bisognu di traspone u vettore .
Rappresentazione matrice
In u risultatu di multiplicà i vettori, avemu u numeru: , chì hè da aspittà. Stu numeru hè l'approssimazione "-th" indicatore di destinazione. Ma avemu bisognu di una approssimazione di micca solu un valore di destinazione, ma tutti. Per fà questu, scrivemu tuttu "-th" regressori in formatu matrice . A matrice risultante hà a dimensione :
Avà l'equazioni di regressione lineare pigliarà a forma:
Denotemu i valori di l'indicatori di destinazione (tutti ) per vettore dimensione :
Avà pudemu scrive l'equazioni per evaluà a qualità di un mudellu lineale in formatu matrice:
In verità, da questa formula avemu ancu ottene a formula cunnisciuta per noi
Cumu hè fattu? I parentesi sò aperti, a differenziazione hè realizata, l'espressioni resultanti sò trasfurmate, etc., è questu hè esattamente ciò chì faremu avà.
Trasformazioni di a matrice
Apremu i parentesi
Preparamu una equazioni per a differenziazione
Per fà questu, faremu qualchì trasfurmazioni. In i calculi sussegwente, serà più cunvene per noi se u vettore serà rapprisintatu à u principiu di ogni pruduttu in l'equazioni.
Cunversione 1
Cumu hè accadutu ? Per risponde à sta quistione, basta à guardà e dimensioni di e matrici chì sò multiplicate è vede chì à a pruduzzioni avemu un numeru o altrimenti .
Scrivemu e dimensioni di l'espressioni matrici.
Cunversione 2
Scrivemu in una manera simile à a trasfurmazioni 1
À l'output, avemu una equazione chì avemu da differenzià:
Differenziemu a funzione di valutazione di qualità di mudellu
Differenziemu cù rispettu à u vettore :
Domande perchè ùn deve esse micca, ma esamineremu l'operazioni per a determinazione di derivati in l'altri dui espressioni in più detail.
Differenciazione 1
Sviluppemu a differenziazione:
Per determinà a derivativa di una matrice o vettore, avete bisognu di vede ciò chì hè in elli. Fighjemu:
Denotemu u pruduttu di matrici attraversu a matrice . Matrice quadru è in più, hè simmetricu. Queste proprietà seranu utili per noi più tardi, ricurdemu di elli. Matrice hà una dimensione :
Avà u nostru compitu hè di multiplicà currettamente i vettori da a matrice è micca ottene "due volte dui hè cinque", cusì cuncentratemu è esse assai attenti.
Tuttavia, avemu ottinutu una espressione intricata! In fatti, avemu un numeru - un scalare. È avà, per veru, andemu à a differenziazione. Hè necessariu di truvà a derivativa di l'espressione risultatu per ogni coefficient è uttene u vettore di dimensione cum'è output . In casu, scriveraghju e prucedure per azzione:
1) distingue per , avemu:
2) distingue per , avemu:
3) distingue per , avemu:
L'output hè u vettore prumessu di dimensione :
Se fighjate à u vettore più vicinu, vi vede chì l'elementi di manca è currispundenti di u vettore ponu esse raggruppati in tale manera chì, in u risultatu, un vettore pò esse isolatu da u vettore presentatu. u taglia . Per esempiu, (elementu manca di a linea superiore di u vettore) (l'elementu ghjustu di a linea superiore di u vettore) pò esse rapprisintatu cum'è e - cum'è ecc. nantu à ogni linea. Raggruppemu:
Cacciemu u vettore è à l'output avemu:
Avà, fighjemu un ochju più vicinu à a matrice resultanti. A matrice hè a somma di duie matrici :
Ricurdemu chì un pocu prima avemu nutatu una pruprietà impurtante di a matrice - hè simmetricu. Basatu nantu à sta pruprietà, pudemu dì cun fiducia chì l'espressione uguale . Questu pò esse facilmente verificatu da l'espansione di u pruduttu di matrici elementu per elementu . Ùn faremu micca questu quì; quelli interessati ponu verificà elli stessi.
Riturnemu à a nostra spressione. Dopu à e nostre trasfurmazioni, hè stata a manera chì vulemu vede:
Dunque, avemu finitu a prima differenziazione. Passemu à a seconda spressione.
Differenciazione 2
Seguimu a strada battuta. Serà assai più cortu ch'è u precedente, cusì ùn andate micca troppu luntanu da u screnu.
Expandemu i vettori è l'elementu di a matrice per elementu:
Caccià i dui da i calculi per un tempu - ùn ghjoca micca un rolu maiò, poi rimettemu in u so locu. Multiplichemu i vettori per a matrice. Prima di tuttu, multiplichemu a matrice à u vettore , ùn avemu micca restrizioni quì. Avemu u vettore di taglia :
Facemu a seguente azzione - multiplicà u vettore à u vettore risultatu. À l'uscita ci aspetterà u numeru:
Allora avemu da diferenziali. À l'output avemu un vettore di dimensione :
Mi ricorda qualcosa? Hè ghjusta! Questu hè u pruduttu di a matrice à u vettore .
Cusì, a seconda differenziazione hè cumpletata cù successu.
Inveci di 'na cunchiusioni
Avà sapemu cumu hè ghjunta l'ugualità .
Infine, descriveremu un modu rapidu per trasfurmà e formule basi.
Evaluemu a qualità di u mudellu in cunfurmità cù u metudu di i minimi quadrati:
Differenziamo l'espressione risultante:
Letteratura
Fonti Internet:
1)
2)
3)
4)
Libri di testu, cullizzioni di prublemi:
1) Appunti di cunferenza di matematica superiore : corsu tutale / D.T. Scritta - 4ª ed. – M.: Iris-press, 2006
2) Analisi di regressione applicata / N. Draper, G. Smith - 2nd ed. – M.: Finance and Statistics, 1986 (traduzzione da l'inglese)
3) Prublemi per risolve equazioni matrici:
Source: www.habr.com