Lineaarne regressioon ja selle taastamise meetodid

Allikas: xkcd

Lineaarne regressioon on üks põhilisi algoritme paljude valdkondade jaoks, mis on seotud andmete analüüsiga. Põhjus on ilmne. See on väga lihtne ja arusaadav algoritm, mis soodustab selle laialdast kasutamist juba mitmeid kümneid, kui mitte sadu, aastaid. Idee seisneb selles, et eeldame ühe muutuja lineaarset sõltuvust hulga teiste muutujate arvelt ja seejärel proovime seda sõltuvust taastada.

Kuid selles artiklis ei räägita lineaarse regressiooni rakendamisest praktiliste probleemide lahendamiseks. Siin käsitleme huvitavaid omadusi jagatud algoritmide taastamisest, millega me kokku puutusime masinõppe mooduli kirjutamise käigus. Apache Ignite. Veidi põhimeetodeid, masinõppe aluseid ja jaotatud arvutust aitab mõista, kuidas taastada lineaarset regressiooni, isegi kui andmed on jagatud tuhandete sõlmedeni.

Millest jutt?

Meie ees on lineaarse sõltuvuse taastamise ülesanne. Sisendandmetena antakse hulk vektoreid eeldatavalt sõltumatutest muutujatest, millele vastab teatud väärtus sõltumatule muutujale. Need andmed saab esitada kahe maatriksi kujul:

Nüüd, kuna eeldatakse sõltuvust, ja lisaks sellele veel ka lineaarset, kirja me meie eeldust maatriksite korrutise kujul (kiri lihtsustamiseks ja edaspidi eeldatakse, et vaba liik on varjatud , ja viimane veerg maatriksis sisaldab ühte):

See sarnaneb tõeliselt lineaarsete võrrandite süsteemiga, eks? Tõepoolest, aga sellise võrrandite süsteemi lahendeid tõenäoliselt ei ole. Põhjus on müra, mis esineb praktiliselt kõigis reaalsetes andmetes. Samuti võib põhjus olla lineaarse sõltuvuse puudumine, millega saab proovida võidelda, lisades täiendavaid muutujaid, mis sõltuvad algsetest mittelineaarselt. Vaadake järgmisi näiteid:

Allikas: Wikipedia

See on lihtne lineaarse regressiooni näide, mis demonstreerib ühe muutuja (teljel ) sõltuvust teisest muutujast (teljel ). Ette, et vastav antud näitele lineaarsete võrrandite süsteemil oleks lahendus, peavad kõik punktid olema täpselt ühel ja samal joonel. Kuid see ei ole nii. Ja nad ei asu ühel joonel just müra tõttu (või seetõttu, et eeldus lineaarse sõltuvuse olemasolu kohta oli vale). Seega, et taastada lineaarne sõltuvus tegelike andmete põhjal, on tavaliselt vajalik lisada veel üks eeldus: sisendandmed sisaldavad müra ja see müra on normaaljaotusega. Võib teha eeldusi ka teiste müra jaotuste tüüpide kohta, kuid valdavas enamuses juhtudest käsitletakse just normaaljaotust, millest edasi räägitakse.

Maksimaalse tõenäosuse meetod

Nii oleme eeldanud juhusliku normaaljaotusega müra olemasolu. Kuidas sellises olukorras edasi toimida? Selleks on matemaatikas olemas ja laialdaselt kasutatakse maksimaalse tõenäosuse meetodit. Lühidalt, selle olemus seisneb tõenäosuse funktsiooni valimises ja selle järgnevas maksimeerimises.

Tagasi lineaarse sõltuvuse taastamise juurde normaalsete müraandmetega. Tähendab, et eeldatav lineaarne sõltuvus on matemaatiline ootus olemasolevast normaaljaotusest. Samal ajal on tõenäosus, et võtab mingit väärtust, sõltuvalt tuvastatavatest , see näeb välja järgmine:

Asendame nüüd vajalikud muutujaid: ja Peab veel leidma vektori

, mille puhul see tõenäosus on maksimaalne. Selle funktsiooni maksimeerimiseks on mugav kõigepealt see logaritmeerida (funktsiooni logaritm saavutab maksimumi samas kohas, kus ka funktsioon ise): Mis omakorda viib järgmise funktsiooni minimaalseteni:

Muide, seda nimetatakse meetodiks

väikseimate ruutude meetod . Sageli jäetakse kõik eespool toodud arutlused välja ja kasutatakse lihtsalt seda meetodit.QR lagundamine

Eelneva funktsiooni miinimumi leidmiseks tuleb leida punkt, kus selle funktsiooni gradient on null. Gradient on järgmine:

on maatriksite meetod, mida kasutatakse ülesande optimeerimise lahendamiseks, mis on seotud väikseimate ruutude meetodiga. Seetõttu kirjutame võrrandi maatrikse kujul ümber:

Eelneva funktsiooni miinimumi leidmiseks tuleb leida punkt, kus selle funktsiooni gradient on null. Gradient on järgmine: Nii et me lagundame maatriksi

maatriksideks konstruktsioonide ja ja teeme mitmeid transformatsioone (QR desimaalimise algoritmi siin ei käsitleta, vaid ainult selle rakendust antud ülesande jaoks):

Maatriks on ortogonaalne. See võimaldab meil vabaneda korrutisest :

Ja kui asendada . Tundub, et , siis saadakse . Arvestades, et on ülemine kolmnurkne maatriks, näeb see välja järgmiselt:

Seda saab lahendada asenduste meetodil. Element leidub kui , eelmine element leidub kui ja nii edasi.

Siinkohal tasub märkida, et saadud algoritmi keerukus QR desimalimise kasutamise tõttu on . Kuigi maatriksite korrutamise operaator on hästi paralleelne, ei ole efektiivse jagatud versiooni kirjutamine sellest algoritmist võimalik.

Gradientne laskumine

Rääkides mõne funktsiooni minimeerimisest, tasub alati meeles pidada (stohhastilise) gradientlanguse meetodit. See on lihtne ja tõhus minimeerimise meetod, mis põhineb funktsiooni gradienti iteratiivsel arvutamisel punktis ja selle järgmisel nihutamisel gradienti vastassuunas. Iga selline samm läheneb lahendusele miinimumile. Gradient näeb välja tutvustatult:

See meetod on samuti hästi paralleelne ja jagatud, tänu gradientoperaatori lineaarsetele omadustele. Täheldame, et ülaltoodud valemis summa all on sõltumatud liikmed. Teisisõnu, me saame arvutada gradienti iseseisvalt kõigi indeksite puhul esimesest kuni , korraga arvutada gradienti indeksite jaoks alates kuni . Siis liidetakse saadud gradientid. Liitmise tulemus on sama, mis kui oleksime kohe arvutanud gradienti indeksitele esimesest kuni . Seega, kui andmed on jaotatud mitme andmeosa vahel, saab gradienti arvutada iseseisvalt igaosa peal ja seejärel saab nende arvutuste tulemused kokku liita, et saada lõplik tulemus:

Rakendamise seisukohalt sobib see paradigmasse MapReduce. Igal gradientlanguse sammul saadetakse igale andmelementile ülesanne gradienti arvutamiseks, seejärel kogutakse arvutatud gradientid kokku ja nende summamise tulemust kasutatakse tulemuse parandamiseks.

Malgré la simplicité de mise en œuvre et la possibilité d'exécution dans la paradigme MapReduce, la descente de gradient présente également des inconvénients. En particulier, le nombre d'étapes nécessaires pour atteindre la convergence est considérablement supérieur à celui d'autres méthodes plus spécialisées.

LSQR

LSQR est une autre méthode de résolution du problème posé, adaptée à la fois à la restauration des régressions linéaires et à la résolution de systèmes d'équations linéaires. Sa principale caractéristique réside dans le fait qu'elle combine les avantages des méthodes matricielles et de l'approche itérative. Ce méthode peut être trouvée dans les bibliothèques SciPy, kui ka MATLAB. La description de cette méthode ne sera pas fournie ici (elle peut être trouvée dans l'article LSQR : Un algorithme pour des équations linéaires creuses et des moindres carrés creux). Au lieu de cela, une approche permettant d'adapter LSQR à l'exécution dans un environnement distribué sera démontrée.

Au cœur de la méthode LSQR se trouve la procédure de bidiagonalisation. C'est une procédure itérative, chaque itération consistant en les étapes suivantes :


Mais si l'on considère que la matrice est partitionnée horizontalement, chaque itération peut être représentée sous la forme de deux étapes MapReduce. Cela permet de minimiser le transfert de données durant chacune des itérations (uniquement des vecteurs de longueur égale au nombre d'inconnues) :

C'est cette approche qui est utilisée dans l'implémentation de la régression linéaire dans Apache Ignite ML.

Kokkuvõte

Il existe de nombreux algorithmes pour la restauration de la régression linéaire, mais tous ne peuvent pas être appliqués dans toutes les conditions. Ainsi, la décomposition QR est très appropriée pour une solution exacte sur de petits ensembles de données. La descente de gradient est facilement réalisable et permet de trouver rapidement une solution approximative. Alors que LSQR combine les meilleures propriétés des deux algorithmes précédents, car il peut être distribué, converge plus rapidement que la descente de gradient et permet également un arrêt précoce de l'algorithme, contrairement à la décomposition QR pour la recherche d'une solution approximative.

Allikas: habr.com