Masinõppe tunnuste valik

Tere, Habr!

Meie «Rexoftis» tõlkisime artikli eesti keelde Funktsioonide valik masinõppes. Loodame, et see on kasulik kõigile, kes tunnevad huvi teema vastu.

Tegelikus maailmas ei ole andmed alati nii puhtad, nagu äriklientide seas vahel arvatakse. Just seetõttu on nõudlus andmete intelligentse analüüsi (data mining ja data wrangling) järele suur. See aitab tuvastada puuduvad väärtused ja mustrid struktureeritud andmetes, mida inimene ei suuda ise välja selgitada. Nende mustrite leidmiseks ja tulemuste ennustamiseks avastatud seoste kaudu andmetes on abiks masinõpe (Machine Learning).

Iga algoritmi mõistmiseks on vajalik tutvuda kõigi andmete muutujatega ja välja selgitada, mida need muutujad tähendavad. See on äärmiselt oluline, sest tulemuste põhjendamine tugineb andmete mõistmisele. Kui andmetel on 5 või isegi 50 muutujat, on need kõik uuritavad. Ent mis siis, kui neid on 200? Siis ei jää lihtsalt piisavalt aega iga muutuja eraldi uurimiseks. Veel enam, mõned algoritmid ei toimi kategooriliste andmete puhul, mistõttu tuleb kõik kategoorilised veerud ümber muuta kvantitatiivseteks (kuigi need võivad välja näha kvantitatiivsed, näitavad näitajad, et need on kategoorilised), et neid mudelisse lisada. Nii suureneb muutujate arv ja neid on umbes 500. Mis nüüd teha? Võib arvata, et lahendus on mõõtmete vähendamine. Mõõtmete vähendamise algoritmid vähendavad parameetrite arvu, kuid need mõjutavad negatiivselt tõlgendatavust. Mis siis, kui on olemas teisi tehnikaid, mis kõrvaldavad omadused, kuid võimaldavad siiski jäävaid omadusi lihtsalt mõista ja tõlgendada?

Olene, kas analüüs põhineb regressioonil või klassifikatsioonil, võivad omaduste valiku algoritmid erineda, kuid nende rakendamise peamine idee jääb samaks.

Tugevalt korrelatsioonilised muutujad

Tugevalt omavahel korrelatsioonilised muutujad annavad mudelitele sama teabe, seega ei ole analüüsi jaoks vajalik neid kõiki kasutada. Näiteks, kui andmestikus on omadused 'Aeg veebis' ja 'Kasutatud liiklus', võib eeldada, et need on omavahel mingil määral korrelatsioonilised, ja me näeme tugevat korrelatsiooni, isegi kui valime erapooletu andmeproovi. Sellisel juhul on mudelis vajalik ainult üks neist muutujatest. Kui kasutada mõlemat, on mudel üleõpetatud (overfit) ja kallutatud ühe konkreetse omaduse suhtes.

P-väärtused

Selliste algoritmide, nagu lineaarne regressioon, puhul on algne statistiline mudel alati hea idee. See aitab näidata tunnuste tähtsust nende p-väärtuste kaudu, mis saadakse selle mudeli abil. Määrates olulisuse taseme, kontrollime saadud p-väärtusi ja kui mõni väärtus osutub madalamaks kui määratud olulisuse tase, siis kuulutatakse see tunnus oluliseks, st selle väärtuse muutmine põhjustab tõenäoliselt sihi (target) väärtuse muutumist.

Otsene valik

Otsene valik on tehnika, mis põhineb samm-sammult regressioonil. Mudeli loomine algab täiesti nullist, st tühjast mudelist, ning seejärel lisab iga iteratsioon muutuja, mis parandab loodavat mudelit. See, milline muutuja lisatakse mudelisse, määratakse selle olulisuse järgi. Seda saab arvutada erinevate meetrikate abil. Kõige levinum viis on kasutada p-väärtusi, mis saadakse algses statistilises mudelis, kasutades kõiki muutujaid. Mõnikord võib otsene valik viia mudeli üleõppimisele, sest mudelisse võivad sattuda tugevalt korreleeritud muutujad, kuigi need edastavad mudelile sama teavet (kuid mudel näitab seejuures parendust).

Tagasi valik

Tagasiulatus hõlmab samuti sammsammulist tunnuste eemaldamist, kuid vastupidises suunas võrreldes otseulatusse. Antud juhul sisaldab algne mudel kõiki sõltumatuid muutujad. Seejärel eemaldatakse muutujad (ühe kaupa igas iteratsioonis), kui need ei too uut regressioonimudelit igas iteratsioonis kaasa. Tunnuste eemaldamise alus on algse mudeli p-väärtused. Selle meetodi puhul on samuti ebakindlus tugevasti korreleeritud muutujate eemaldamisel.

Rekursiivne tunnuste eemaldamine

RFE on laialdaselt kasutatav tehnika/algoritm täpsete oluliste tunnuste valimiseks. Mõnikord kasutatakse meetodit, et selgitada välja teatud arv «kõige olulisemaid» tunnuseid, mis mõjutavad tulemusi; ja mõnikord väga suure muutujate arvu (umbes 200-400) vähendamiseks, jättes alles vaid need, mis aitavad mudelil üldse kaasa. RFE kasutab järjestussüsteemi. Tunnustele andetakse andmehulgast järjestused. Seejärel kasutatakse neid järjestusi tunnuste rekursiivseks väljaarvamiseks, lähtuvalt nende vahelisest kollineaarsusest ja nende tähtsusest mudelis. Lisaks tunnuste järjestamisele võib RFE näidata, kas need tunnused on olulised või mitte, isegi määratud tunnuste arvu korral (sest on väga tõenäoline, et valitud tunnuste arv ei pruugi olla optimaalne ja optimaalne arv võib olla nii suurem kui ka väiksem kui valitud).

Tunnuste tähtsuse diagramm

Kui rääkida masinõppe algoritmide tõlgendatavusest, arutletakse tavaliselt lineaarsete regressioonide üle (mille abil saab analüüsida tunnuste olulisust p-väärtuste kaudu) ja otsustuspuude üle (mis näitavad tunnuste tähtsust puu kujul ning samuti nende hierarhiat). Teisest küljest, sellistes algoritmides nagu Random Forest, LightGBM ja XG Boost, kasutatakse sageli tunnuste tähtsuse diagrammi, st koostatakse muutujate ning nende «tähtsuse hulk» diagramm. See on eriti kasulik, kui on vaja esitada struktureeritud põhjendus tunnuste tähtsusele nende mõju tõttu äritegevusele.

Regulaarimine

Regulaarimine toimub, et hallata tasakaalu kallutatuse (bias) ja hajuvuse (variance) vahel. Kallutus näitab, kui palju mudel on treeningandmekogumiga üle õppinud (overfit). Hajuvus näitab, kui erinevad olid ennustused treening- ja testandmekogumite vahel. Ideaalses seisundis peaks nii kallutus kui ka hajuvus olema väikesed. Siin tuleb appi regulaarimine! On kaks peamist tehnikat:

L1 Regulariseerimine — Lasso: Lasso karistab mudeli kaalude koefitsiente, et muuta nende tähtsust mudeli jaoks ja võib isegi need nullida (st eemaldada need muutujad lõppmudelist). Lasso on tavaliselt kasutusel, kui andmestikus on suur hulk muutujad ning on vaja mõnda neist välja jätta, et paremini mõista, kuidas olulised omadused mudelit mõjutavad (st omadused, mida Lasso valis ja millel on määratud tähtsus).

L2 Regulariseerimine — Ridge meetod: Ridge'i ülesanne on säilitada kõik muutujad ja samal ajal määrata neile tähtsus mudeli efektiivsuses osalemise põhjal. Ridge on hea valik, kui andmestikus on vähe muutujaid ja kõik on vajalikud järelduste ja saadud tulemuste tõlgendamiseks.

Kuna Ridge jätab kõik muutujad alles, samas kui Lasso määrab paremini nende tähtsuse, on välja töötatud algoritm, mis ühendab mõlema regulariseerimise parimad omadused ja on tuntud kui Elastic-Net.

On olemas veel mitmeid meetodeid omaduste valimiseks masinõppes, kuid peamine idee jääb alati samaks: demonstreerida muutujaid ning seejärel mõned neist vastavalt saadud tähtsusele välja jätta. Tähtsus on väga subjektiivne mõiste, kuna see ei ole üksnes üks, vaid terve hulk meetrikaid ja diagramme, mida saab kasutada võtmeomaduste leidmiseks.

Aitäh lugemise eest! Head õppimist!

Allikas: habr.com