Märgisüsteemide valik masinõppes

Tere, Habr!

Meie "Rexoftis" tõlkisime artikli eesti keelde Feature Selection Masinõppes. Loodame, et see on kasulik kõigile, kes huvituvad teemast.

Tõelises maailmas ei ole andmed alati nii puhtad, nagu mõnikord usuvad äri tellijad. Just sellepärast on nõudlus andmete intellektuaalse analüüsi (data mining ja data wrangling) järele suurenenud. See aitab tuvastada puuduvad väärtused ja mustrid struktureeritud andmete põhjal, mida inimene ei suuda kindlaks teha. Nende mustrite leidmiseks ja kasutamiseks tulemuste ennustamisel avastatud seoste kaudu andmetes on vajalik masinõpe (Machine Learning).

Iga algoritmi mõistmiseks on oluline vaadata läbi kõik muutujad andmetes ja välja selgitada, mida need muutujad tähendavad. See on äärmiselt oluline, sest tulemuste õigustamine põhineb andmete mõistmisel. Kui andmed sisaldavad 5 või isegi 50 muutujat, saab neid kõiki uurida. Aga mis siis, kui neid on 200? Siis pole lihtsalt aega iga eraldi muutuja läbi vaadata. Veelgi enam, mõned algoritmid ei tööta kategooriliste andmete puhul, seega tuleb kõik kategoorilised veerud muunda kvantitatiivseteks muutujateks (need võivad tunduda kvantitatiivsed, kuid mõõdikud näitavad, et need on kategoorilised), et lisada need mudelisse. Nii suureneb muutujate arv ja need jõuavad 500ni. Mis nüüd teha? Võib arvata, et vastuseks on dimensioonide vähendamine. Dimensioonide vähendamise algoritmid vähendavad parameetrite arvu, kuid mõjutavad negatiivselt tõlgitavust. Mis siis, kui on muid tehnikaid, mis välistavad tunnused ja samal ajal võimaldavad jääkide kerget mõistmist ja tõlgendamist?

Olenevalt sellest, kas analüüs põhineb regressioonil või klassifitseerimisel, võivad tunnuste valimise algoritmid erineda, kuid nende rakendamise põhiidee jääb samaks.

Oma vahel suurelt korreleeritud muutujad

Tugeväst korreleeruvad omavahelised muutujaid annavad mudelile samu andmeid, seetõttu ei ole nende kõigi kasutamine analüüsis vajalik. Näiteks kui andmekogum sisaldab tunnuseid "Aeg veebis" ja "Kasutatud liiklus", võib oletada, et need on mingil määral korreleeritud ning me näeme tugevat korrelatsiooni, isegi kui valime objektiivse andmeproovi. Sellisel juhul on mudelis vajalik vaid üks neist muutujatest. Kui kasutada mõlemat, siis mudel osutub üleõppinud ja kaldu ühe konkreetse tunnuse suhtes.

P-väärtused

Sellistes algoritmides nagu lineaarsed regressioonid on algne statistiline mudel alati hea idee. See aitab näidata tunnuste olulisust nende p-väärtuste kaudu, mis on saadud selle mudeli abil. Määrates olulisuse taseme, kontrollime saadud p-väärtusi, ja kui mõni väärtus osutub madalamaks määratud olulisuse tasemest, siis kuulutatakse see tunnus oluliseks, see tähendab, et muutus selle väärtuses toob tõenäoliselt kaasa muutuse sihtmärgi väärtuses.

Otsene valik

Otsene valik on tehnika, mis hõlmab samm-sammult regressiooni kasutamist. Mudeli loomine algab täiesti nullist, see tähendab tühjast mudelist, ja seejärel lisatakse igal iteratsioonil muutuja, mis parandab moodustatavat mudelit. See, milline muutuja lisatakse mudelisse, määrab selle olulisus. See võib olla arvutatud erinevate mõõdikute kasutamise kaudu. Kõige levinum viis on kasutada p-väärtusi, mis saadakse algses statistilises mudelis, kasutades kõiki muutujaid. Mõnikord võib otsene valik viia mudeli üleõppimise juurde, sest mudelis võivad olla tugevalt korreleeruvad muutujad, isegi kui need annavad mudelile samu andmeid (kuid mudel näitab selle juures paranemist).

Tagasivalik

Tagasiulatus koosneb samme-võtte meetodist tunnuste välistamiseks, kuid vastupidises suunas võrreldes otse suunaga. Antud juhul peab algne mudel sisestama kõik sõltumatud muutujad. Seejärel välistatakse muutujad (üks korraga iga iteratsiooni jooksul), kui nad ei toeta uut regressioonimudelit igas iteratsioonis. Tunnuste välistamise aluseks on algse mudeli p-väärtuste näitajad. Selle meetodi puhul esineb ka ebamugavustunde tugevate korreleeritud muutujate eemaldamisel.

Rekursiivne tunnuste välistamine

RFE on laialdaselt kasutatav tehnika/algoritm täpsete oluliste tunnuste valimiseks. Mõnikord kasutatakse meetodit, et selgitada mõningaid "kõige olulisemaid" tunnuseid, mis mõjutavad tulemusi; teinekord aga liiga suure muutuja arvu vähendamiseks (umbes 200–400), ja alles jäävad ainult need, mis omavad mingit mõju mudelile, samas kui kõik ülejäänud välistatakse. RFE kasutab järjestussüsteemi. Tunnustele antakse andmebaasis järjestused. Seejärel kasutatakse neid järjestusi rekursiivseks tunnuste välistamiseks sõltuvalt nende vahelisest kollineaarsusest ja nende tunnuste olulisusest mudelis. Lisaks tunnuste järjestamisele suudab RFE näidata, kas need tunnused on olulised või mitte isegi antud arvu tunnuste puhul (sest on tõenäoline, et valitud tunnuste arv ei pruugi olla optimaalne ning optimaalne tunnuste arv võib olla nii suurem kui ka väiksem valitud arvust).

Tunnuste olulisuse diagramm

Rääkides masinõppe algoritmide tõlgendatavusest, arutatakse tavaliselt lineaarsete regressioonide üle (mis võimaldavad analüüsida tunnuste olulisust p-väärtuste kaudu) ja otsustuspuude (mis näitavad tunnuste olulisust puu kujul ning samas ka nende hierarhiat). Teiselt poolt, sellistes algoritmides nagu Random Forest, LightGBM ja XG Boost, kasutatakse sageli tunnuste olulisuse diagrammi, st koostatakse diagramm muutujate ja "nende olulisuse arvuga". See on eriti kasulik, kui peab esitama struktureeritud põhjenduse tunnuste olulisuse kohta nende mõju suhtes ärile.

Regulaarimine

Regulariseerimine aitab säilitada tasakaalu kallutatus (bias) ja kõrvalekalle (variance) vahel. Kallutatus näitab, kui palju mudel on ületreenitud (overfit) treeningandmete komplektis. Kõrvalekalle näitab, kui erinevad olid ennustused treening- ja testandmete vahel. Idee järgi peaks nii kallutatus kui ka kõrvalekalle olema madalad. Siin tuleb appi regulaarimine! On olemas kaks peamist tehnikat:

L1 regulaarimine — Lasso: Lasso karistab mudeli kaalukoefitsiente, et muuta nende tähtsust mudelis ja võib neid isegi nullida (ehk eemaldada need muutujad lõplikust mudelist). Tavaliselt kasutatakse Lasso't, kui andmekogus sisaldab suurt hulka muutujaid ja on vajalik mõned neist välja jätta, et paremini mõista, kuidas olulised tunnused mõjutavad mudelit (ehk need tunnused, mis Lasso valis ja millel on seatud tähtsus).

L2 regulaarimine — Ridge'i meetodil: Ridge'i ülesanne on säilitada kõik muutujad ja samal ajal määrata neile tähtsus mudeli efektiivsusele andmise põhjal. Ridge on hea valik, kui andmekogus on vähe muutujaid ja kõik need on vajalikud järelduste ja saadud tulemuste tõlgendamiseks.

Kuna Ridge säilitab kõik muutujad ja Lasso määrab paremini nende tähtsuse, on välja töötatud algoritm, mis ühendab mõlema regulaarimise parimad omadused ja on tuntud kui Elastic-Net.

On veel palju meetodeid tunnuste valimiseks masinõppes, kuid põhikontseptsioon jääb alati samaks: demonstreerida muutujate tähtsust ja seejärel välja jätta mõned neist saadud tähtsuse alusel. Tähtsus on väga subjektiivne mõiste, kuna see ei ole üks, vaid terve hulk mõõdikuid ja diagramme, mida saab kasutada oluliste tunnuste leidmiseks.

Aitäh lugemise eest! Rõõmsat õppimist!

Allikas: habr.com