Feature Selection Masin\u00f5ppes<\/a><\/noindex>. Loodame, et see on kasulik k\u00f5igile, kes huvituvad teemast.<\/p>\nT\u00f5elises maailmas ei ole andmed alati nii puhtad, nagu m\u00f5nikord usuvad \u00e4ri tellijad. Just sellep\u00e4rast on n\u00f5udlus andmete intellektuaalse anal\u00fc\u00fcsi (data mining ja data wrangling) j\u00e4rele suurenenud. See aitab tuvastada puuduvad v\u00e4\u00e4rtused ja mustrid struktureeritud andmete p\u00f5hjal, mida inimene ei suuda kindlaks teha. Nende mustrite leidmiseks ja kasutamiseks tulemuste ennustamisel avastatud seoste kaudu andmetes on vajalik masin\u00f5pe (Machine Learning).<\/p>\n
Iga algoritmi m\u00f5istmiseks on oluline vaadata l\u00e4bi k\u00f5ik muutujad andmetes ja v\u00e4lja selgitada, mida need muutujad t\u00e4hendavad. See on \u00e4\u00e4rmiselt oluline, sest tulemuste \u00f5igustamine p\u00f5hineb andmete m\u00f5istmisel. Kui andmed sisaldavad 5 v\u00f5i isegi 50 muutujat, saab neid k\u00f5iki uurida. Aga mis siis, kui neid on 200? Siis pole lihtsalt aega iga eraldi muutuja l\u00e4bi vaadata. Veelgi enam, m\u00f5ned algoritmid ei t\u00f6\u00f6ta kategooriliste andmete puhul, seega tuleb k\u00f5ik kategoorilised veerud muunda kvantitatiivseteks muutujateks (need v\u00f5ivad tunduda kvantitatiivsed, kuid m\u00f5\u00f5dikud n\u00e4itavad, et need on kategoorilised), et lisada need mudelisse. Nii suureneb muutujate arv ja need j\u00f5uavad 500ni. Mis n\u00fc\u00fcd teha? V\u00f5ib arvata, et vastuseks on dimensioonide v\u00e4hendamine. Dimensioonide v\u00e4hendamise algoritmid v\u00e4hendavad parameetrite arvu, kuid m\u00f5jutavad negatiivselt t\u00f5lgitavust. Mis siis, kui on muid tehnikaid, mis v\u00e4listavad tunnused ja samal ajal v\u00f5imaldavad j\u00e4\u00e4kide kerget m\u00f5istmist ja t\u00f5lgendamist?<\/p>\n
Olenevalt sellest, kas anal\u00fc\u00fcs p\u00f5hineb regressioonil v\u00f5i klassifitseerimisel, v\u00f5ivad tunnuste valimise algoritmid erineda, kuid nende rakendamise p\u00f5hiidee j\u00e4\u00e4b samaks.<\/p>\n
Oma vahel suurelt korreleeritud muutujad<\/h3>\n Tugev\u00e4st korreleeruvad omavahelised muutujaid annavad mudelile samu andmeid, seet\u00f5ttu ei ole nende k\u00f5igi kasutamine anal\u00fc\u00fcsis vajalik. N\u00e4iteks kui andmekogum sisaldab tunnuseid \"Aeg veebis\" ja \"Kasutatud liiklus\", v\u00f5ib oletada, et need on mingil m\u00e4\u00e4ral korreleeritud ning me n\u00e4eme tugevat korrelatsiooni, isegi kui valime objektiivse andmeproovi. Sellisel juhul on mudelis vajalik vaid \u00fcks neist muutujatest. Kui kasutada m\u00f5lemat, siis mudel osutub \u00fcle\u00f5ppinud ja kaldu \u00fche konkreetse tunnuse suhtes.<\/p>\n
P-v\u00e4\u00e4rtused<\/h3>\n Sellistes algoritmides nagu lineaarsed regressioonid on algne statistiline mudel alati hea idee. See aitab n\u00e4idata tunnuste olulisust nende p-v\u00e4\u00e4rtuste kaudu, mis on saadud selle mudeli abil. M\u00e4\u00e4rates olulisuse taseme, kontrollime saadud p-v\u00e4\u00e4rtusi, ja kui m\u00f5ni v\u00e4\u00e4rtus osutub madalamaks m\u00e4\u00e4ratud olulisuse tasemest, siis kuulutatakse see tunnus oluliseks, see t\u00e4hendab, et muutus selle v\u00e4\u00e4rtuses toob t\u00f5en\u00e4oliselt kaasa muutuse sihtm\u00e4rgi v\u00e4\u00e4rtuses.<\/p>\n
Otsene valik<\/h3>\n Otsene valik on tehnika, mis h\u00f5lmab samm-sammult regressiooni kasutamist. Mudeli loomine algab t\u00e4iesti nullist, see t\u00e4hendab t\u00fchjast mudelist, ja seej\u00e4rel lisatakse igal iteratsioonil muutuja, mis parandab moodustatavat mudelit. See, milline muutuja lisatakse mudelisse, m\u00e4\u00e4rab selle olulisus. See v\u00f5ib olla arvutatud erinevate m\u00f5\u00f5dikute kasutamise kaudu. K\u00f5ige levinum viis on kasutada p-v\u00e4\u00e4rtusi, mis saadakse algses statistilises mudelis, kasutades k\u00f5iki muutujaid. M\u00f5nikord v\u00f5ib otsene valik viia mudeli \u00fcle\u00f5ppimise juurde, sest mudelis v\u00f5ivad olla tugevalt korreleeruvad muutujad, isegi kui need annavad mudelile samu andmeid (kuid mudel n\u00e4itab selle juures paranemist).<\/p>\n
Tagasivalik<\/h3>\n Tagasiulatus koosneb samme-v\u00f5tte meetodist tunnuste v\u00e4listamiseks, kuid vastupidises suunas v\u00f5rreldes otse suunaga. Antud juhul peab algne mudel sisestama k\u00f5ik s\u00f5ltumatud muutujad. Seej\u00e4rel v\u00e4listatakse muutujad (\u00fcks korraga iga iteratsiooni jooksul), kui nad ei toeta uut regressioonimudelit igas iteratsioonis. Tunnuste v\u00e4listamise aluseks on algse mudeli p-v\u00e4\u00e4rtuste n\u00e4itajad. Selle meetodi puhul esineb ka ebamugavustunde tugevate korreleeritud muutujate eemaldamisel.<\/p>\n
Rekursiivne tunnuste v\u00e4listamine<\/h3>\n RFE on laialdaselt kasutatav tehnika\/algoritm t\u00e4psete oluliste tunnuste valimiseks. M\u00f5nikord kasutatakse meetodit, et selgitada m\u00f5ningaid \"k\u00f5ige olulisemaid\" tunnuseid, mis m\u00f5jutavad tulemusi; teinekord aga liiga suure muutuja arvu v\u00e4hendamiseks (umbes 200\u2013400), ja alles j\u00e4\u00e4vad ainult need, mis omavad mingit m\u00f5ju mudelile, samas kui k\u00f5ik \u00fclej\u00e4\u00e4nud v\u00e4listatakse. RFE kasutab j\u00e4rjestuss\u00fcsteemi. Tunnustele antakse andmebaasis j\u00e4rjestused. Seej\u00e4rel kasutatakse neid j\u00e4rjestusi rekursiivseks tunnuste v\u00e4listamiseks s\u00f5ltuvalt nende vahelisest kollineaarsusest ja nende tunnuste olulisusest mudelis. Lisaks tunnuste j\u00e4rjestamisele suudab RFE n\u00e4idata, kas need tunnused on olulised v\u00f5i mitte isegi antud arvu tunnuste puhul (sest on t\u00f5en\u00e4oline, et valitud tunnuste arv ei pruugi olla optimaalne ning optimaalne tunnuste arv v\u00f5ib olla nii suurem kui ka v\u00e4iksem valitud arvust).<\/p>\n
Tunnuste olulisuse diagramm<\/h3>\n R\u00e4\u00e4kides masin\u00f5ppe algoritmide t\u00f5lgendatavusest, arutatakse tavaliselt lineaarsete regressioonide \u00fcle (mis v\u00f5imaldavad anal\u00fc\u00fcsida tunnuste olulisust p-v\u00e4\u00e4rtuste kaudu) ja otsustuspuude (mis n\u00e4itavad tunnuste olulisust puu kujul ning samas ka nende hierarhiat). Teiselt poolt, sellistes algoritmides nagu Random Forest, LightGBM ja XG Boost, kasutatakse sageli tunnuste olulisuse diagrammi, st koostatakse diagramm muutujate ja \"nende olulisuse arvuga\". See on eriti kasulik, kui peab esitama struktureeritud p\u00f5hjenduse tunnuste olulisuse kohta nende m\u00f5ju suhtes \u00e4rile.<\/p>\n
Regulaarimine<\/h3>\n Regulariseerimine aitab s\u00e4ilitada tasakaalu kallutatus (bias) ja k\u00f5rvalekalle (variance) vahel. Kallutatus n\u00e4itab, kui palju mudel on \u00fcletreenitud (overfit) treeningandmete komplektis. K\u00f5rvalekalle n\u00e4itab, kui erinevad olid ennustused treening- ja testandmete vahel. Idee j\u00e4rgi peaks nii kallutatus kui ka k\u00f5rvalekalle olema madalad. Siin tuleb appi regulaarimine! On olemas kaks peamist tehnikat:<\/p>\n
L1 regulaarimine \u2014 Lasso: Lasso karistab mudeli kaalukoefitsiente, et muuta nende t\u00e4htsust mudelis ja v\u00f5ib neid isegi nullida (ehk eemaldada need muutujad l\u00f5plikust mudelist). Tavaliselt kasutatakse Lasso't, kui andmekogus sisaldab suurt hulka muutujaid ja on vajalik m\u00f5ned neist v\u00e4lja j\u00e4tta, et paremini m\u00f5ista, kuidas olulised tunnused m\u00f5jutavad mudelit (ehk need tunnused, mis Lasso valis ja millel on seatud t\u00e4htsus).<\/p>\n
L2 regulaarimine \u2014 Ridge'i meetodil: Ridge'i \u00fclesanne on s\u00e4ilitada k\u00f5ik muutujad ja samal ajal m\u00e4\u00e4rata neile t\u00e4htsus mudeli efektiivsusele andmise p\u00f5hjal. Ridge on hea valik, kui andmekogus on v\u00e4he muutujaid ja k\u00f5ik need on vajalikud j\u00e4relduste ja saadud tulemuste t\u00f5lgendamiseks.<\/p>\n
Kuna Ridge s\u00e4ilitab k\u00f5ik muutujad ja Lasso m\u00e4\u00e4rab paremini nende t\u00e4htsuse, on v\u00e4lja t\u00f6\u00f6tatud algoritm, mis \u00fchendab m\u00f5lema regulaarimise parimad omadused ja on tuntud kui Elastic-Net.<\/p>\n
On veel palju meetodeid tunnuste valimiseks masin\u00f5ppes, kuid p\u00f5hikontseptsioon j\u00e4\u00e4b alati samaks: demonstreerida muutujate t\u00e4htsust ja seej\u00e4rel v\u00e4lja j\u00e4tta m\u00f5ned neist saadud t\u00e4htsuse alusel. T\u00e4htsus on v\u00e4ga subjektiivne m\u00f5iste, kuna see ei ole \u00fcks, vaid terve hulk m\u00f5\u00f5dikuid ja diagramme, mida saab kasutada oluliste tunnuste leidmiseks.<\/p>\n
Ait\u00e4h lugemise eest! R\u00f5\u00f5msat \u00f5ppimist!<\/p>\n
Allikas: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t