Izbira funkcij v strojnih u\u010denju<\/a><\/noindex>. Upamo, da bo vsem, ki jih zanima ta tema, v pomo\u010d.<\/p>\nV resni\u010dnem svetu podatki niso vedno tako \u010disti, kot si pogosto mislijo poslovni naro\u010dniki. Zato je povpra\u0161evanje po inteligentni analizi podatkov (data mining in data wrangling) vse ve\u010dje. Pomaga odkrivati manjkajo\u010de vrednosti in vzorce v strukturiranih podatkih z zahtevami, ki jih \u010dlovek ne more ugotoviti. Da bi na\u0161li in uporabili te vzorce za napovedovanje rezultatov z uporabo odkritih povezav v podatkih, bo uporabno strojno u\u010denje (Machine Learning).<\/p>\n
Za razumevanje katerega koli algoritma je potrebno pregledati vse spremenljivke v podatkih in ugotoviti, kaj te spremenljivke predstavljajo. To je izjemno pomembno, ker so rezultati upravi\u010deni na podlagi razumevanja podatkov. \u010ce podatki vsebujejo 5 ali celo 50 spremenljivk, je mogo\u010de vse preu\u010diti. Kaj pa, \u010de jih je 200? Takrat \u010dasa za preu\u010ditev vsake posamezne spremenljivke preprosto ne bo dovolj. Poleg tega nekateri algoritmi ne delujejo na kategorijskih podatkih, zato bo treba vse kategorijske stolpce pretvoriti v kvantitativne spremenljivke (morda se zdi, da so kvantitativni, a metri\u010dni podatki bodo pokazali, da so kategorijski), da jih vklju\u010dimo v model. Tako se \u0161tevilo spremenljivk pove\u010da, kar pomeni pribli\u017eno 500. Kaj storiti zdaj? Morda bo odgovor zmanj\u0161anje dimenzionalnosti. Algoritmi za zmanj\u0161anje dimenzionalnosti zmanj\u0161ajo \u0161tevilo parametrov, vendar negativno vplivajo na interpretacijo. Kaj pa, \u010de obstajajo druge tehnike, ki izklju\u010dijo spremenljivke in hkrati omogo\u010dajo enostavno razumevanje in interpretacijo preostalih?<\/p>\n
Glede na to, ali je analiza osnovana na regresiji ali klasifikaciji, se lahko algoritmi za izbiro funkcij razlikujejo, toda osnovna ideja njihove implementacije ostaja enaka.<\/p>\n
Mo\u010dno korelirane spremenljivke<\/h3>\n Mo\u010dno korelirane spremenljivke med seboj dajejo modelu enake informacije, zato ni potrebno uporabiti vseh za analizo. Na primer, \u010de podatkovni niz vsebuje zna\u010dilnosti \"\u010cas v omre\u017eju\" in \"Porabljen promet\", lahko domnevamo, da bosta nekako korelirani, in videli bomo mo\u010dno korelacijo, tudi \u010de izberemo nepristransko vzor\u010denje podatkov. V tem primeru je v modelu potrebna le ena od teh spremenljivk. \u010ce uporabimo obe, bo model preve\u010d usposobljen (overfit) in pristranski glede na eno samo zna\u010dilnost.<\/p>\n
P-vrednosti<\/h3>\n V tak\u0161nih algoritmih, kot je linearna regresija, je za\u010detni statisti\u010dni model vedno dobra ideja. Pomaga pokazati pomembnost zna\u010dilnosti s pomo\u010djo njihovih p-vrednosti, pridobljenih s tem modelom. Z dolo\u010ditvijo nivoja pomembnosti preverjamo pridobljene p-vrednosti, in \u010de se izka\u017ee, da je katera koli vrednost pod dolo\u010denim nivojem pomembnosti, se ta zna\u010dilnost razglasi za pomembno, kar pomeni, da bo sprememba njene vrednosti verjetno vodila do spremembe vrednosti cilja (target).<\/p>\n
Neposredna izbira<\/h3>\n Neposredna izbira je tehnika, ki vklju\u010duje korak po koraku regresijo. Gradnja modela se za\u010dne iz popolne ni\u010dle, torej praznega modela, nato pa vsaka iteracija doda spremenljivko, ki prispeva k izbolj\u0161anju gradnjenega modela. To, katera spremenljivka se doda v model, je dolo\u010deno njena pomembnostjo. To lahko izra\u010dunamo z uporabo razli\u010dnih metrik. Najpogostej\u0161a metoda je uporaba p-vrednosti, pridobljenih v izvorni statisti\u010dni obliki z uporabo vseh spremenljivk. V\u010dasih lahko neposredna izbira privede do preusposobitve modela, ker se v modelu lahko znajdejo mo\u010dno korelirane spremenljivke, \u010deprav nudijo enake informacije modelu (pri tem pa model ka\u017ee izbolj\u0161anje).<\/p>\n
Obratna izbira<\/h3>\n Obratni izbor pomeni korak za korakom izklju\u010ditev zna\u010dilnosti, vendar v nasprotni smeri v primerjavi s neposrednim. V tem primeru za\u010detni model vklju\u010duje vse neodvisne spremenljivke. Nato se spremenljivke izklju\u010dijo (po eno na iteracijo), \u010de ne prina\u0161ajo vrednosti za nov regresijski model v vsaki iteraciji. Osnova izklju\u010ditve zna\u010dilnosti so p-vrednosti za\u010detnega modela. Tudi v tej metodi obstaja negotovost pri odstranjevanju mo\u010dno koreliranih spremenljivk.<\/p>\n
Rekurzivno izklju\u010devanje zna\u010dilnosti<\/h3>\n RFE je \u0161iroko uporabljena tehnika\/algoritem za izbiro natan\u010dnega \u0161tevila pomembnih zna\u010dilnosti. V\u010dasih se metoda uporablja za razlago dolo\u010denega \u0161tevila 'najpomembnej\u0161ih' zna\u010dilnosti, ki vplivajo na rezultate; drugi\u010d pa za zmanj\u0161anje zelo velikega \u0161tevila spremenljivk (pribli\u017eno 200-400), pri \u010demer se obdr\u017eijo le tiste, ki prispevajo k modelu, vse ostale pa se izlo\u010dijo. RFE uporablja sistem rangiranja. Zna\u010d ilnostim v podatkovnem naboru se dodelijo rangi. Ti rangi se nato uporabljajo za rekurzivno izklju\u010devanje zna\u010dilnosti glede na kolinearnost med njimi in pomembnost teh zna\u010dilnosti v modelu. Poleg rangiranja zna\u010dilnosti lahko RFE poka\u017ee, ali so te zna\u010dilnosti pomembne ali ne celo za dano \u0161tevilo zna\u010dilnosti (saj je zelo verjetno, da je izbrano \u0161tevilo zna\u010dilnosti lahko suboptimalno, optimalno \u0161tevilo zna\u010dilnosti pa je lahko tako ve\u010dje kot manj\u0161e od izbranega).<\/p>\n
Diagram pomembnosti zna\u010dilnosti<\/h3>\n Ko govorimo o interpretabilnosti algoritmov strojnega u\u010denja, obi\u010dajno razpravljamo o linearnih regresijah (ki omogo\u010dajo analizo pomembnosti zna\u010dilnosti z uporabo p-vrednosti) in drevesih odlo\u010ditev (ki dobesedno prikazujejo pomembnost zna\u010dilnosti v obliki drevesa, pa tudi njihovo hierarhijo). Po drugi strani pa algoritmi, kot so Random Forest, LightGBM in XG Boost, pogosto uporabljajo diagram pomembnosti zna\u010dilnosti, torej se gradi diagram spremenljivk in '\u0161tevila njihove pomembnosti'. To je \u0161e posebej koristno, ko je treba zagotoviti strukturirano utemeljitev pomembnosti zna\u010dilnosti glede na njihov vpliv na poslovanje.<\/p>\n
Redukcija<\/h3>\n Redukcija je potrebna za kontrolu ravnote\u017ee izme\u0111u pristrasnosti (bias) i varijance (variance). Pristrasnost pokazuje koliko je model prekomerno prilago\u0111en (overfit) podacima za obuku. Varijanca pokazuje koliko su predvi\u0111anja bila razli\u010dita izme\u0111u trening i testnog skupa podataka. Idealno bi bilo da su i pristrasnost i varijanca mali. Tu dolazi do izra\u017eaja redukcija! Postoje dve osnovne tehnike:<\/p>\n
L1 redukcija \u2013 Lasso: Lasso ka\u017enjava te\u017eine modela kako bi promenio njihovu va\u017enost za model i mo\u017ee \u010dak i da ih nula (tj. da ukloni te varijable iz kona\u010dnog modela). Obi\u010dno se Lasso koristi kad skup podataka sadr\u017ei veliki broj varijabli i potrebno je isklju\u010diti neke od njih kako bi se bolje razumele kako va\u017eni atributi uti\u010du na model (tj. oni atributi koje je Lasso izabrao i kojima je dodeljena va\u017enost).<\/p>\n
L2 redukcija \u2013 Ridge metodom: Cilj Ridge-a je da sa\u010duva sve varijable i istovremeno im dodeli va\u017enost na osnovu doprinosa efikasnosti modela. Ridge \u0107e biti dobar izbor ako skup podataka sadr\u017ei mali broj varijabli i sve su potrebne za tuma\u010denje zaklju\u010daka i dobijenih rezultata.<\/p>\n
Po\u0161to Ridge zadr\u017eava sve varijable, dok Lasso bolje defini\u0161e njihovu va\u017enost, razvijen je algoritam koji kombinuje najbolje osobine oba pristupa i poznat je kao Elastic-Net.<\/p>\n
Postoji jo\u0161 mnogo na\u010dina za odabir osobina za ma\u0161insko u\u010denje, ali glavna ideja uvek ostaje ista: pokazati va\u017enost varijabli, a zatim isklju\u010diti neke od njih na osnovu dobijene va\u017enosti. Va\u017enost je veoma subjektivan termin, jer to nije samo jedna, ve\u0107 \u010ditav niz metrika i dijagrama koji se mogu koristiti za pronala\u017eenje klju\u010dnih osobina.<\/p>\n
Hvala na \u010ditanju! Sre\u0107no u u\u010denju!<\/p>\n
Izvor: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t