V\u00fdber funkci\u00ed v strojovom u\u010den\u00ed<\/a><\/noindex>. D\u00fafame, \u017ee to bude u\u017eito\u010dn\u00e9 pre v\u0161etk\u00fdch, ktor\u00ed maj\u00fa z\u00e1ujem o t\u00fato t\u00e9mu.<\/p>\nV re\u00e1lnom svete nie s\u00fa d\u00e1ta v\u017edy tak\u00e9 \u010dist\u00e9, ako si niekedy myslia obchodn\u00ed objedn\u00e1vatelia. Preto je dopyt po inteligentnej anal\u00fdze d\u00e1t (data mining a data wrangling). Pom\u00e1ha identifikova\u0165 ch\u00fdbaj\u00face hodnoty a vzory v \u0161trukt\u00farovan\u00fdch d\u00e1tach pomocou dopytov, ktor\u00e9 \u010dlovek nedok\u00e1\u017ee ur\u010di\u0165. Na to, aby sme na\u0161li a vyu\u017eili tieto vzory na predpovedanie v\u00fdsledkov pomocou zisten\u00fdch s\u00favislost\u00ed v d\u00e1tach, je potrebn\u00e9 strojov\u00e9 u\u010denie (Machine Learning).<\/p>\n
Na pochopenie ak\u00e9hoko\u013evek algoritmu je potrebn\u00e9 presk\u00fama\u0165 v\u0161etky premenn\u00e9 v d\u00e1tach a zisti\u0165, \u010do tieto premenn\u00e9 predstavuj\u00fa. To je mimoriadne d\u00f4le\u017eit\u00e9, preto\u017ee od\u00f4vodnenie v\u00fdsledkov sa zaklad\u00e1 na porozumen\u00ed d\u00e1tam. Ak d\u00e1ta obsahuj\u00fa 5 alebo aj 50 premenn\u00fdch, m\u00f4\u017eeme ich v\u0161etky presk\u00fama\u0165. A \u010do ak ich je 200? Vtedy jednoducho nebude dos\u0165 \u010dasu na presk\u00famanie ka\u017edej jednotliv\u00e9 premennej. Navy\u0161e niektor\u00e9 algoritmy nefunguj\u00fa pre kateg\u00f3riov\u00e9 d\u00e1ta, a vtedy budeme musie\u0165 previes\u0165 v\u0161etky kateg\u00f3riov\u00e9 st\u013apce na kvantitat\u00edvne premenn\u00e9 (m\u00f4\u017eu vyzera\u0165 kvantitat\u00edvne, ale metriky uk\u00e1\u017eu, \u017ee s\u00fa kateg\u00f3riov\u00e9), aby sme ich mohli prida\u0165 do modelu. Tak\u017ee po\u010det premenn\u00fdch sa zvy\u0161uje, a na konci ich b\u00fdva okolo 500. \u010co teraz robi\u0165? M\u00f4\u017ee sa zda\u0165, \u017ee odpove\u010fou bude zn\u00ed\u017eenie dimenzi\u00ed. Algoritmy na zn\u00ed\u017eenie dimenzi\u00ed zni\u017euj\u00fa po\u010det parametrov, ale negat\u00edvne ovplyv\u0148uj\u00fa interpretovate\u013enos\u0165. \u010co ak existuj\u00fa in\u00e9 techniky, ktor\u00e9 vylu\u010duj\u00fa znaky a pritom umo\u017e\u0148uj\u00fa \u013eahko pochopi\u0165 a interpretova\u0165 zost\u00e1vaj\u00face?<\/p>\n
V z\u00e1vislosti od toho, \u010di je anal\u00fdza zalo\u017een\u00e1 na regresii alebo klasifik\u00e1cii, sa algoritmy v\u00fdberu funkci\u00ed m\u00f4\u017eu l\u00ed\u0161i\u0165, ale hlavn\u00e1 my\u0161lienka ich implement\u00e1cie zost\u00e1va rovnak\u00e1.<\/p>\n
Silne korelovan\u00e9 premenn\u00e9<\/h3>\n Silne korelovan\u00e9 premenn\u00e9 si navz\u00e1jom poskytuj\u00fa rovnak\u00e9 inform\u00e1cie, a preto nie je potrebn\u00e9 ich v\u0161etky pou\u017e\u00edva\u0165 na anal\u00fdzu. Napr\u00edklad, ak s\u00fabor d\u00e1t obsahuje znaky ako \"\u010cas online\" a \"Pou\u017eit\u00e1 \u0161\u00edrka p\u00e1sma\", m\u00f4\u017eeme predpoklada\u0165, \u017ee bud\u00fa do ur\u010ditej miery korelovan\u00e9 a dokonca uvid\u00edme siln\u00fa korel\u00e1ciu, aj ke\u010f vyberieme nestrann\u00fa vzorku d\u00e1t. V takom pr\u00edpade je v modeli potrebn\u00e1 iba jedna z t\u00fdchto premenn\u00fdch. Ak pou\u017eijeme obe, model bude pretr\u00e9novan\u00fd a zaujat\u00fd vo\u010di jedn\u00e9mu konkr\u00e9tnemu znaku.<\/p>\n
P-hodnoty<\/h3>\n V tak\u00fdch algoritmoch, ako je line\u00e1rna regresia, je dobr\u00fdm n\u00e1padom za\u010da\u0165 s po\u010diato\u010dn\u00fdm \u0161tatistick\u00fdm modelom. Pom\u00e1ha to uk\u00e1za\u0165 v\u00fdznam znakov prostredn\u00edctvom ich p-hodn\u00f4t, ktor\u00e9 boli z\u00edskan\u00e9 t\u00fdmto modelom. Nastaven\u00edm \u00farovne v\u00fdznamnosti overujeme z\u00edskan\u00e9 p-hodnoty a ak je nejak\u00e1 hodnota ni\u017e\u0161ia ako stanoven\u00e1 \u00farove\u0148 v\u00fdznamnosti, tento znak je pova\u017eovan\u00fd za v\u00fdznamn\u00fd, t.j. zmena jeho hodnoty pravdepodobne povedie k zmene hodnoty cie\u013ea.<\/p>\n
Priame v\u00fdbery<\/h3>\n Priamy v\u00fdber je technika, ktor\u00e1 spo\u010d\u00edva v pou\u017eit\u00ed krokovej regresie. Vytv\u00e1ranie modelu za\u010d\u00edna od \u00fapln\u00e9ho nula, teda pr\u00e1zdneho modelu a ka\u017ed\u00e1 iter\u00e1cia prid\u00e1va premenn\u00fa, ktor\u00e1 prin\u00e1\u0161a zlep\u0161enie do vytv\u00e1ran\u00e9ho modelu. To, ktor\u00e1 premenn\u00e1 sa prid\u00e1 do modelu, sa ur\u010duje na z\u00e1klade jej v\u00fdznamnosti. T\u00e1to m\u00f4\u017ee by\u0165 vypo\u010d\u00edtan\u00e1 pomocou r\u00f4znych metr\u00edk. Najbe\u017enej\u0161\u00edm sp\u00f4sobom je pou\u017eitie p-hodn\u00f4t z\u00edskan\u00fdch v p\u00f4vodnom \u0161tatistickom modeli s pou\u017eit\u00edm v\u0161etk\u00fdch premenn\u00fdch. Niekedy m\u00f4\u017ee priamy v\u00fdber vies\u0165 k pretr\u00e9novaniu modelu, preto\u017ee v modeli sa m\u00f4\u017eu ocitn\u00fa\u0165 silne korelovan\u00e9 premenn\u00e9, aj ke\u010f poskytuj\u00fa jednu a t\u00fa ist\u00fa inform\u00e1ciu modelu (ale model pritom vykazuje zlep\u0161enie).<\/p>\n
Sp\u00e4tn\u00fd v\u00fdber<\/h3>\n Zadn\u00e1 selekcia sa tie\u017e sklad\u00e1 z postupn\u00e9ho vylu\u010dovania znakov, av\u0161ak v opa\u010dnom smere v porovnan\u00ed s priamou selekciou. V tomto pr\u00edpade po\u010diato\u010dn\u00fd model obsahuje v\u0161etky nez\u00e1visl\u00e9 premenn\u00e9. Potom sa premenn\u00e9 vylu\u010duj\u00fa (po jednej za iter\u00e1ciu), ak neprin\u00e1\u0161aj\u00fa hodnotu pre nov\u00fd regresn\u00fd model v ka\u017edej iter\u00e1cii. Vylu\u010dovanie znakov je zalo\u017een\u00e9 na p-hodnot\u00e1ch po\u010diato\u010dn\u00e9ho modelu. Tento pr\u00edstup tie\u017e obsahuje neistotu pri odstra\u0148ovan\u00ed silne korelovan\u00fdch premenn\u00fdch.<\/p>\n
Rekurz\u00edvne vylu\u010dovanie znakov<\/h3>\n RFE je \u0161iroko pou\u017e\u00edvan\u00e1 technika\/algotitmus na v\u00fdber presn\u00e9ho po\u010dtu v\u00fdznamn\u00fdch znakov. Niekedy sa met\u00f3da pou\u017e\u00edva na vysvetlenie ist\u00e9ho po\u010dtu \"najd\u00f4le\u017eitej\u0161\u00edch\" znakov, ktor\u00e9 ovplyv\u0148uj\u00fa v\u00fdsledky; inokedy na zn\u00ed\u017eenie ve\u013emi ve\u013ek\u00e9ho po\u010dtu premenn\u00fdch (pribli\u017ene 200-400), pri\u010dom sa nechaj\u00fa iba tie, ktor\u00e9 prin\u00e1\u0161aj\u00fa nejak\u00fd pr\u00edspevok do modelu, zatia\u013e \u010do v\u0161etky ostatn\u00e9 sa vyl\u00fa\u010dia. RFE pou\u017e\u00edva syst\u00e9m hodnotenia. Znaky v d\u00e1tovom s\u00fabore dost\u00e1vaj\u00fa hodnotenia. Potom sa tieto hodnotenia pou\u017e\u00edvaj\u00fa na rekurz\u00edvne vylu\u010dovanie znakov v z\u00e1vislosti od kolinear\u00edt medzi nimi a d\u00f4le\u017eitosti t\u00fdchto znakov v modeli. Okrem hodnotenia znakov m\u00f4\u017ee RFE uk\u00e1za\u0165, \u010di s\u00fa tieto znaky d\u00f4le\u017eit\u00e9 alebo nie, aj pre zadan\u00fd po\u010det znakov (preto\u017ee je ve\u013emi pravdepodobn\u00e9, \u017ee zvolen\u00e9 \u010d\u00edslo znakov m\u00f4\u017ee by\u0165 neoptim\u00e1lne, a optim\u00e1lny po\u010det znakov m\u00f4\u017ee by\u0165 v\u00e4\u010d\u0161\u00ed aj men\u0161\u00ed ako zvolen\u00e9).<\/p>\n
Diagram d\u00f4le\u017eitosti znakov<\/h3>\n Ke\u010f hovor\u00edme o interpretovate\u013enosti algoritmov strojov\u00e9ho u\u010denia, zvy\u010dajne sa diskutuje o line\u00e1rnych regresi\u00e1ch (ktor\u00e9 umo\u017e\u0148uj\u00fa analyzova\u0165 d\u00f4le\u017eitos\u0165 znakov pomocou p-hodn\u00f4t) a rozhodovac\u00edch stromoch (doslova ukazuj\u00facich d\u00f4le\u017eitos\u0165 znakov vo forme stromu, ako aj ich hierarchiu). Na druhej strane, v algoritmoch ako Random Forest, LightGBM a XG Boost sa \u010dasto pou\u017e\u00edva diagram d\u00f4le\u017eitosti znakov, teda sa vytv\u00e1ra diagram premenn\u00fdch a \u201eich d\u00f4le\u017eitosti\u201c. Je to obzvl\u00e1\u0161\u0165 u\u017eito\u010dn\u00e9, ke\u010f je potrebn\u00e9 poskytn\u00fa\u0165 \u0161trukt\u00farovan\u00e9 opr\u00e1vnenie d\u00f4le\u017eitosti znakov z poh\u013eadu ich vplyvu na podnikanie.<\/p>\n
Regulariz\u00e1cia<\/h3>\n Regulariz\u00e1cia sa vykon\u00e1va na kontrolu rovnov\u00e1hy medzi predpojatos\u0165ou (bias) a odch\u00fdlkou (variance). Predpojatos\u0165 ukazuje, ako ve\u013emi sa model preu\u010dil (overfit) na tr\u00e9ningovom s\u00fabore d\u00e1t. Odch\u00fdlka ukazuje, ako sa odli\u0161ovali predpovede medzi tr\u00e9ningov\u00fdm a testovac\u00edm s\u00faborom d\u00e1t. Ide\u00e1lne by mali by\u0165 predpojatos\u0165 aj odch\u00fdlka mal\u00e9. Tu prich\u00e1dza na pomoc regulariz\u00e1cia! Existuj\u00fa dve z\u00e1kladn\u00e9 techniky:<\/p>\n
L1 regulariz\u00e1cia \u2014 Lasso: Lasso trest\u00e1 v\u00e1hov\u00e9 koeficienty modelu, aby zmenil ich v\u00fdznam pre model a dokonca ich m\u00f4\u017ee nulova\u0165 (t.j. odstr\u00e1ni\u0165 tieto premenn\u00e9 z kone\u010dn\u00e9ho modelu). Lasso sa zvy\u010dajne pou\u017e\u00edva, ak s\u00fabor d\u00e1t obsahuje ve\u013ek\u00e9 mno\u017estvo premenn\u00fdch a je potrebn\u00e9 niektor\u00e9 z nich vyl\u00fa\u010di\u0165, aby lep\u0161ie pochopili, ako v\u00fdznamn\u00e9 znaky ovplyv\u0148uj\u00fa model (t.j. znaky, ktor\u00e9 boli vybran\u00e9 Lasso a ktor\u00fdm bola priraden\u00e1 d\u00f4le\u017eitos\u0165).<\/p>\n
L2 regulariz\u00e1cia \u2014 met\u00f3da Ridge: \u00dalohou Ridge je zachova\u0165 v\u0161etky premenn\u00e9 a z\u00e1rove\u0148 im priradi\u0165 v\u00fdznam na z\u00e1klade pr\u00edspevku k efekt\u00edvnosti modelu. Ridge bude dobrou vo\u013ebou, ak s\u00fabor d\u00e1t obsahuje mal\u00e9 mno\u017estvo premenn\u00fdch a v\u0161etky s\u00fa potrebn\u00e9 na interpret\u00e1ciu z\u00e1verov a dosiahnut\u00fdch v\u00fdsledkov.<\/p>\n
Ke\u010f\u017ee Ridge zachov\u00e1va v\u0161etky premenn\u00e9, a Lasso lep\u0161ie stanovuje ich v\u00fdznam, bol vyvinut\u00fd algoritmus sp\u00e1jaj\u00faci najlep\u0161ie vlastnosti oboch regulariz\u00e1ci\u00ed zn\u00e1my ako Elastic-Net.<\/p>\n
Existuje e\u0161te mno\u017estvo sp\u00f4sobov, ako vybera\u0165 znaky pre strojov\u00e9 u\u010denie, ale hlavn\u00e1 my\u0161lienka zost\u00e1va v\u017edy rovnak\u00e1: preuk\u00e1za\u0165 v\u00fdznam premenn\u00fdch a n\u00e1sledne niektor\u00e9 z nich vyl\u00fa\u010di\u0165 na z\u00e1klade z\u00edskan\u00e9ho v\u00fdznamu. V\u00fdznam je ve\u013emi subjekt\u00edvny term\u00edn, preto\u017ee to nie je jedna, ale cel\u00fd rad metrick\u00fdch hodn\u00f4t a diagramov, ktor\u00e9 sa daj\u00fa pou\u017ei\u0165 na n\u00e1jdenie k\u013e\u00fa\u010dov\u00fdch znakov.<\/p>\n
\u010eakujeme za \u010d\u00edtanie! \u0160\u0165astn\u00e9 u\u010denie!<\/p>\n
Zdroj: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t