V\u00fdb\u011br funkc\u00ed v strojov\u00e9m u\u010den\u00ed<\/a><\/noindex>. Douf\u00e1me, \u017ee to bude u\u017eite\u010dn\u00e9 pro v\u0161echny, kdo se zaj\u00edmaj\u00ed o toto t\u00e9ma.<\/p>\nVe skute\u010dn\u00e9m sv\u011bt\u011b data nejsou v\u017edy tak \u010dist\u00e1, jak si mnohdy podnikatel\u00e9 mysl\u00ed. Proto je popt\u00e1vka po inteligentn\u00ed anal\u00fdze dat (data mining a data wrangling). Pom\u00e1h\u00e1 odhalovat chyb\u011bj\u00edc\u00ed hodnoty a vzory ve strukturovan\u00fdch datech prost\u0159ednictv\u00edm dotaz\u016f, kter\u00e9 \u010dlov\u011bk nedok\u00e1\u017ee identifikovat. Abychom na\u0161li a vyu\u017eili tyto vzory pro p\u0159edpov\u011b\u010f v\u00fdsledk\u016f prost\u0159ednictv\u00edm objeven\u00fdch vazeb v datech, bude u\u017eite\u010dn\u00e9 strojov\u00e9 u\u010den\u00ed (Machine Learning).<\/p>\n
Abychom porozum\u011bli jak\u00e9mukoli algoritmu, je nezbytn\u00e9 proj\u00edt v\u0161echny prom\u011bnn\u00e9 v datech a zjistit, co tyto prom\u011bnn\u00e9 p\u0159edstavuj\u00ed. To je nesm\u00edrn\u011b d\u016fle\u017eit\u00e9, proto\u017ee ospravedln\u011bn\u00ed v\u00fdsledk\u016f se zakl\u00e1d\u00e1 na pochopen\u00ed dat. Pokud data obsahuj\u00ed 5 nebo dokonce 50 prom\u011bnn\u00fdch, lze je v\u0161echny studovat. A co kdy\u017e je jich 200? Pak nebude \u010das na prozkoum\u00e1n\u00ed ka\u017ed\u00e9 jednotliv\u00e9 prom\u011bnn\u00e9. Nav\u00edc n\u011bkter\u00e9 algoritmy nefunguj\u00ed s kategorick\u00fdmi daty, tak\u017ee bude nutn\u00e9 p\u0159ev\u00e9st v\u0161echny kategorick\u00e9 sloupce na kvantitativn\u00ed prom\u011bnn\u00e9 (mohou vypadat kvantitativn\u011b, ale metriky uk\u00e1\u017eou, \u017ee jsou kategorick\u00e9), abychom je mohli za\u0159adit do modelu. T\u00edm se po\u010det prom\u011bnn\u00fdch zvy\u0161uje a m\u016f\u017ee jich b\u00fdt kolem 500. Co te\u010f d\u011blat? Mohli bychom si myslet, \u017ee odpov\u011bd\u00ed bude sn\u00ed\u017een\u00ed dimenze. Algoritmy pro sni\u017eov\u00e1n\u00ed dimenze sni\u017euj\u00ed po\u010det parametr\u016f, ale negativn\u011b ovliv\u0148uj\u00ed interpretovatelnost. Co kdy\u017e existuj\u00ed jin\u00e9 techniky, kter\u00e9 vylu\u010duj\u00ed p\u0159\u00edznaky a p\u0159itom umo\u017e\u0148uj\u00ed snadno porozum\u011bt a interpretovat zbyl\u00e9?<\/p>\n
V z\u00e1vislosti na tom, zda je anal\u00fdza zalo\u017eena na regresi nebo klasifikaci, se algoritmy pro v\u00fdb\u011br funkc\u00ed mohou li\u0161it, ale hlavn\u00ed my\u0161lenka jejich implementace z\u016fst\u00e1v\u00e1 stejn\u00e1.<\/p>\n
Siln\u011b korelovan\u00e9 prom\u011bnn\u00e9<\/h3>\n Siln\u011b korelovan\u00e9 mezi sebou navz\u00e1jem prom\u011bnn\u00e9 poskytuj\u00ed modelu stejnou informaci, a proto nen\u00ed nutn\u00e9 pou\u017e\u00edvat v\u0161echny k anal\u00fdze. Nap\u0159\u00edklad pokud datov\u00fd soubor obsahuje atributy \u201e\u010cas online\u201c a \u201ePou\u017eit\u00fd datov\u00fd objem\u201c, m\u016f\u017eeme p\u0159edpokl\u00e1dat, \u017ee budou do ur\u010dit\u00e9 m\u00edry korelov\u00e1ny, a uvid\u00edme silnou korelaci, i kdy\u017e vybereme nezaujatou vzorku dat. V tomto p\u0159\u00edpad\u011b je v modelu pot\u0159ebn\u00e1 pouze jedna z t\u011bchto prom\u011bnn\u00fdch. Pokud pou\u017eijeme ob\u011b, model bude p\u0159e\u0161kolen (overfit) a zaujat\u00fd v\u016f\u010di jednomu konkr\u00e9tn\u00edmu atributu.<\/p>\n
P-hodnoty<\/h3>\n V takov\u00fdch algoritmech, jako je line\u00e1rn\u00ed regrese, je po\u010d\u00e1te\u010dn\u00ed statistick\u00fd model v\u017edy dobr\u00fd n\u00e1pad. Pom\u00e1h\u00e1 uk\u00e1zat d\u016fle\u017eitost atribut\u016f pomoc\u00ed jejich p-hodnot, kter\u00e9 byly z\u00edsk\u00e1ny t\u00edmto modelem. Stanoven\u00edm hladiny v\u00fdznamnosti kontrolujeme z\u00edskan\u00e9 p-hodnoty, a pokud se n\u011bjak\u00e1 hodnota uk\u00e1\u017ee b\u00fdt pod zadanou hladinou v\u00fdznamnosti, pak je tento atribut prohl\u00e1\u0161en za v\u00fdznamn\u00fd, tedy zm\u011bna jeho hodnoty pravd\u011bpodobn\u011b povede ke zm\u011bn\u011b c\u00edlov\u00e9 hodnoty (target).<\/p>\n
P\u0159\u00edm\u00fd v\u00fdb\u011br<\/h3>\n P\u0159\u00edm\u00fd v\u00fdb\u011br je technika, kter\u00e1 spo\u010d\u00edv\u00e1 v aplikaci krokov\u00e9 regrese. Vytv\u00e1\u0159en\u00ed modelu za\u010d\u00edn\u00e1 \u00fapln\u011b od nuly, tedy pr\u00e1zdn\u00e9ho modelu, a pot\u00e9 ka\u017ed\u00e1 iterace p\u0159id\u00e1v\u00e1 prom\u011bnnou, kter\u00e1 zlep\u0161uje vytv\u00e1\u0159en\u00fd model. To, kter\u00e1 prom\u011bnn\u00e1 je do modelu p\u0159id\u00e1na, je ur\u010deno jej\u00ed v\u00fdznamnost\u00ed. To m\u016f\u017ee b\u00fdt vypo\u010d\u00edt\u00e1no pomoc\u00ed r\u016fzn\u00fdch metrik. Nejpou\u017e\u00edvan\u011bj\u0161\u00edm zp\u016fsobem je aplikace p-hodnot, z\u00edskan\u00fdch v po\u010d\u00e1te\u010dn\u00ed statistick\u00e9 modelu s pou\u017eit\u00edm v\u0161ech prom\u011bnn\u00fdch. N\u011bkdy m\u016f\u017ee p\u0159\u00edm\u00fd v\u00fdb\u011br v\u00e9st k p\u0159e\u0161kolen\u00ed modelu, proto\u017ee v modelu se mohou vyskytnout siln\u011b korelovan\u00e9 prom\u011bnn\u00e9, i kdy\u017e poskytuj\u00ed stejnou informaci modelu (ale model p\u0159itom vykazuje zlep\u0161en\u00ed).<\/p>\n
Zadn\u00ed v\u00fdb\u011br<\/h3>\n Zp\u011btn\u00fd v\u00fdb\u011br se tak\u00e9 skl\u00e1d\u00e1 z postupn\u00e9ho vylu\u010dov\u00e1n\u00ed vlastnost\u00ed, av\u0161ak v opa\u010dn\u00e9m sm\u011bru ne\u017e p\u0159\u00edmo\u010dar\u00fd v\u00fdb\u011br. V tomto p\u0159\u00edpad\u011b po\u010d\u00e1te\u010dn\u00ed model zahrnuje v\u0161echny nez\u00e1visl\u00e9 prom\u011bnn\u00e9. Pot\u00e9 se prom\u011bnn\u00e9 vylu\u010duj\u00ed (jedna za iteraci), pokud nep\u0159isp\u00edvaj\u00ed k nov\u00e9 regresn\u00edmu modelu v ka\u017ed\u00e9 iteraci. Z\u00e1kladem vylu\u010dov\u00e1n\u00ed vlastnost\u00ed jsou p-hodnoty po\u010d\u00e1te\u010dn\u00edho modelu. I v t\u00e9to metod\u011b existuje nejistota p\u0159i odstra\u0148ov\u00e1n\u00ed siln\u011b korelovan\u00fdch prom\u011bnn\u00fdch.<\/p>\n
Rekurzivn\u00ed vylu\u010dov\u00e1n\u00ed vlastnost\u00ed<\/h3>\n RFE je \u0161iroce pou\u017e\u00edvan\u00e1 technika\/algoritmus pro v\u00fdb\u011br p\u0159esn\u00e9ho po\u010dtu v\u00fdznamn\u00fdch vlastnost\u00ed. N\u011bkdy se metoda pou\u017e\u00edv\u00e1 k vysv\u011btlen\u00ed ur\u010dit\u00e9ho po\u010dtu \u201enejv\u00fdznamn\u011bj\u0161\u00edch\u201c vlastnost\u00ed, kter\u00e9 ovliv\u0148uj\u00ed v\u00fdsledky; a n\u011bkdy k redukci velmi velk\u00e9ho po\u010dtu prom\u011bnn\u00fdch (kolem 200-400), p\u0159i\u010dem\u017e se ponechaj\u00ed pouze ty, kter\u00e9 p\u0159isp\u00edvaj\u00ed alespo\u0148 n\u011bjak\u00fdm zp\u016fsobem k modelu, zat\u00edmco v\u0161echny ostatn\u00ed se vylu\u010duj\u00ed. RFE vyu\u017e\u00edv\u00e1 syst\u00e9m hodnocen\u00ed. Vlastnostem v datov\u00e9 sad\u011b jsou p\u0159id\u011bleny hodnocen\u00ed. Tato hodnocen\u00ed se pot\u00e9 pou\u017e\u00edvaj\u00ed pro rekurzivn\u00ed vylu\u010dov\u00e1n\u00ed vlastnost\u00ed v z\u00e1vislosti na kolinearite mezi nimi a v\u00fdznamnosti t\u011bchto vlastnost\u00ed v modelu. Krom\u011b hodnocen\u00ed vlastnost\u00ed m\u016f\u017ee RFE tak\u00e9 uk\u00e1zat, zda jsou tyto vlastnosti d\u016fle\u017eit\u00e9 nebo ne, i pro dan\u00fd po\u010det vlastnost\u00ed (proto\u017ee je velmi pravd\u011bpodobn\u00e9, \u017ee zvolen\u00fd po\u010det vlastnost\u00ed nemus\u00ed b\u00fdt optim\u00e1ln\u00ed a optim\u00e1ln\u00ed po\u010det vlastnost\u00ed m\u016f\u017ee b\u00fdt jak v\u011bt\u0161\u00ed, tak men\u0161\u00ed ne\u017e zvolen\u00fd).<\/p>\n
Diagram d\u016fle\u017eitosti vlastnost\u00ed<\/h3>\n Kdy\u017e se hovo\u0159\u00ed o interpretovatelnosti algoritm\u016f strojov\u00e9ho u\u010den\u00ed, obvykle se diskutuj\u00ed line\u00e1rn\u00ed regrese (kter\u00e9 umo\u017e\u0148uj\u00ed analyzovat v\u00fdznamnost vlastnost\u00ed pomoc\u00ed p-hodnot) a rozhodovac\u00ed stromy (doslovn\u011b ukazuj\u00edc\u00ed d\u016fle\u017eitost vlastnost\u00ed ve form\u011b stromu, spolu s jejich hierarchi\u00ed). Na druh\u00e9 stran\u011b u algoritm\u016f jako Random Forest, LightGBM a XG Boost se \u010dasto pou\u017e\u00edv\u00e1 diagram d\u016fle\u017eitosti vlastnost\u00ed, to znamen\u00e1, \u017ee se vytv\u00e1\u0159\u00ed diagram prom\u011bnn\u00fdch a \u201emno\u017estv\u00ed jejich d\u016fle\u017eitosti\u201c. To je obzvl\u00e1\u0161\u0165 u\u017eite\u010dn\u00e9, kdy\u017e je t\u0159eba poskytnout strukturovan\u00e9 od\u016fvodn\u011bn\u00ed d\u016fle\u017eitosti vlastnost\u00ed z pohledu jejich vlivu na podnik\u00e1n\u00ed.<\/p>\n
Regularizace<\/h3>\n Regularizace se prov\u00e1d\u00ed za \u00fa\u010delem \u0159\u00edzen\u00ed rovnov\u00e1hy mezi zaujatost\u00ed (bias) a rozptylem (variance). Zaujatost ukazuje, jak moc se model p\u0159eoptimalizoval (overfit) na tr\u00e9ninkov\u00e9m datasetu. Rozptyl ukazuje, jak se li\u0161ila predikce mezi tr\u00e9ninkov\u00fdm a testovac\u00edm datasetem. Ide\u00e1ln\u011b by m\u011bla b\u00fdt jak zaujatost, tak rozptyl mal\u00e9. A zde nastupuje na sc\u00e9nu regularizace! Existuj\u00ed dv\u011b hlavn\u00ed techniky:<\/p>\n
L1 regularizace \u2013 Lasso: Lasso penalizuje v\u00e1hov\u00e9 koeficienty modelu za \u00fa\u010delem zm\u011bny jejich d\u016fle\u017eitosti pro model a m\u016f\u017ee je dokonce zcela anulovat (tj. odstranit tyto prom\u011bnn\u00e9 z kone\u010dn\u00e9ho modelu). Obvykle se Lasso pou\u017e\u00edv\u00e1, pokud dataset obsahuje velk\u00e9 mno\u017estv\u00ed prom\u011bnn\u00fdch a je t\u0159eba n\u011bkter\u00e9 z nich vylou\u010dit, aby l\u00e9pe pochopili, jak d\u016fle\u017eit\u00e9 vlastnosti ovliv\u0148uj\u00ed model (tj. ty vlastnosti, kter\u00e9 byly vybr\u00e1ny Lasso a maj\u00ed stanovenou d\u016fle\u017eitost).<\/p>\n
L2 regularizace \u2013 metodou Ridge: C\u00edlem Ridge je zachov\u00e1n\u00ed v\u0161ech prom\u011bnn\u00fdch a z\u00e1rove\u0148 jim p\u0159i\u0159azen\u00ed d\u016fle\u017eitosti na z\u00e1klad\u011b jejich p\u0159\u00edsp\u011bvku k \u00fa\u010dinnosti modelu. Ridge bude dobrou volbou, pokud dataset obsahuje mal\u00e9 mno\u017estv\u00ed prom\u011bnn\u00fdch a v\u0161echny jsou nezbytn\u00e9 pro interpretaci z\u00e1v\u011br\u016f a z\u00edskan\u00fdch v\u00fdsledk\u016f.<\/p>\n
Proto\u017ee Ridge zachov\u00e1v\u00e1 v\u0161echny prom\u011bnn\u00e9 a Lasso l\u00e9pe stanovuje jejich d\u016fle\u017eitost, byl vyvinut algoritmus, kter\u00fd spojuje nejlep\u0161\u00ed funkce obou regularizac\u00ed a je zn\u00e1m\u00fd jako Elastic-Net.<\/p>\n
Existuje mnoho dal\u0161\u00edch metod v\u00fdb\u011bru vlastnost\u00ed pro strojov\u00e9 u\u010den\u00ed, ale hlavn\u00ed my\u0161lenka z\u016fst\u00e1v\u00e1 v\u017edy stejn\u00e1: demonstrovat d\u016fle\u017eitost prom\u011bnn\u00fdch a pot\u00e9 n\u011bkter\u00e9 z nich vylou\u010dit na z\u00e1klad\u011b z\u00edskan\u00e9 d\u016fle\u017eitosti. D\u016fle\u017eitost je velmi subjektivn\u00ed pojem, proto\u017ee to nen\u00ed jeden, ale cel\u00e1 \u0159ada metrik a diagram\u016f, kter\u00e9 mohou b\u00fdt pou\u017eity k nalezen\u00ed kl\u00ed\u010dov\u00fdch vlastnost\u00ed.<\/p>\n
D\u011bkujeme za p\u0159e\u010dten\u00ed! \u0160\u0165astn\u00e9 u\u010den\u00ed!<\/p>\n
Zdroj: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t