Funktsioonide valik masin\u00f5ppes<\/a><\/noindex>. Loodame, et see on kasulik k\u00f5igile, kes tunnevad huvi teema vastu.<\/p>\nTegelikus maailmas ei ole andmed alati nii puhtad, nagu \u00e4riklientide seas vahel arvatakse. Just seet\u00f5ttu on n\u00f5udlus andmete intelligentse anal\u00fc\u00fcsi (data mining ja data wrangling) j\u00e4rele suur. See aitab tuvastada puuduvad v\u00e4\u00e4rtused ja mustrid struktureeritud andmetes, mida inimene ei suuda ise v\u00e4lja selgitada. Nende mustrite leidmiseks ja tulemuste ennustamiseks avastatud seoste kaudu andmetes on abiks masin\u00f5pe (Machine Learning).<\/p>\n
Iga algoritmi m\u00f5istmiseks on vajalik tutvuda k\u00f5igi andmete muutujatega ja v\u00e4lja selgitada, mida need muutujad t\u00e4hendavad. See on \u00e4\u00e4rmiselt oluline, sest tulemuste p\u00f5hjendamine tugineb andmete m\u00f5istmisele. Kui andmetel on 5 v\u00f5i isegi 50 muutujat, on need k\u00f5ik uuritavad. Ent mis siis, kui neid on 200? Siis ei j\u00e4\u00e4 lihtsalt piisavalt aega iga muutuja eraldi uurimiseks. Veel enam, m\u00f5ned algoritmid ei toimi kategooriliste andmete puhul, mist\u00f5ttu tuleb k\u00f5ik kategoorilised veerud \u00fcmber muuta kvantitatiivseteks (kuigi need v\u00f5ivad v\u00e4lja n\u00e4ha kvantitatiivsed, n\u00e4itavad n\u00e4itajad, et need on kategoorilised), et neid mudelisse lisada. Nii suureneb muutujate arv ja neid on umbes 500. Mis n\u00fc\u00fcd teha? V\u00f5ib arvata, et lahendus on m\u00f5\u00f5tmete v\u00e4hendamine. M\u00f5\u00f5tmete v\u00e4hendamise algoritmid v\u00e4hendavad parameetrite arvu, kuid need m\u00f5jutavad negatiivselt t\u00f5lgendatavust. Mis siis, kui on olemas teisi tehnikaid, mis k\u00f5rvaldavad omadused, kuid v\u00f5imaldavad siiski j\u00e4\u00e4vaid omadusi lihtsalt m\u00f5ista ja t\u00f5lgendada?<\/p>\n
Olene, kas anal\u00fc\u00fcs p\u00f5hineb regressioonil v\u00f5i klassifikatsioonil, v\u00f5ivad omaduste valiku algoritmid erineda, kuid nende rakendamise peamine idee j\u00e4\u00e4b samaks.<\/p>\n
Tugevalt korrelatsioonilised muutujad<\/h3>\n
Tugevalt omavahel korrelatsioonilised muutujad annavad mudelitele sama teabe, seega ei ole anal\u00fc\u00fcsi jaoks vajalik neid k\u00f5iki kasutada. N\u00e4iteks, kui andmestikus on omadused 'Aeg veebis' ja 'Kasutatud liiklus', v\u00f5ib eeldada, et need on omavahel mingil m\u00e4\u00e4ral korrelatsioonilised, ja me n\u00e4eme tugevat korrelatsiooni, isegi kui valime erapooletu andmeproovi. Sellisel juhul on mudelis vajalik ainult \u00fcks neist muutujatest. Kui kasutada m\u00f5lemat, on mudel \u00fcle\u00f5petatud (overfit) ja kallutatud \u00fche konkreetse omaduse suhtes.<\/p>\n
P-v\u00e4\u00e4rtused<\/h3>\n
Selliste algoritmide, nagu lineaarne regressioon, puhul on algne statistiline mudel alati hea idee. See aitab n\u00e4idata tunnuste t\u00e4htsust nende p-v\u00e4\u00e4rtuste kaudu, mis saadakse selle mudeli abil. M\u00e4\u00e4rates olulisuse taseme, kontrollime saadud p-v\u00e4\u00e4rtusi ja kui m\u00f5ni v\u00e4\u00e4rtus osutub madalamaks kui m\u00e4\u00e4ratud olulisuse tase, siis kuulutatakse see tunnus oluliseks, st selle v\u00e4\u00e4rtuse muutmine p\u00f5hjustab t\u00f5en\u00e4oliselt sihi (target) v\u00e4\u00e4rtuse muutumist.<\/p>\n
Otsene valik<\/h3>\n
Otsene valik on tehnika, mis p\u00f5hineb samm-sammult regressioonil. Mudeli loomine algab t\u00e4iesti nullist, st t\u00fchjast mudelist, ning seej\u00e4rel lisab iga iteratsioon muutuja, mis parandab loodavat mudelit. See, milline muutuja lisatakse mudelisse, m\u00e4\u00e4ratakse selle olulisuse j\u00e4rgi. Seda saab arvutada erinevate meetrikate abil. K\u00f5ige levinum viis on kasutada p-v\u00e4\u00e4rtusi, mis saadakse algses statistilises mudelis, kasutades k\u00f5iki muutujaid. M\u00f5nikord v\u00f5ib otsene valik viia mudeli \u00fcle\u00f5ppimisele, sest mudelisse v\u00f5ivad sattuda tugevalt korreleeritud muutujad, kuigi need edastavad mudelile sama teavet (kuid mudel n\u00e4itab seejuures parendust).<\/p>\n
Tagasi valik<\/h3>\n
Tagasiulatus h\u00f5lmab samuti sammsammulist tunnuste eemaldamist, kuid vastupidises suunas v\u00f5rreldes otseulatusse. Antud juhul sisaldab algne mudel k\u00f5iki s\u00f5ltumatuid muutujad. Seej\u00e4rel eemaldatakse muutujad (\u00fche kaupa igas iteratsioonis), kui need ei too uut regressioonimudelit igas iteratsioonis kaasa. Tunnuste eemaldamise alus on algse mudeli p-v\u00e4\u00e4rtused. Selle meetodi puhul on samuti ebakindlus tugevasti korreleeritud muutujate eemaldamisel.<\/p>\n
Rekursiivne tunnuste eemaldamine<\/h3>\n
RFE on laialdaselt kasutatav tehnika\/algoritm t\u00e4psete oluliste tunnuste valimiseks. M\u00f5nikord kasutatakse meetodit, et selgitada v\u00e4lja teatud arv \u00abk\u00f5ige olulisemaid\u00bb tunnuseid, mis m\u00f5jutavad tulemusi; ja m\u00f5nikord v\u00e4ga suure muutujate arvu (umbes 200-400) v\u00e4hendamiseks, j\u00e4ttes alles vaid need, mis aitavad mudelil \u00fcldse kaasa. RFE kasutab j\u00e4rjestuss\u00fcsteemi. Tunnustele andetakse andmehulgast j\u00e4rjestused. Seej\u00e4rel kasutatakse neid j\u00e4rjestusi tunnuste rekursiivseks v\u00e4ljaarvamiseks, l\u00e4htuvalt nende vahelisest kollineaarsusest ja nende t\u00e4htsusest mudelis. Lisaks tunnuste j\u00e4rjestamisele v\u00f5ib RFE n\u00e4idata, kas need tunnused on olulised v\u00f5i mitte, isegi m\u00e4\u00e4ratud tunnuste arvu korral (sest on v\u00e4ga t\u00f5en\u00e4oline, et valitud tunnuste arv ei pruugi olla optimaalne ja optimaalne arv v\u00f5ib olla nii suurem kui ka v\u00e4iksem kui valitud).<\/p>\n
Tunnuste t\u00e4htsuse diagramm<\/h3>\n
Kui r\u00e4\u00e4kida masin\u00f5ppe algoritmide t\u00f5lgendatavusest, arutletakse tavaliselt lineaarsete regressioonide \u00fcle (mille abil saab anal\u00fc\u00fcsida tunnuste olulisust p-v\u00e4\u00e4rtuste kaudu) ja otsustuspuude \u00fcle (mis n\u00e4itavad tunnuste t\u00e4htsust puu kujul ning samuti nende hierarhiat). Teisest k\u00fcljest, sellistes algoritmides nagu Random Forest, LightGBM ja XG Boost, kasutatakse sageli tunnuste t\u00e4htsuse diagrammi, st koostatakse muutujate ning nende \u00abt\u00e4htsuse hulk\u00bb diagramm. See on eriti kasulik, kui on vaja esitada struktureeritud p\u00f5hjendus tunnuste t\u00e4htsusele nende m\u00f5ju t\u00f5ttu \u00e4ritegevusele.<\/p>\n
Regulaarimine<\/h3>\n
Regulaarimine toimub, et hallata tasakaalu kallutatuse (bias) ja hajuvuse (variance) vahel. Kallutus n\u00e4itab, kui palju mudel on treeningandmekogumiga \u00fcle \u00f5ppinud (overfit). Hajuvus n\u00e4itab, kui erinevad olid ennustused treening- ja testandmekogumite vahel. Ideaalses seisundis peaks nii kallutus kui ka hajuvus olema v\u00e4ikesed. Siin tuleb appi regulaarimine! On kaks peamist tehnikat:<\/p>\n
L1 Regulariseerimine \u2014 Lasso: Lasso karistab mudeli kaalude koefitsiente, et muuta nende t\u00e4htsust mudeli jaoks ja v\u00f5ib isegi need nullida (st eemaldada need muutujad l\u00f5ppmudelist). Lasso on tavaliselt kasutusel, kui andmestikus on suur hulk muutujad ning on vaja m\u00f5nda neist v\u00e4lja j\u00e4tta, et paremini m\u00f5ista, kuidas olulised omadused mudelit m\u00f5jutavad (st omadused, mida Lasso valis ja millel on m\u00e4\u00e4ratud t\u00e4htsus).<\/p>\n
L2 Regulariseerimine \u2014 Ridge meetod: Ridge'i \u00fclesanne on s\u00e4ilitada k\u00f5ik muutujad ja samal ajal m\u00e4\u00e4rata neile t\u00e4htsus mudeli efektiivsuses osalemise p\u00f5hjal. Ridge on hea valik, kui andmestikus on v\u00e4he muutujaid ja k\u00f5ik on vajalikud j\u00e4relduste ja saadud tulemuste t\u00f5lgendamiseks.<\/p>\n
Kuna Ridge j\u00e4tab k\u00f5ik muutujad alles, samas kui Lasso m\u00e4\u00e4rab paremini nende t\u00e4htsuse, on v\u00e4lja t\u00f6\u00f6tatud algoritm, mis \u00fchendab m\u00f5lema regulariseerimise parimad omadused ja on tuntud kui Elastic-Net.<\/p>\n
On olemas veel mitmeid meetodeid omaduste valimiseks masin\u00f5ppes, kuid peamine idee j\u00e4\u00e4b alati samaks: demonstreerida muutujaid ning seej\u00e4rel m\u00f5ned neist vastavalt saadud t\u00e4htsusele v\u00e4lja j\u00e4tta. T\u00e4htsus on v\u00e4ga subjektiivne m\u00f5iste, kuna see ei ole \u00fcksnes \u00fcks, vaid terve hulk meetrikaid ja diagramme, mida saab kasutada v\u00f5tmeomaduste leidmiseks.<\/p>\n
Ait\u00e4h lugemise eest! Head \u00f5ppimist!<\/p>\n
Allikas: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Omaduste valik masin\u00f5ppes | ProHoster","description":"Tere, Habr! Me \u00abRekssoftis\u00bb oleme t\u00f5lkinud inglise keele artikli \"Feature Selection in Machine\" vene keelde.","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0442\u0431\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440!\u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine.","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-09-03T11:42:13+00:00","article:modified_time":"2020-09-03T11:42:13+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"93155","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 11:54:00","updated":"2022-09-30 17:42:24","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/93155","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=93155"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/93155\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=93155"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=93155"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=93155"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}