{"id":93155,"date":"2020-09-03T13:42:13","date_gmt":"2020-09-03T11:42:13","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii"},"modified":"2020-09-03T13:42:13","modified_gmt":"2020-09-03T11:42:13","slug":"otbor-priznakov-v-mashinnom-obuchenii","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii","title":{"rendered":"Funktionselektion i maskininl\u00e4rning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Hej, Habr!<\/p>\n

Vi p\u00e5 \u00abRexoft\u00bb har \u00f6versatt en artikel till svenska Funktionsval i maskininl\u00e4rning<\/a><\/noindex>. Vi hoppas att den blir anv\u00e4ndbar f\u00f6r alla som bryr sig om \u00e4mnet.<\/p>\n

I den verkliga v\u00e4rlden \u00e4r data inte alltid s\u00e5 rena som aff\u00e4rskunder ofta tror. D\u00e4rf\u00f6r efterfr\u00e5gas intelligent dataanalys (data mining och data wrangling). Det hj\u00e4lper till att identifiera saknade v\u00e4rden och m\u00f6nster i strukturerad data via fr\u00e5gor som en m\u00e4nniska inte kan urskilja. F\u00f6r att hitta och anv\u00e4nda dessa m\u00f6nster f\u00f6r att f\u00f6ruts\u00e4ga resultat baserat p\u00e5 funna samband i datan \u00e4r maskininl\u00e4rning (Machine Learning) till stor hj\u00e4lp.<\/p>\n

F\u00f6r att f\u00f6rst\u00e5 en algoritm \u00e4r det n\u00f6dv\u00e4ndigt att granska alla variabler i datan och ta reda p\u00e5 vad dessa variabler representerar. Det \u00e4r extremt viktigt eftersom tolkningen av resultaten baseras p\u00e5 f\u00f6rst\u00e5elsen av datan. Om datan inneh\u00e5ller 5 eller till och med 50 variabler kan man studera dem alla. Men vad h\u00e4nder om det finns 200? D\u00e5 r\u00e4cker inte tiden till f\u00f6r att studera varje enskild variabel. Dessutom fungerar vissa algoritmer inte f\u00f6r kategoriska data, vilket inneb\u00e4r att man m\u00e5ste omvandla alla kategoriska kolumner till kvantitativa variabler (de kan se kvantitativa ut, men metrikerna visar att de \u00e4r kategoriska) f\u00f6r att inkludera dem i modellen. P\u00e5 s\u00e5 s\u00e4tt \u00f6kar antalet variabler och det kan komma att bli omkring 500. Vad g\u00f6r man d\u00e5? Man kan t\u00e4nka att svaret skulle vara dimensionreduktion. Dimensionreduceringsalgoritmer minskar antalet parametrar, men p\u00e5verkar den tolkbara informationen negativt. Vad om det finns andra tekniker som utesluter funktioner och samtidigt g\u00f6r det l\u00e4tt att f\u00f6rst\u00e5 och tolka de \u00e5terst\u00e5ende?<\/p>\n

Beroende p\u00e5 om analysen baseras p\u00e5 regression eller klassificering kan algoritmerna f\u00f6r funktionsurval variera, men huvudid\u00e9n bakom deras implementation f\u00f6rblir densamma.<\/p>\n

Starkt korrelerade variabler<\/h3>\n

S\u00e4rskilt korrelerade variabler ger modellen samma information, s\u00e5 det \u00e4r inte n\u00f6dv\u00e4ndigt att anv\u00e4nda dem alla f\u00f6r analys. Till exempel, om datasetet inneh\u00e5ller attributen \"Tid online\" och \"Anv\u00e4nd data\", kan man anta att de kommer att korrelera till viss del, och vi kommer att se en stark korrelation, \u00e4ven om vi v\u00e4ljer ett opartiskt datam\u00f6nster. I det fallet beh\u00f6vs bara en av dessa variabler i modellen. Om b\u00e5da anv\u00e4nds kommer modellen att bli \u00f6veranpassad (overfit) och partisk mot en specifik egenskap.<\/p>\n

P-v\u00e4rden<\/h3>\n

I algoritmer som linj\u00e4r regression \u00e4r det alltid en bra id\u00e9 att b\u00f6rja med en grundl\u00e4ggande statistisk modell. Den hj\u00e4lper till att visa vikten av attribut genom deras p-v\u00e4rden, vilka har erh\u00e5llits fr\u00e5n denna modell. Genom att s\u00e4tta en signifikansniv\u00e5 kontrollerar vi de erh\u00e5llna p-v\u00e4rdena, och om n\u00e5got v\u00e4rde \u00e4r under den angivna signifikansniv\u00e5n, deklareras det attributet som signifikant, vilket inneb\u00e4r att f\u00f6r\u00e4ndringen i dess v\u00e4rde troligtvis kommer att leda till en f\u00f6r\u00e4ndring i m\u00e5lv\u00e4rdet.<\/p>\n

Fram\u00e5triktad urval<\/h3>\n

Fram\u00e5triktad urval \u00e4r en teknik som inneb\u00e4r stegvist urval. Modellbygget b\u00f6rjar fr\u00e5n grunden, det vill s\u00e4ga en tom modell, och varje iteration l\u00e4gger till en variabel som ger en f\u00f6rb\u00e4ttring i den v\u00e4xande modellen. Vilken variabel som l\u00e4ggs till i modellen avg\u00f6rs av dess betydelse. Detta kan ber\u00e4knas med hj\u00e4lp av olika metoder. Det vanligaste s\u00e4ttet \u00e4r att anv\u00e4nda p-v\u00e4rden som erh\u00e5llits i den ursprungliga statistiska modellen med alla variabler. Ibland kan fram\u00e5triktad urval leda till \u00f6veranpassning av modellen, eftersom modellen kan ha starkt korrelerade variabler, \u00e4ven om de ger samma information till modellen (men modellen \u00e4nd\u00e5 visar f\u00f6rb\u00e4ttring).<\/p>\n

Bak\u00e5triktad urval<\/h3>\n

\u00c5terkopplad urval inneb\u00e4r ocks\u00e5 stegvis uteslutning av k\u00e4nnetecken, men i motsatt riktning j\u00e4mf\u00f6rt med direkt urval. I det h\u00e4r fallet omfattar den initiala modellen alla oberoende variabler. D\u00e4refter utesluts variabler (en i taget per iteration) om de inte inneb\u00e4r n\u00e5got v\u00e4rde f\u00f6r den nya regressionsmodellen vid varje iteration. Baserat p\u00e5 uteslutningen av k\u00e4nnetecken ligger p-v\u00e4rdena fr\u00e5n den initiala modellen. Det finns ocks\u00e5 os\u00e4kerhet i denna metod n\u00e4r starkt korrelerade variabler tas bort.<\/p>\n

Rekursiv uteslutning av k\u00e4nnetecken<\/h3>\n

RFE \u00e4r en mycket anv\u00e4nd teknik\/algoritm f\u00f6r att v\u00e4lja det exakta antalet betydelsefulla k\u00e4nnetecken. Ibland anv\u00e4nds metoden f\u00f6r att f\u00f6rklara ett antal \"de viktigaste\" k\u00e4nnetecknen som p\u00e5verkar resultaten; och ibland f\u00f6r att minska ett mycket stort antal variabler (ungef\u00e4r 200\u2013400), d\u00e4r endast de variabler som bidrar till modellen l\u00e4mnas kvar, medan alla andra utesluts. RFE anv\u00e4nder ett rangsystem. K\u00e4nnetecknen i databasen rangordnas, och dessa rangordningar anv\u00e4nds sedan f\u00f6r rekursiv uteslutning av k\u00e4nnetecknen beroende p\u00e5 kollineariteten mellan dem och betydelsen av dessa k\u00e4nnetecken i modellen. Ut\u00f6ver rangordningen av k\u00e4nnetecknen kan RFE ocks\u00e5 visa om dessa k\u00e4nnetecken \u00e4r viktiga eller inte, \u00e4ven f\u00f6r ett givet antal k\u00e4nnetecken (eftersom det \u00e4r mycket troligt att det valda antalet k\u00e4nnetecken kan vara suboptimalt, och det optimala antalet kan vara antingen st\u00f6rre eller mindre \u00e4n vad som valts).<\/p>\n

Diagram \u00f6ver k\u00e4nneteckens betydelse<\/h3>\n

N\u00e4r det handlar om tolkbarhet av maskininl\u00e4rningsalgoritmer diskuteras vanligtvis linj\u00e4ra regressioner (som m\u00f6jligg\u00f6r analys av k\u00e4nneteckens betydelse med hj\u00e4lp av p-v\u00e4rden) och besluts tr\u00e4d (som bokstavligen visar k\u00e4nneteckens betydelse i form av ett tr\u00e4d, liksom deras hierarki). \u00c5 andra sidan anv\u00e4nds ofta diagram \u00f6ver k\u00e4nneteckens betydelse i algoritmer som Random Forest, LightGBM och XG Boost, vilket inneb\u00e4r att ett diagram \u00f6ver variabler och \"deras betydelse\" konstrueras. Detta \u00e4r s\u00e4rskilt anv\u00e4ndbart n\u00e4r man beh\u00f6ver ge en strukturerad motivering av k\u00e4nneteckens betydelse ur aff\u00e4rsperspektiv.<\/p>\n

Regulering<\/h3>\n

Regularisering g\u00f6rs f\u00f6r att kontrollera balansen mellan bias och varians. Bias visar hur mycket modellen har \u00f6verfittats p\u00e5 tr\u00e4ningsdatasetet. Varians visar hur olika f\u00f6ruts\u00e4gelserna var mellan tr\u00e4nings- och testdataseten. Idealiskt sett b\u00f6r b\u00e5de bias och varians vara sm\u00e5. H\u00e4r kommer regularisering till hj\u00e4lp! Det finns tv\u00e5 huvudsakliga tekniker:<\/p>\n

L1 Regularisering \u2013 Lasso: Lasso bestraffar modellens viktkoefficienter f\u00f6r att f\u00f6r\u00e4ndra deras betydelse f\u00f6r modellen och kan till och med nollst\u00e4lla dem (dvs. ta bort dessa variabler fr\u00e5n den slutliga modellen). Ofta anv\u00e4nds Lasso om datasetet inneh\u00e5ller ett stort antal variabler och det \u00e4r n\u00f6dv\u00e4ndigt att utesluta n\u00e5gra av dem f\u00f6r att b\u00e4ttre f\u00f6rst\u00e5 hur viktiga funktioner p\u00e5verkar modellen (dvs. de funktioner som valdes av Lasso och som har en tilldelad vikt).<\/p>\n

L2 Regularisering \u2013 Ridge-metoden: Syftet med Ridge \u00e4r att beh\u00e5lla alla variabler medan man samtidigt tilldelar dem betydelse baserat p\u00e5 deras bidrag till modellens effektivitet. Ridge \u00e4r ett bra val om datasetet inneh\u00e5ller ett litet antal variabler och alla beh\u00f6vs f\u00f6r att tolka studieutfallen och resultaten.<\/p>\n

Eftersom Ridge beh\u00e5ller alla variabler medan Lasso b\u00e4ttre fastst\u00e4ller deras betydelse, utvecklades en algoritm som kombinerar de b\u00e4sta egenskaperna hos b\u00e5da regulariseringarna och kallas Elastic-Net.<\/p>\n

Det finns ocks\u00e5 m\u00e5nga andra s\u00e4tt att v\u00e4lja funktioner f\u00f6r maskininl\u00e4rning, men den centrala id\u00e9n f\u00f6rblir alltid densamma: att visa variablernas betydelse och sedan utesluta vissa av dem baserat p\u00e5 den uppn\u00e5dda betydelsen. Betydelse \u00e4r en mycket subjektiv term, eftersom den inte \u00e4r en utan en m\u00e4ngd metrik och diagram som kan anv\u00e4ndas f\u00f6r att hitta nyckelfunktioner.<\/p>\n

Tack f\u00f6r att du l\u00e4ste! Lycka till med l\u00e4randet!<\/p>\n

K\u00e4lla: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Funktioner urval i maskininl\u00e4rning | ProHoster","description":"Hej, Habr! Vi p\u00e5 \"Rexoft\" har \u00f6versatt artikeln Feature Selection in Machine till ryska.","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0442\u0431\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440!\u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine.","og:url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-09-03T11:42:13+00:00","article:modified_time":"2020-09-03T11:42:13+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"93155","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 11:54:00","updated":"2022-09-30 17:42:24","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/93155","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=93155"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/93155\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=93155"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=93155"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=93155"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}