{"id":93155,"date":"2020-09-03T13:42:13","date_gmt":"2020-09-03T11:42:13","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii"},"modified":"2020-09-03T13:42:13","modified_gmt":"2020-09-03T11:42:13","slug":"otbor-priznakov-v-mashinnom-obuchenii","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii","title":{"rendered":"Eigenskapar i maskinl\u00e6ring","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Hei, Habr!<\/p>\n

Vi i \u00abRexoft\u00bb har oversatt en artikkel til russisk Feature Selection in Machine Learning<\/a><\/noindex>. Vi h\u00e5per det vil v\u00e6re nyttig for alle som bryr seg om emnet.<\/p>\n

I den virkelige verden er ikke data alltid s\u00e5 klare som forretningsbestillerne ofte tror. Det er derfor ettersp\u00f8rselen etter intelligent dataanalyse (data mining og data wrangling) er stor. Det hjelper med \u00e5 identifisere manglende verdier og m\u00f8nstre i strukturerte data ved hjelp av foresp\u00f8rselene som mennesker ikke kan identifisere. For \u00e5 finne og bruke disse m\u00f8nstrene for \u00e5 forutsi resultater ved hjelp av oppdagede sammenhenger i data, vil maskinl\u00e6ring (Machine Learning) v\u00e6re nyttig.<\/p>\n

For \u00e5 forst\u00e5 en hvilken som helst algoritme er det n\u00f8dvendig \u00e5 se p\u00e5 alle variablene i dataene og finne ut hva disse variablene representerer. Dette er ekstremt viktig fordi begrunnelsen for resultatene er basert p\u00e5 forst\u00e5elsen av dataene. Hvis dataene inneholder 5 eller til og med 50 variabler, kan de gjennomg\u00e5s alle. Men hva hvis det er 200? Da vil det rett og slett ikke v\u00e6re tid til \u00e5 studere hver enkelt variabel. Mer enn det, noen algoritmer fungerer ikke med kategoriske data, og da m\u00e5 vi konvertere alle kategoriske kolonner til kvantitative variabler (de kan se kvantitative ut, men metrikkene vil vise at de er kategoriske) for \u00e5 kunne legge dem inn i modellen. Dermed \u00f8ker antallet variabler, og de blir omtrent 500. Hva n\u00e5? Man kan tenke at svaret vil v\u00e6re dimensjonsreduksjon. Dimensjonsreduksjonsalgoritmer reduserer antall parametre, men de p\u00e5virker tolkbarheten negativt. Hva om det finnes andre teknikker som ekskluderer egenskaper og samtidig lar oss enkelt forst\u00e5 og tolke de gjenv\u00e6rende?<\/p>\n

Avhengig av om analysen er basert p\u00e5 regresjon eller klassifisering, kan algoritmene for egenskapsvalg variere, men hovedideen for implementeringen forblir den samme.<\/p>\n

Sv\u00e6rt korrelerte variabler<\/h3>\n

Sv\u00e6rt korrelerte variabler gir modellen den samme informasjonen, derfor er det ikke n\u00f8dvendig \u00e5 bruke dem alle i analysen. For eksempel, hvis datasettet inneholder funksjonene \u00abTid p\u00e5 nett\u00bb og \u00abBrukt trafikk\u00bb, kan man anta at de vil v\u00e6re korrelert til en viss grad, og vi vil se en sterk korrelasjon, selv om vi velger et upartisk datasett. I s\u00e5 fall trenger modellen bare \u00e9n av disse variablene. Hvis begge brukes, vil modellen bli overtilpasset og partisk mot \u00e9n enkelt funksjon.<\/p>\n

P-verdier<\/h3>\n

I algoritmer som line\u00e6r regresjon er det alltid en god id\u00e9 \u00e5 starte med en statistisk modell. Den hjelper \u00e5 vise viktigheten av funksjoner gjennom deres p-verdier, som ble oppn\u00e5dd av denne modellen. Ved \u00e5 sette et signifikansniv\u00e5 tester vi de oppn\u00e5dde p-verdiene, og hvis noen verdi er under det angitte signifikansniv\u00e5et, blir den gitte funksjonen erkl\u00e6rt som signifikant, noe som betyr at en endring i dens verdi sannsynligvis vil f\u00f8re til en endring i m\u00e5lverdien.<\/p>\n

Direkte utvalg<\/h3>\n

Direkte utvalg er en teknikk som inneb\u00e6rer bruk av trinnvis regresjon. Byggingen av modellen begynner fra bunnen av, det vil si en tom modell, og deretter legges hver variabel til i hver iterasjon som forbedrer den bygde modellen. Hvilken variabel som legges til modellen, bestemmes av dens betydning. Dette kan beregnes ved \u00e5 bruke forskjellige metrikker. Den mest vanlige metoden er \u00e5 bruke p-verdier oppn\u00e5dd fra den opprinnelige statistiske modellen med alle variabler. Noen ganger kan direkte utvalg f\u00f8re til overtilpasning av modellen fordi modellen kan inneholde sterkt korrelerte variabler, selv om de gir den samme informasjonen til modellen (men modellen viser likevel forbedring).<\/p>\n

Baklengs utvalg<\/h3>\n

Omvendt utvalg inneb\u00e6rer ogs\u00e5 en trinnvis ekskludering av funksjoner, men i motsatt retning sammenlignet med direkte. I dette tilfellet inkluderer den innledende modellen alle uavhengige variabler. Deretter ekskluderes variablene (\u00e9n om gangen per iterasjon) hvis de ikke gir verdi for den nye regresjonsmodellen i hver iterasjon. Utelukkelsen av funksjoner er basert p\u00e5 p-verdiene fra den innledende modellen. Denne metoden har ogs\u00e5 usikkerhet ved fjerning av sterkt korrelerte variabler.<\/p>\n

Rekursiv funksjonsutvalg<\/h3>\n

RFE er en mye brukt teknikk\/algoritme for \u00e5 velge et n\u00f8yaktig antall signifikante funksjoner. Noen ganger brukes metoden for \u00e5 forklare et visst antall \u00abde viktigste\u00bb funksjonene som p\u00e5virker resultatene; andre ganger for \u00e5 redusere et sv\u00e6rt stort antall variabler (rundt 200-400), og bare de som bidrar til modellen blir beholdt, mens alle andre ekskluderes. RFE bruker et rangsystem. Funksjoner i datasettet f\u00e5r rangeringer. Deretter brukes disse rangene til rekursiv ekskludering av funksjoner avhengig av multikollinearitet mellom dem og betydningen av disse funksjonene i modellen. I tillegg til rangeringen av funksjoner kan RFE vise om disse funksjonene er viktige eller ikke, selv for et angitt antall funksjoner (fordi det er veldig sannsynlig at det valgte antallet funksjoner kan v\u00e6re suboptimalt, og det optimale antallet funksjoner kan v\u00e6re b\u00e5de st\u00f8rre og mindre enn det valgte).<\/p>\n

Funksjonsviktighetsdiagram<\/h3>\n

N\u00e5r vi snakker om tolkbarheten til maskinl\u00e6ringsalgoritmer, diskuteres ofte line\u00e6re regresjoner (som tillater analyse av funksjonenes betydning med p-verdier) og beslutningstr\u00e6r (som bokstavelig talt viser viktigheten av funksjoner i form av et tre, samt deres hierarki). P\u00e5 den annen side, i slike algoritmer som Random Forest, LightGBM og XG Boost, brukes ofte diagrammet for funksjonsviktighet, det vil si at det bygges et diagram over variabler og \u00abderes viktighetsniv\u00e5\u00bb. Dette er spesielt nyttig n\u00e5r man m\u00e5 gi en strukturert begrunnelse for funksjonenes viktighet ut fra deres innvirkning p\u00e5 virksomheten.<\/p>\n

Regulering<\/h3>\n

Regulering gj\u00f8res for \u00e5 kontrollere balansen mellom bias og varians. Bias viser hvor mye modellen har overtilpasset treningsdataene. Varians viser hvor forskjellige forutsigelsene var mellom trenings- og testdatasett. Ideelt sett b\u00f8r b\u00e5de bias og varians v\u00e6re lave. Her kommer regulering til nytte! Det finnes to hovedteknikker:<\/p>\n

L1 Regulering \u2013 Lasso: Lasso straffer modellens vekter for \u00e5 endre deres betydning for modellen, og kan til og med nullstille dem (dvs. fjerne disse variablene fra den endelige modellen). Vanligvis brukes Lasso n\u00e5r datasettet inneholder et stort antall variabler og man \u00f8nsker \u00e5 ekskludere noen for bedre \u00e5 forst\u00e5 hvordan de viktige egenskapene p\u00e5virker modellen (dvs. de egenskapene som ble valgt av Lasso og som har f\u00e5tt betydning).<\/p>\n

L2 Regulering \u2013 Ridge Metode: M\u00e5let med Ridge er \u00e5 bevare alle variabler samtidig som de f\u00e5r en betydning basert p\u00e5 deres bidrag til modellens ytelse. Ridge vil v\u00e6re et godt valg hvis datasettet inneholder et lite antall variabler og alle er n\u00f8dvendige for \u00e5 tolke konklusjoner og oppn\u00e5dde resultater.<\/p>\n

Siden Ridge beholder alle variabler, mens Lasso bedre fastsetter deres betydning, har det blitt utviklet en algoritme som kombinerer de beste egenskapene fra begge reguleringene og er kjent som Elastic-Net.<\/p>\n

Det finnes mange andre metoder for funksjonsutvelgelse for maskinl\u00e6ring, men hovedideen er alltid den samme: \u00e5 demonstrere betydningen av variablene og deretter ekskludere noen basert p\u00e5 oppn\u00e5dd betydning. Betydning er et sv\u00e6rt subjektivt begrep, da det ikke er ett, men et helt sett med metoder og diagrammer som kan brukes til \u00e5 finne n\u00f8kkelfunksjoner.<\/p>\n

Takk for lesingen! Lykke til med l\u00e6ringen!<\/p>\n

Kilde: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Funksjonsutvelgelse i maskinl\u00e6ring | ProHoster","description":"Hei, Habr! Vi i \u00abRexoft\u00bb har oversatt artikkelen Feature Selection in Machine til norsk.","canonical_url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nn_NO","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0442\u0431\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440!\u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine.","og:url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/otbor-priznakov-v-mashinnom-obuchenii","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-09-03T11:42:13+00:00","article:modified_time":"2020-09-03T11:42:13+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"93155","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 11:54:00","updated":"2022-09-30 17:42:24","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/93155","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/comments?post=93155"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/93155\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media?parent=93155"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/categories?post=93155"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/tags?post=93155"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}