Funktionselektions i Maskinl\u00e6ring<\/a><\/noindex>. Vi h\u00e5ber, den vil v\u00e6re nyttig for alle, der er interesseret i emnet.<\/p>\nI den virkelige verden er data ikke altid s\u00e5 rene, som forretningskunder ofte antager. Derfor er der behov for intelligent dataanalyse (data mining og data wrangling). Det hj\u00e6lper med at identificere manglende v\u00e6rdier og m\u00f8nstre i strukturerede data, som mennesker ikke kan finde. For at finde og bruge disse m\u00f8nstre til at forudsige resultater ved hj\u00e6lp af de forbindelser, der er fundet i dataene, er maskinl\u00e6ring (Machine Learning) n\u00f8dvendig.<\/p>\n
For at forst\u00e5 en hvilken som helst algoritme er det vigtigt at gennemg\u00e5 alle variablerne i dataene og finde ud af, hvad disse variabler repr\u00e6senterer. Dette er ekstremt vigtigt, fordi resultatets begrundelse er baseret p\u00e5 forst\u00e5elsen af dataene. Hvis dataene indeholder 5 eller endda 50 variabler, kan de alle studeres. Men hvad hvis der er 200? S\u00e5 er der simpelthen ikke tid nok til at studere hver enkel variabel. Desuden fungerer nogle algoritmer ikke for kategoriske data, og s\u00e5 skal alle kategoriske kolonner konverteres til kvantitative variabler (de kan se kvantitative ud, men m\u00e5linger vil vise, at de er kategoriske), for at kunne inkluderes i modellen. S\u00e5ledes stiger antallet af variabler, og de bliver omkring 500. Hvad skal vi g\u00f8re nu? Man kunne tro, at svaret ville v\u00e6re at reducere dimensionen. Algoritmer til reduktion af dimensioner mindsker antallet af parametre, men det har en negativ indvirkning p\u00e5 fortolkningen. Hvad hvis der findes andre teknikker, der ekskluderer funktioner og samtidig g\u00f8r det nemt at forst\u00e5 og fortolke de tilbagev\u00e6rende?<\/p>\n
Afh\u00e6ngigt af om analysen er baseret p\u00e5 regression eller klassifikation, kan algoritmerne til funktionselektion variere, men hovedideen bag deres implementering forbliver den samme.<\/p>\n
St\u00e6rkt korrelerede variable<\/h3>\n Skarpt korrelerede variabler giver modellen den samme information, derfor er det ikke n\u00f8dvendigt at bruge dem alle til analysen. For eksempel, hvis datas\u00e6ttet indeholder funktionerne \"Tid online\" og \"Brugte data\", kan vi forvente, at de vil v\u00e6re korreleret i et vist omfang, og vi vil se en st\u00e6rk korrelation, selvom vi v\u00e6lger en upartisk data pr\u00f8ve. I dette tilf\u00e6lde er kun \u00e9n af disse variabler n\u00f8dvendig i modellen. Hvis begge bruges, risikerer modellen at blive overfittet og v\u00e6re sk\u00e6v i forhold til en enkelt funktion.<\/p>\n
P-v\u00e6rdier<\/h3>\n I algoritmer som line\u00e6r regression er en indledende statistisk model altid en god id\u00e9. Den hj\u00e6lper med at vise betydningen af funktionerne ved hj\u00e6lp af deres p-v\u00e6rdier, som blev opn\u00e5et af denne model. Ved at fasts\u00e6tte et signifikansniveau kontrollerer vi de opn\u00e5ede p-v\u00e6rdier, og hvis en v\u00e6rdi viser sig at v\u00e6re under det fastsatte signifikansniveau, erkl\u00e6res den p\u00e5g\u00e6ldende funktion for at v\u00e6re signifikant, hvilket betyder at en \u00e6ndring i dens v\u00e6rdi sandsynligvis vil f\u00f8re til en \u00e6ndring i m\u00e5lvariablen.<\/p>\n
Fremad selection<\/h3>\n Fremad selection er en teknik, der involverer tr\u00e6ning af stepwise regression. Opbygningen af modellen begynder fra bunden, det vil sige fra en tom model, og derefter tilf\u00f8jer hver iteration en variabel, der forbedrer den opbyggede model. Hvilken variabel der tilf\u00f8jes til modellen, bestemmes af dens betydning. Dette kan beregnes ved hj\u00e6lp af forskellige metrikker. Den mest almindelige metode er at anvende p-v\u00e6rdier opn\u00e5et fra den initiierende statistiske model ved at bruge alle variabler. Nogle gange kan fremad selection f\u00f8re til overfitting af modellen, fordi st\u00e6rkt korrelerede variabler kan ende i modellen, selvom de giver den samme information (men modellen viser stadig forbedring).<\/p>\n
Tilbageg\u00e5ende selection<\/h3>\n Omvendt udv\u00e6lgelse best\u00e5r ogs\u00e5 i trinvis udelukkelse af variabler, men i den modsatte retning i forhold til direkte udv\u00e6lgelse. I dette tilf\u00e6lde inkluderer den oprindelige model alle uafh\u00e6ngige variabler. Derefter udelukkes variablerne (\u00e9n ad gangen pr. iteration), hvis de ikke bidrager med v\u00e6rdi til den nye regressionsmodel i hver iteration. Grundlaget for udelukkelsen af variabler er p-v\u00e6rdierne fra den oprindelige model. Denne metode indeb\u00e6rer ogs\u00e5 usikkerhed ved fjernelse af st\u00e6rkt korrelerede variabler.<\/p>\n
Rekursiv udelukkelse af variabler<\/h3>\n RFE er en bredt anvendt teknik\/algoritme til at v\u00e6lge det korrekte antal signifikante variabler. Nogle gange bruges metoden til at forklare et antal \"de vigtigste\" variabler, der p\u00e5virker resultaterne; andre gange for at reducere et meget stort antal variabler (omkring 200-400) og kun beholde dem, der bidrager til modellen, mens alle andre udelukkes. RFE bruger et rangeringssystem. Variablerne i datas\u00e6ttet tildeles rangeringer. Disse rangeringer bruges derefter til rekursiv udelukkelse af variabler, afh\u00e6ngigt af kollineariteten mellem dem og betydningen af disse variabler i modellen. Udover rangeringen af variabler kan RFE ogs\u00e5 vise, om disse variabler er vigtige eller ej, selv for et givet antal variabler (fordi det er meget sandsynligt, at det valgte antal variabler ikke er optimalt, og det optimale antal kan v\u00e6re b\u00e5de mere eller mindre end det valgte).<\/p>\n
Diagram over variabelvigtighed<\/h3>\n N\u00e5r man taler om tolkningen af maskinl\u00e6ringsalgoritmer, diskuteres der normalt line\u00e6re regressioner (som muligg\u00f8r analyse af variablers betydning ved hj\u00e6lp af p-v\u00e6rdier) og beslutningstr\u00e6er (som bogstaveligt viser variablers betydning i form af et tr\u00e6 samt deres hierarki). P\u00e5 den anden side anvendes der ofte i algoritmer som Random Forest, LightGBM og XG Boost en diagram over variabelvigtighed, det vil sige, at der opbygges et diagram over variablerne og \"deres vigtighed\". Dette er is\u00e6r nyttigt, n\u00e5r man skal give en struktureret begrundelse for variablers betydning set fra et forretningsm\u00e6ssigt perspektiv.<\/p>\n
Regulering<\/h3>\n Regulering er n\u00f8dvendig for at kontrollere balancen mellem bias og variance. Bias viser, hvor meget modellen er overtr\u00e6net p\u00e5 tr\u00e6ningsdatas\u00e6ttet. Variance viser, hvor forskellige forudsigelserne har v\u00e6ret mellem tr\u00e6nings- og testdatas\u00e6ttene. Ideelt set b\u00f8r b\u00e5de bias og varians v\u00e6re lave. Her kommer regulering til nytte! Der er to hovedmetoder:<\/p>\n
L1 Regulering \u2013 Lasso: Lasso straffer v\u00e6gte i modellen for at \u00e6ndre deres betydning og kan endda nulstille dem (dvs. fjerne disse variabler fra den endelige model). Lasso anvendes typisk, n\u00e5r datas\u00e6ttet indeholder et stort antal variabler, og der er behov for at ekskludere nogle af dem for bedre at forst\u00e5, hvordan de vigtigste funktioner p\u00e5virker modellen (dvs. de funktioner, som Lasso v\u00e6lger, og som har betydning).<\/p>\n
L2 Regulering \u2013 Ridge metode: Ridge's opgave er at bevare alle variabler, samtidig med at den tildeler dem betydning baseret p\u00e5 deres bidrag til modellens effektivitet. Ridge vil v\u00e6re et godt valg, hvis datas\u00e6ttet indeholder et begr\u00e6nset antal variabler, og alle er n\u00f8dvendige for at fortolke konklusionerne og resultaterne.<\/p>\n
Da Ridge bevarer alle variabler, mens Lasso bedre tildeler deres betydning, er der blevet udviklet en algoritme, der kombinerer de bedste egenskaber fra begge reguleringer og er kendt som Elastic-Net.<\/p>\n
Der er mange flere metoder til udv\u00e6lgelse af funktioner til maskinl\u00e6ring, men den grundl\u00e6ggende id\u00e9 forbliver altid den samme: at demonstrere betydningen af variabler og derefter ekskludere nogle af dem baseret p\u00e5 den opn\u00e5ede betydning. Betydning er et meget subjektivt begreb, da det ikke er \u00e9t, men en hel r\u00e6kke m\u00e5linger og diagrammer, der kan bruges til at finde de n\u00f8glefunktioner.<\/p>\n
Tak for l\u00e6sningen! God l\u00e6ring!<\/p>\n
Kilde: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t