Funktionselektion i maskininlärning

Hej, Habr!

Vi på «Rexoft» har översatt en artikel till svenska Funktionsval i maskininlärning. Vi hoppas att den blir användbar för alla som bryr sig om ämnet.

I den verkliga världen är data inte alltid så rena som affärskunder ofta tror. Därför efterfrågas intelligent dataanalys (data mining och data wrangling). Det hjälper till att identifiera saknade värden och mönster i strukturerad data via frågor som en människa inte kan urskilja. För att hitta och använda dessa mönster för att förutsäga resultat baserat på funna samband i datan är maskininlärning (Machine Learning) till stor hjälp.

För att förstå en algoritm är det nödvändigt att granska alla variabler i datan och ta reda på vad dessa variabler representerar. Det är extremt viktigt eftersom tolkningen av resultaten baseras på förståelsen av datan. Om datan innehåller 5 eller till och med 50 variabler kan man studera dem alla. Men vad händer om det finns 200? Då räcker inte tiden till för att studera varje enskild variabel. Dessutom fungerar vissa algoritmer inte för kategoriska data, vilket innebär att man måste omvandla alla kategoriska kolumner till kvantitativa variabler (de kan se kvantitativa ut, men metrikerna visar att de är kategoriska) för att inkludera dem i modellen. På så sätt ökar antalet variabler och det kan komma att bli omkring 500. Vad gör man då? Man kan tänka att svaret skulle vara dimensionreduktion. Dimensionreduceringsalgoritmer minskar antalet parametrar, men påverkar den tolkbara informationen negativt. Vad om det finns andra tekniker som utesluter funktioner och samtidigt gör det lätt att förstå och tolka de återstående?

Beroende på om analysen baseras på regression eller klassificering kan algoritmerna för funktionsurval variera, men huvudidén bakom deras implementation förblir densamma.

Starkt korrelerade variabler

Särskilt korrelerade variabler ger modellen samma information, så det är inte nödvändigt att använda dem alla för analys. Till exempel, om datasetet innehåller attributen "Tid online" och "Använd data", kan man anta att de kommer att korrelera till viss del, och vi kommer att se en stark korrelation, även om vi väljer ett opartiskt datamönster. I det fallet behövs bara en av dessa variabler i modellen. Om båda används kommer modellen att bli överanpassad (overfit) och partisk mot en specifik egenskap.

P-värden

I algoritmer som linjär regression är det alltid en bra idé att börja med en grundläggande statistisk modell. Den hjälper till att visa vikten av attribut genom deras p-värden, vilka har erhållits från denna modell. Genom att sätta en signifikansnivå kontrollerar vi de erhållna p-värdena, och om något värde är under den angivna signifikansnivån, deklareras det attributet som signifikant, vilket innebär att förändringen i dess värde troligtvis kommer att leda till en förändring i målvärdet.

Framåtriktad urval

Framåtriktad urval är en teknik som innebär stegvist urval. Modellbygget börjar från grunden, det vill säga en tom modell, och varje iteration lägger till en variabel som ger en förbättring i den växande modellen. Vilken variabel som läggs till i modellen avgörs av dess betydelse. Detta kan beräknas med hjälp av olika metoder. Det vanligaste sättet är att använda p-värden som erhållits i den ursprungliga statistiska modellen med alla variabler. Ibland kan framåtriktad urval leda till överanpassning av modellen, eftersom modellen kan ha starkt korrelerade variabler, även om de ger samma information till modellen (men modellen ändå visar förbättring).

Bakåtriktad urval

Återkopplad urval innebär också stegvis uteslutning av kännetecken, men i motsatt riktning jämfört med direkt urval. I det här fallet omfattar den initiala modellen alla oberoende variabler. Därefter utesluts variabler (en i taget per iteration) om de inte innebär något värde för den nya regressionsmodellen vid varje iteration. Baserat på uteslutningen av kännetecken ligger p-värdena från den initiala modellen. Det finns också osäkerhet i denna metod när starkt korrelerade variabler tas bort.

Rekursiv uteslutning av kännetecken

RFE är en mycket använd teknik/algoritm för att välja det exakta antalet betydelsefulla kännetecken. Ibland används metoden för att förklara ett antal "de viktigaste" kännetecknen som påverkar resultaten; och ibland för att minska ett mycket stort antal variabler (ungefär 200–400), där endast de variabler som bidrar till modellen lämnas kvar, medan alla andra utesluts. RFE använder ett rangsystem. Kännetecknen i databasen rangordnas, och dessa rangordningar används sedan för rekursiv uteslutning av kännetecknen beroende på kollineariteten mellan dem och betydelsen av dessa kännetecken i modellen. Utöver rangordningen av kännetecknen kan RFE också visa om dessa kännetecken är viktiga eller inte, även för ett givet antal kännetecken (eftersom det är mycket troligt att det valda antalet kännetecken kan vara suboptimalt, och det optimala antalet kan vara antingen större eller mindre än vad som valts).

Diagram över känneteckens betydelse

När det handlar om tolkbarhet av maskininlärningsalgoritmer diskuteras vanligtvis linjära regressioner (som möjliggör analys av känneteckens betydelse med hjälp av p-värden) och besluts träd (som bokstavligen visar känneteckens betydelse i form av ett träd, liksom deras hierarki). Å andra sidan används ofta diagram över känneteckens betydelse i algoritmer som Random Forest, LightGBM och XG Boost, vilket innebär att ett diagram över variabler och "deras betydelse" konstrueras. Detta är särskilt användbart när man behöver ge en strukturerad motivering av känneteckens betydelse ur affärsperspektiv.

Regulering

Regularisering görs för att kontrollera balansen mellan bias och varians. Bias visar hur mycket modellen har överfittats på träningsdatasetet. Varians visar hur olika förutsägelserna var mellan tränings- och testdataseten. Idealiskt sett bör både bias och varians vara små. Här kommer regularisering till hjälp! Det finns två huvudsakliga tekniker:

L1 Regularisering – Lasso: Lasso bestraffar modellens viktkoefficienter för att förändra deras betydelse för modellen och kan till och med nollställa dem (dvs. ta bort dessa variabler från den slutliga modellen). Ofta används Lasso om datasetet innehåller ett stort antal variabler och det är nödvändigt att utesluta några av dem för att bättre förstå hur viktiga funktioner påverkar modellen (dvs. de funktioner som valdes av Lasso och som har en tilldelad vikt).

L2 Regularisering – Ridge-metoden: Syftet med Ridge är att behålla alla variabler medan man samtidigt tilldelar dem betydelse baserat på deras bidrag till modellens effektivitet. Ridge är ett bra val om datasetet innehåller ett litet antal variabler och alla behövs för att tolka studieutfallen och resultaten.

Eftersom Ridge behåller alla variabler medan Lasso bättre fastställer deras betydelse, utvecklades en algoritm som kombinerar de bästa egenskaperna hos båda regulariseringarna och kallas Elastic-Net.

Det finns också många andra sätt att välja funktioner för maskininlärning, men den centrala idén förblir alltid densamma: att visa variablernas betydelse och sedan utesluta vissa av dem baserat på den uppnådda betydelsen. Betydelse är en mycket subjektiv term, eftersom den inte är en utan en mängd metrik och diagram som kan användas för att hitta nyckelfunktioner.

Tack för att du läste! Lycka till med lärandet!

Källa: habr.com