Funktionsval inom maskininlärning

Hej Habr!

Vi på Reksoft har översatt artikeln till ryska Funktionsval i maskininlärningVi hoppas att det kommer att vara användbart för alla som är intresserade av ämnet.

I verkligheten är data inte alltid så ren som företagskunder ibland tror. Det är därför data mining och data wrangling är efterfrågade. De hjälper till att identifiera saknade värden och mönster i frågestrukturerad data som en person inte kan identifiera. Maskininlärning är praktiskt för att hitta och använda dessa mönster för att förutsäga resultat med hjälp av de upptäckta kopplingarna i data.

Att förstå vilken algoritm som helst kräver att man tittar på alla variabler i data och listar ut vad dessa variabler representerar. Detta är avgörande eftersom grunden för att förstå resultaten är baserad på att förstå data. Om data innehåller 5 eller till och med 50 variabler kan man titta på dem alla. Men tänk om det finns 200? Det finns helt enkelt inte tillräckligt med tid att titta på varje enskild variabel. Dessutom fungerar vissa algoritmer inte för kategoriska data, så man måste konvertera alla kategoriska kolumner till kvantitativa variabler (de kan se kvantitativa ut, men måtten visar att de är kategoriska) för att lägga till dem i modellen. Så antalet variabler ökar till cirka 500. Vad ska man göra nu? Man kanske tror att dimensionsreduktion skulle vara svaret. Algoritmer för dimensionsreduktion minskar antalet funktioner, men de har en negativ inverkan på tolkningsbarheten. Tänk om det finns andra tekniker som eliminerar funktioner samtidigt som de gör de återstående lätta att förstå och tolka?

Beroende på om analysen baseras på regression eller klassificering kan algoritmer för funktionsval skilja sig åt, men huvudidén för deras implementering förblir densamma.

Högt korrelerade variabler

Variabler som är starkt korrelerade med varandra ger samma information till modellen, så du behöver inte använda alla för analys. Om till exempel en datauppsättning innehåller funktioner som "Tid online" och "Använd bandbredd" kan du förvänta dig att de är något korrelerade, och du kommer att se en stark korrelation även om du väljer ett opartiskt urval av data. I det här fallet behöver du bara en av dessa variabler i modellen. Om du använder båda kommer modellen att vara överanpassad och partisk mot en viss funktion.

P-värden

I algoritmer som linjär regression är det alltid en bra idé att ha en initial statistisk modell. Den hjälper till att visa vikten av funktioner med hjälp av deras p-värden, som erhölls med denna modell. Efter att signifikansnivån har ställts in kontrollerar vi de erhållna p-värdena, och om något värde är under den inställda signifikansnivån, förklaras denna funktion vara signifikant, d.v.s. att ändra dess värde kommer sannolikt att leda till en förändring av målvärdet.

Direktval

Framåtriktat urval är en teknik som använder stegvis regression. Modellen byggs från grunden, dvs. en tom modell, och sedan lägger varje iteration till en variabel som förbättrar modellen som byggs. Vilken variabel som läggs till i modellen bestäms av dess signifikans. Detta kan beräknas med hjälp av olika mätetal. Det vanligaste sättet är att använda p-värdena som erhållits från den initiala statistiska modellen med alla variabler. Ibland kan framåtriktat urval leda till överanpassning av modellen eftersom modellen kan innehålla starkt korrelerade variabler, även om de ger samma information till modellen (men modellen fortfarande visar förbättring).

Omvänd val

Bakåtval innebär också stegvis funktionseliminering, men i motsatt riktning mot framåtval. I detta fall inkluderar den initiala modellen alla oberoende variabler. Variabler elimineras sedan (en i taget) om de inte bidrar till den nya regressionsmodellen i varje iteration. Funktionseliminering baseras på p-värdena för den initiala modellen. Denna metod introducerar också osäkerhet vid borttagning av starkt korrelerade variabler.

Eliminering av rekursiv funktion

RFE är en allmänt använd teknik/algoritm för att välja ett exakt antal signifikanta funktioner. Ibland används metoden för att förklara ett visst antal "viktigaste" funktioner som påverkar resultaten; ibland används den för att reducera ett mycket stort antal variabler (cirka 200-400) och endast behålla de som bidrar till modellen och exkludera resten. RFE använder ett rangordningssystem. Funktioner i datamängden tilldelas rangordningar. Dessa rangordningar används sedan för att rekursivt exkludera funktioner beroende på kollineariteten mellan dem och vikten av dessa funktioner i modellen. Förutom att rangordna funktioner kan RFE visa om dessa funktioner är viktiga eller inte ens för ett givet antal funktioner (eftersom det är mycket troligt att det valda antalet funktioner kanske inte är optimalt, och det optimala antalet funktioner kan vara både fler och mindre än det valda).

Diagram över funktionsviktighet

När vi talar om tolkbarhet hos maskininlärningsalgoritmer brukar vi tala om linjära regressioner (som låter oss analysera vikten av funktioner med hjälp av p-värden) och beslutsträd (som bokstavligen visar vikten av funktioner i form av ett träd, tillsammans med deras hierarki). Å andra sidan använder algoritmer som Random Forest, LightGBM och XG Boost ofta ett funktionsviktighetsdiagram, dvs. ett diagram över variabler och deras "viktighetspoäng". Detta är särskilt användbart när du behöver ge en strukturerad motivering för vikten av funktioner i termer av deras inverkan på verksamheten.

Regularisering

Regularisering görs för att kontrollera balansen mellan bias och varians. Bias visar hur mycket modellen överanpassade träningsdatasetet. Varians visar hur olika förutsägelserna var mellan tränings- och testdatasetet. Helst bör både bias och varians vara små. Det är här regularisering kommer in! Det finns två huvudtekniker:

L1-regularisering - Lasso: Lasso bestraffar modellvikter för att ändra deras betydelse i modellen och kan till och med nollställa dem (dvs. ta bort dessa variabler från den slutliga modellen). Lasso används vanligtvis när en datauppsättning innehåller ett stort antal variabler och du vill exkludera några av dem för att bättre förstå hur viktiga funktioner bidrar till modellen (dvs. de funktioner som valdes ut med Lasso och tilldelades betydelse).

L2-regularisering - Ridge-metoden: Ridge syftar till att behålla alla variabler samtidigt som de tilldelas betydelse baserat på deras bidrag till modellens prestanda. Ridge är ett bra val om datamängden innehåller ett litet antal variabler och alla är nödvändiga för att tolka de erhållna resultaten.

Eftersom Ridge behåller alla variabler och Lasso är bättre på att tilldela dem betydelse, utvecklades en algoritm som kombinerar de bästa egenskaperna från båda regulariseringarna och är känd som Elastic-Net.

Det finns många fler sätt att välja funktioner för maskininlärning, men huvudidén är alltid densamma: visa vikten av variabler och sedan exkludera några av dem baserat på den erhållna vikten. Viktighet är en mycket subjektiv term, eftersom det inte är en utan en hel uppsättning mätvärden och diagram som kan användas för att hitta viktiga funktioner.

Tack för att du läste! Lycka till med lärandet!

Källa: will.com