Helló, Habr!
A «Rexoft» lefordítottuk az orosz nyelvre a cikket . Reméljük, hogy hasznos lesz mindazok számára, akiket érdekel a téma.
A valós világban az adatok nem mindig olyan tiszták, mint ahogyan azt néha a vállalati megrendelők gondolják. Éppen ezért van szükség az intelligens adatelemzésre (data mining és data wrangling). Ez segít azonosítani a hiányzó értékeket és mintákat a strukturált adatokban, amelyeket ember nem tud megállapítani. Ahhoz, hogy ezeket a mintákat az eredmények előrejelzésére használhassuk az adatokban fellelt összefüggések révén, szükség van a gépi tanulásra (Machine Learning).
Bármilyen algoritmus megértéséhez meg kell vizsgálni az összes változót az adatokban, és meg kell állapítani, hogy mit képviselnek ezek a változók. Ez rendkívül fontos, mert az eredmények indoklása az adatok megértésén alapul. Ha az adatok 5 vagy akár 50 változót tartalmaznak, mindet meg lehet vizsgálni. De mi van, ha 200 van belőlük? Akkor egyszerűen nem lesz elég idő minden egyes változót külön-külön megvizsgálni. Sőt, egyes algoritmusok nem működnek kategóriás adatokkal, és akkor az összes kategóriás oszlopot mennyiségi változókká kell alakítani (lehet, hogy mennyiségiaknak tűnnek, de a metrikák azt mutatják, hogy kategóriásak), hogy beilleszthessük őket a modellbe. Így a változók száma megnő, és körülbelül 500 lesz. Most mit tegyünk? Gondolhatnánk, hogy a megoldás a dimenziócsökkentés lenne. A dimenziócsökkentési algoritmusok csökkentik a paraméterek számát, de negatívan hatnak az értelmezhetőségre. Mi van, ha léteznek olyan egyéb technikák, amelyek kizárják a jellemzőket, miközben lehetővé teszik a megmaradt jellemzők könnyű megértését és értelmezését?
Az, hogy a kiválasztási analízis a regresszión vagy a klasszifikáción alapul-e, befolyásolhatja az algoritmusokat, de a megvalósítás fő elképzelése ugyanaz marad.
Erősen korrelált változók
Erősen korrelált változók ugyanazt az információt szolgáltatják a modell számára, ezért azok elemzéséhez nem szükséges mindegyiket használni. Például, ha egy adathalaz tartalmazza a "Online idő" és az "Használt forgalom" jellemzőket, feltételezhető, hogy ezek bizonyos mértékig korrelálni fognak, és erős korrelációt fogunk látni, még akkor is, ha pártatlan adatmintát választunk. Ilyen esetben a modellhez csak az egyik változóra van szükség. Ha mindkettőt használjuk, a modell túltanult (overfit) és elfogult lesz egy adott jellemzővel kapcsolatban.
P-értékek
Az olyan algoritmusokban, mint a lineáris regresszió, a kezdeti statisztikai modell mindig jó ötlet. Segít megmutatni a jellemzők fontosságát azok p-értékeivel, amelyeket ez a modell állított elő. A jelentőségi szint meghatározásával ellenőrizzük a kapott p-értékeket, és ha valamelyik érték a megadott szignifikancia szint alatt van, akkor ezt a jellemzőt jelentősnek tekintjük, azaz a jellemző értékének megváltozása valószínűleg a cél (target) értékének megváltozásához vezet.
Közvetlen kiválasztás
A közvetlen kiválasztás egy olyan technika, amely fokozatos regressziót alkalmaz. A modell felépítése teljesen nulláról, azaz egy üres modellel kezdődik, és minden iterációban hozzáad egy olyan változót, amely javítja a létrehozott modellt. Az, hogy melyik változót adjuk hozzá a modellhez, annak jelentősége határozza meg. Ez különböző metrikák segítségével számítható. A leggyakoribb módszer a p-értékek alkalmazása, amelyeket az eredeti statisztikai modellben számoltak ki minden változó használatával. Néha a közvetlen kiválasztás túltanulást eredményezhet, mert a modellben erősen korrelált változók is megjelenhetnek, még ha ugyanazt az információt is adják meg a modellnek (de a modell így javulást mutat).
Visszavonásos kiválasztás
A visszafelé történő kiválasztás szintén lépésről lépésre történő jellemzők kizárását jelenti, azonban éppen ellenkező irányban, mint a közvetlen kiválasztás. Ebben az esetben a kezdeti modell tartalmazza az összes független változót. Ezután a változókat kizárják (egyenként iterációnként), ha nem hordoznak értéket az új regressziós modellhez minden iterációban. A jellemzők kizárásának alapja a kezdeti modell p-értékének mutatói. Ebben a módszerben is van bizonytalanság, amikor erősen korrelált változókat távolítanak el.
Rekurzív jellemzők kizárása
Az RFE egy széles körben használt technika/algoritmus a jelentős jellemzők pontos számának kiválasztására. Néha a módszert arra használják, hogy megmagyarázzák a ‘legfontosabb’ jellemzők számát, amelyek hatással vannak az eredményekre; máskor pedig egy nagyon nagy számú változó (körülbelül 200-400) csökkentésére, és csak azokat hagyják meg, amelyek valamilyen módon hozzájárulnak a modellhez, míg a többieket kizárják. Az RFE rangsoroló rendszert alkalmaz. A jellemzők a készletben rangsorolásra kerülnek. Ezután ezeket a rangokat használják a jellemzők rekurrens kizárásához a közöttük lévő kollinearitás és a modellbeli jellemzők jelentősége alapján. A jellemzők rangsorolásán kívül az RFE megmutathatja, hogy ezek a jellemzők fontosak-e vagy sem még egy adott jellemzőszám mellett is (mivel nagyon valószínű, hogy a választott jellemzőszám nem optimális, és az optimális jellemzőszám lehet nagyobb vagy kisebb a választottnál).
A jellemzők fontosságának diagramja
A gépi tanulás algoritmusainak értelmezhetőségéről beszélve általában a lineáris regressziókat tárgyalják (amelyek lehetővé teszik a jellemzők jelentőségének elemzését p-értékek segítségével) és a döntési fákat (amelyek szó szerint megmutatják a jellemzők fontosságát fa formájában, valamint hierarchiájukat). Másrészről olyan algoritmusok, mint a Random Forest, LightGBM és XG Boost gyakran alkalmaznak jellemzők fontossági diagramját, azaz egy diagramot készítenek a változókról és azok ‘fontossági számáról’. Ez különösen hasznos, amikor strukturált indoklást kell adni a jellemzők fontosságáról az üzleti hatásuk szempontjából.
Regularizáció
A regularizáció a torzítás (bias) és a szórás (variance) közötti egyensúly kontrollálására szolgál. A torzítás azt mutatja, mennyire feleslegesen tanulta meg a modellt az edzési adathalmazon (overfit). A szórás megmutatja, mennyire különböztek a predikciók az edzési és a teszt adathalmazon. Ideálisan mind a torzításnak, mind a szórásnak kicsinek kell lennie. Ebben segít a regularizáció! Két fő technika létezik:
L1 regularizáció — Lasso: A Lasso bünteti a modell súlyait, hogy megváltoztassa azok jelentőségét a modell számára, és akár nullára is csökkentheti őket (azaz eltávolítja ezeket a változókat a végső modellből). A Lasso általában akkor használandó, ha az adathalmaz sok változót tartalmaz, és szükséges néhányat kizárni, hogy jobban megérthessük, hogyan befolyásolják a fontos jellemzők a modellt (azaz azokat a jellemzőket, amelyeket a Lasso kiválasztott és amelyeknek jelentősége van).
L2 regularizáció — Ridge módszer: A Ridge feladata, hogy megőrizze az összes változót, miközben fontosságot tulajdonít nekik annak alapján, milyen mértékben járulnak hozzá a modell teljesítményéhez. A Ridge jó választás, ha az adathalazban kevés változó található, és mind szükséges az eredmények értelmezéséhez.
Mivel a Ridge megtartja az összes változót, míg a Lasso jobban meghatározza azok fontosságát, kifejlesztettek egy algoritmust, amely ötvözi mindkét regularizáció legjobb tulajdonságait, és Elastic-Net néven ismert.
Több módszer is létezik a funkciók kiválasztására gépi tanulásban, de a fő ötlet mindig ugyanaz: bemutatni a változók fontosságát, majd néhányat kizárni a kapott fontosság alapján. A fontosság egy nagyon szubjektív kifejezés, mivel nem egy, hanem egy helez kész metrikum és diagram létezik, amely a kulcsfontosságú jellemzők megtalálására használható.
Köszönjük a figyelmet! Boldog tanulást!
Forrás: habr.com
