Jellemz\u0151k kiv\u00e1laszt\u00e1sa a g\u00e9pi tanul\u00e1sban<\/a><\/noindex>. Rem\u00e9lj\u00fck, hogy hasznos lesz mindazok sz\u00e1m\u00e1ra, akiket \u00e9rdekel a t\u00e9ma.<\/p>\nA val\u00f3s vil\u00e1gban az adatok nem mindig olyan tiszt\u00e1k, mint ahogyan azt n\u00e9ha a v\u00e1llalati megrendel\u0151k gondolj\u00e1k. \u00c9ppen ez\u00e9rt van sz\u00fcks\u00e9g az intelligens adatelemz\u00e9sre (data mining \u00e9s data wrangling). Ez seg\u00edt azonos\u00edtani a hi\u00e1nyz\u00f3 \u00e9rt\u00e9keket \u00e9s mint\u00e1kat a struktur\u00e1lt adatokban, amelyeket ember nem tud meg\u00e1llap\u00edtani. Ahhoz, hogy ezeket a mint\u00e1kat az eredm\u00e9nyek el\u0151rejelz\u00e9s\u00e9re haszn\u00e1lhassuk az adatokban fellelt \u00f6sszef\u00fcgg\u00e9sek r\u00e9v\u00e9n, sz\u00fcks\u00e9g van a g\u00e9pi tanul\u00e1sra (Machine Learning).<\/p>\n
B\u00e1rmilyen algoritmus meg\u00e9rt\u00e9s\u00e9hez meg kell vizsg\u00e1lni az \u00f6sszes v\u00e1ltoz\u00f3t az adatokban, \u00e9s meg kell \u00e1llap\u00edtani, hogy mit k\u00e9pviselnek ezek a v\u00e1ltoz\u00f3k. Ez rendk\u00edv\u00fcl fontos, mert az eredm\u00e9nyek indokl\u00e1sa az adatok meg\u00e9rt\u00e9s\u00e9n alapul. Ha az adatok 5 vagy ak\u00e1r 50 v\u00e1ltoz\u00f3t tartalmaznak, mindet meg lehet vizsg\u00e1lni. De mi van, ha 200 van bel\u0151l\u00fck? Akkor egyszer\u0171en nem lesz el\u00e9g id\u0151 minden egyes v\u00e1ltoz\u00f3t k\u00fcl\u00f6n-k\u00fcl\u00f6n megvizsg\u00e1lni. S\u0151t, egyes algoritmusok nem m\u0171k\u00f6dnek kateg\u00f3ri\u00e1s adatokkal, \u00e9s akkor az \u00f6sszes kateg\u00f3ri\u00e1s oszlopot mennyis\u00e9gi v\u00e1ltoz\u00f3kk\u00e1 kell alak\u00edtani (lehet, hogy mennyis\u00e9giaknak t\u0171nnek, de a metrik\u00e1k azt mutatj\u00e1k, hogy kateg\u00f3ri\u00e1sak), hogy beilleszthess\u00fck \u0151ket a modellbe. \u00cdgy a v\u00e1ltoz\u00f3k sz\u00e1ma megn\u0151, \u00e9s k\u00f6r\u00fclbel\u00fcl 500 lesz. Most mit tegy\u00fcnk? Gondolhatn\u00e1nk, hogy a megold\u00e1s a dimenzi\u00f3cs\u00f6kkent\u00e9s lenne. A dimenzi\u00f3cs\u00f6kkent\u00e9si algoritmusok cs\u00f6kkentik a param\u00e9terek sz\u00e1m\u00e1t, de negat\u00edvan hatnak az \u00e9rtelmezhet\u0151s\u00e9gre. Mi van, ha l\u00e9teznek olyan egy\u00e9b technik\u00e1k, amelyek kiz\u00e1rj\u00e1k a jellemz\u0151ket, mik\u00f6zben lehet\u0151v\u00e9 teszik a megmaradt jellemz\u0151k k\u00f6nny\u0171 meg\u00e9rt\u00e9s\u00e9t \u00e9s \u00e9rtelmez\u00e9s\u00e9t?<\/p>\n
Az, hogy a kiv\u00e1laszt\u00e1si anal\u00edzis a regresszi\u00f3n vagy a klasszifik\u00e1ci\u00f3n alapul-e, befoly\u00e1solhatja az algoritmusokat, de a megval\u00f3s\u00edt\u00e1s f\u0151 elk\u00e9pzel\u00e9se ugyanaz marad.<\/p>\n
Er\u0151sen korrel\u00e1lt v\u00e1ltoz\u00f3k<\/h3>\n Er\u0151sen korrel\u00e1lt v\u00e1ltoz\u00f3k ugyanazt az inform\u00e1ci\u00f3t szolg\u00e1ltatj\u00e1k a modell sz\u00e1m\u00e1ra, ez\u00e9rt azok elemz\u00e9s\u00e9hez nem sz\u00fcks\u00e9ges mindegyiket haszn\u00e1lni. P\u00e9ld\u00e1ul, ha egy adathalaz tartalmazza a \"Online id\u0151\" \u00e9s az \"Haszn\u00e1lt forgalom\" jellemz\u0151ket, felt\u00e9telezhet\u0151, hogy ezek bizonyos m\u00e9rt\u00e9kig korrel\u00e1lni fognak, \u00e9s er\u0151s korrel\u00e1ci\u00f3t fogunk l\u00e1tni, m\u00e9g akkor is, ha p\u00e1rtatlan adatmint\u00e1t v\u00e1lasztunk. Ilyen esetben a modellhez csak az egyik v\u00e1ltoz\u00f3ra van sz\u00fcks\u00e9g. Ha mindkett\u0151t haszn\u00e1ljuk, a modell t\u00faltanult (overfit) \u00e9s elfogult lesz egy adott jellemz\u0151vel kapcsolatban.<\/p>\n
P-\u00e9rt\u00e9kek<\/h3>\n Az olyan algoritmusokban, mint a line\u00e1ris regresszi\u00f3, a kezdeti statisztikai modell mindig j\u00f3 \u00f6tlet. Seg\u00edt megmutatni a jellemz\u0151k fontoss\u00e1g\u00e1t azok p-\u00e9rt\u00e9keivel, amelyeket ez a modell \u00e1ll\u00edtott el\u0151. A jelent\u0151s\u00e9gi szint meghat\u00e1roz\u00e1s\u00e1val ellen\u0151rizz\u00fck a kapott p-\u00e9rt\u00e9keket, \u00e9s ha valamelyik \u00e9rt\u00e9k a megadott szignifikancia szint alatt van, akkor ezt a jellemz\u0151t jelent\u0151snek tekintj\u00fck, azaz a jellemz\u0151 \u00e9rt\u00e9k\u00e9nek megv\u00e1ltoz\u00e1sa val\u00f3sz\u00edn\u0171leg a c\u00e9l (target) \u00e9rt\u00e9k\u00e9nek megv\u00e1ltoz\u00e1s\u00e1hoz vezet.<\/p>\n
K\u00f6zvetlen kiv\u00e1laszt\u00e1s<\/h3>\n A k\u00f6zvetlen kiv\u00e1laszt\u00e1s egy olyan technika, amely fokozatos regresszi\u00f3t alkalmaz. A modell fel\u00e9p\u00edt\u00e9se teljesen null\u00e1r\u00f3l, azaz egy \u00fcres modellel kezd\u0151dik, \u00e9s minden iter\u00e1ci\u00f3ban hozz\u00e1ad egy olyan v\u00e1ltoz\u00f3t, amely jav\u00edtja a l\u00e9trehozott modellt. Az, hogy melyik v\u00e1ltoz\u00f3t adjuk hozz\u00e1 a modellhez, annak jelent\u0151s\u00e9ge hat\u00e1rozza meg. Ez k\u00fcl\u00f6nb\u00f6z\u0151 metrik\u00e1k seg\u00edts\u00e9g\u00e9vel sz\u00e1m\u00edthat\u00f3. A leggyakoribb m\u00f3dszer a p-\u00e9rt\u00e9kek alkalmaz\u00e1sa, amelyeket az eredeti statisztikai modellben sz\u00e1moltak ki minden v\u00e1ltoz\u00f3 haszn\u00e1lat\u00e1val. N\u00e9ha a k\u00f6zvetlen kiv\u00e1laszt\u00e1s t\u00faltanul\u00e1st eredm\u00e9nyezhet, mert a modellben er\u0151sen korrel\u00e1lt v\u00e1ltoz\u00f3k is megjelenhetnek, m\u00e9g ha ugyanazt az inform\u00e1ci\u00f3t is adj\u00e1k meg a modellnek (de a modell \u00edgy javul\u00e1st mutat).<\/p>\n
Visszavon\u00e1sos kiv\u00e1laszt\u00e1s<\/h3>\n A visszafel\u00e9 t\u00f6rt\u00e9n\u0151 kiv\u00e1laszt\u00e1s szint\u00e9n l\u00e9p\u00e9sr\u0151l l\u00e9p\u00e9sre t\u00f6rt\u00e9n\u0151 jellemz\u0151k kiz\u00e1r\u00e1s\u00e1t jelenti, azonban \u00e9ppen ellenkez\u0151 ir\u00e1nyban, mint a k\u00f6zvetlen kiv\u00e1laszt\u00e1s. Ebben az esetben a kezdeti modell tartalmazza az \u00f6sszes f\u00fcggetlen v\u00e1ltoz\u00f3t. Ezut\u00e1n a v\u00e1ltoz\u00f3kat kiz\u00e1rj\u00e1k (egyenk\u00e9nt iter\u00e1ci\u00f3nk\u00e9nt), ha nem hordoznak \u00e9rt\u00e9ket az \u00faj regresszi\u00f3s modellhez minden iter\u00e1ci\u00f3ban. A jellemz\u0151k kiz\u00e1r\u00e1s\u00e1nak alapja a kezdeti modell p-\u00e9rt\u00e9k\u00e9nek mutat\u00f3i. Ebben a m\u00f3dszerben is van bizonytalans\u00e1g, amikor er\u0151sen korrel\u00e1lt v\u00e1ltoz\u00f3kat t\u00e1vol\u00edtanak el.<\/p>\n
Rekurz\u00edv jellemz\u0151k kiz\u00e1r\u00e1sa<\/h3>\n Az RFE egy sz\u00e9les k\u00f6rben haszn\u00e1lt technika\/algoritmus a jelent\u0151s jellemz\u0151k pontos sz\u00e1m\u00e1nak kiv\u00e1laszt\u00e1s\u00e1ra. N\u00e9ha a m\u00f3dszert arra haszn\u00e1lj\u00e1k, hogy megmagyar\u00e1zz\u00e1k a \u2018legfontosabb\u2019 jellemz\u0151k sz\u00e1m\u00e1t, amelyek hat\u00e1ssal vannak az eredm\u00e9nyekre; m\u00e1skor pedig egy nagyon nagy sz\u00e1m\u00fa v\u00e1ltoz\u00f3 (k\u00f6r\u00fclbel\u00fcl 200-400) cs\u00f6kkent\u00e9s\u00e9re, \u00e9s csak azokat hagyj\u00e1k meg, amelyek valamilyen m\u00f3don hozz\u00e1j\u00e1rulnak a modellhez, m\u00edg a t\u00f6bbieket kiz\u00e1rj\u00e1k. Az RFE rangsorol\u00f3 rendszert alkalmaz. A jellemz\u0151k a k\u00e9szletben rangsorol\u00e1sra ker\u00fclnek. Ezut\u00e1n ezeket a rangokat haszn\u00e1lj\u00e1k a jellemz\u0151k rekurrens kiz\u00e1r\u00e1s\u00e1hoz a k\u00f6z\u00f6tt\u00fck l\u00e9v\u0151 kollinearit\u00e1s \u00e9s a modellbeli jellemz\u0151k jelent\u0151s\u00e9ge alapj\u00e1n. A jellemz\u0151k rangsorol\u00e1s\u00e1n k\u00edv\u00fcl az RFE megmutathatja, hogy ezek a jellemz\u0151k fontosak-e vagy sem m\u00e9g egy adott jellemz\u0151sz\u00e1m mellett is (mivel nagyon val\u00f3sz\u00edn\u0171, hogy a v\u00e1lasztott jellemz\u0151sz\u00e1m nem optim\u00e1lis, \u00e9s az optim\u00e1lis jellemz\u0151sz\u00e1m lehet nagyobb vagy kisebb a v\u00e1lasztottn\u00e1l).<\/p>\n
A jellemz\u0151k fontoss\u00e1g\u00e1nak diagramja<\/h3>\n A g\u00e9pi tanul\u00e1s algoritmusainak \u00e9rtelmezhet\u0151s\u00e9g\u00e9r\u0151l besz\u00e9lve \u00e1ltal\u00e1ban a line\u00e1ris regresszi\u00f3kat t\u00e1rgyalj\u00e1k (amelyek lehet\u0151v\u00e9 teszik a jellemz\u0151k jelent\u0151s\u00e9g\u00e9nek elemz\u00e9s\u00e9t p-\u00e9rt\u00e9kek seg\u00edts\u00e9g\u00e9vel) \u00e9s a d\u00f6nt\u00e9si f\u00e1kat (amelyek sz\u00f3 szerint megmutatj\u00e1k a jellemz\u0151k fontoss\u00e1g\u00e1t fa form\u00e1j\u00e1ban, valamint hierarchi\u00e1jukat). M\u00e1sr\u00e9szr\u0151l olyan algoritmusok, mint a Random Forest, LightGBM \u00e9s XG Boost gyakran alkalmaznak jellemz\u0151k fontoss\u00e1gi diagramj\u00e1t, azaz egy diagramot k\u00e9sz\u00edtenek a v\u00e1ltoz\u00f3kr\u00f3l \u00e9s azok \u2018fontoss\u00e1gi sz\u00e1m\u00e1r\u00f3l\u2019. Ez k\u00fcl\u00f6n\u00f6sen hasznos, amikor struktur\u00e1lt indokl\u00e1st kell adni a jellemz\u0151k fontoss\u00e1g\u00e1r\u00f3l az \u00fczleti hat\u00e1suk szempontj\u00e1b\u00f3l.<\/p>\n
Regulariz\u00e1ci\u00f3<\/h3>\n A regulariz\u00e1ci\u00f3 a torz\u00edt\u00e1s (bias) \u00e9s a sz\u00f3r\u00e1s (variance) k\u00f6z\u00f6tti egyens\u00faly kontroll\u00e1l\u00e1s\u00e1ra szolg\u00e1l. A torz\u00edt\u00e1s azt mutatja, mennyire feleslegesen tanulta meg a modellt az edz\u00e9si adathalmazon (overfit). A sz\u00f3r\u00e1s megmutatja, mennyire k\u00fcl\u00f6nb\u00f6ztek a predikci\u00f3k az edz\u00e9si \u00e9s a teszt adathalmazon. Ide\u00e1lisan mind a torz\u00edt\u00e1snak, mind a sz\u00f3r\u00e1snak kicsinek kell lennie. Ebben seg\u00edt a regulariz\u00e1ci\u00f3! K\u00e9t f\u0151 technika l\u00e9tezik:<\/p>\n
L1 regulariz\u00e1ci\u00f3 \u2014 Lasso: A Lasso b\u00fcnteti a modell s\u00falyait, hogy megv\u00e1ltoztassa azok jelent\u0151s\u00e9g\u00e9t a modell sz\u00e1m\u00e1ra, \u00e9s ak\u00e1r null\u00e1ra is cs\u00f6kkentheti \u0151ket (azaz elt\u00e1vol\u00edtja ezeket a v\u00e1ltoz\u00f3kat a v\u00e9gs\u0151 modellb\u0151l). A Lasso \u00e1ltal\u00e1ban akkor haszn\u00e1land\u00f3, ha az adathalmaz sok v\u00e1ltoz\u00f3t tartalmaz, \u00e9s sz\u00fcks\u00e9ges n\u00e9h\u00e1nyat kiz\u00e1rni, hogy jobban meg\u00e9rthess\u00fck, hogyan befoly\u00e1solj\u00e1k a fontos jellemz\u0151k a modellt (azaz azokat a jellemz\u0151ket, amelyeket a Lasso kiv\u00e1lasztott \u00e9s amelyeknek jelent\u0151s\u00e9ge van).<\/p>\n
L2 regulariz\u00e1ci\u00f3 \u2014 Ridge m\u00f3dszer: A Ridge feladata, hogy meg\u0151rizze az \u00f6sszes v\u00e1ltoz\u00f3t, mik\u00f6zben fontoss\u00e1got tulajdon\u00edt nekik annak alapj\u00e1n, milyen m\u00e9rt\u00e9kben j\u00e1rulnak hozz\u00e1 a modell teljes\u00edtm\u00e9ny\u00e9hez. A Ridge j\u00f3 v\u00e1laszt\u00e1s, ha az adathalazban kev\u00e9s v\u00e1ltoz\u00f3 tal\u00e1lhat\u00f3, \u00e9s mind sz\u00fcks\u00e9ges az eredm\u00e9nyek \u00e9rtelmez\u00e9s\u00e9hez.<\/p>\n
Mivel a Ridge megtartja az \u00f6sszes v\u00e1ltoz\u00f3t, m\u00edg a Lasso jobban meghat\u00e1rozza azok fontoss\u00e1g\u00e1t, kifejlesztettek egy algoritmust, amely \u00f6tv\u00f6zi mindk\u00e9t regulariz\u00e1ci\u00f3 legjobb tulajdons\u00e1gait, \u00e9s Elastic-Net n\u00e9ven ismert.<\/p>\n
T\u00f6bb m\u00f3dszer is l\u00e9tezik a funkci\u00f3k kiv\u00e1laszt\u00e1s\u00e1ra g\u00e9pi tanul\u00e1sban, de a f\u0151 \u00f6tlet mindig ugyanaz: bemutatni a v\u00e1ltoz\u00f3k fontoss\u00e1g\u00e1t, majd n\u00e9h\u00e1nyat kiz\u00e1rni a kapott fontoss\u00e1g alapj\u00e1n. A fontoss\u00e1g egy nagyon szubjekt\u00edv kifejez\u00e9s, mivel nem egy, hanem egy helez k\u00e9sz metrikum \u00e9s diagram l\u00e9tezik, amely a kulcsfontoss\u00e1g\u00fa jellemz\u0151k megtal\u00e1l\u00e1s\u00e1ra haszn\u00e1lhat\u00f3.<\/p>\n
K\u00f6sz\u00f6nj\u00fck a figyelmet! Boldog tanul\u00e1st!<\/p>\n
Forr\u00e1s: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t