Wyb\u00f3r cech w uczeniu maszynowym<\/a><\/noindex>. Mamy nadziej\u0119, \u017ce b\u0119dzie to przydatne dla wszystkich, kt\u00f3rzy interesuj\u0105 si\u0119 tym tematem.<\/p>\nW prawdziwym \u015bwiecie dane nie zawsze s\u0105 tak czyste, jak czasem my\u015bl\u0105 o tym klienci biznesowi. Dlatego te\u017c potrzebna jest inteligentna analiza danych (data mining i data wrangling). Pomaga ona w identyfikacji brakuj\u0105cych warto\u015bci i wzorc\u00f3w w danych uporz\u0105dkowanych za pomoc\u0105 zapyta\u0144, kt\u00f3re mog\u0105 pozosta\u0107 niezauwa\u017cone przez cz\u0142owieka. Aby znale\u017a\u0107 i wykorzysta\u0107 te wzorce do przewidywania wynik\u00f3w przy pomocy odkrytych zale\u017cno\u015bci w danych, przyda si\u0119 uczenie maszynowe (Machine Learning).<\/p>\n
Aby zrozumie\u0107 ka\u017cdy algorytm, nale\u017cy przejrze\u0107 wszystkie zmienne w danych i ustali\u0107, co te zmienne reprezentuj\u0105. To niezwykle wa\u017cne, poniewa\u017c uzasadnienie wynik\u00f3w opiera si\u0119 na zrozumieniu danych. Je\u015bli dane zawieraj\u0105 5 lub nawet 50 zmiennych, mo\u017cna je wszystkie zbada\u0107. Ale co zrobi\u0107, gdy jest ich 200? W\u00f3wczas po prostu brakuje czasu na przeanalizowanie ka\u017cdej zmiennej z osobna. Co wi\u0119cej, niekt\u00f3re algorytmy nie dzia\u0142aj\u0105 dla danych kategorycznych, a wtedy trzeba b\u0119dzie przekszta\u0142ci\u0107 wszystkie kolumny kategoryczne na zmienne ilo\u015bciowe (mog\u0105 wygl\u0105da\u0107 jak ilo\u015bciowe, ale metryki poka\u017c\u0105, \u017ce s\u0105 kategoryczne), aby mo\u017cna by\u0142o je doda\u0107 do modelu. W ten spos\u00f3b liczba zmiennych wzrasta, a ich liczba mo\u017ce si\u0119gn\u0105\u0107 oko\u0142o 500. Co teraz zrobi\u0107? Mo\u017cna pomy\u015ble\u0107, \u017ce odpowiedzi\u0105 b\u0119dzie redukcja wymiarowo\u015bci. Algorytmy redukcji wymiarowo\u015bci zmniejszaj\u0105 liczb\u0119 parametr\u00f3w, ale negatywnie wp\u0142ywaj\u0105 na interpretowalno\u015b\u0107. Co, je\u015bli istniej\u0105 inne techniki, kt\u00f3re eliminuj\u0105 cechy, a jednocze\u015bnie pozwalaj\u0105 \u0142atwo zrozumie\u0107 i zinterpretowa\u0107 pozosta\u0142e?<\/p>\n
W zale\u017cno\u015bci od tego, czy analiza opiera si\u0119 na regresji, czy klasyfikacji, algorytmy wyboru cech mog\u0105 si\u0119 r\u00f3\u017cni\u0107, ale g\u0142\u00f3wna idea ich realizacji pozostaje taka sama.<\/p>\n
Silnie skorelowane zmienne<\/h3>\n Silnie skorelowane ze sob\u0105 zmienne dostarczaj\u0105 modelowi tych samych informacji, w zwi\u0105zku z tym nie ma potrzeby u\u017cywania wszystkich z nich w analizie. Na przyk\u0142ad, je\u015bli zestaw danych zawiera cechy \u201eCzas w sieci\u201d i \u201eWykorzystany ruch\u201d, mo\u017cna za\u0142o\u017cy\u0107, \u017ce b\u0119d\u0105 one w pewnym stopniu skorelowane, co mo\u017ce skutkowa\u0107 siln\u0105 korelacj\u0105, nawet je\u015bli wybierzemy losowy pr\u00f3bk\u0119 danych. W takim przypadku w modelu potrzebna jest tylko jedna z tych zmiennych. U\u017cycie obu sprawi, \u017ce model zostanie przetrenowany (overfit) i b\u0119dzie stronniczy wobec jednej konkretnej cechy.<\/p>\n
Warto\u015bci P<\/h3>\n W takich algorytmach jak regresja liniowa, pocz\u0105tkowy model statystyczny to zawsze dobry pomys\u0142. Pomaga on pokaza\u0107 znaczenie cech za pomoc\u0105 ich warto\u015bci P, kt\u00f3re uzyskano przy u\u017cyciu tego modelu. Ustalamy poziom istotno\u015bci, a nast\u0119pnie sprawdzamy uzyskane warto\u015bci P; je\u017celi jaka\u015b warto\u015b\u0107 jest poni\u017cej ustalonego poziomu istotno\u015bci, to ta cecha jest uznawana za istotn\u0105, co oznacza, \u017ce zmiana jej warto\u015bci prawdopodobnie wp\u0142ynie na zmian\u0119 warto\u015bci celu (target).<\/p>\n
Selekcja bezpo\u015brednia<\/h3>\n Selekcja bezpo\u015brednia to technika polegaj\u0105ca na stosowaniu regresji krokowej. Budowa modelu zaczyna si\u0119 od zera, czyli od pustego modelu, a nast\u0119pnie w ka\u017cdej iteracji dodawana jest zmienna, kt\u00f3ra wprowadza popraw\u0119 do budowanego modelu. To, kt\u00f3ra zmienna zostanie dodana do modelu, okre\u015bla jej znaczenie. Mo\u017ce to by\u0107 obliczone przy u\u017cyciu r\u00f3\u017cnych metryk. Najbardziej powszechn\u0105 metod\u0105 jest stosowanie warto\u015bci P uzyskanych w pocz\u0105tkowym modelu statystycznym z u\u017cyciem wszystkich zmiennych. Czasami selekcja bezpo\u015brednia mo\u017ce prowadzi\u0107 do przetrenowania modelu, poniewa\u017c mog\u0105 w nim znale\u017a\u0107 si\u0119 silnie skorelowane zmienne, mimo \u017ce dostarczaj\u0105 one tych samych informacji modelowi (ale model przy tym pokazuje popraw\u0119).<\/p>\n
Selekcja odwrotna<\/h3>\n Wsteczna eliminacja r\u00f3wnie\u017c polega na krokowym wykluczeniu cech, jednak w przeciwnym kierunku w por\u00f3wnaniu do bezpo\u015bredniej. W tym przypadku pocz\u0105tkowy model obejmuje wszystkie zmienne niezale\u017cne. Nast\u0119pnie zmienne s\u0105 wykluczane (po jednej w ka\u017cdej iteracji), je\u015bli nie wnosz\u0105 warto\u015bci do nowego modelu regresyjnego w ka\u017cdej iteracji. Podstaw\u0105 wykluczenia cech s\u0105 wska\u017aniki warto\u015bci p pocz\u0105tkowego modelu. W tej metodzie r\u00f3wnie\u017c wyst\u0119puje niepewno\u015b\u0107 przy usuwaniu silnie skorelowanych zmiennych.<\/p>\n
Rekurencyjne wykluczanie cech<\/h3>\n RFE jest szeroko stosowan\u0105 technik\u0105\/algorytmem do wyboru dok\u0142adnej liczby znacz\u0105cych cech. Czasami metoda jest u\u017cywana, aby wyja\u015bni\u0107 pewn\u0105 liczb\u0119 \"najwa\u017cniejszych\" cech wp\u0142ywaj\u0105cych na wyniki; a czasami do zmniejszenia bardzo du\u017cej liczby zmiennych (oko\u0142o 200-400), pozostawiaj\u0105c tylko te, kt\u00f3re wnosz\u0105 jakikolwiek wk\u0142ad do modelu, a wszystkie pozosta\u0142e s\u0105 wykluczane. RFE wykorzystuje system rang. Cechom w zbiorze danych przypisywane s\u0105 rangi. Nast\u0119pnie te rangi s\u0105 u\u017cywane do rekurencyjnego wykluczania cech w zale\u017cno\u015bci od kolinearnych relacji mi\u0119dzy nimi i znaczenia tych cech w modelu. Opr\u00f3cz nadawania rang cechom, RFE mo\u017ce r\u00f3wnie\u017c pokaza\u0107, czy te cechy s\u0105 istotne, czy nie, nawet dla danej liczby cech (poniewa\u017c bardzo mo\u017cliwe jest, \u017ce wybrana liczba cech mo\u017ce by\u0107 nieoptymalna, a optymalna liczba cech mo\u017ce by\u0107 zar\u00f3wno wy\u017csza, jak i ni\u017csza od wybranej).<\/p>\n
Diagram istotno\u015bci cech<\/h3>\n M\u00f3wi\u0105c o interpretowalno\u015bci algorytm\u00f3w uczenia maszynowego, zazwyczaj omawia si\u0119 regresj\u0119 liniow\u0105 (pozwalaj\u0105c\u0105 analizowa\u0107 znaczenie cech za pomoc\u0105 warto\u015bci p) oraz drzewa decyzyjne (dos\u0142ownie pokazuj\u0105ce znaczenie cech w formie drzewa, a tak\u017ce ich hierarchi\u0119). Z drugiej strony, w takich algorytmach, jak Random Forest, LightGBM i XG Boost, cz\u0119sto wykorzystuje si\u0119 diagram istotno\u015bci cech, co oznacza budow\u0119 wykresu zmiennych i \"ich znaczenia dla modelu\". Jest to szczeg\u00f3lnie przydatne, gdy trzeba dostarczy\u0107 usystematyzowane uzasadnienie znaczenia cech z punktu widzenia ich wp\u0142ywu na biznes.<\/p>\n
Regularyzacja<\/h3>\n Regularizacja s\u0142u\u017cy do kontrolowania r\u00f3wnowagi mi\u0119dzy stronniczo\u015bci\u0105 (bias) a wariancj\u0105 (variance). Stronniczo\u015b\u0107 pokazuje, jak bardzo model jest przetrenowany (overfit) na zbiorze danych treningowych. Wariancja pokazuje, jak r\u00f3\u017cne by\u0142y prognozy mi\u0119dzy zbiorem treningowym a testowym. Idealnie zar\u00f3wno stronniczo\u015b\u0107, jak i wariancja powinny by\u0107 ma\u0142e. W tym miejscu przychodzi z pomoc\u0105 regularizacja! Istniej\u0105 dwie podstawowe techniki:<\/p>\n
Regularizacja L1 \u2014 Lasso: Lasso nak\u0142ada kar\u0119 na wagi modelu, aby zmieni\u0107 ich wa\u017cno\u015b\u0107 dla modelu i mo\u017ce nawet je zera (tj. usun\u0105\u0107 te zmienne z ostatecznego modelu). Zwykle Lasso jest stosowane, gdy zbi\u00f3r danych zawiera wiele zmiennych i konieczne jest wykluczenie niekt\u00f3rych z nich, aby lepiej zrozumie\u0107, jak wa\u017cne cechy wp\u0142ywaj\u0105 na model (tj. te cechy, kt\u00f3re zosta\u0142y wybrane przez Lasso i maj\u0105 przypisan\u0105 wa\u017cno\u015b\u0107).<\/p>\n
Regularizacja L2 \u2014 metoda Ridge: Celem Ridge jest zachowanie wszystkich zmiennych, jednocze\u015bnie przypisuj\u0105c im wa\u017cno\u015b\u0107 na podstawie wk\u0142adu w efektywno\u015b\u0107 modelu. Ridge b\u0119dzie dobrym wyborem, je\u015bli zbi\u00f3r danych zawiera niewielk\u0105 liczb\u0119 zmiennych i wszystkie s\u0105 potrzebne do interpretacji wniosk\u00f3w i uzyskanych wynik\u00f3w.<\/p>\n
Poniewa\u017c Ridge zachowuje wszystkie zmienne, a Lasso lepiej ustala ich wa\u017cno\u015b\u0107, opracowano algorytm, kt\u00f3ry \u0142\u0105czy najlepsze cechy obu regularizacji i jest znany jako Elastic-Net.<\/p>\n
Istnieje wiele innych metod selekcji cech dla uczenia maszynowego, ale g\u0142\u00f3wna idea zawsze pozostaje taka sama: wykaza\u0107 wa\u017cno\u015b\u0107 zmiennych, a nast\u0119pnie wykluczy\u0107 niekt\u00f3re z nich na podstawie uzyskanej wa\u017cno\u015bci. Wa\u017cno\u015b\u0107 to bardzo subiektywny termin, poniewa\u017c nie jest to jeden, a ca\u0142y zestaw metryk i wykres\u00f3w, kt\u00f3re mog\u0105 by\u0107 u\u017cywane do znalezienia kluczowych cech.<\/p>\n
Dzi\u0119kujemy za przeczytanie! Szcz\u0119\u015bliwego uczenia si\u0119!<\/p>\n
\u0179r\u00f3d\u0142o: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t