Отбор на сто процента в машинното обучение

Здравей, Хабр!

Ние в «Рексофт» преведохме статия на български език Feature Selection in Machine Learning. Надяваме се, че ще е полезно за всички, които се интересуват от темата.

В реалния свят данните не винаги са толкова чисти, колкото понякога си мислят бизнес клиентите. Именно затова се търси интелигентният анализ на данни (data mining и data wrangling). Той помага за откриването на липсващи стойности и модели в структурирани данни чрез заявки, които човек не може да определи. За да намерим и използваме тези модели за предсказване на резултати, основани на откритите връзки в данните, ще е необходимо машинното обучение (Machine Learning).

За да разберем всеки алгоритъм, е необходимо да разгледаме всички променливи в данните и да установим какво представляват те. Това е изключително важно, тъй като обосноваването на резултатите се основава на разбирането на данните. Ако данните съдържат 5 или дори 50 променливи, можем да ги изследваме всички. А какво, ако те са 200? Тогава просто няма да ни стигне времето да разгледаме всяка отделна променлива. Освен това, някои алгоритми не работят с категорийни данни и ще трябва да преобразуваме всички категорийни колони в количествени променливи (те могат да изглеждат количествени, но метриките ще покажат, че са категорийни), за да ги добавим в модела. Така броят на променливите нараства и те стават около 500. Какво да правим сега? Може да се помисли, че решението е намаляване на размерността. Алгоритмите за намаляване на размерността намаляват броя на параметрите, но негативно влияят на интерпретируемостта. Има ли други техники, които изключват признаци и същевременно позволяват лесно разбиране и интерпретиране на останалите?

В зависимост от това дали анализът се основава на регресия или класификация, алгоритмите за отбор на признаци могат да се различават, но основната идея на тяхното прилагане остава една и съща.

Силно корелирани променливи

Силно корелираните помежду си променливи дават на модела една и съща информация, следователно, за анализа не е необходимо да се използват всички. Например, ако наборът от данни съдържа признаци „Време в мрежата“ и „Използван трафик“, можем да предположим, че те ще бъдат до известна степен корелирани, и ще видим силна корелация, дори ако изберем неутрален проба данни. В такъв случай в модела е нужна само една от тези променливи. Ако използваме и двете, моделът ще бъде преобучен (overfit) и предвзет относно един конкретен признак.

P-стойности

В такива алгоритми като линейна регресия, началният статистически модел винаги е добра идея. Той помага да се покаже важността на признаците чрез техните p-стойности, получени от този модел. Определяйки нивото на значимост, ние проверяваме получените p-стойности и ако някоя стойност се окаже под зададения праг на значимост, то този признак се обявява за значим, тоест промяната в неговата стойност вероятно ще доведе до промяна в стойността на целта (target).

Директен отбор

Директният отбор е техника, която включва прилагане на стъпкова регресия. Изграждането на модела започва изцяло от нулата, тоест с празен модел, а след това всяка итерация добавя променлива, която подобрява изграждания модел. Това коя променлива ще бъде добавена в модела, се определя от нейната значимост. Това може да се изчисли с помощта на различни метрики. Най-разпространеният метод е прилагането на p-стойностите, получени в началния статистически модел с всички променливи. Понякога директният отбор може да доведе до преобучаване на модела, защото в него могат да попаднат силно корелирани променливи, дори ако те предоставят същата информация на модела (но моделът показва подобрение).

Обратен отбор

Обратният отбор също така включва стъпковото изключване на признаците, но в противоположната посока в сравнение с директния. В този случай началният модел съдържа всички независими променливи. След това променливите се изключват (по една на итерация), ако не носят стойност за новия регресионен модел в рамките на всяка итерация. В основата на изключването на признаците стоят стойностите на p-значенията от началния модел. В този метод също има несигурност при премахването на силно корелирани променливи.

Рекурсивно изключване на признаци

RFE е широко използвана техника/алгоритъм за избор на точното количество значими признаци. Понякога методът се използва, за да обясни определен брой "най-важни" признаци, които влияят на резултатите; а понякога за намаляване на много голям брой променливи (около 200-400), като остават само тези, които внасят някакъв принос в модела, а всички останали се изключват. RFE използва ранговата система. Признаците в набора от данни получават рангове. След това тези рангове се използват за рекурсивно изключване на признаци в зависимост от колинеарността между тях и значимостта на тези признаци в модела. Освен ранжирането на признаците, RFE може да покаже дали тези признаци са важни или не дори за зададен брой признаци (тъй като е много вероятно избраният брой признаци да не е оптимален и оптималният брой признаци може да бъде както повече, така и по-малко от избрания).

Диаграма за важност на признаците

Когато става въпрос за интерпретируемост на алгоритмите за машинно обучение, обикновено се обсъждат линейните регресии (които позволяват анализ на значимостта на признаците с помощта на p-значения) и дърветата на решенията (които буквално показват важността на признаците във форма на дърво, а също така и тяхната йерархия). От друга страна, в алгоритми като Random Forest, LightGBM и XG Boost често се използва диаграма за важност на признаците, т.е. изгражда се диаграма на променливите и "количеството на тяхната важност". Това е особено полезно, когато трябва да се предостави структурирано обоснование за важността на признаците от гледна точка на тяхното влияние върху бизнеса.

Регуляризация

Регуляризация се прави за контрол на баланса между пристрастие (bias) и вариация (variance). Пристрастието показва колко добре е моделът адаптиран (overfit) към обучаващия набор от данни. Вариацията показва колко различни са били прогнозите между обучаващия и тестовия набор от данни. В идеалния случай както пристрастията, така и вариацията трябва да бъдат малки. Тук на помощ идва регуляризацията! Съществуват две основни техники:

L1 Регуляризация — Ласо: Ласо налага наказание на тегловите коефициенти на модела, за да промени тяхната важност за модела и дори може да ги нулира (т.е. да изключи тези променливи от крайния модел). Обикновено Ласо се използва, ако наборът от данни съдържа голям брой променливи и е необходимо да се изключат някои от тях, за да се разбере как важните характеристики влияят на модела (т.е. тези характеристики, които Ласо е избрал и за които е установена важност).

L2 Регуляризация — метод на Ridge: Задачата на Ridge е да запази всички променливи и в същото време да им назначи важност на базата на приноса им към ефективността на модела. Ridge ще бъде добър избор, ако наборът от данни съдържа малък брой променливи и всички те са необходими за интерпретация на изводите и получените резултати.

Тъй като Ridge запазва всички променливи, а Ласо по-добре установява тяхната важност, е разработен алгоритъм, който комбинира най-добрите характеристики на двете регуляризации и е известен като Elastic-Net.

Съществуват още много начини за селекция на признаци за машинно обучение, но основната идея винаги остава същата: да демонстрира важността на променливите и след това да изключи някои от тях на база получената важност. Важността е много субективен термин, тъй като това не е само един, а цял набор от метрики и диаграми, които могат да се използват за намиране на ключовите характеристики.

Благодаря за прочита! Щастливо учене!

Източник: habr.com