Избор на функции в машинното обучение

Хей Хабр!

Ние от Reksoft преведохме статията на руски Избор на функции в машинното обучение. Надяваме се, че ще бъде полезно за всички, които се интересуват от темата.

В реалния свят данните не винаги са толкова чисти, колкото понякога си мислят бизнес клиентите. Ето защо извличането на данни и споровете с данни са търсени. Помага за идентифициране на липсващи стойности и модели в данни, структурирани чрез заявки, които хората не могат да идентифицират. За да намерите и използвате тези модели за прогнозиране на резултати, като използвате открити връзки в данните, машинното обучение е полезно.

За да разберете всеки алгоритъм, трябва да разгледате всички променливи в данните и да разберете какво представляват тези променливи. Това е критично, защото обосновката зад резултатите се основава на разбирането на данните. Ако данните съдържат 5 или дори 50 променливи, можете да ги разгледате всички. Ами ако са 200? Тогава просто няма да има достатъчно време за изучаване на всяка една променлива. Освен това някои алгоритми не работят за категорични данни и тогава ще трябва да преобразувате всички категориални колони в количествени променливи (те може да изглеждат количествени, но показателите ще покажат, че са категорични), за да ги добавите към модела. Така броят на променливите се увеличава и те са около 500. Какво да правим сега? Човек може да си помисли, че отговорът би бил да се намали размерността. Алгоритмите за намаляване на размерността намаляват броя на параметрите, но имат отрицателно въздействие върху интерпретируемостта. Ами ако има други техники, които елиминират характеристиките, като същевременно правят останалите лесни за разбиране и тълкуване?

В зависимост от това дали анализът се основава на регресия или класификация, алгоритмите за избор на характеристики могат да се различават, но основната идея на тяхното изпълнение остава същата.

Силно корелирани променливи

Променливи, които са силно корелирани една с друга, предоставят една и съща информация на модела, така че няма нужда да ги използвате всички за анализ. Например, ако набор от данни съдържа функциите „Време онлайн“ и „Използван трафик“, можем да приемем, че те ще бъдат донякъде корелирани и ще видим силна корелация, дори ако изберем безпристрастна извадка от данни. В този случай само една от тези променливи е необходима в модела. Ако използвате и двете, моделът ще бъде прекалено оборудван и предубеден към една конкретна характеристика.

P-стойности

В алгоритми като линейна регресия първоначалният статистически модел винаги е добра идея. Помага да се покаже важността на характеристиките чрез техните p-стойности, които са получени от този модел. След като зададем нивото на значимост, ние проверяваме получените p-стойности и ако някоя стойност е под определеното ниво на значимост, тогава тази характеристика се обявява за значима, т.е. промяна в нейната стойност вероятно ще доведе до промяна в стойността на целта.

Директен подбор

Изборът напред е техника, която включва прилагане на поетапна регресия. Изграждането на модел започва с пълна нула, тоест празен модел, и след това всяка итерация добавя променлива, която подобрява модела, който се изгражда. Коя променлива се добавя към модела се определя от нейната значимост. Това може да се изчисли с помощта на различни показатели. Най-често срещаният начин е да се използват p-стойностите, получени в оригиналния статистически модел, като се използват всички променливи. Понякога предният избор може да доведе до пренастройване на модел, защото може да има силно корелирани променливи в модела, дори ако те предоставят същата информация на модела (но моделът все още показва подобрение).

Обратна селекция

Обратната селекция също включва елиминиране стъпка по стъпка на признаци, но в обратна посока в сравнение с предната селекция. В този случай първоначалният модел включва всички независими променливи. След това променливите се елиминират (по една на итерация), ако не допринасят със стойност за новия регресионен модел при всяка итерация. Изключването на функции се основава на p-стойностите на първоначалния модел. Този метод също има несигурност при премахване на силно корелирани променливи.

Елиминиране на рекурсивни функции

RFE е широко използвана техника/алгоритъм за избор на точния брой значими характеристики. Понякога методът се използва за обяснение на редица „най-важни“ характеристики, които влияят върху резултатите; и понякога за намаляване на много голям брой променливи (около 200-400), като се запазват само тези, които имат поне някакъв принос към модела, а всички останали се изключват. RFE използва система за класиране. На характеристиките в набора от данни са присвоени рангове. След това тези рангове се използват за рекурсивно елиминиране на характеристики въз основа на колинеарността между тях и важността на тези характеристики в модела. В допълнение към функциите за класиране, RFE може да покаже дали тези характеристики са важни или не дори за даден брой функции (тъй като е много вероятно избраният брой функции да не е оптимален, а оптималният брой функции може да бъде или повече или по-малко от избраното число).

Диаграма на важността на характеристиките

Когато говорим за интерпретируемостта на алгоритмите за машинно обучение, обикновено обсъждаме линейни регресии (които ви позволяват да анализирате важността на характеристиките, използвайки p-стойности) и дървета на решенията (буквално показващи важността на характеристиките под формата на дърво и при същевременно тяхната йерархия). От друга страна, алгоритми като Random Forest, LightGBM и XG Boost често използват диаграма на важността на характеристиките, тоест диаграма на променливи и „техните числа на важност“ се изчертават. Това е особено полезно, когато трябва да предоставите структурирана обосновка за важността на атрибутите по отношение на тяхното въздействие върху бизнеса.

Регулиране

Регулирането се извършва, за да се контролира балансът между отклонение и дисперсия. Bias показва доколко моделът е пренастроил набора от данни за обучение. Отклонението показва колко различни са били прогнозите между обучителните и тестовите набори от данни. В идеалния случай и отклонението, и дисперсията трябва да са малки. Тук на помощ идва регулацията! Има две основни техники:

L1 Регулиране - Ласо: Ласо наказва теглата на модела, за да промени важността им за модела и дори може да ги нулира (т.е. да премахне тези променливи от крайния модел). Обикновено Lasso се използва, когато набор от данни съдържа голям брой променливи и искате да изключите някои от тях, за да разберете по-добре как важни характеристики влияят на модела (т.е. тези характеристики, които са избрани от Lasso и са им присвоени важни).

L2 Регулиране - Метод на Ridge: Работата на Ridge е да съхранява всички променливи и в същото време да им придава важност въз основа на техния принос към производителността на модела. Ridge ще бъде добър избор, ако наборът от данни съдържа малък брой променливи и всички те са необходими за тълкуване на откритията и получените резултати.

Тъй като Ridge пази всички променливи, а Lasso върши по-добра работа за установяване на тяхната важност, беше разработен алгоритъм, който съчетава най-добрите характеристики на двете регуляризации, известен като Elastic-Net.

Има много повече начини за избор на функции за машинно обучение, но основната идея винаги е една и съща: демонстрирайте важността на променливите и след това елиминирайте някои от тях въз основа на получената важност. Важността е много субективен термин, тъй като не е само един, а цял набор от показатели и диаграми, които могат да се използват за намиране на ключови атрибути.

Благодаря ви, че прочетохте! Приятно учене!

Източник: www.habr.com