Избор на карактеристики во машинското учење

Еј Хабр!

Ние во Рексофт ја преведовме статијата на руски Избор на карактеристики во машинското учење. Се надеваме дека ќе биде корисно за сите кои се заинтересирани за темата.

Во реалниот свет, податоците не се секогаш толку чисти како што понекогаш мислат деловните клиенти. Ова е причината зошто ископувањето податоци и расправијата на податоци се барани. Тоа помага да се идентификуваат исчезнатите вредности и обрасци во податоците структурирани со барање што луѓето не можат да ги идентификуваат. Со цел да се најдат и да се користат овие шеми за да се предвидат резултати користејќи откриени врски во податоците, машинското учење е добро.

За да разберете кој било алгоритам, треба да ги погледнете сите променливи во податоците и да откриете што претставуваат тие променливи. Ова е критично бидејќи образложението зад резултатите се заснова на разбирање на податоците. Ако податоците содржат 5 или дури 50 променливи, можете да ги испитате сите. Што ако ги има 200? Тогаш едноставно нема да има доволно време за проучување на секоја променлива. Покрај тоа, некои алгоритми не работат за категорични податоци, а потоа ќе треба да ги конвертирате сите категорични колони во квантитативни променливи (можеби изгледаат квантитативно, но метриката ќе покаже дека се категорични) за да ги додадете во моделот. Така, бројот на променливи се зголемува, а ги има околу 500. Што да се прави сега? Некој може да помисли дека одговорот би бил намалување на димензионалноста. Алгоритмите за намалување на димензиите го намалуваат бројот на параметри, но имаат негативно влијание врз интерпретабилноста. Што ако има други техники кои ги елиминираат карактеристиките додека останатите ги прават лесни за разбирање и толкување?

Во зависност од тоа дали анализата се заснова на регресија или класификација, алгоритмите за избор на карактеристики може да се разликуваат, но главната идеја за нивната имплементација останува иста.

Високо корелирани променливи

Променливите кои се во голема корелација една со друга ги обезбедуваат истите информации за моделот, така што нема потреба да се користат сите за анализа. На пример, ако базата на податоци ги содржи карактеристиките „Време на интернет“ и „Користено сообраќај“, можеме да претпоставиме дека тие ќе бидат донекаде корелирани и ќе видиме силна корелација дури и ако избереме непристрасен примерок на податоци. Во овој случај, само една од овие променливи е потребна во моделот. Ако ги користите двете, моделот ќе биде преоптоварен и пристрасен кон една одредена карактеристика.

P-вредности

Во алгоритми како линеарна регресија, почетниот статистички модел е секогаш добра идеја. Помага да се покаже важноста на карактеристиките преку нивните p-вредности кои се добиени со овој модел. Откако го поставивме нивото на значајност, ги проверуваме добиените p-вредности и ако некоја вредност е под одреденото ниво на значајност, тогаш оваа карактеристика е прогласена за значајна, односно промената на нејзината вредност најверојатно ќе доведе до промена на вредноста на Целта.

Директен избор

Напредниот избор е техника која вклучува примена на постепено регресија. Изградбата на моделот започнува со целосна нула, односно празен модел, а потоа секоја итерација додава променлива што прави подобрување на моделот што се гради. Која променлива е додадена на моделот се одредува според нејзиното значење. Ова може да се пресмета со користење на различни метрики. Највообичаен начин е да се користат p-вредностите добиени во оригиналниот статистички модел користејќи ги сите променливи. Понекогаш напредната селекција може да доведе до преоптоварување на моделот бидејќи може да има високо корелирани променливи во моделот, дури и ако тие ги даваат истите информации на моделот (но моделот сè уште покажува подобрување).

Обратна селекција

Обратна селекција, исто така, вклучува чекор-по-чекор елиминација на особините, но во спротивна насока во споредба со напредната селекција. Во овој случај, почетниот модел ги вклучува сите независни променливи. Променливите потоа се елиминираат (една по повторување) ако не придонесуваат со вредност за новиот регресивен модел во секоја итерација. Исклучувањето на карактеристиките се заснова на p-вредностите на почетниот модел. Овој метод исто така има несигурност при отстранување на високо корелирани променливи.

Елиминација на рекурзивна карактеристика

RFE е широко користена техника/алгоритам за избор на точен број на значајни карактеристики. Понекогаш методот се користи за објаснување на голем број „најважни“ карактеристики кои влијаат на резултатите; а понекогаш и да се намали многу голем број на променливи (околу 200-400), а се задржуваат само оние кои даваат барем одреден придонес во моделот, а сите други се исклучени. РСЕ користи систем за рангирање. На карактеристиките во множеството податоци им се доделуваат рангови. Овие рангови потоа се користат за рекурзивно елиминирање на карактеристиките врз основа на колинеарноста меѓу нив и важноста на тие карактеристики во моделот. Покрај карактеристиките за рангирање, RFE може да покаже дали овие карактеристики се важни или не дури и за даден број карактеристики (бидејќи многу е веројатно дека избраниот број карактеристики може да не е оптимален, а оптималниот број на функции може да биде или повеќе или помал од избраниот број).

Дијаграм за важност на карактеристиките

Кога зборуваме за интерпретабилноста на алгоритмите за машинско учење, обично разговараме за линеарни регресии (кои ви дозволуваат да ја анализирате важноста на карактеристиките користејќи p-вредности) и стеблата на одлуки (буквално ја прикажуваат важноста на карактеристиките во форма на дрво и на во исто време нивната хиерархија). Од друга страна, алгоритмите како Random Forest, LightGBM и XG Boost често користат дијаграм за важност на карактеристиките, односно се исцртува дијаграм на променливи и „нивните броеви на важност“. Ова е особено корисно кога треба да обезбедите структурирано образложение за важноста на атрибутите во однос на нивното влијание врз бизнисот.

Регулација

Регуларизацијата се прави за да се контролира рамнотежата помеѓу пристрасноста и варијансата. Пристрасноста покажува колку моделот е преоптоварен во збирот на податоци за обука. Отстапувањето покажува колку се различни предвидувањата помеѓу збирките на податоци за обука и тестирање. Идеално, и пристрасноста и варијансата треба да бидат мали. Еве каде регуларизацијата доаѓа на помош! Постојат две главни техники:

Регулација на L1 - Ласо: Ласо ги казнува тежините на моделот за да ја промени нивната важност за моделот и дури може да ги поништи (т.е. да ги отстрани тие променливи од конечниот модел). Вообичаено, Lasso се користи кога базата на податоци содржи голем број променливи и сакате да исклучите некои од нив за подобро да разберете како важните карактеристики влијаат на моделот (односно, оние карактеристики што се избрани од Lasso и им е доделена важност).

Регулација на L2 - метод на Ridge: задачата на Ridge е да ги складира сите променливи и во исто време да им додели важност врз основа на нивниот придонес во перформансите на моделот. Риџ ќе биде добар избор ако базата на податоци содржи мал број променливи и сите тие се неопходни за интерпретација на наодите и добиените резултати.

Бидејќи Ridge ги задржува сите променливи и Lasso подобро ја утврдува нивната важност, беше развиен алгоритам кој ги комбинира најдобрите карактеристики на двете регуларизации, познат како Elastic-Net.

Има многу повеќе начини за избор на функции за машинско учење, но главната идеја е секогаш иста: да се демонстрира важноста на променливите и потоа да се елиминираат некои од нив врз основа на добиената важност. Важноста е многу субјективен термин, бидејќи не е само еден, туку цел сет на метрики и графикони што може да се користат за да се најдат клучните атрибути.

Ви благодариме што прочитавте! Среќно учење!

Извор: www.habr.com