Магија ансамбл учења

Хеј Хабр! Позивамо инжењере података и стручњаке за машинско учење на бесплатну демо лекцију „Излаз МЛ модела у индустријско окружење на примеру онлајн препорука“. Објављујемо и чланак Луца Монно - шеф финансијске аналитике у ЦДП СпА.

Једна од најкориснијих и најједноставнијих метода машинског учења је Енсембле Леарнинг. Енсембле Леарнинг је метод иза КСГБоост, Баггинг, Рандом Форест и многих других алгоритама.

Постоји много сјајних чланака о науци о подацима, али ја сам изабрао две приче (прво и Други) који ми се највише допао. Зашто онда писати још један чланак о ЕЛ? Зато што желим да вам покажем како то функционише са једноставним примером, због чега сам схватио да овде нема магије.

Када сам први пут видео ЕЛ у акцији (ради са неким врло једноставним регресијским моделима) нисам могао да верујем својим очима, а још увек се сећам професора који ме је научио овом методу.

Имао сам два различита модела (два слаба алгоритма за обуку) са метриком ван узорка Р² једнак 0,90 и 0,93, респективно. Пре него што сам погледао резултат, мислио сам да ћу добити Р² негде између две оригиналне вредности. Другим речима, веровао сам да ЕЛ може да се користи да би модел могао да ради не тако лоше као најгори модел, али не тако добро као најбољи модел.

На моје велико изненађење, једноставно усредњавање предвиђања дало је Р² од 0,95. 

Прво сам почео да тражим грешку, али онда сам помислио да се ту можда крије нека магија!

Шта је ансамбл учење

Са ЕЛ, можете комбиновати предвиђања два или више модела да бисте произвели поузданији и ефикаснији модел. Постоји много методологија за рад са моделским ансамблима. Овде ћу се дотакнути две најкорисније да дам преглед.

Са регресија могуће је усредсредити перформансе доступних модела.

Са класификација Можете дати моделима прилику да бирају етикете. Етикета која се најчешће бира је она коју ће бирати нови модел.

Зашто ЕЛ ради боље

Главни разлог зашто ЕЛ има бољи учинак је тај што свако предвиђање има грешку (ово знамо из теорије вероватноће), комбиновање два предвиђања може помоћи у смањењу грешке, а самим тим и побољшању метрике учинка (РМСЕ, Р², итд.). д.).

Следећи дијаграм показује како два слаба алгоритма раде на скупу података. Први алгоритам има већи нагиб него што је потребно, док други има скоро нулу (вероватно због превелике регуларизације). Али заједно показује много боље резултате. 

Ако погледате индикатор Р², онда ће за први и други алгоритам тренинга бити једнак -0.01¹, 0.22, респективно, док ће за ансамбл бити једнако 0.73.

Постоји много разлога зашто алгоритам може бити лош модел чак и на основном примеру као што је овај: можда сте одлучили да користите регуларизацију да бисте избегли претерано прилагођавање, или сте одлучили да не искључите неке аномалије, или сте можда користили полиномску регресију и погрешили степена (на пример, користили смо полином другог степена, а подаци теста показују јасну асиметрију за коју би трећи степен боље одговарао).

Када ЕЛ ради боље

Погледајмо два алгоритма учења који раде са истим подацима.

Овде можете видети да комбиновање ова два модела није много побољшало перформансе. У почетку, за два алгоритма за обуку, Р² индикатори су били једнаки -0,37 и 0,22, респективно, а за ансамбл се испоставило да је -0,04. То јест, ЕЛ модел је добио просечну вредност индикатора.

Међутим, постоји велика разлика између ова два примера: у првом примеру грешке модела су биле у негативној корелацији, ау другом у позитивној корелацији (коефицијенти три модела нису процењени, већ су једноставно изабрани од стране аутор као пример.)

Због тога се Енсембле Леарнинг може користити за побољшање равнотеже пристрасности/варијансе у сваком случају, али када Грешке модела нису у позитивној корелацији, коришћење ЕЛ може довести до побољшања перформанси.

Хомогени и хетерогени модели

Веома често се ЕЛ користи на хомогеним моделима (као у овом примеру или случајној шуми), али у ствари можете комбиновати различите моделе (линеарна регресија + неуронска мрежа + КСГБоост) са различитим скуповима објашњавајућих варијабли. Ово ће вероватно довести до неповезаних грешака и побољшања перформанси.

Поређење са диверсификацијом портфеља

ЕЛ функционише слично као диверсификација у теорији портфеља, али утолико боље за нас. 

Када диверзификујете, покушавате да смањите варијансу свог учинка улагањем у некорелиране акције. Добро диверзификован портфолио акција ће имати бољи учинак од најлошије појединачне акције, али никада бољи од најбољих.

Да цитирам Ворена Бафета: 

„Диверзификација је одбрана од незнања; за некога ко не зна шта ради, [диверзификација] има врло мало смисла.

У машинском учењу, ЕЛ помаже у смањењу варијансе вашег модела, али може резултирати моделом са укупним перформансама бољим од најбољег оригиналног модела.

Сажимати

Комбиновање више модела у један је релативно једноставна техника која може довести до решавања проблема пристрасности варијансе и побољшања перформанси.

Ако имате два или више модела који добро функционишу, немојте бирати између њих: користите их све (али са опрезом)!

Заинтересовани сте за развој у овом правцу? Пријавите се за бесплатну демо лекцију „Излаз МЛ модела у индустријско окружење на примеру онлајн препорука“ и учествују у онлајн састанак са Андрејем Кузњецовим — Инжењер машинског учења у Маил.ру Гроуп.

Извор: ввв.хабр.цом