Учење на магичен ансамбл

Еј Хабр! Ги покануваме инженерите за податоци и специјалистите за машинско учење на бесплатна демо лекција „Излез на ML модели во индустриска средина користејќи го примерот на онлајн препораки“. Ја објавуваме и статијата Лука Моно - Раководител за финансиска анализа во CDP SpA.

Еден од најкорисните и наједноставните методи за машинско учење е Ensemble Learning. Ensemble Learning е методот зад XGBoost, Bagging, Random Forest и многу други алгоритми.

Има многу одлични статии за Towards Data Science, но јас избрав две приказни (прво и Вториот) што најмногу ми се допадна. Па зошто да пишувате друга статија за ЕЛ? Затоа што сакам да ти покажам како функционира со едноставен пример, што ме натера да разберам дека тука нема магија.

Кога првпат го видов EL во акција (работа со некои многу едноставни модели на регресија) не можев да им верувам на моите очи, и сè уште се сеќавам на професорот кој ме научи на овој метод.

Имав два различни модели (два слаби алгоритми за обука) со метрика надвор од примерокот R² еднакво на 0,90 и 0,93, соодветно. Пред да го погледнам резултатот, мислев дека ќе добијам R² некаде помеѓу двете оригинални вредности. Со други зборови, верував дека ЕЛ може да се искористи за да направи модел да има перформанси не толку слабо како најлошиот модел, но не толку добро како што може да има најдобриот модел.

На мое големо изненадување, просечното просечно предвидување даде R² од 0,95. 

Отпрвин почнав да ја барам грешката, но потоа помислив дека тука можеби се крие некоја магија!

Што е ансамблско учење

Со EL, можете да ги комбинирате предвидувањата на два или повеќе модели за да произведете посигурен и поефективен модел. Постојат многу методологии за работа со моделски ансамбли. Овде ќе ги допрам двете најкорисни за да дадам преглед.

Со регресија можно е да се просечат перформансите на достапните модели.

Со класификација Можете да им дадете на моделите можност да избираат етикети. Ознаката која најчесто се избираше е таа што ќе ја избере новиот модел.

Зошто ЕЛ работи подобро

Главната причина зошто EL работи подобро е тоа што секое предвидување има грешка (ова го знаеме од теоријата на веројатност), комбинирањето на две предвидувања може да помогне да се намали грешката, а со тоа и да се подобрат метриките на перформансите (RMSE, R², итн.). г.).

Следниот дијаграм покажува како два слаби алгоритми работат на множество податоци. Првиот алгоритам има поголем наклон отколку што е потребно, додека вториот има речиси нула (најверојатно поради прекумерна регулација). Но ансамблот покажува многу подобри резултати. 

Ако го погледнете индикаторот R², тогаш за првиот и вториот алгоритам за обука ќе биде еднаков на -0.01¹, 0.22, соодветно, додека за ансамблот ќе биде еднаков на 0.73.

Постојат многу причини зошто алгоритам може да биде лош модел дури и на основен пример како овој: можеби сте решиле да користите регулација за да избегнете преоптоварување, или сте решиле да не исклучите некои аномалии, или можеби сте користеле полиномна регресија и сте згрешиле степен (на пример, користевме полином од втор степен, а податоците од тестот покажуваат јасна асиметрија за која третиот степен би бил подобро прилагоден).

Кога ЕЛ работи подобро

Ајде да погледнеме два алгоритми за учење кои работат со исти податоци.

Овде можете да видите дека комбинирањето на двата модели не ги подобрило многу перформансите. Првично, за двата алгоритми за обука, индикаторите R² беа еднакви на -0,37 и 0,22, соодветно, а за ансамблот се покажа дека е -0,04. Односно, моделот ЕЛ ја доби просечната вредност на индикаторите.

Сепак, постои голема разлика помеѓу овие два примери: во првиот пример, грешките на моделот беа негативно корелирани, а во вториот, тие беа позитивно корелирани (коефициентите на трите модели не беа проценети, туку едноставно беа избрани од автор како пример.)

Затоа, Ensemble Learning може да се користи за подобрување на балансот на пристрасност/варијанса во секој случај, но кога Грешките на моделот не се во позитивна корелација, користењето на EL може да доведе до подобри перформанси.

Хомогени и хетерогени модели

Многу често EL се користи на хомогени модели (како во овој пример или случајна шума), но всушност можете да комбинирате различни модели (линеарна регресија + невронска мрежа + XGBoost) со различни групи на објаснувачки променливи. Ова најверојатно ќе резултира со неповрзани грешки и подобрени перформанси.

Споредба со диверзификација на портфолиото

EL работи слично како и диверзификацијата во теоријата на портфолио, но толку подобро за нас. 

Кога диверзифицирате, се обидувате да ја намалите варијансата на вашите перформанси со инвестирање во неповрзани акции. Добро диверзифицираното портфолио на акции ќе има подобри резултати од најлошите поединечни акции, но никогаш подобро од најдобрите.

Да го цитирам Ворен Бафет: 

„Диверзификацијата е одбрана од незнаење; за некој што не знае што прави, таа [диверзификација] има многу малку смисла“.

Во машинското учење, EL помага да се намали варијансата на вашиот модел, но може да резултира со модел со вкупни перформанси подобри од најдобриот оригинален модел.

Сумира

Комбинирањето на повеќе модели во еден е релативно едноставна техника која може да доведе до решавање на проблемот на пристрасност на варијансата и подобрување на перформансите.

Ако имате два или повеќе модели кои работат добро, не избирајте меѓу нив: користете ги сите (но со претпазливост)!

Дали сте заинтересирани да се развивате во оваа насока? Пријавете се за бесплатна демо лекција „Излез на ML модели во индустриска средина користејќи го примерот на онлајн препораки“ и учествуваат во онлајн средба со Андреј Кузњецов — Инженер за машинско учење во Mail.ru Group.

Извор: www.habr.com