Магически ансамбъл обучение

Хей Хабр! Каним инженери по данни и специалисти по машинно обучение на безплатен демо-урок „Въвеждане на ML модели в индустриалната среда чрез примера на онлайн препоръки“. Публикуваме и статия на Лука Монно – ръководител на финансовия анализ в CDP SpA.

Един от най-полезните и прости методи за машинно обучение е Ensemble Learning. Ensemble Learning е основната техника за XGBoost, Bagging, Random Forest и много други алгоритми.

Има много страхотни статии за Towards Data Science, но аз избрах две истории (първи и втори), което ми хареса най-много. Така че защо да напиша още една статия за EL? Защото искам да ти покажа как работи на прост пример, което ме накара да разбера, че тук няма магия.

Когато за първи път видях EL в действие (работейки с някои много прости регресионни модели), не можех да повярвам на очите си и все още помня професора, който ме научи на този метод.

Имах два различни модела (два слаби алгоритъма за обучение) с експоненти извън извадката R² равно на 0,90 и 0,93 съответно. Преди да видя резултата, мислех, че ще получа R² някъде между двете първоначални стойности. С други думи, мислех, че EL може да се използва, за да накара модела да не работи толкова зле, колкото най-лошия модел, но не и толкова добре, колкото може най-добрият модел.

За моя голяма изненада, резултатите от обикновеното осредняване на прогнозите дадоха R² от 0,95. 

Отначало започнах да търся грешка, но после си помислих, че тук може да се крие някаква магия!

Какво е ансамбълно обучение

С EL можете да комбинирате прогнозите на два или повече модела, за да получите по-надежден и ефективен модел. Има много методики за работа с ансамбли от модели. Тук ще се спра на двата най-полезни, за да добиете представа.

С регресия можете да осредните производителността на наличните модели.

С класификация можете да оставите моделите да избират етикети. Етикетът, който се избира най-често, е този, който ще бъде избран от новия модел.

Защо EL работи по-добре

Основната причина, поради която EL се представя по-добре е, че всяка прогноза има грешка (ние знаем това от теорията на вероятностите), комбинирането на две прогнози може да помогне за намаляване на грешката и по този начин да подобри показателите за ефективност (RMSE, R² и т.н.). d.).

Следната диаграма показва как работят два слаби алгоритъма върху набор от данни. Първият алгоритъм има по-голям наклон от необходимото, докато вторият има почти нула (вероятно поради прекомерна регуляризация). Но ансамбъл показва по-добри резултати. 

Ако погледнете R², тогава първият и вторият алгоритъм за обучение ще имат съответно -0.01¹, 0.22, докато за ансамбъла ще бъде равен на 0.73.

Има много причини, поради които един алгоритъм може да бъде лош модел дори за основен пример като този: може би сте решили да използвате регулация, за да избегнете пренастройване, или сте решили да не елиминирате някои аномалии, или може би сте използвали полиномна регресия и сте избрали грешната степен (например използва полином от втора степен и данните от теста показват ясна асиметрия, за която третата степен би била по-подходяща).

Когато EL работи най-добре

Нека разгледаме два алгоритъма за обучение, които работят върху едни и същи данни.

Тук можете да видите, че комбинирането на двата модела не подобри много производителността. Първоначално за двата тренировъчни алгоритъма стойностите на R² бяха съответно -0,37 и 0,22, а за ансамбъла се оказаха -0,04. Тоест моделът EL получи средната стойност на показателите.

Между тези два примера обаче има голяма разлика: в първия пример грешките на моделите са корелирани отрицателно, а във втория - положително (коефициентите на трите модела не са оценени, а просто са избрани от автора като пример.)

Следователно ансамбълното обучение може да се използва за подобряване на баланса на отклонение/дисперсия във всички случаи, но когато грешките на модела не са положително корелирани, използването на EL може да доведе до по-добра производителност.

Хомогенни и разнородни модели

Много често EL се използва върху хомогенни модели (както в този пример или произволна гора), но всъщност можете да комбинирате различни модели (линейна регресия + невронна мрежа + XGBoost) с различни набори от обяснителни променливи. Това вероятно ще доведе до некорелирани грешки и ще подобри производителността.

Сравнение с диверсификацията на портфейла

EL работи по подобен начин на диверсификацията в теорията на портфолиото, но толкова по-добре за нас. 

Когато диверсифицирате, вие се опитвате да намалите разликата в представянето си, като инвестирате в некорелирани акции. Добре диверсифицираното портфолио от акции ще се представи по-добре от най-лошата отделна акция, но никога по-добре от най-добрата.

Цитирам Уорън Бъфет: 

„Диверсификацията е защита срещу невежеството, за някой, който не знае какво прави, тя [диверсификацията] има много малък смисъл.“

При машинното обучение EL помага за намаляване на дисперсията на вашия модел, но това може да доведе до модел с по-добра обща производителност от най-добрия първоначален модел.

Сумирайте

Комбинирането на множество модели в един е сравнително проста техника, която може да доведе до решение на проблема с дисперсията и подобрена производителност.

Ако имате два или повече модела, които работят добре, не избирайте между тях: използвайте ги всички (но с повишено внимание)!

Интересувате ли се от развитие в тази посока? Запишете се за безплатен демо урок „Въвеждане на ML модели в индустриалната среда чрез примера на онлайн препоръки“ и участвайте в онлайн среща с Андрей Кузнецов — Инженер по машинно обучение в Mail.ru Group.

Източник: www.habr.com