Магия Ensemble Learning

Здравей, Хабр! Поканваме Data Engineer-и и специалисти по Machine Learning на безплатен Demo-урок „Извеждане на ML модели в производствена среда на примера на онлайн-рекомендации“. А също така публикуваме статия от Лука Моно — ръководител на финансовата аналитика в CDP SpA.

Един от най-полезните и прости методи за машинно обучение е Ensemble Learning. Ensemble Learning е методът, на който се основават XGBoost, Баггинг, Случаен Лес и много други алгоритми.

На Towards Data Science има много страхотни статии, но избрах две истории (първата и втора), които ми харесаха най-много. Така че, защо да пиша още една статия за EL? Защото искам да ви покажа как работи тя с прост пример, който ми помогна да разбера, че тук няма никаква магия. Когато за първи път видях EL в действие (в работа с няколко много прости регресионни модела), не можех да повярвам на очите си и до днес си спомням професора, който ме научи на този метод.

Имах два различни модела (две слаби обучаващи алгоритми) с показатели

out-of-sample R² равни на 0,90 и 0,93 съответно. Преди да видя резултата, смятах, че ще получа R² някъде между двете първоначални стойности. С други думи, предполагах, че EL може да се използва, за да работи моделът не толкова лошо, колкото най-лошият, но и не толкова добре, колкото би могла да работи най-добрата модель. На моето огромно учудване, резултатите от простото средно на предсказанията дадоха R² от 0,95.

Първоначално започнах да търся грешка, но после помислих, че може би тук има някаква магия! 

Какво е Ensemble Learning

С помощта на EL можем да комбинираме предсказанията на две или повече модели, за да получим по-надежден и ефективен модел. Има много методологии за работа с ансамбли от модели. Тук ще засегна две най-полезни, за да дам обща представа.

регресия

С помощта на може да се събират показателите на наличните модели. класификация

С помощта на може да позволява на моделите да избират етикети. Етикетът, който е избран най-често – той ще бъде избран от новия модел. Защо EL работи по-добре

Защо EL работи по-добре

Основната причина, поради която EL работи по-добре, е, че всяко предсказание има грешка (знаем това от теорията на вероятностите). Комбинирането на две предсказания може да помогне за намаляване на грешката и съответно да подобри показателите за производителност (RMSE, R² и т.н.).

На следващата диаграма се вижда как два слаби алгоритма работят с набор от данни. Първият алгоритъм има по-голям наклон от необходимия, докато вторият е почти равен на нула (възможно е поради прекомерна регуляризация). Но ансамбъл показва резултат значително по-добър. 

Ако погледнем показателя R², то за първия и втория обучаващ алгоритъм той ще бъде равен на -0.01¹, 0.22 съответно, докато за ансамбъла ще бъде равен на 0.73.

Има много причини, поради които алгоритъмът може да се окаже лоша модел, дори при такъв основен пример като този: може би сте избрали да използвате регуляризация, за да избегнете преобучаване, или сте решили да не изключвате определени аномалии, а може би сте използвали полиномиална регресия и сте подбрали грешна степен (например, използвали сте полином от втори степен, а при тестовите данни се вижда явна асиметрия, за която по-добре би подхождала трета степен).

Когато EL работи по-добре

Нека разгледаме два обучаващи алгоритма, работещи с едни и същи данни.

Тук се вижда, че комбинирането на две модели не е подобрило производителността значително. Първоначално показателите R² за двата обучаващи алгоритма бяха равни на -0.37 и 0.22, съответно, а за ансамбъла получихме -0.04. Тоест моделът EL получи средна стойност на показателите.

Въпреки това между тези два примера има голяма разлика: в първия пример грешките на моделите бяха отрицателно корелирани, а във втория – положително (коефициентите на трите модела не бяха оценени, а просто бяха избрани от автора за пример.)

Следователно, Ensemble Learning може да се използва за подобряване на баланса на отклонението/дисперсията в каквито и да било случаи, но когато грешките на моделите не са положително корелирани, използването на EL може да доведе до повишаване на производителността..

Хомогенни и хетерогенни модели

Много често EL се използва с хомогенни модели (както в този пример или в случайна гора), но на практика можете да комбинирате различни модели (линейна регресия + невропръстенна мрежа + XGBoost) с различни набори от обяснителни променливи. Със сигурност това ще доведе до некорелирани грешки и подобряване на производителността.

Сравнение с диверсификация на портфейла

EL работи по аналогия с диверсификацията в теорията на портфейла, но е по-добре за нас. 

При диверсификацията се опитвате да намалите дисперсията на вашите показатели, инвестирайки в некорелирани акции. Добре диверсифицираният портфейл от акции ще дава по-добър резултат от най-лошата отделна акция, но никога не ще бъде по-добър от най-добрата.

Цитирайки Уорън Бъфет: 

«Диверсификацията е защита от невежество, за тези, които не знаят какво правят, тя [диверсификацията] има много малко смисъл.»

В машинното обучение EL помага да се намали дисперсията на вашата модел, но това може да доведе до създаване на модел с обща производителност, по-добра от най-добрата изходна модел.

Нека обобщим

Комбинирането на няколко модела в един е относително прост метод, който може да реши проблема със смесването на дисперсията и да подобри производителността.

Ако имате две или повече модели, които работят добре, не избирайте между тях: използвайте ги всички (но с внимание)!

Интересно ли е да се развивате в тази посока? Запишете се за безплатен демонстрационен урок „Извеждане на ML модели в производствена среда на примера на онлайн-рекомендации“ и участвайте в онлайн среща с Андрей Кузнецов — Machine Learning Engineer в Mail.ru Group.

Източник: habr.com