매직 앙상블 학습

헤이 하브르! 무료 데모 강의에 데이터 엔지니어와 머신러닝 전문가를 초대합니다. "온라인 추천 사례를 활용한 산업 환경에 ML 모델 도입". 또한 CDP SpA의 재무 분석 책임자인 Luca Monno의 기사도 게시합니다.

가장 유용하고 간단한 기계 학습 방법 중 하나는 Ensemble Learning입니다. 앙상블 학습은 XGBoost, Bagged, Random Forest 및 기타 여러 알고리즘의 기본 기술입니다.

Towards Data Science에는 훌륭한 기사가 많이 있지만 저는 두 가지 이야기를 선택했습니다(처음으로 и 초) 그게 제일 마음에 들었어요. 그렇다면 EL에 대한 또 다른 기사를 쓰는 이유는 무엇입니까? 보여주고 싶으니까 간단한 예에서 어떻게 작동하는지, 여기에는 마법이 없다는 것을 이해하게 되었습니다.

EL이 작동하는 것을 처음 봤을 때(몇 가지 매우 간단한 회귀 모델을 사용하여 작업) 나는 내 눈을 믿을 수 없었으며 나에게 이 방법을 가르쳐 준 교수를 아직도 기억합니다.

지수가 포함된 두 가지 다른 모델(약한 학습 알고리즘 두 개)이 있었습니다. 표본 외 R²는 각각 0,90 및 0,93입니다. 결과를 보기 전에 저는 R²가 두 초기 값 사이 어딘가에 있을 것이라고 생각했습니다. 즉, EL을 사용하면 모델이 최악의 모델만큼 성능이 떨어지지는 않지만 최고의 모델만큼 좋지는 않게 만들 수 있다고 생각했습니다.

놀랍게도 예측의 단순 평균화 결과 R²는 0,95였습니다. 

처음에는 오류를 찾기 시작했는데 여기에 뭔가 마법이 숨겨져 있을 수도 있겠다는 생각이 들었어요!

앙상블 학습이란?

EL을 사용하면 두 개 이상의 모델 예측을 결합하여 보다 안정적이고 성능이 뛰어난 모델을 얻을 수 있습니다. 모델 앙상블을 사용하는 방법에는 여러 가지가 있습니다. 여기서는 가장 유용한 두 가지 방법을 다루어 여러분에게 아이디어를 제공하겠습니다.

과 회귀 사용 가능한 모델의 성능을 평균화할 수 있습니다.

과 분류 모델이 라벨을 선택하도록 할 수 있습니다. 가장 자주 선택된 라벨이 새 모델에서 선택될 라벨입니다.

EL이 더 잘 작동하는 이유

EL이 더 잘 작동하는 주된 이유는 각 예측에 오류가 있기 때문입니다(확률 이론에서 이를 알 수 있음). 두 예측을 결합하면 오류를 줄이는 데 도움이 되어 성능 지표(RMSE, R² 등)가 향상됩니다.d.)

다음 다이어그램은 두 가지 약한 알고리즘이 데이터 세트에서 작동하는 방식을 보여줍니다. 첫 번째 알고리즘은 필요한 것보다 더 큰 기울기를 갖는 반면, 두 번째 알고리즘은 거의 XNUMX에 가깝습니다(과도한 정규화로 인해). 하지만 앙상블 더 나은 결과를 보여줍니다. 

R²를 보면 첫 번째와 두 번째 훈련 알고리즘은 각각 -0.01, 0.22이고 앙상블의 경우 0.73입니다.

다음과 같은 기본적인 예에서도 알고리즘이 좋지 않은 모델이 될 수 있는 데에는 여러 가지 이유가 있습니다. 과적합을 피하기 위해 정규화를 사용하기로 결정했을 수도 있고, 일부 이상 현상을 제거하지 않기로 결정했을 수도 있고, 다항식 회귀를 사용하고 잘못된 차수를 선택했을 수도 있습니다. (예를 들어, XNUMX차 다항식을 사용했으며 테스트 데이터에 명확한 비대칭성이 표시되어 XNUMX차가 더 적합합니다.)

EL이 가장 잘 작동할 때

동일한 데이터에 대해 작동하는 두 가지 학습 알고리즘을 살펴보겠습니다.

여기서는 두 모델을 결합해도 성능이 크게 향상되지 않았음을 알 수 있습니다. 처음에는 두 가지 훈련 알고리즘의 경우 R² 값이 각각 -0,37과 0,22였으며, 앙상블의 경우 -0,04로 나타났습니다. 즉, EL 모델은 지표의 평균값을 받았습니다.

그러나 이 두 예 사이에는 큰 차이가 있습니다. 첫 번째 예에서는 모델의 오류가 음의 상관 관계를 갖고 있고 두 번째에서는 양의 상관 관계가 있습니다(세 모델의 계수는 추정되지 않았지만 저자가 단순히 선택했습니다). 예로서.)

따라서 Ensemble Learning을 사용하면 모든 경우에 편향/분산 균형을 개선할 수 있지만, 모델 오류는 양의 상관 관계가 없으므로 EL을 사용하면 성능이 향상될 수 있습니다..

동종 및 이종 모델

EL은 동종 모델(이 예 또는 Random Forest에서와 같이)에 사용되는 경우가 많지만 실제로는 다양한 설명 변수 세트를 사용하여 다양한 모델(선형 회귀 + 신경망 + XGBoost)을 결합할 수 있습니다. 이로 인해 상관되지 않은 오류가 발생하고 성능이 향상될 수 있습니다.

포트폴리오 다각화와의 비교

EL은 포트폴리오 이론의 다각화와 유사한 방식으로 작동하지만 우리에게는 훨씬 더 좋습니다. 

다각화할 때는 상관관계가 없는 주식에 투자하여 성과의 변동을 줄이려고 노력합니다. 잘 분산된 주식 포트폴리오는 최악의 단일 주식보다 더 좋은 성과를 낼 것이지만 결코 최고보다 더 나을 수는 없습니다.

워렌 버핏의 말을 인용하자면: 

"다각화는 무지에 대한 방어입니다. 자신이 무엇을 하고 있는지 모르는 사람에게는 [다각화]가 거의 의미가 없습니다."

기계 학습에서 EL은 모델의 분산을 줄이는 데 도움이 되지만 이로 인해 최상의 초기 모델보다 전반적인 성능이 더 나은 모델이 생성될 수 있습니다.

합계하다

여러 모델을 하나로 결합하는 것은 분산 편향 문제를 해결하고 성능을 향상시킬 수 있는 비교적 간단한 기술입니다.

잘 작동하는 두 개 이상의 모델이 있는 경우 둘 중 하나를 선택하지 말고 모두 사용하세요(그러나 주의하세요)!

이 방향으로 발전하는 데 관심이 있나요? 무료 데모 강의에 등록하세요 "온라인 추천 사례를 활용한 산업 환경에 ML 모델 도입" 참여하고 Andrey Kuznetsov와의 온라인 회의 — Mail.ru Group의 기계 학습 엔지니어.

출처 : habr.com