Ensemble Learning'i maagia

Tere, Habr! Kutsume andmeid inseneride ja masinõppe spetsialiste tasuta demo-tunni. „ML mudelite viimine tööstuslikusse keskkonda veebipõhiste soovituste näitel“. Avaldame ka artikli Luca Monno – finantsanalüütika juht CDP SpA-st.

Üks kasulikumaid ja lihtsamaid masinõppe meetodeid on Ensemble Learning. Ensemble Learning on meetod, mis seisab XGBoosti, bagging'i, juhuslike metsade ja paljude teiste algoritmide aluseks.

Towards Data Science'is on palju lahedaid artikleid, aga ma valisin kaks lugu (esmalt ja teine), mis mulle kõige rohkem meeldivad. Miks siis kirjutada veel üks artikkel EL-ist? Sest ma tahan näidata teile, kuidas see töötab lihtsa näite abil, mis aitas mul mõista, et siin ei ole mingit maagilist.

Kui ma esmakordselt nägin EL-i toimimas (mõnede väga lihtsate regressioonimudelitega), ei suutnud ma oma silmi uskuda ja mäletan endiselt professorit, kes õpetas mulle seda meetodit.

Mul oli kaks erinevat mudelit (kaks nõrka õppealgoritmi) R² näitajatega out-of-sample 0,90 ja 0,93 vastavalt. Enne tulemuste vaatamist arvasin, et saan R² kusagil kahe algse väärtuse vahel. Teisisõnu, arvasin, et EL-i saab kasutada, et mudel töötaks mitte nii halvasti kui halvima mudeli puhul, kuid mitte nii hästi kui parim mudel võiks töötada.

Minu suurimaks üllatuseks andis lihtne ennustuste keskmistamine R² väärtuseks 0,95. 

Esialgu hakkasin viga otsima, kuid siis mõtlesin, et siin võib peituda mingi maagia!

Mis on Ensemble Learning

EL-i abil on võimalik kombineerida kahe või enama mudeli ennustusi usaldusväärse ja võimeka mudeli saamiseks. Mudelite ansamblite töötamiseks on palju meetodeid. Siin käsitlen kahte kõige kasulikumat, et anda üldine ülevaade.

EL-i abil regressiooniga saab olemasolevate mudelite näitajaid keskmistada.

EL-i abil klassifitseerimisega saab mudelitele võimaldada sildistamist. Kõige sagedamini valitud silt on see, mille valib uus mudel.

Miks töötab EL paremini

Peamine põhjus, miks EL töötab paremini, seisneb selles, et iga ennustus sisaldab viga (me teame seda tõenäosusteooriast), kahe ennustuse kombineerimine aitab vähendada viga ja seega parandada tulemuslikkuse näitajaid (RMSE, R² jne).

Järgmises diagrammis on näidatud, kuidas kaks nõrka algoritmi töötavad andme kogumiga. Esimese algoritmi nurkkoefitsient on suurem kui vajalik, samas kui teisel on see peaaegu null (võib-olla ülemäärase regulatsiooni tõttu). Aga ansambel näitab tulemust palju paremini. 

R² näitaja osas on esimese ja teise koolitusalgoritmi väärtused vastavalt -0,01¹ ja 0,22, samas kui ansambli näitaja on 0,73.

On palju põhjusi, miks algoritm võib osutuda kehvaks mudeliks isegi sellisel lihtsal puhul nagu see: võib-olla otsustasite kasutada regulatsiooni, et vältida üleõppimist, või otsustasite mitte välja jätta mõningaid anomaaliaid, või võib-olla kasutasite polünomiaalset regressiooni ja valisite vale astme (näiteks kasutasite teise astme polünoomi, samas kui testandmetes on ilmselge asümmeetria, mille jaoks sobiks paremini kolmas aste).

Kui EL töötab paremini

Vaatame kahte koolitusalgoritmi, mis töötavad sama andmekogumiga.

Siit on näha, et kahe mudeli ühendamine ei parandanud oluliselt tulemuslikkust. Alguses olid kahe koolitusalgoritmi R² näitajad vastavalt -0,37 ja 0,22, ansambli puhul aga -0,04. See tähendab, et EL mudel sai keskmise näitajate väärtuse.

Kuid nende kahe näite vahel on suur erinevus: esimeses näites olid mudelite vead negatiivselt korreleeritud, samas kui teises – positiivselt (kolme mudeli koefitsiente ei hinnatud, vaid autor valis need näitena).

Seega võib Ensemble Learningit kasutada nihke/dispersiooni tasakaalu parandamiseks igasugustes olukordades, kuid kui mudelite vead ei ole positiivselt korreleeritud, võib ELi kasutamine viia tulemuslikkuse tõusuni..

Homoskeemilised ja heterogeensed mudelid

EL-i kasutamine on väga sage ühtsete mudelite puhul (nagu antud näites või juhuslikus metsas), kuid tegelikult saate kombineerida erinevaid mudelit (lineaarne regressioon + tehisnärvivõrk + XGBoost) erinevate seletavate muutujate kogumitega. Tõenäoliselt toob see kaasa mittekorreleeritud vigu ja jõudluse paranemise.

Võrdlemine portfelli hajutamisega

EL töötab analoogselt hajutamise teooriaga, kuid see on meie jaoks veel parem. 

Hajutamisel püüate vähendada oma näitajate dispersiooni, investeerides mittekorreleeritud aktsiatesse. Hästi hajutatud aktsiaportfell annab tulemuse, mis on parem kui halvim eraldi aktsia, kuid mitte kunagi parem kui parim.

Citeerides Warren Buffet't: 

„Hajutamine on kaitse teadmatusest, ja neile, kes ei tea, mida teevad, on see [hajutamine] väga vähe mõtet.”

Masinõppes aitab EL vähendada teie mudeli dispersiooni, kuid see võib viia mudeli loomise, mille üldine tulemuslikkus on parem kui parimal algsel mudelil.

Teeme kokkuvõtte

Mitme mudeli ühendamine üheks on suhteliselt lihtne meetod, mis võib lahendada dispersiooni kallutatuse probleemi ja parandada tulemuslikkust.

Kui teil on kaks või enam mudelit, mis toimivad hästi, ärge valige nende vahel: kasutage kõiki (aga olge ettevaatlik)!

Kas on huvitav selles suunas areneda? Registreeruge tasuta demo-tunniks „ML mudelite viimine tööstuslikusse keskkonda veebipõhiste soovituste näitel“ ja osalege online-kohtumisel Andrei Kuznetsoviga — Masinõppe insener Mail.ru Group'is.

Allikas: habr.com