Aupa Habr! Datuen ingeniariak eta Machine Learning espezialistak gonbidatzen ditugu doako Demo-ikasgai batera . Luca Monno - CDP SpAko Financial Analytics-eko arduraduna artikulua ere argitaratzen dugu.
Makina ikasteko metodo erabilgarri eta errazenetako bat Ensemble Learning da. Ensemble Learning XGBoost, Bagging, Random Forest eta beste hainbat algoritmoren atzean dagoen metodoa da.
Towards Data Science-ri buruzko artikulu bikain asko daude, baina bi istorio aukeratu ditut ( ΠΈ ) gehien gustatu zaidana. Orduan, zergatik idatzi beste artikulu bat EL-ri buruz? Erakutsi nahi dizudalako nola funtzionatzen duen adibide sinple batekin, horrek ulertu zidan hemen ez dagoela magiarik.
EL lehen aldiz ikusi nuenean (erregresio eredu oso sinple batzuekin lan egiten) ezin nuen nire begiak sinetsi, eta oraindik gogoan dut metodo hau irakatsi zidan irakasleaz.
Bi eredu ezberdin izan nituen (bi entrenamendu algoritmo ahulak) metrikekin lagintik kanpo RΒ² 0,90 eta 0,93 berdina, hurrenez hurren. Emaitza ikusi aurretik, jatorrizko bi balioen artean RΒ² bat lortuko nuela pentsatu nuen. Beste era batera esanda, uste nuen EL erabili zitekeela modelo bat ez dadin eredu txarrenak bezain eskas, baina ez eredu hoberenak bezain ondo.
Nire harridurarako, iragarpenen batez bestekoa egiteak 0,95 RΒ²-koa lortu zuen.
Hasieran akatsaren bila hasi nintzen, baina gero pentsatu nuen hemen magiaren bat egon zitekeela ezkutatuta!
Zer da Ensemble Learning
EL-rekin, bi modeloren edo gehiagoren iragarpenak konbina ditzakezu eredu sendoagoa eta eraginkorragoa sortzeko. Ereduen multzoekin lan egiteko metodologia asko daude. Hemen bi erabilgarrienak ukituko ditut ikuspegi orokorra emateko.
With erregresioa erabilgarri dauden modeloen errendimendua batez bestekoa egitea posible da.
With sailkapena Ereduei etiketak aukeratzeko aukera eman diezaiekezu. Gehien aukeratu zen etiketa eredu berriak aukeratuko duena da.
Zergatik EL hobeto funtzionatzen du
ELk hobeto funtzionatzeko arrazoi nagusia da iragarpen bakoitzak errore bat duela (hori probabilitatearen teoriatik dakigu), bi iragarpen konbinatzeak errorea murrizten lagun dezake, eta, beraz, errendimendu-neurriak hobetzen (RMSE, RΒ², etab.). d.).
Hurrengo diagramak bi algoritmo ahulek datu multzo batean nola funtzionatzen duten erakusten du. Lehenengo algoritmoak behar baino malda handiagoa du, bigarrenak, berriz, ia zero (baliteke gehiegizko erregularizazioa dela eta). Baina ensemble askoz emaitza hobeak erakusten ditu.
RΒ² adierazleari erreparatuz gero, lehenengo eta bigarren entrenamendu-algoritmorako -0.01ΒΉ, 0.22-ren berdina izango da, hurrenez hurren, eta multzorako, berriz, 0.73-ren berdina izango da.
Arrazoi asko daude algoritmo bat eredu txarra izan daitekeela horrelako oinarrizko adibide batean ere: agian erregularizazioa erabiltzea erabaki zenuen gehiegizko egokitzea ekiditeko, edo anomalia batzuk ez baztertzea erabaki zenuen, edo agian erregresio polinomiala erabili zenuen eta oker egin zenuen. gradua (adibidez, bigarren graduko polinomio bat erabili dugu, eta probaren datuek asimetria argia erakusten dute, zeinetarako hirugarren gradua hobeto egokituko litzateke).
EL hobeto funtzionatzen duenean
Ikus ditzagun datu berdinekin lan egiten duten bi ikaskuntza-algoritmo.
Hemen ikus dezakezu bi modeloak konbinatzeak ez zuela errendimendua asko hobetu. Hasieran, bi entrenamendu-algoritmoetarako, RΒ² adierazleak -0,37 eta 0,22 berdinak ziren, hurrenez hurren, eta multzorako -0,04koa izan zen. Hau da, EL ereduak adierazleen batez besteko balioa jaso zuen.
Dena den, alde handia dago bi adibide hauen artean: lehenengo adibidean, eredu-erroreak negatiboki erlazionatuta zeuden, eta bigarrenean, positiboki erlazionatuta zeuden (hiru ereduen koefizienteak ez ziren estimatu, baina besterik gabe aukeratu zituzten). egilea, adibide gisa).
Beraz, Ensemble Learning erabil daiteke alborapen/bariantzaren oreka hobetzeko edozein kasutan, baina noiz Ereduen erroreak ez daude positiboki erlazionatuta, EL erabiltzeak errendimendua hobetzea ekar dezake.
Eredu homogeneoak eta heterogeneoak
Askotan EL erabiltzen da eredu homogeneoetan (adibide honetan edo ausazko basoan bezala), baina, egia esan, eredu desberdinak konbina ditzakezu (erregresio lineala + neurona-sare + XGBoost) aldagai azalpen-multzo ezberdinekin. Horrek, ziurrenik, korrelaziorik gabeko akatsak eta errendimendua hobetuko ditu.
Zorroaren dibertsifikazioarekin alderatzea
EL dibertsifikazioaren antzera funtzionatzen du zorroaren teorian, baina askoz hobeto guretzat.
Dibertsifikatzean, zure errendimenduaren bariantza murrizten saiatzen zara korrelaziorik gabeko akzioetan inbertituz. Akzioen zorro ondo dibertsifikatu batek akzio indibidual txarrenak baino hobeto funtzionatuko du, baina inoiz ez onenak baino hobea.
Warren Buffett aipatzearren:
"Dibertsifikazioa ezjakintasunaren aurkako defentsa da; zer egiten ari den ez dakienarentzat [dibertsifikazioak] oso zentzu gutxi du".
Ikaskuntza automatikoan, ELk zure ereduaren bariantza murrizten laguntzen du, baina baliteke jatorrizko eredu onena baino errendimendu orokorra hobea izango duen eredua izatea.
Batuketari sortu
Hainbat eredu bakarrean konbinatzea nahiko teknika sinplea da, bariantza-alborapenaren arazoa konpontzera eta errendimendua hobetzera ekar dezakeena.
Ondo funtzionatzen duten bi modelo edo gehiago badituzu, ez aukeratu bien artean: erabili guztiak (baina kontuz)!
Norabide honetan garatzea interesatzen zaizu? Eman izena doako demo-ikasgai baterako eta parte hartu β Mail.ru Taldeko Machine Learning ingeniaria.
Iturria: www.habr.com