Ho Ithuta ka Magic Ensemble

Hey Habr! Re memela Baenjiniere ba Lintlha le litsebi tsa ho Ithuta ka Mechini thutong ea mahala ea Demo "Ho hlahisoa ha mefuta ea ML sebakeng sa indasteri ho sebelisa mohlala oa likhothaletso tsa inthaneteng". Re boetse re phatlalatsa sengoloa Luca Monno - Hlooho ea Litlhahlobo tsa Lichelete ho CDP SpA.

E 'ngoe ea mekhoa e sebetsang ka ho fetisisa le e bonolo ea ho ithuta ka mochini ke Ho Ithuta ka Ensemble. Ensemble Learning ke mokhoa oa motheo oa XGBoost, Bagging, Random Forest, le li-algorithms tse ling tse ngata.

Ho na le lingoliloeng tse ngata tse monate ho Towards Data Science, empa ke khethile lipale tse peli (pele и ea bobeli) eo ke e ratileng haholo. Joale ke hobane'ng ha u ngola sengoloa se seng ka EL? Hobane ke batla ho o bontsha e sebetsa joang ka mohlala o bonolo, e entseng hore ke utloisise hore ha ho na boselamose mona.

Ha ke qala ho bona EL ka liketso (ho sebetsa le mefuta e meng e bonolo haholo ea ho fokotseha) ke ne ke sa kholoe mahlo a ka, 'me ke ntse ke hopola moprofesa ea nthutileng mokhoa ona.

Ke ne ke e-na le mefuta e 'meli e fapaneng (li-algorithms tse peli tse fokolang tsa koetliso) tse nang le metrics kantle ho mohlala R² e lekana le 0,90 le 0,93, ka ho latellana. Pele ke sheba sephetho, ke ne ke nahana hore ke tla fumana R² kae-kae pakeng tsa litekanyetso tse peli tsa pele. Ka mantsoe a mang, ke ne ke nahana hore EL e ka sebelisoa ho etsa hore mohlala o se ke oa sebetsa hampe joaloka mohlala o mobe ka ho fetisisa, empa eseng ka mokhoa o motle ka ho fetisisa.

Ho makaleng ha ka ho hoholo, ho lekanya likhakanyo feela ho hlahisitse R² ea 0,95. 

Qalong ke ile ka qala ho batla phoso, empa joale ka nahana hore mohlomong ho na le boselamose bo ipatileng mona!

Ensemble Learning ke eng

Ka EL, o ka kopanya likhakanyo tsa mehlala e 'meli kapa ho feta ho fumana mohlala o tšepahalang le o sebetsang. Ho na le mekhoa e mengata ea ho sebetsa le li-ensembles tsa mohlala. Mona ke tla ama tse peli tse molemo ka ho fetisisa ho fana ka kakaretso.

Ka thuso ea kgutlela morao hoa khoneha ho etsa karolelano ea ts'ebetso ea mehlala e teng.

Ka thuso ea karohano U ka fa mehlala monyetla oa ho khetha li-labels. Letšoao le khethiloeng hangata ke lona le tla khethoa ke mohlala o mocha.

Hobaneng EL e sebetsa betere

Lebaka le ka sehloohong leo ka lona EL e sebetsang hantle ke hore polelo e 'ngoe le e' ngoe e na le phoso (re tseba sena ho tsoa khopolong ea monyetla), ho kopanya likhakanyo tse peli ho ka thusa ho fokotsa phoso, 'me kahoo ho ntlafatsa metrics ea ts'ebetso (RMSE, R², joalo-joalo). d.).

Setšoantšo se latelang se bontša kamoo li-algorithms tse peli tse fokolang li sebetsang ho sete ea data. Algorithm ea pele e na le moepa o moholo ho feta kamoo ho hlokahalang, ha ea bobeli e na le hoo e batlang e le zero (mohlomong ka lebaka la ho laola ho feta tekano). Empa libini e bonts'a litholoana tse ntle haholo. 

Haeba u sheba R², joale algorithm ea pele le ea bobeli ea koetliso e tla lekana le -0.01¹, 0.22, ka ho latellana, athe bakeng sa ensemble e tla lekana le 0.73.

Ho Ithuta ka Magic Ensemble

Ho na le mabaka a mangata a hore na algorithm e ka ba mohlala o mobe esita le mohlala oa mantlha o kang ona: mohlomong u nkile qeto ea ho sebelisa tloaelo ho qoba ho fetella, kapa u nkile qeto ea ho se tlose li-anomalies tse ling, kapa mohlomong u sebelisitse polynomial regression mme u khethile degree e fosahetseng. (mohlala, ho sebelisitsoe polynomial ea degree ea bobeli, mme lintlha tsa tlhahlobo li bonts'a asymmetry e hlakileng, eo degree ea boraro e tla ba e loketseng haholoanyane).

Ha EL e sebetsa betere

Ha re shebeng li-algorithms tse peli tsa ho ithuta tse sebetsang ka data e tšoanang.

Ho Ithuta ka Magic Ensemble

Mona u ka bona hore ho kopanya mefuta e 'meli ha hoa ka ha ntlafatsa ts'ebetso haholo. Qalong, bakeng sa li-algorithms tse peli tsa koetliso, litekanyetso tsa R² e ne e le -0,37 le 0,22, ka ho latellana, 'me bakeng sa kopano e ile ea e-ba -0,04. Ke hore, mohlala oa EL o amohetse boleng bo tloaelehileng ba matšoao.

Leha ho le joalo, ho na le phapang e kholo pakeng tsa mehlala ena e 'meli: mohlala oa pele, liphoso tsa mehlala li ne li amana hampe,' me ea bobeli - hantle (li-coefficients tsa mehlala e meraro ha lia ka tsa hakanngoa, empa li khethiloe feela ke mongoli. ka mohlala.)

Ka hona, Thuto ea Ensemble e ka sebelisoa ho ntlafatsa tekano ea leeme / phapang maemong afe kapa afe, empa neng Liphoso tsa mohlala ha li amane hantle, ho sebelisa EL ho ka lebisa ts'ebetsong e ntlafetseng.

Mefuta e fapaneng le e fapaneng

Hangata EL e sebelisoa mefuteng e ts'oanang (joalo ka mohlala ona kapa morung o sa reroang), empa ha e le hantle o ka kopanya mefuta e fapaneng (linear regression + neural network + XGBoost) ka lihlopha tse fapaneng tsa litlhaloso. Sena se ka lebisa liphosong tse sa amaneng le ho ntlafatsa ts'ebetso.

Papiso le phapano ea lipotefolio

EL e sebetsa ka mokhoa o ts'oanang ho phapano ho theory ea potefolio, empa ho molemo haholo ho rona. 

Ha u fapanyetsana, u leka ho fokotsa phapang ea ts'ebetso ea hau ka ho tsetela ho li-stock tse sa amaneng. Setoko se nang le mefuta e fapaneng ea li-stock se tla sebetsa hantle ho feta setoko se sebe ka ho fetesisa, empa ha ho mohla se molemo ho feta se setle ka ho fetisisa.

Ho qotsa Warren Buffett: 

"Diversification ke ts'ireletso khahlanong le ho hloka tsebo, ho motho ea sa tsebeng seo a se etsang, [ho fapana] ha ho utloahale haholo."

Thutong ea mochini, EL e thusa ho fokotsa phapang ea mohlala oa hau, empa sena se ka fella ka mohlala o nang le ts'ebetso e ntle ka kakaretso ho feta mohlala o motle oa pele.

A re ke re akaretsa liphetho

Ho kopanya mefuta e mengata ho e le 'ngoe ke mokhoa o batlang o le bonolo o ka lebisang ho rarolle bothata ba ho se tšoane ha leeme le ho ntlafatsa ts'ebetso.

Haeba u na le mefuta e 'meli kapa ho feta e sebetsang hantle, u se ke ua khetha pakeng tsa eona: e sebelise kaofela (empa ka hloko)!

Na u thahasella ho nts'etsapele ntlheng ee? Ingolise bakeng sa thuto ea demo ea mahala "Ho hlahisoa ha mefuta ea ML sebakeng sa indasteri ho sebelisa mohlala oa likhothaletso tsa inthaneteng" le ho kenya letsoho ho kopano ea inthaneteng le Andrey Kuznetsov - Moenjiniere oa ho Ithuta Mochini ho Mail.ru Group.

Source: www.habr.com

Eketsa ka tlhaloso