Հե՜յ Հաբր։ Տվյալների ինժեներներին և մեքենայական ուսուցման մասնագետներին հրավիրում ենք անվճար Դեմո դասի . Հրապարակում ենք նաև Luca Monno - CDP SpA-ի ֆինանսական վերլուծության բաժնի ղեկավար հոդվածը:
Մեքենայական ուսուցման ամենաօգտակար և պարզ մեթոդներից մեկը Ensemble Learning-ն է: Ensemble Learning-ը XGBoost, Bagging, Random Forest և շատ այլ ալգորիթմների հիմքում ընկած մեթոդն է:
Կան շատ հիանալի հոդվածներ դեպի տվյալների գիտություն, բայց ես ընտրեցի երկու պատմություն ( и ) որն ինձ ամենաշատը դուր եկավ։ Ուրեմն ինչու՞ գրել մեկ այլ հոդված EL-ի մասին: Որովհետև ես ուզում եմ ձեզ ցույց տալ ինչպես է այն աշխատում պարզ օրինակով, ինչն ինձ հասկացրեց, որ այստեղ կախարդանք չկա:
Երբ ես առաջին անգամ տեսա EL-ը գործողության մեջ (աշխատում էր մի քանի շատ պարզ ռեգրեսիայի մոդելների հետ), ես չէի հավատում իմ աչքերին, և ես դեռ հիշում եմ պրոֆեսորին, ով ինձ սովորեցրել է այս մեթոդը:
Ես ունեի երկու տարբեր մոդելներ (երկու թույլ ուսուցման ալգորիթմներ) չափիչներով նմուշից դուրս R² հավասար է 0,90 և 0,93 համապատասխանաբար: Նախքան արդյունքը նայելը, ես մտածեցի, որ R² կստանամ ինչ-որ տեղ երկու սկզբնական արժեքների միջև: Այլ կերպ ասած, ես հավատում էի, որ EL-ը կարող է օգտագործվել, որպեսզի մոդելը կատարի ոչ այնքան վատ, որքան ամենավատ մոդելը, բայց ոչ այնքան լավ, որքան լավագույն մոդելը կարող է կատարել:
Ի զարմանս ինձ, պարզապես կանխատեսումների միջին հաշվարկը հանգեցրեց 0,95 R²:
Սկզբում ես սկսեցի փնտրել սխալը, բայց հետո մտածեցի, որ այստեղ կարող է ինչ-որ կախարդական թաքնված լինել:
Ինչ է անսամբլային ուսուցումը
EL-ի հետ դուք կարող եք համատեղել երկու կամ ավելի մոդելների կանխատեսումները՝ ավելի ամուր և արդյունավետ մոդել ստեղծելու համար: Մոդելային անսամբլների հետ աշխատելու բազմաթիվ մեթոդաբանություններ կան։ Այստեղ ես կանդրադառնամ երկու ամենաօգտակարներին՝ ակնարկ տալու համար։
Հետ հետընթաց հնարավոր է միջինացնել առկա մոդելների կատարողականը:
Հետ դասակարգում Մոդելներին կարող եք պիտակներ ընտրելու հնարավորություն տալ։ Այն պիտակը, որն առավել հաճախ է ընտրվել, այն է, որը կընտրի նոր մոդելը։
Ինչու EL-ն ավելի լավ է աշխատում
EL-ի ավելի լավ արդյունքների հիմնական պատճառն այն է, որ յուրաքանչյուր կանխատեսում ունի սխալ (մենք դա գիտենք հավանականությունների տեսությունից), երկու կանխատեսումների համադրումը կարող է օգնել նվազեցնել սխալը և, հետևաբար, բարելավել կատարողականի չափումները (RMSE, R² և այլն): դ.):
Հետևյալ դիագրամը ցույց է տալիս, թե ինչպես են երկու թույլ ալգորիթմներ գործում տվյալների հավաքածուի վրա: Առաջին ալգորիթմն ավելի մեծ թեքություն ունի, քան անհրաժեշտ է, իսկ երկրորդը՝ գրեթե զրո (հնարավոր է չափից ավելի կանոնավորվելու պատճառով): Բայց համույթը ցույց է տալիս շատ ավելի լավ արդյունքներ:
Եթե նայեք R² ցուցանիշին, ապա առաջին և երկրորդ ուսուցման ալգորիթմի համար այն համապատասխանաբար հավասար կլինի -0.01¹, 0.22-ի, մինչդեռ անսամբլի համար այն հավասար կլինի 0.73-ի:
Կան բազմաթիվ պատճառներ, թե ինչու ալգորիթմը կարող է վատ մոդել լինել նույնիսկ այսպիսի հիմնական օրինակի դեպքում. միգուցե դուք որոշել եք օգտագործել կանոնավորացում՝ գերհամապատասխանությունից խուսափելու համար, կամ որոշել եք չբացառել որոշ անոմալիաներ, կամ գուցե օգտագործել եք բազմանդամ ռեգրեսիա և սխալ եք ստացել։ աստիճան (օրինակ, մենք օգտագործեցինք երկրորդ աստիճանի բազմանդամ, և թեստի տվյալները ցույց են տալիս հստակ ասիմետրիա, որի համար երրորդ աստիճանը ավելի հարմար կլինի):
Երբ EL-ն ավելի լավ է աշխատում
Դիտարկենք ուսուցման երկու ալգորիթմ, որոնք աշխատում են նույն տվյալների հետ:
Այստեղ դուք կարող եք տեսնել, որ երկու մոդելների համատեղումը շատ չի բարելավում կատարողականությունը: Սկզբում երկու ուսուցման ալգորիթմների համար R² ցուցանիշները համապատասխանաբար հավասար էին -0,37 և 0,22, իսկ անսամբլի համար այն ստացվեց -0,04: Այսինքն՝ EL մոդելը ստացել է ցուցանիշների միջին արժեքը։
Այնուամենայնիվ, այս երկու օրինակների միջև մեծ տարբերություն կա. առաջին օրինակում մոդելի սխալները բացասաբար են փոխկապակցված, իսկ երկրորդում՝ դրական (երեք մոդելների գործակիցները չեն գնահատվել, այլ պարզապես ընտրվել են հեղինակ՝ որպես օրինակ։)
Հետևաբար, Ensemble Learning-ը կարող է օգտագործվել ցանկացած դեպքում բարելավելու կողմնակալության/տարբերակման հավասարակշռությունը, բայց երբ Մոդելի սխալները դրականորեն փոխկապակցված չեն, EL-ի օգտագործումը կարող է հանգեցնել կատարողականի բարելավմանը.
Միատարր և տարասեռ մոդելներ
Շատ հաճախ EL-ն օգտագործվում է միատարր մոդելների վրա (ինչպես այս օրինակում կամ պատահական անտառում), բայց իրականում դուք կարող եք համատեղել տարբեր մոդելներ (գծային ռեգրեսիա + նեյրոնային ցանց + XGBoost) բացատրական փոփոխականների տարբեր խմբերի հետ։ Սա, հավանաբար, կհանգեցնի չկապված սխալների և բարելավված կատարողականի:
Համեմատություն պորտֆելի դիվերսիֆիկացիայի հետ
EL-ն աշխատում է այնպես, ինչպես դիվերսիֆիկացումը պորտֆելի տեսության մեջ, բայց այնքան լավ մեզ համար:
Դիվերսիֆիկացնելիս փորձում եք նվազեցնել ձեր կատարողականի տարբերությունը՝ ներդրումներ կատարելով չկապված բաժնետոմսերում: Բաժնետոմսերի լավ դիվերսիֆիկացված պորտֆելը ավելի լավ կաշխատի, քան ամենավատ անհատական բաժնետոմսերը, բայց երբեք ավելի լավը, քան լավագույնը:
Ուորեն Բաֆեթին մեջբերելու համար.
«Դիվերսիֆիկացիան պաշտպանություն է անտեղյակությունից: Նրա համար, ով չգիտի, թե ինչ է անում, դա [դիվերսիֆիկացիան] շատ քիչ իմաստ ունի»:
Մեքենայական ուսուցման մեջ EL-ն օգնում է նվազեցնել ձեր մոդելի տարբերությունը, սակայն դա կարող է հանգեցնել ավելի լավ ընդհանուր կատարողականությամբ մոդելի, քան լավագույն օրիգինալ մոդելը:
Ամփոփել
Բազմաթիվ մոդելներ մեկի մեջ համատեղելը համեմատաբար պարզ տեխնիկա է, որը կարող է հանգեցնել շեղումների շեղման խնդրի լուծմանը և կատարելագործմանը:
Եթե ունեք երկու կամ ավելի մոդելներ, որոնք լավ են աշխատում, մի ընտրեք դրանց միջև. օգտագործեք դրանք բոլորը (բայց զգուշությամբ):
Հետաքրքրվա՞ծ եք այս ուղղությամբ զարգանալ: Գրանցվեք անվճար Դեմո դասի համար և մասնակցել — Մեքենայի ուսուցման ինժեներ Mail.ru Group-ում:
Source: www.habr.com