Hey Habr! Məlumat Mühəndisləri və Maşın Öyrənmə mütəxəssislərini pulsuz Demo dərsinə dəvət edirik . Luka Monno - CDP SpA-da Maliyyə Analitikasının rəhbəri məqaləsini də dərc edirik.
Ən faydalı və sadə maşın öyrənmə üsullarından biri Ensemble Learning-dir. Ensemble Learning XGBoost, Bagging, Random Forest və bir çox digər alqoritmlərin arxasında duran üsuldur.
Data Science Towards haqqında çox gözəl məqalələr var, lakin mən iki hekayə seçdim ( и ) ən çox bəyəndiyim. Bəs niyə EL haqqında başqa məqalə yazmaq lazımdır? Çünki sizə göstərmək istəyirəm sadə bir nümunə ilə necə işləyir, Mənə burada heç bir sehr olmadığını başa saldı.
EL-i ilk dəfə hərəkətdə görəndə (bəzi çox sadə reqressiya modelləri ilə işləyir) gözlərimə inanmadım və bu metodu mənə öyrədən professoru hələ də xatırlayıram.
Metrikləri olan iki fərqli modelim (iki zəif təlim alqoritmi) var idi nümunədən kənar R² müvafiq olaraq 0,90 və 0,93-ə bərabərdir. Nəticəyə baxmadan əvvəl iki orijinal dəyər arasında bir yerdə R² alacağımı düşündüm. Başqa sözlə, mən inanırdım ki, EL modeli ən pis model kimi deyil, ən yaxşı modelin də performans göstərə bildiyi qədər də pis performans göstərməsi üçün istifadə oluna bilər.
Çox təəccüblü olduğum üçün, sadəcə proqnozları orta hesabla götürmək 0,95 R² verdi.
Əvvəlcə səhvi axtarmağa başladım, amma sonra düşündüm ki, burada hansısa sehr gizlənə bilər!
Ansambl Öyrənməsi nədir
EL ilə siz iki və ya daha çox modelin proqnozlarını birləşdirərək daha möhkəm və performanslı model yarada bilərsiniz. Model ansambllarla işləmək üçün bir çox metodologiya var. Burada ümumi məlumat vermək üçün ən faydalı ikisinə toxunacağam.
Ilə reqressiya mövcud modellərin məhsuldarlığını orta hesabla aparmaq mümkündür.
Ilə təsnifat Modellərə etiket seçmək imkanı verə bilərsiniz. Ən çox seçilən etiket yeni model tərəfindən seçiləcək etiketdir.
Niyə EL daha yaxşı işləyir?
EL-nin daha yaxşı çıxış etməsinin əsas səbəbi odur ki, hər bir proqnozun xətası var (biz bunu ehtimal nəzəriyyəsindən bilirik), iki proqnozun birləşdirilməsi xətanı azaltmağa kömək edə bilər və buna görə də performans göstəricilərini yaxşılaşdıra bilər (RMSE, R² və s.) d.).
Aşağıdakı diaqram iki zəif alqoritmin verilənlər toplusunda necə işlədiyini göstərir. Birinci alqoritm lazım olduğundan daha böyük bir yamaca malikdir, ikincisi isə demək olar ki, sıfıra malikdir (ehtimal ki, həddindən artıq tənzimləmə səbəbindən). Amma ansambl daha yaxşı nəticələr göstərir.
R² göstəricisinə baxsanız, birinci və ikinci məşq alqoritmi üçün müvafiq olaraq -0.01¹, 0.22, ansambl üçün isə 0.73-ə bərabər olacaqdır.
Alqoritmin belə əsas nümunədə belə pis model ola bilməsinin bir çox səbəbi var: ola bilsin ki, siz həddən artıq uyğunlaşmamaq üçün nizamlamadan istifadə etməyə qərar verdiniz və ya bəzi anomaliyaları istisna etməməyə qərar verdiniz, ya da ola bilsin ki, polinom reqressiyasından istifadə etdiniz və səhv etdiniz. dərəcə (məsələn, biz ikinci dərəcəli polinomdan istifadə etdik və test məlumatları aydın asimmetriyanı göstərir ki, bunun üçün üçüncü dərəcə daha uyğundur).
EL daha yaxşı işləyəndə
Eyni verilənlərlə işləyən iki öyrənmə alqoritminə baxaq.
Burada iki modeli birləşdirməyin performansı çox yaxşılaşdırmadığını görə bilərsiniz. Əvvəlcə iki təlim alqoritmi üçün R² göstəriciləri müvafiq olaraq -0,37 və 0,22-yə bərabər idi və ansambl üçün -0,04 oldu. Yəni EL modeli göstəricilərin orta qiymətini aldı.
Bununla belə, bu iki nümunə arasında böyük fərq var: birinci misalda model xətaları mənfi, ikincidə isə müsbət korrelyasiya ilə əlaqələndirilmişdir (üç modelin əmsalları təxmin edilməmişdir, sadəcə olaraq model tərəfindən seçilmişdir. nümunə olaraq müəllif.)
Buna görə də, Ansambl Öyrənməsi istənilən halda qərəz/variasiya balansını yaxşılaşdırmaq üçün istifadə edilə bilər, lakin nə vaxt Model səhvləri müsbət əlaqələndirilmir, EL-dən istifadə performansın yaxşılaşmasına səbəb ola bilər.
Homojen və heterojen modellər
Çox vaxt EL homojen modellərdə istifadə olunur (bu nümunədə və ya təsadüfi meşədə olduğu kimi), lakin əslində siz müxtəlif modelləri (xətti reqressiya + neyron şəbəkəsi + XGBoost) müxtəlif izahlı dəyişənlər dəstləri ilə birləşdirə bilərsiniz. Bu, çox güman ki, əlaqəsiz səhvlər və təkmilləşdirilmiş performansla nəticələnəcək.
Portfelin diversifikasiyası ilə müqayisə
EL portfel nəzəriyyəsindəki diversifikasiyaya bənzər şəkildə işləyir, lakin bizim üçün daha yaxşıdır.
Diversifikasiya edərkən, korrelyasiya olunmayan səhmlərə sərmayə qoymaqla performansınızın fərqini azaltmağa çalışırsınız. Yaxşı diversifikasiya edilmiş səhmlər portfeli ən pis fərdi səhmlərdən daha yaxşı performans göstərəcək, lakin heç vaxt ən yaxşıdan daha yaxşı olmayacaq.
Warren Buffettdən sitat gətirmək üçün:
"Diversifikasiya cəhalətdən müdafiədir; nə etdiyini bilməyən biri üçün [şaxələndirmə] çox az məna kəsb edir."
Maşın öyrənməsində EL modelinizin fərqliliyini azaltmağa kömək edir, lakin bu, ən yaxşı orijinal modeldən daha yaxşı ümumi performansa malik modellə nəticələnə bilər.
Yekunlaşdırmaq
Birdən çox modeli bir modeldə birləşdirmək nisbətən sadə bir texnikadır ki, bu da variasiya meyli probleminin həllinə və performansın yaxşılaşmasına səbəb ola bilər.
Yaxşı işləyən iki və ya daha çox modeliniz varsa, onlar arasında seçim etməyin: hamısından istifadə edin (lakin ehtiyatla)!
Bu istiqamətdə inkişaf etməkdə maraqlısınız? Pulsuz Demo dərsi üçün qeydiyyatdan keçin və iştirak edir — Mail.ru Group-da Maşın Öyrənmə Mühəndisi.
Mənbə: www.habr.com