ჯადოსნური ანსამბლის სწავლა

ჰეი ჰაბრ! ვიწვევთ მონაცემთა ინჟინრებს და მანქანათმცოდნეობის სპეციალისტებს უფასო დემო-გაკვეთილზე "ML მოდელების დანერგვა ინდუსტრიულ გარემოში ონლაინ რეკომენდაციების მაგალითის გამოყენებით". ჩვენ ასევე ვაქვეყნებთ ლუკა მონოს სტატიას - CDP SpA-ს ფინანსური ანალიტიკის ხელმძღვანელი.

ერთ-ერთი ყველაზე სასარგებლო და მარტივი მანქანათმცოდნეობის მეთოდი არის Ensemble Learning. ანსამბლის სწავლება არის XGBoost, Bagging, Random Forest და მრავალი სხვა ალგორითმის ძირითადი ტექნიკა.

ბევრი შესანიშნავი სტატიაა მონაცემთა მეცნიერებისკენ, მაგრამ მე ავირჩიე ორი ამბავი (პირველი и მეორე) რომელიც ყველაზე მეტად მომეწონა. მაშ, რატომ დაწერე კიდევ ერთი სტატია EL-ზე? იმიტომ რომ მინდა გაჩვენო როგორ მუშაობს მარტივი მაგალითით, რამაც მიმახვედრა, რომ აქ მაგია არ არის.

როდესაც პირველად დავინახე EL მოქმედებაში (მუშაობდა რამდენიმე ძალიან მარტივ რეგრესიულ მოდელზე) თვალებს არ ვუჯერებდი და დღემდე მახსოვს პროფესორი, რომელმაც მასწავლა ეს მეთოდი.

მე მქონდა ორი განსხვავებული მოდელი (ორი სუსტი სასწავლო ალგორითმი) მაჩვენებლებით ნიმუშის გარეთ R² უდრის 0,90 და 0,93 შესაბამისად. სანამ შედეგს შევხედავდი, ვფიქრობდი, რომ R² მივიღებდი სადღაც ორ საწყის მნიშვნელობას შორის. სხვა სიტყვებით რომ ვთქვათ, მე ვფიქრობდი, რომ EL-ის გამოყენება შეიძლებოდა იმისთვის, რომ მოდელმა არ გამოსულიყო ისეთი ცუდი, როგორც ყველაზე ცუდი მოდელი, მაგრამ არა ისე, როგორც საუკეთესო მოდელს შეეძლო.

ჩემდა გასაკვირად, პროგნოზების მარტივი საშუალო შეფასების შედეგებმა მისცა R² 0,95. 

თავიდან დავიწყე შეცდომის ძებნა, მაგრამ მერე ვიფიქრე, რომ შეიძლება აქ რაღაც მაგია იმალებოდეს!

რა არის ანსამბლური სწავლება

EL-ით შეგიძლიათ დააკავშიროთ ორი ან მეტი მოდელის პროგნოზები, რათა მიიღოთ უფრო საიმედო და ეფექტური მოდელი. მოდელების ანსამბლებთან მუშაობის მრავალი მეთოდოლოგია არსებობს. აქ მე შევეხები ორ ყველაზე სასარგებლოს, რომ წარმოდგენა მოგცეთ.

ერთად რეგრესია შეგიძლიათ საშუალოდ ხელმისაწვდომი მოდელების შესრულება.

ერთად კლასიფიკაცია შეგიძლიათ მოდელებს მისცეთ უფლება აირჩიონ ეტიკეტები. იარლიყი, რომელსაც ყველაზე ხშირად ირჩევდა, არის ის, რასაც ახალი მოდელი აირჩევს.

რატომ მუშაობს EL უკეთესად

მთავარი მიზეზი, რის გამოც EL მუშაობს უკეთესად არის ის, რომ თითოეულ პროგნოზს აქვს შეცდომა (ეს ჩვენ ვიცით ალბათობის თეორიიდან), ორი პროგნოზის გაერთიანება დაგეხმარებათ შეცდომის შემცირებაში და, შესაბამისად, შესრულების ინდიკატორების გაუმჯობესებაში (RMSE, R² და ა.შ.). დ.).

შემდეგი დიაგრამა გვიჩვენებს, თუ როგორ მუშაობს ორი სუსტი ალგორითმი მონაცემთა ნაკრებზე. პირველ ალგორითმს აქვს საჭიროზე დიდი დახრილობა, მეორეს კი თითქმის ნული (შესაძლოა გადაჭარბებული რეგულარიზაციის გამო). მაგრამ ანსამბლი უკეთეს შედეგებს აჩვენებს. 

თუ გადავხედავთ R²-ს, მაშინ პირველი და მეორე სავარჯიშო ალგორითმი იქნება -0.01¹, 0.22, შესაბამისად, ხოლო ანსამბლისთვის ეს იქნება 0.73-ის ტოლი.

არსებობს მრავალი მიზეზი, რის გამოც ალგორითმი შეიძლება იყოს ცუდი მოდელი თუნდაც ასეთი ძირითადი მაგალითისთვის: შესაძლოა თქვენ გადაწყვიტეთ გამოიყენოთ რეგულაცია, რათა თავიდან აიცილოთ ზედმეტი მორგება, ან გადაწყვიტეთ არ აღმოფხვრათ ანომალიები, ან შესაძლოა გამოიყენეთ პოლინომიური რეგრესია და შეარჩიეთ არასწორი ხარისხი. (მაგალითად, გამოყენებულია მეორე ხარისხის პოლინომი და ტესტის მონაცემები აჩვენებს მკაფიო ასიმეტრიას, რისთვისაც მესამე ხარისხი უკეთესი იქნება).

როდესაც EL საუკეთესოდ მუშაობს

მოდით შევხედოთ ორ სასწავლო ალგორითმს, რომლებიც მუშაობენ ერთსა და იმავე მონაცემებზე.

აქ ხედავთ, რომ ორი მოდელის გაერთიანებამ მნიშვნელოვნად არ გააუმჯობესა შესრულება. თავდაპირველად, ორი სასწავლო ალგორითმისთვის, R² მნიშვნელობები იყო -0,37 და 0,22, შესაბამისად, ხოლო ანსამბლისთვის აღმოჩნდა -0,04. ანუ EL მოდელმა მიიღო ინდიკატორების საშუალო მნიშვნელობა.

თუმცა, ამ ორ მაგალითს შორის დიდი განსხვავებაა: პირველ მაგალითში მოდელის შეცდომები იყო უარყოფითი კორელაცია, ხოლო მეორეში ისინი დადებითად იყო დაკავშირებული (სამი მოდელის კოეფიციენტები არ იყო შეფასებული, მაგრამ უბრალოდ აირჩიეს ავტორი, როგორც მაგალითი.)

ამიტომ, Ensemble Learning შეიძლება გამოყენებულ იქნას მიკერძოების/დისპერსიის ბალანსის გასაუმჯობესებლად ყველა შემთხვევაში, მაგრამ როდის მოდელის შეცდომები დადებითად არ არის დაკავშირებული, EL-ის გამოყენებამ შეიძლება გამოიწვიოს უკეთესი შესრულება.

ჰომოგენური და ჰეტეროგენული მოდელები

ძალიან ხშირად EL გამოიყენება ჰომოგენურ მოდელებზე (როგორც ამ მაგალითში ან შემთხვევით ტყეში), მაგრამ სინამდვილეში შეგიძლიათ დააკავშიროთ სხვადასხვა მოდელები (წრფივი რეგრესია + ნერვული ქსელი + XGBoost) ახსნა ცვლადების სხვადასხვა კომპლექტთან. ეს, სავარაუდოდ, გამოიწვევს შეუსაბამო შეცდომებს და გააუმჯობესებს შესრულებას.

შედარება პორტფელის დივერსიფიკაციასთან

EL მუშაობს პორტფელის თეორიის დივერსიფიკაციის ანალოგიურად, მაგრამ ჩვენთვის მით უკეთესი. 

როდესაც დივერსიფიკაციას ახდენთ, თქვენ ცდილობთ შეამციროთ თქვენი შესრულების განსხვავება არაკორელაციური აქციების ინვესტიციით. აქციების კარგად დივერსიფიცირებული პორტფელი უკეთესად იმუშავებს, ვიდრე ყველაზე უარესი ერთეული აქცია, მაგრამ არასდროს უკეთესი ვიდრე საუკეთესო.

უორენ ბაფეტის ციტატა: 

"დივერსიფიკაცია არის დაცვა უცოდინრობისგან, ვინც არ იცის რას აკეთებს, მას [დივერსიფიკაცია] ძალიან ცოტა აზრი აქვს."

მანქანათმცოდნეობაში, EL ხელს უწყობს თქვენი მოდელის დისპერსიის შემცირებას, მაგრამ ამან შეიძლება გამოიწვიოს მოდელი უკეთესი საერთო შესრულებით, ვიდრე საუკეთესო საწყისი მოდელი.

შეაჯამებს

მრავალი მოდელის ერთში გაერთიანება შედარებით მარტივი ტექნიკაა, რომელსაც შეუძლია გამოიწვიოს დისპერსიული მიკერძოების პრობლემის გადაჭრა და გაუმჯობესებული შესრულება.

თუ თქვენ გაქვთ ორი ან მეტი მოდელი, რომელიც კარგად მუშაობს, არ აირჩიოთ მათ შორის: გამოიყენეთ ისინი ყველა (მაგრამ სიფრთხილით)!

დაინტერესებული ხართ ამ მიმართულებით განვითარებით? დარეგისტრირდით უფასო დემო გაკვეთილზე "ML მოდელების დანერგვა ინდუსტრიულ გარემოში ონლაინ რეკომენდაციების მაგალითის გამოყენებით" და მონაწილეობა ონლაინ შეხვედრა ანდრეი კუზნეცოვთან — მანქანათმცოდნე ინჟინერი Mail.ru Group-ში.

წყარო: www.habr.com