ფუნქციების შერჩევა მანქანათმცოდნეობაში

ჰეი ჰაბრ!

ჩვენ Reksoft-ში ვთარგმნეთ სტატია რუსულად მახასიათებლების შერჩევა მანქანათმცოდნეობაში. ვიმედოვნებთ, რომ ეს სასარგებლო იქნება ყველასთვის, ვინც დაინტერესებულია თემით.

რეალურ სამყაროში მონაცემები ყოველთვის არ არის ისეთი სუფთა, როგორც ზოგჯერ ბიზნეს მომხმარებლები ფიქრობენ. სწორედ ამიტომ არის მონაცემთა მოპოვება და მონაცემთა ჩხუბი მოთხოვნადი. ეს ხელს უწყობს გამოტოვებული მნიშვნელობების და შაბლონების იდენტიფიცირებას შეკითხვით სტრუქტურირებულ მონაცემებში, რომელთა ამოცნობაც ადამიანებს არ შეუძლიათ. იმისათვის, რომ იპოვოთ და გამოიყენოთ ეს შაბლონები შედეგების პროგნოზირებისთვის მონაცემების აღმოჩენილი ურთიერთობების გამოყენებით, მანქანური სწავლება გამოდგება.

ნებისმიერი ალგორითმის გასაგებად, თქვენ უნდა დაათვალიეროთ ყველა ცვლადი მონაცემებში და გაარკვიოთ რას წარმოადგენს ეს ცვლადები. ეს კრიტიკულია, რადგან შედეგების დასაბუთება ემყარება მონაცემთა გაგებას. თუ მონაცემები შეიცავს 5 ან თუნდაც 50 ცვლადს, შეგიძლიათ ყველა შეამოწმოთ. რა მოხდება, თუ 200 მათგანია? მაშინ უბრალოდ არ იქნება საკმარისი დრო თითოეული ცვლადის შესასწავლად. უფრო მეტიც, ზოგიერთი ალგორითმი არ მუშაობს კატეგორიულ მონაცემებზე და შემდეგ მოგიწევთ ყველა კატეგორიული სვეტის გადაქცევა რაოდენობრივ ცვლადებად (ისინი შეიძლება გამოიყურებოდეს რაოდენობრივად, მაგრამ მეტრიკა აჩვენებს, რომ ისინი კატეგორიულია) რომ დაამატოთ ისინი მოდელში. ამრიგად, ცვლადების რაოდენობა იზრდება და დაახლოებით 500. რა უნდა გავაკეთოთ ახლა? შეიძლება ვიფიქროთ, რომ პასუხი იქნება განზომილების შემცირება. განზომილების შემცირების ალგორითმები ამცირებს პარამეტრების რაოდენობას, მაგრამ უარყოფით გავლენას ახდენს ინტერპრეტაციაზე. რა მოხდება, თუ არსებობს სხვა ტექნიკა, რომელიც გამორიცხავს მახასიათებლებს, ხოლო დანარჩენებს ადვილად გასაგებად და ინტერპრეტაციას ხდის?

იმისდა მიხედვით, ანალიზი ეფუძნება რეგრესიას ან კლასიფიკაციას, მახასიათებლის შერჩევის ალგორითმები შეიძლება განსხვავდებოდეს, მაგრამ მათი განხორციელების მთავარი იდეა იგივე რჩება.

მაღალი კორელაციური ცვლადები

ცვლადები, რომლებიც ერთმანეთთან მაღალი კორელაციაშია, ერთსა და იმავე ინფორმაციას აწვდიან მოდელს, ამიტომ არ არის საჭირო ყველა მათგანის გამოყენება ანალიზისთვის. მაგალითად, თუ მონაცემთა ნაკრები შეიცავს მახასიათებლებს „ონლაინ დრო“ და „გამოყენებული ტრაფიკი“, შეგვიძლია ვივარაუდოთ, რომ ისინი გარკვეულწილად დაკავშირებული იქნება და ჩვენ დავინახავთ ძლიერ კორელაციას მაშინაც კი, თუ ავირჩევთ მონაცემთა მიუკერძოებელ ნიმუშს. ამ შემთხვევაში მოდელში ამ ცვლადებიდან მხოლოდ ერთია საჭირო. თუ ორივეს იყენებთ, მოდელი იქნება ზედმეტად მორგებული და მიკერძოებული ერთი კონკრეტული მახასიათებლის მიმართ.

P-მნიშვნელობები

ალგორითმებში, როგორიცაა ხაზოვანი რეგრესია, საწყისი სტატისტიკური მოდელი ყოველთვის კარგი იდეაა. ეს ეხმარება აჩვენოს მახასიათებლების მნიშვნელობა მათი p-მნიშვნელობებით, რომლებიც მიღებულია ამ მოდელის მიერ. მნიშვნელოვნების დონის დაყენების შემდეგ, ჩვენ ვამოწმებთ მიღებულ p- მნიშვნელობებს და თუ რომელიმე მნიშვნელობა არის მითითებულ მნიშვნელობის დონის ქვემოთ, მაშინ ეს ფუნქცია გამოცხადდება მნიშვნელოვანი, ანუ მისი მნიშვნელობის ცვლილება სავარაუდოდ გამოიწვევს მნიშვნელობის ცვლილებას. სამიზნე.

პირდაპირი შერჩევა

წინა შერჩევა არის ტექნიკა, რომელიც მოიცავს ეტაპობრივი რეგრესიის გამოყენებას. მოდელის შექმნა იწყება სრული ნულიდან, ანუ ცარიელი მოდელით, შემდეგ კი ყოველი გამეორება ამატებს ცვლადს, რომელიც აუმჯობესებს შენებულ მოდელს. რომელი ცვლადი დაემატება მოდელს, განისაზღვრება მისი მნიშვნელობით. ეს შეიძლება გამოითვალოს სხვადასხვა მეტრიკის გამოყენებით. ყველაზე გავრცელებული გზაა თავდაპირველ სტატისტიკურ მოდელში მიღებული p-მნიშვნელობების გამოყენება ყველა ცვლადის გამოყენებით. ზოგჯერ წინგადადგმულმა შერჩევამ შეიძლება გამოიწვიოს მოდელის გადაჭარბება, რადგან მოდელში შეიძლება იყოს მაღალი კორელაციური ცვლადები, მაშინაც კი, თუ ისინი იმავე ინფორმაციას აწვდიან მოდელს (მაგრამ მოდელი მაინც ავლენს გაუმჯობესებას).

საპირისპირო შერჩევა

საპირისპირო შერჩევა ასევე გულისხმობს ნიშან-თვისებების ეტაპობრივ აღმოფხვრას, მაგრამ საპირისპირო მიმართულებით, წინა სელექციასთან შედარებით. ამ შემთხვევაში, საწყისი მოდელი მოიცავს ყველა დამოუკიდებელ ცვლადს. შემდეგ ცვლადები აღმოიფხვრება (ერთი თითო გამეორებაზე), თუ ისინი არ შეაქვთ მნიშვნელობას ახალი რეგრესიის მოდელში თითოეულ გამეორებაში. ფუნქციის გამორიცხვა ეფუძნება საწყისი მოდელის p-მნიშვნელობებს. ამ მეთოდს ასევე აქვს გაურკვევლობა მაღალი კორელაციური ცვლადების ამოღებისას.

რეკურსიული ფუნქციის აღმოფხვრა

RFE არის ფართოდ გამოყენებული ტექნიკა/ალგორითმი მნიშვნელოვანი მახასიათებლების ზუსტი რაოდენობის შესარჩევად. ზოგჯერ მეთოდი გამოიყენება რიგი „ყველაზე მნიშვნელოვანი“ მახასიათებლის ასახსნელად, რომლებიც გავლენას ახდენენ შედეგებზე; და ზოგჯერ ცვლადების ძალიან დიდი რაოდენობის შემცირება (დაახლოებით 200-400) და მხოლოდ ის, ვინც მოდელში გარკვეული წვლილი მაინც შეაქვს, შენარჩუნებულია და ყველა დანარჩენი გამორიცხულია. RFE იყენებს რეიტინგის სისტემას. მონაცემთა ნაკრების ფუნქციებს ენიჭება წოდებები. შემდეგ ეს რიგები გამოიყენება ფუნქციების რეკურსიულად აღმოსაფხვრელად, მათ შორის კოლინარობისა და მოდელში ამ მახასიათებლების მნიშვნელობის საფუძველზე. რეიტინგის მახასიათებლების გარდა, RFE-ს შეუძლია აჩვენოს, არის თუ არა ეს ფუნქციები მნიშვნელოვანი თუ არა გარკვეული მახასიათებლებისთვის (რადგან დიდია ალბათობა, რომ არჩეული ფუნქციების რაოდენობა არ იყოს ოპტიმალური და ფუნქციების ოპტიმალური რაოდენობა შეიძლება იყოს ან მეტი. ან არჩეულ რიცხვზე ნაკლები).

მახასიათებლის მნიშვნელობის დიაგრამა

როდესაც ვსაუბრობთ მანქანათმცოდნეობის ალგორითმების ინტერპრეტაციაზე, ჩვენ ჩვეულებრივ განვიხილავთ ხაზოვან რეგრესიას (რომელიც საშუალებას გაძლევთ გაანალიზოთ მახასიათებლების მნიშვნელობა p-მნიშვნელობების გამოყენებით) და გადაწყვეტილების ხეებს (სიტყვასიტყვით გვიჩვენებს მახასიათებლების მნიშვნელობას ხის სახით და ამავე დროს მათი იერარქია). მეორეს მხრივ, ისეთი ალგორითმები, როგორიცაა Random Forest, LightGBM და XG Boost, ხშირად იყენებენ ფუნქციების მნიშვნელობის დიაგრამას, ანუ ცვლადების დიაგრამას და „მათი მნიშვნელობის რიცხვებს“ ასახავს. ეს განსაკუთრებით სასარგებლოა, როდესაც თქვენ გჭირდებათ სტრუქტურირებული დასაბუთება ატრიბუტების მნიშვნელობის შესახებ ბიზნესზე მათი გავლენის თვალსაზრისით.

რეგულარიზაცია

რეგულარიზაცია კეთდება მიკერძოებასა და დისპერსიას შორის ბალანსის გასაკონტროლებლად. მიკერძოება გვიჩვენებს, თუ რამდენად ზედმეტად მოერგა მოდელს ტრენინგის მონაცემთა ნაკრები. გადახრა გვიჩვენებს, თუ რამდენად განსხვავებული იყო პროგნოზები ტრენინგისა და ტესტირების მონაცემთა ნაკრებებს შორის. იდეალურ შემთხვევაში, მიკერძოებაც და დისპერსიაც მცირე უნდა იყოს. სწორედ აქ მოდის რეგულაცია სამაშველოში! არსებობს ორი ძირითადი ტექნიკა:

L1 რეგულარიზაცია - ლასო: ლასო აჯარიმებს მოდელის წონებს, რათა შეცვალოს მათი მნიშვნელობა მოდელზე და შეუძლია მათ გაუქმებაც კი (ანუ ამოიღოს ეს ცვლადები საბოლოო მოდელიდან). როგორც წესი, Lasso გამოიყენება, როდესაც მონაცემთა ნაკრები შეიცავს ცვლადების დიდ რაოდენობას და გსურთ გამორიცხოთ ზოგიერთი მათგანი, რათა უკეთ გაიგოთ, რამდენად მნიშვნელოვანი ფუნქციები მოქმედებს მოდელზე (ანუ ის ფუნქციები, რომლებიც არჩეულია Lasso-ს მიერ და მიენიჭა მნიშვნელობა).

L2 რეგულარიზაცია - Ridge მეთოდი: Ridge-ის ამოცანაა შეინახოს ყველა ცვლადი და ამავდროულად მიანიჭოს მათ მნიშვნელობა მოდელის შესრულებაში მათი წვლილიდან გამომდინარე. Ridge კარგი არჩევანი იქნება, თუ მონაცემთა ნაკრები შეიცავს ცვლადების მცირე რაოდენობას და ყველა მათგანი აუცილებელია მიღებული დასკვნებისა და შედეგების ინტერპრეტაციისთვის.

ვინაიდან Ridge ინახავს ყველა ცვლადს და Lasso უკეთესად აკეთებს სამუშაოს მათი მნიშვნელობის დასადგენად, შეიქმნა ალგორითმი, რომელიც აერთიანებს ორივე რეგულარიზაციის საუკეთესო მახასიათებლებს, რომელიც ცნობილია როგორც Elastic-Net.

მანქანური სწავლებისთვის ფუნქციების არჩევის კიდევ ბევრი გზა არსებობს, მაგრამ მთავარი იდეა ყოველთვის ერთი და იგივეა: ცვლადების მნიშვნელობის დემონსტრირება და შემდეგ ზოგიერთი მათგანის აღმოფხვრა მიღებული მნიშვნელობიდან გამომდინარე. მნიშვნელობა ძალიან სუბიექტური ტერმინია, რადგან ის არ არის მხოლოდ ერთი, არამედ მეტრიკისა და სქემების მთელი ნაკრები, რომელიც შეიძლება გამოყენებულ იქნას ძირითადი ატრიბუტების მოსაძებნად.

გმადლობთ, რომ კითხულობთ! ბედნიერი სწავლა!

წყარო: www.habr.com