მანქანათმცოდნეობა პითონის, ანაკონდას და სხვა ქვეწარმავლების გარეშე

არა, რა თქმა უნდა, არ ვარ სერიოზული. უნდა არსებობდეს ზღვარი, რამდენადაც შესაძლებელია საგნის გამარტივება. მაგრამ პირველი ეტაპებისთვის, ძირითადი ცნებების გაგება და თემაში სწრაფად „შესვლა“, შეიძლება მისაღები იყოს. ჩვენ განვიხილავთ, თუ როგორ სწორად დავასახელოთ ეს მასალა (ვარიანტები: „მანქანური სწავლება დუიმებისთვის“, „მონაცემების ანალიზი საფენებიდან“, „ალგორითმები პატარებისთვის“) ბოლოს.

აზრამდე. დაწერა რამდენიმე აპლიკაციის პროგრამა MS Excel-ში იმ პროცესების ვიზუალიზაციისა და ვიზუალური წარმოდგენისთვის, რომლებიც ხდება მანქანური სწავლების სხვადასხვა მეთოდებში მონაცემთა ანალიზის დროს. დანახვა არის რწმენა, ბოლოს და ბოლოს, როგორც ამბობენ კულტურის მატარებლები, რომლებმაც შეიმუშავეს ამ მეთოდების უმეტესობა (სხვათა შორის, არა ყველა. ყველაზე ძლიერი "მხარდაჭერის ვექტორული მანქანა", ან SVM, დამხმარე ვექტორული მანქანა არის გამოგონება. ჩვენი თანამემამულე ვლადიმირ ვაპნიკი, მოსკოვის მენეჯმენტის ინსტიტუტი, სხვათა შორის, 1963 წ., თუმცა ახლა ის ასწავლის და მუშაობს აშშ-ში).

სამი ფაილი განსახილველად

1. K-ნიშნავს დაჯგუფებას

ამ ტიპის პრობლემები ეხება "უკონტროლო სწავლებას", როდესაც ჩვენ გვჭირდება საწყისი მონაცემების დაყოფა წინასწარ ცნობილ კატეგორიებად გარკვეულ რაოდენობაზე, მაგრამ არ გვაქვს "სწორი პასუხების" რაოდენობა; ჩვენ უნდა გამოვყოთ ისინი თავად მონაცემებიდან. . ირისის ყვავილების ქვესახეობების პოვნის ფუნდამენტური კლასიკური პრობლემა (რონალდ ფიშერი, 1936!), რომელიც ცოდნის ამ სფეროს პირველ ნიშნად ითვლება, სწორედ ამ ხასიათს ატარებს.

მეთოდი საკმაოდ მარტივია. ჩვენ გვაქვს ობიექტების კომპლექტი წარმოდგენილი ვექტორების სახით (N რიცხვების სიმრავლე). ირისებში ეს არის 4 რიცხვის ნაკრები, რომელიც ახასიათებს ყვავილს: პერიანთის გარე და შიდა წილების სიგრძე და სიგანე, შესაბამისად (ფიშერის ირისები - ვიკიპედია). ჩვეულებრივი დეკარტისეული მეტრიკა არჩეულია ობიექტებს შორის მანძილის ან სიახლოვის საზომად.

შემდეგი, კასეტური ცენტრები შეირჩევა შემთხვევით (ან არა შემთხვევით, იხილეთ ქვემოთ) და გამოითვლება მანძილი თითოეული ობიექტიდან კასეტურ ცენტრებამდე. თითოეული ობიექტი მოცემული გამეორების საფეხურზე აღინიშნება, როგორც უახლოეს ცენტრს ეკუთვნის. შემდეგ თითოეული კლასტერის ცენტრი გადადის მისი წევრების კოორდინატების არითმეტიკულ საშუალოზე (ფიზიკის ანალოგიით, მას ასევე უწოდებენ "მასების ცენტრს") და პროცედურა მეორდება.

პროცესი საკმაოდ სწრაფად იყრის თავს. ორ განზომილებაში სურათებში ასე გამოიყურება:

1. სიბრტყეზე წერტილების საწყისი შემთხვევითი განაწილება და მტევნის რაოდენობა

2. კლასტერული ცენტრების დაზუსტება და მათი კლასტერებისთვის ქულების მინიჭება

3. კასეტური ცენტრების კოორდინატების გადატანა, პუნქტების კუთვნილების ხელახალი გამოთვლა ცენტრების სტაბილიზაციამდე. ჩანს კასეტური ცენტრის ტრაექტორია, რომელიც გადადის საბოლოო პოზიციაზე.

ნებისმიერ დროს შეგიძლიათ დააყენოთ ახალი კლასტერული ცენტრები (ქულების ახალი განაწილების გენერირების გარეშე!) და დაინახოთ, რომ დაყოფის პროცესი ყოველთვის არ არის ერთმნიშვნელოვანი. მათემატიკურად, ეს ნიშნავს, რომ ოპტიმიზირებული ფუნქციისთვის (პუნქტებიდან მათი კლასტერის ცენტრებამდე კვადრატული მანძილების ჯამი) ჩვენ ვპოულობთ არა გლობალურ, არამედ ადგილობრივ მინიმუმს. ამ პრობლემის დაძლევა შესაძლებელია ან საწყისი კლასტერული ცენტრების არა შემთხვევითი არჩევით, ან შესაძლო ცენტრების ჩამოთვლით (ზოგჯერ მომგებიანია მათი ზუსტად ერთ-ერთ წერტილში განთავსება, მაშინ მაინც არის გარანტია, რომ ცარიელი არ დავრჩებით. მტევანი). ნებისმიერ შემთხვევაში, სასრულ სიმრავლეს ყოველთვის აქვს ინფიმუმი.

ამ ფაილით თამაში შეგიძლიათ ამ ბმულზე (არ დაგავიწყდეთ მაკრო მხარდაჭერის ჩართვა. ფაილები დასკანირებულია ვირუსებზე)

მეთოდის აღწერა ვიკიპედიაში - k- ნიშნავს მეთოდი

2. მიახლოება მრავალწევრებით და მონაცემთა გაყოფა. გადამზადება

გამორჩეული მეცნიერი და მონაცემთა მეცნიერების პოპულარიზაცია კ.ვ. ვორონცოვი მოკლედ აღწერს მანქანური სწავლის მეთოდებს, როგორც „მეცნიერებას წერტილების მეშვეობით მოსახვევების დახაზვის შესახებ“. ამ მაგალითში ჩვენ ვიპოვით ნიმუშს მონაცემებში უმცირესი კვადრატების მეთოდის გამოყენებით.

ნაჩვენებია წყაროს მონაცემების „ტრენინგად“ და „კონტროლად“ დაყოფის ტექნიკა, ასევე ისეთი ფენომენი, როგორიცაა გადამზადება, ან მონაცემების „ხელახალი მორგება“. სწორი მიახლოებით გვექნება გარკვეული შეცდომა სასწავლო მონაცემებზე და ოდნავ უფრო დიდი შეცდომა საკონტროლო მონაცემებზე. თუ არასწორია, ეს იწვევს ტრენინგის მონაცემების ზუსტ კორექტირებას და უზარმაზარ შეცდომას ტესტის მონაცემებზე.

(ცნობილი ფაქტია, რომ N წერტილის მეშვეობით შეიძლება N-1 ხარისხის ერთი მრუდის დახატვა და ეს მეთოდი ზოგადად არ იძლევა სასურველ შედეგს. ლაგრანგის ინტერპოლაციის პოლინომი ვიკიპედიაში)

1. დააყენეთ საწყისი განაწილება

2. ქულებს ვყოფთ „ვარჯიშად“ და „კონტროლად“ 70-დან 30-მდე თანაფარდობით.

3. ვხატავთ მიახლოებით მრუდს სავარჯიშო წერტილების გასწვრივ, ვხედავთ შეცდომას, რომელსაც ის იძლევა საკონტროლო მონაცემებზე.

4. ჩვენ ვხატავთ ზუსტ მრუდს სავარჯიშო წერტილებში და ვხედავთ ამაზრზენ შეცდომას საკონტროლო მონაცემებზე (და ნულს სასწავლო მონაცემებზე, მაგრამ რა აზრი აქვს?).

ნაჩვენებია, რა თქმა უნდა, უმარტივესი ვარიანტი ერთი დაყოფით "სავარჯიშო" და "საკონტროლო" ქვეჯგუფებად; ზოგადად, ეს ბევრჯერ კეთდება კოეფიციენტების საუკეთესო კორექტირებისთვის.

ფაილი ხელმისაწვდომია აქ, სკანირებული ანტივირუსით. ჩართეთ მაკროები სწორი მუშაობისთვის

3. გრადიენტური დაღმართი და შეცდომის ცვლილების დინამიკა

იქნება 4 განზომილებიანი შემთხვევა და წრფივი რეგრესია. წრფივი რეგრესიის კოეფიციენტები განისაზღვრება ეტაპობრივად გრადიენტული დაღმართის მეთოდით, თავდაპირველად ყველა კოეფიციენტი ნულის ტოლია. ცალკე გრაფიკი აჩვენებს შეცდომის შემცირების დინამიკას, რადგან კოეფიციენტები უფრო და უფრო ზუსტად რეგულირდება. შესაძლებელია ოთხივე 2-განზომილებიანი პროექციის ნახვა.

თუ თქვენ დააყენეთ გრადიენტული დაღმართის საფეხური ძალიან დიდი, ხედავთ, რომ ყოველ ჯერზე ჩვენ გამოვტოვებთ მინიმუმს და შედეგს მივაღწევთ უფრო დიდი რაოდენობის ნაბიჯებით, თუმცა საბოლოოდ მაინც მივალთ (თუ დაღმართის საფეხურსაც არ დავაგვიანებთ ბევრი - მაშინ ალგორითმი წავა " ყვავი"). და შეცდომის გრაფიკი, რომელიც დამოკიდებულია გამეორების საფეხურზე, არ იქნება გლუვი, მაგრამ "აშლილი".

1. შექმენით მონაცემები, დააყენეთ გრადიენტული დაღმართის საფეხური

2. გრადიენტური დაღმართის საფეხურის სწორი შერჩევით, შეუფერხებლად და სწრაფად ვაღწევთ მინიმუმს

3. თუ გრადიენტული დაღმართის საფეხური არასწორად არის შერჩეული, ჩვენ გადავაჭარბებთ მაქსიმუმს, შეცდომის გრაფიკი არის „დამშვენიერი“, კონვერგენცია იღებს უფრო დიდ რაოდენობას.

и

4. თუ გრადიენტული დაღმართის საფეხურს სრულიად არასწორად ვარჩევთ, ვშორდებით მინიმუმს

(პროცესის რეპროდუცირებისთვის სურათებში ნაჩვენები გრადიენტული დაღმართის საფეხურის მნიშვნელობების გამოყენებით, მონიშნეთ ველი „საცნობარო მონაცემები“).

ფაილი ამ ლინკზეა, მაკრო უნდა ჩართო, ვირუსები არ არის.

პატივცემული საზოგადოების აზრით, მისაღებია თუ არა მასალის წარმოდგენის ასეთი გამარტივება და მეთოდი? ღირს თუ არა სტატიის ინგლისურად თარგმნა?

წყარო: www.habr.com