ხელნაწერი ნახატების კლასიფიკაცია. ანგარიში Yandex-ში

რამდენიმე თვის წინ, ჩვენი კოლეგები Google-დან გაატარა კაგლზე კონკურსი სენსაციურში მიღებული სურათებისთვის კლასიფიკატორის შესაქმნელად თამაში "Სწრაფი ხატვა!" გუნდმა, რომელშიც შედიოდა Yandex-ის დეველოპერი რომან ვლასოვი, კონკურსში მეოთხე ადგილი დაიკავა. იანვრის მანქანათმცოდნეობის ტრენინგზე რომანმა გააზიარა თავისი გუნდის იდეები, კლასიფიკატორის საბოლოო განხორციელება და ოპონენტების საინტერესო პრაქტიკა.

- Სალამი ყველას! მე მქვია რომა ვლასოვი, დღეს მოგიყვებით Quick, Draw-ზე! Doodle-ის ამოცნობის გამოწვევა.



ჩვენს გუნდში ხუთი ადამიანი იყო. მე შევუერთდი შერწყმის ვადამდე. ჩვენ არ გაგვიმართლა, ცოტა შევიძვრეთ, მაგრამ ფულის პოზიციიდან შეგვძვრა, ისინი კი ოქროს პოზიციიდან. და ჩვენ საპატიო მეოთხე ადგილი დავიკავეთ.

(შეჯიბრის დროს გუნდები საკუთარ თავს აკვირდებოდნენ რეიტინგში, რომელიც ჩამოყალიბდა შემოთავაზებული მონაცემთა ნაკრების ერთ ნაწილზე ნაჩვენები შედეგების საფუძველზე. საბოლოო რეიტინგი, თავის მხრივ, ჩამოყალიბდა მონაცემთა ნაკრების მეორე ნაწილზე. ეს ასე კეთდება. რომ კონკურსის მონაწილეები თავიანთ ალგორითმებს კონკრეტულ მონაცემებზე არ არეგულირებენ, ამიტომ ფინალში, რეიტინგებს შორის გადართვისას პოზიციები ოდნავ ირყევა (ინგლისური shake up - შერევა): სხვა მონაცემებზე შეიძლება შედეგი გამოვიდეს. რომის გუნდი პირველი იყო სამეულში. ამ შემთხვევაში სამეული ფულის, ფულადი სარეიტინგო ზონაა, რადგან ფულადი პრიზი მხოლოდ პირველ სამ ადგილზე გავიდა. შერყევის შემდეგ გუნდი უკვე იყო. მეოთხე ადგილი. ანალოგიურად, მეორე გუნდმა დაკარგა გამარჯვება, ოქროს პოზიცია. - რედ.)

შეჯიბრი იმითაც იყო მნიშვნელოვანი, რომ ევგენი ბაბახნინმა მიიღო დიდოსტატი, ივან სოსინმა მიიღო ოსტატი, რომან სოლოვიევი დარჩა დიდოსტატი, ალექს პარინოვმა მიიღო ოსტატი, მე გავხდი ექსპერტი და ახლა უკვე ოსტატი ვარ.

რა არის ეს სწრაფი, დახატე? ეს არის Google-ის სერვისი. Google-ს მიზნად ჰქონდა ხელოვნური ინტელექტის პოპულარიზაცია და ამ სერვისით სურდა ეჩვენებინა, თუ როგორ მუშაობს ნერვული ქსელები. მიდიხარ იქ, დააჭირეთ მოდით დავხატოთ და ჩნდება ახალი გვერდი, სადაც გეუბნებიან: დახაზეთ ზიგზაგი, ამისათვის გაქვთ 20 წამი. თქვენ ცდილობთ ზიგზაგის დახატვას 20 წამში, როგორც აქ, მაგალითად. თუ წარმატებას მიაღწევთ, ქსელი ამბობს, რომ ეს ზიგზაგია და თქვენ გადადით. სულ ექვსი ასეთი სურათია.

თუ Google-ის ქსელმა ვერ ამოიცნო ის, რაც თქვენ დახატეთ, დავალებაზე დაიდო ჯვარი. მოგვიანებით გეტყვით რას ნიშნავს მომავალში ნახატი აღიარებულია თუ არა ქსელის მიერ.

ამ სერვისმა შეკრიბა მომხმარებელთა საკმაოდ დიდი რაოდენობა და ყველა ნახატი, რომელიც მომხმარებლებმა დახატეს, ჩაწერილი იყო.

ჩვენ მოვახერხეთ თითქმის 50 მილიონი სურათის შეგროვება. აქედან ჩამოყალიბდა ჩვენი კონკურსის მატარებელი და გამოცდის თარიღი. სხვათა შორის, ტესტში მონაცემების რაოდენობა და კლასების რაოდენობა ხაზგასმულია თამამად, მიზეზის გამო. მათ შესახებ ცოტა მოგვიანებით მოგიყვებით.

მონაცემთა ფორმატი იყო შემდეგი. ეს არ არის მხოლოდ RGB სურათები, არამედ, უხეშად რომ ვთქვათ, მომხმარებლის მიერ გაკეთებული ყველაფრის ჟურნალი. Word არის ჩვენი სამიზნე, ქვეყნის კოდი არის საიდან არის დუდლის ავტორი, დროის ანაბეჭდი არის დრო. აღიარებული ეტიკეტი უბრალოდ აჩვენებს, ცნობდა თუ არა ქსელმა Google-ის სურათი. ხოლო ნახატი თავისთავად არის მიმდევრობა, მრუდის მიახლოება, რომელსაც მომხმარებელი ხაზავს წერტილებით. და დროები. ეს არის დრო ნახატის დახატვის დაწყებიდან.

მონაცემები წარმოდგენილი იყო ორ ფორმატში. ეს არის პირველი ფორმატი, მეორე კი გამარტივებულია. მათ ამოკვეთეს დროები იქიდან და დააახლოვეს ქულების ეს ნაკრები უფრო მცირე პუნქტით. ამისთვის იყენებდნენ დუგლას-პეკერის ალგორითმი. თქვენ გაქვთ პუნქტების დიდი ნაკრები, რომელიც უბრალოდ უახლოვდება სწორ ხაზს, მაგრამ სინამდვილეში შეგიძლიათ ამ წრფის მიახლოება მხოლოდ ორი წერტილით. ეს არის ალგორითმის იდეა.

მონაცემები განაწილდა შემდეგნაირად. ყველაფერი ერთგვაროვანია, მაგრამ არის გარკვეული გამონაკლისები. როცა პრობლემა მოვაგვარეთ, არ გვიყურებდა. მთავარი ის არის, რომ არ არსებობდა კლასები, რომლებიც მართლაც ცოტა იყო, ჩვენ არ მოგვიწია შეწონილი სემპლერებისა და მონაცემთა გადაჭარბებული შერჩევის გაკეთება.

როგორ გამოიყურებოდა სურათები? ეს არის "თვითმფრინავის" კლასი და მისგან მაგალითები ეტიკეტებით აღიარებული და ამოუცნობი. მათი თანაფარდობა იყო სადღაც 1-დან 9-მდე. როგორც ხედავთ, მონაცემები საკმაოდ ხმაურიანია. ვხვდებოდი, რომ ეს თვითმფრინავია. თუ შეხედავთ არ არის აღიარებული, უმეტეს შემთხვევაში ეს მხოლოდ ხმაურია. ვიღაცამ სცადა დაეწერა "თვითმფრინავი", მაგრამ, როგორც ჩანს, ფრანგულად.

მონაწილეთა უმეტესობამ უბრალოდ აიღო ბადეები, დახატა მონაცემები ხაზების ამ თანმიმდევრობიდან RGB სურათების სახით და გადაყარა ისინი ქსელში. დაახლოებით იგივენაირად დავხატე: ავიღე ფერების პალიტრა, დავხატე პირველი ხაზი ერთი ფერით, რომელიც იყო ამ პალიტრის დასაწყისში, ბოლო - მეორეთი, რომელიც იყო პალიტრის ბოლოს და მათ შორის. მე ყველგან ამ პალიტრის გამოყენებით ჩავრთავდი. სხვათა შორის, ამან უკეთესი შედეგი მისცა, ვიდრე პირველივე სლაიდზე რომ დახატო - მხოლოდ შავში.

გუნდის სხვა წევრები, როგორიცაა ივან სოსინი, ხატვის ოდნავ განსხვავებულ მიდგომებს ცდილობდნენ. ერთი არხით მან უბრალოდ დახატა ნაცრისფერი სურათი, მეორე არხით მან დახატა თითოეული შტრიხი გრადიენტით თავიდან ბოლომდე, 32-დან 255-მდე, ხოლო მესამე არხით მან დახატა გრადიენტი ყველა შტრიხზე 32-დან 255-მდე.

კიდევ ერთი საინტერესო ის არის, რომ ალექს პარინოვმა ატვირთა ინფორმაცია ქსელში ქვეყნის კოდის გამოყენებით.

კონკურსში გამოყენებული მეტრიკა არის საშუალო საშუალო სიზუსტე. რა არის ამ მეტრიკის არსი კონკურენციისთვის? შეგიძლიათ სამი პრედიკა მისცეთ და თუ ამ სამში არ არის სწორი პრედიკა, მაშინ მიიღებთ 0. თუ არის სწორი, მაშინ მხედველობაში მიიღება მისი თანმიმდევრობა. და სამიზნე შედეგი ჩაითვლება, როგორც 1 გაყოფილი თქვენი პროგნოზის თანმიმდევრობით. მაგალითად, თქვენ გააკეთეთ სამი პროგნოზირება და სწორი პირველია, შემდეგ ყოფთ 1-ს 1-ზე და მიიღებთ 1-ს. თუ პროგნოზი სწორია და მისი თანმიმდევრობა არის 2, მაშინ 1 გაყავით 2-ზე, მიიღებთ 0,5-ს. ისე და ა.შ.

მონაცემთა წინასწარი დამუშავებით - როგორ დავხატოთ სურათები და ასე შემდეგ - ჩვენ ცოტა გადავწყვიტეთ. რა არქიტექტურები გამოვიყენეთ? ჩვენ შევეცადეთ გამოგვეყენებინა მსუქანი არქიტექტურები, როგორიცაა PNASNet, SENet და ისეთი უკვე კლასიკური არქიტექტურები, როგორიც არის SE-Res-NeXt, ისინი სულ უფრო ხშირად შედიან ახალ კონკურსებში. ასევე იყო ResNet და DenseNet.

როგორ ვასწავლეთ ეს? ყველა მოდელი, რომელიც ჩვენ ავიღეთ, წინასწარ იყო მომზადებული imagenet-ზე. მართალია ბევრი მონაცემია, 50 მილიონი სურათი, მაგრამ მაინც, თუ გადაიღებ ქსელს წინასწარ გაწვრთნილ imagenet-ზე, მან უკეთესი შედეგი აჩვენა, ვიდრე უბრალოდ ნულიდან რომ ავარჯიშებდი.

რა სწავლების ტექნიკა გამოვიყენეთ? ეს არის Cosing Annealing with Warm Restarts, რომელზეც ცოტა მოგვიანებით ვისაუბრებ. ეს არის ტექნიკა, რომელსაც ვიყენებ თითქმის ყველა ჩემს ბოლო შეჯიბრში და მათთან ერთად გამოდის, რომ კარგად ვავარჯიშებ ბადეებს, კარგ მინიმუმს.

შემდეგი შეამცირეთ სწავლის მაჩვენებელი პლატოზე. თქვენ იწყებთ ქსელის ვარჯიშს, ადგენთ სწავლის გარკვეულ ტემპს, აგრძელებთ მის სწავლებას და თქვენი დანაკარგი თანდათან გადადის გარკვეულ მნიშვნელობამდე. ამას ამოწმებ, მაგალითად, ათი ეპოქის განმავლობაში დანაკარგი საერთოდ არ შეცვლილა. თქვენ ამცირებთ სწავლის სიჩქარეს გარკვეული მნიშვნელობით და აგრძელებთ სწავლას. ის კვლავ ოდნავ იკლებს, რაღაც მინიმუმს ემთხვევა და თქვენ კვლავ ამცირებთ სწავლის ტემპს და ასე შემდეგ, სანამ თქვენი ქსელი საბოლოოდ არ გადაიყრება.

შემდეგი არის საინტერესო ტექნიკა: არ გააფუჭოთ სწავლის სიჩქარე, გაზარდეთ პარტიების ზომა. არის სტატია ამავე სახელწოდებით. როდესაც ავარჯიშებთ ქსელს, თქვენ არ გჭირდებათ სწავლის სიჩქარის შემცირება, შეგიძლიათ უბრალოდ გაზარდოთ პარტიების ზომა.

ეს ტექნიკა, სხვათა შორის, გამოიყენა ალექს პარინოვმა. მან დაიწყო 408-ის ტოლი პარტიით და როდესაც მისმა ქსელმა მიაღწია ზოგიერთ პლატოს, მან უბრალოდ გააორმაგა პარტიების ზომა და ა.შ.

ფაქტობრივად, არ მახსოვს, რა მნიშვნელობას მიაღწია მისმა პარტიულმა ზომამ, მაგრამ საინტერესო ის არის, რომ კაგლზე იყო გუნდები, რომლებიც იყენებდნენ იგივე ტექნიკას, მათი პარტიების ზომა იყო დაახლოებით 10000. სხვათა შორის, ღრმა სწავლის თანამედროვე ჩარჩოები, როგორიცაა მაგ. PyTorch, მაგალითად, გაძლევს ამის საშუალებას ძალიან მარტივად. თქვენ გენერირებთ თქვენს პარტიას და აგზავნით მას ქსელში არა ისე, როგორც არის, მთლიანად, არამედ ყოფთ ნაწილებად ისე, რომ მოხვდეს თქვენს ვიდეო ბარათში, გამოთვალეთ გრადიენტები და მას შემდეგ რაც გამოთვლით გრადიენტს მთელი პარტიისთვის, განაახლეთ. წონები.

სხვათა შორის, ამ კონკურსში კვლავ ჩართული იყო დიდი პარტიების ზომები, რადგან მონაცემები საკმაოდ ხმაურიანი იყო და დიდი პარტიული ზომა გეხმარებოდათ გრადიენტის უფრო ზუსტად მიახლოებაში.

ასევე გამოიყენებოდა ფსევდო მარკირება, რომელსაც ძირითადად რომან სოლოვიევი იყენებდა. მან ტესტის მონაცემების დაახლოებით ნახევარი აიღო პარტიებად და ავარჯიშა ბადე ასეთ პარტიებზე.

სურათების ზომას მნიშვნელობა ჰქონდა, მაგრამ ფაქტია, რომ ბევრი მონაცემი გაქვს, დიდი ხნით უნდა ივარჯიშო და თუ შენი სურათის ზომა საკმაოდ დიდია, მაშინ ძალიან დიდხანს ივარჯიშებ. მაგრამ ამან ბევრი რამ არ დაამატა თქვენი საბოლოო კლასიფიკატორის ხარისხზე, ამიტომ ღირდა რაიმე სახის გარიგების გამოყენება. ჩვენ მხოლოდ ვცადეთ სურათები, რომლებიც არ იყო ძალიან დიდი ზომის.

როგორ ისწავლეს ეს ყველაფერი? ჯერ მცირე ზომის სურათები გადაიღეს, რამდენიმე ეპოქა გადაიღეს, ამას საკმაოდ დიდი დრო დასჭირდა. მერე დიდი ზომის ნახატები გადაეცა, ქსელი ივარჯიშა, მერე კიდევ მეტი, კიდევ მეტი, რომ ნულიდან არ ივარჯიშოს და ბევრი დრო არ დაკარგოს.

ოპტიმიზატორების შესახებ. ჩვენ გამოვიყენეთ SGD და Adam. ამ გზით შესაძლებელი გახდა ერთი მოდელის მიღება, რომელიც აძლევდა სიჩქარეს 0,941-0,946 საჯარო ლიდერბორდზე, რაც საკმაოდ კარგია.

თუ მოდელებს რაღაცნაირად აწყობთ, სადღაც 0,951-ს მიიღებთ. თუ თქვენ იყენებთ კიდევ ერთ ტექნიკას, თქვენ მიიღებთ საბოლოო ქულას 0,954 საჯარო დაფაზე, ისევე როგორც ჩვენ მივიღეთ. მაგრამ ამის შესახებ მოგვიანებით. შემდეგ მე გეტყვით, როგორ ავაწყვეთ მოდელები და როგორ მოვახერხეთ ასეთი საბოლოო სიჩქარის მიღწევა.

შემდეგ მსურს ვისაუბრო Cosing Annealing-ზე თბილი გადატვირთვით ან სტოქასტური გრადიენტური დაღმართზე თბილი გადატვირთვით. უხეშად რომ ვთქვათ, პრინციპში, შეგიძლიათ გამოიყენოთ ნებისმიერი ოპტიმიზატორი, მაგრამ საქმე ისაა: თუ თქვენ მხოლოდ ერთ ქსელს ავარჯიშებთ და თანდათანობით ის გარკვეულ მინიმუმამდე მიდის, მაშინ ყველაფერი წესრიგშია, თქვენ მიიღებთ ერთ ქსელს, ის უშვებს გარკვეულ შეცდომებს, მაგრამ თქვენ შეუძლია მას ცოტა განსხვავებულად ავარჯიშოს. თქვენ დააყენებთ საწყის სწავლის სიჩქარეს და თანდათან შეამცირებთ მას ამ ფორმულის მიხედვით. თქვენ ამცირებთ მას, თქვენი ქსელი მიდის გარკვეულ მინიმუმამდე, შემდეგ დაზოგავთ წონებს და კვლავ ადგენთ სწავლის ტემპს, რომელიც იყო ვარჯიშის დასაწყისში, რითაც ამ მინიმუმიდან სადღაც მაღლა იწევთ და კვლავ ამცირებთ სწავლის სიჩქარეს.

ამრიგად, შეგიძლიათ ერთდროულად მოინახულოთ რამდენიმე მინიმუმი, რომლებშიც თქვენი დანაკარგი იქნება, პლუს ან მინუს, იგივე. მაგრამ ფაქტია, რომ ამ წონის ქსელები თქვენს თარიღზე სხვადასხვა შეცდომებს მისცემს. მათი საშუალო გაანგარიშებით, თქვენ მიიღებთ რაიმე სახის მიახლოებას და თქვენი სიჩქარე უფრო მაღალი იქნება.

იმის შესახებ, თუ როგორ ავაწყვეთ ჩვენი მოდელები. პრეზენტაციის დასაწყისში ვთქვი, ყურადღება მიაქციეთ ტესტში მოცემული მონაცემების რაოდენობას და კლასების რაოდენობას. თუ სატესტო კომპლექტში სამიზნეების რაოდენობას დაუმატებთ 1-ს და გავყოფთ კლასების რაოდენობაზე, მიიღებთ რიცხვს 330 და ეს ეწერა ფორუმზე - ტესტში კლასები დაბალანსებულია. ეს შეიძლება გამოყენებულ იქნას.

ამის საფუძველზე რომან სოლოვიევმა მოიფიქრა მეტრიკა, ჩვენ მას Proxy Score ვუწოდეთ, რომელიც საკმაოდ კარგად იყო კორელაციაში ლიდერბორდთან. საქმე იმაშია: აკეთებთ პროგნოზს, აიღებთ თქვენი წინასწარმეტყველების ტოპ 1-ს და ითვლით ობიექტების რაოდენობას თითოეული კლასისთვის. შემდეგ თითოეულ მნიშვნელობას გამოაკელი 330 და შეაგროვე მიღებული აბსოლუტური მნიშვნელობები.

მიღებულია შემდეგი მნიშვნელობები. ეს დაგვეხმარა არა საცდელი ლიდერბორდის შექმნა, არამედ ლოკალურად დამოწმება და ჩვენი ანსამბლების კოეფიციენტების შერჩევა.

ანსამბლით შეგეძლო ასეთი სიჩქარის მიღება. სხვა რა მექნა? დავუშვათ, თქვენ იყენებდით ინფორმაციას იმის შესახებ, რომ თქვენს ტესტში კლასები დაბალანსებულია.

დაბალანსება განსხვავებული იყო. ერთ-ერთი მათგანის მაგალითი — დაბალანსება პირველი ადგილის მქონე ბიჭებისგან.

რა გავაკეთეთ? ჩვენი დაბალანსება საკმაოდ მარტივი იყო, ეს შემოგვთავაზა ევგენი ბაბახნინმა. ჩვენ ჯერ დავახარისხეთ ჩვენი პროგნოზები პირველი 1-ის მიხედვით და მათგან შევარჩიეთ კანდიდატები - ისე, რომ კლასების რაოდენობა არ აღემატებოდეს 330-ს. მაგრამ ზოგიერთ კლასში თქვენ ხვდებით 330-ზე ნაკლებ პროგნოზირებს. კარგი, მოდით ასევე დავახარისხოთ საუკეთესო 2-ისა და საუკეთესო 3-ის მიხედვით. , ასევე შევარჩევთ კანდიდატებს.

რით განსხვავდებოდა ჩვენი დაბალანსება პირველი ადგილის დაბალანსებისგან? ისინი იყენებდნენ განმეორებით მიდგომას, იღებდნენ ყველაზე პოპულარულ კლასს და ამცირებდნენ ამ კლასის ალბათობას მცირე რაოდენობით, სანამ ის კლასი აღარ იქნებოდა ყველაზე პოპულარული. ჩვენ გავიარეთ შემდეგი ყველაზე პოპულარული კლასი. ასე რომ, ისინი განაგრძობდნენ მათ შემცირებას, სანამ ყველა კლასის რაოდენობა არ გათანაბრდა.

ყველა იყენებდა პლუს ან მინუს ერთი მიდგომას მატარებლის ქსელებისთვის, მაგრამ ყველა არ იყენებდა დაბალანსებას. ბალანსის გამოყენებით შეგეძლო ოქროში შესვლა, ხოლო თუ გაგიმართლა, მაშინ ფულში.

როგორ მოვახდინოთ თარიღის წინასწარ დამუშავება? ყველამ წინასწარ დაამუშავა თარიღი, პლუს-მინუს, ერთნაირად - ამზადებდა ხელნაკეთ ფუნქციებს, ცდილობდა დროების კოდირებას სხვადასხვა შტრიხების ფერებით და ა.შ. ამის შესახებ მე-8 ადგილი დაიკავა ალექსეი ნოზდრინ-პლოტნიცკიმ.

მან ეს სხვანაირად გააკეთა. მან თქვა, რომ თქვენი ყველა ეს ხელნაკეთი ფუნქცია არ მუშაობს, თქვენ არ გჭირდებათ ამის გაკეთება, თქვენმა ქსელმა უნდა ისწავლოს ეს ყველაფერი თავისით. და ამის ნაცვლად, მან გამოიგონა სასწავლო მოდულები, რომლებიც წინასწარ ამუშავებდნენ თქვენს მონაცემებს. მან მათში ჩააგდო ორიგინალური მონაცემები წინასწარი დამუშავების გარეშე - წერტილის კოორდინატები და ვადები.

შემდეგ მან აიღო განსხვავება კოორდინატებზე დაყრდნობით და საშუალოდ შეადგინა ეს ყველაფერი დროის მიხედვით. და მან მოიფიქრა საკმაოდ გრძელი მატრიცა. მან რამდენჯერმე გამოიყენა მასზე 1D კონვოლუცია, რომ მიეღო 64xn ზომის მატრიცა, სადაც n არის ქულების საერთო რაოდენობა და 64 მზადდება, რათა მიღებული მატრიცა მიეტანა ნებისმიერი კონვოლუციური ქსელის ფენაში, რომელიც იღებს არხების რაოდენობას. - 64. მან მიიღო 64xn მატრიცა, შემდეგ აქედან საჭირო იყო გარკვეული ზომის ტენზორის შექმნა ისე, რომ არხების რაოდენობა ტოლი ყოფილიყო 64-ის. ტენსორი ზომით 0x32. არ ვიცი რატომ უნდოდა 32x32, უბრალოდ ასე მოხდა. და ამ კოორდინატზე მან მოათავსა ამ მატრიცის ფრაგმენტი ზომით 32xn. ასე რომ, ის უბრალოდ დასრულდა 32x64x32 ტენსორით, რომელიც შეგეძლოთ ჩასვათ თქვენს კონვოლუციურ ნერვულ ქსელში. სულ ეს იყო რისი თქმაც მინდოდა.

წყარო: www.habr.com