ნერვულ ქსელებთან მუშაობა: საკონტროლო სია გამართვისთვის

მანქანათმცოდნეობის პროგრამული პროდუქტების კოდი ხშირად რთული და საკმაოდ დამაბნეველია. მასში არსებული შეცდომების გამოვლენა და აღმოფხვრა რესურსზე ინტენსიური ამოცანაა. თუნდაც უმარტივესი მიმავალი ნერვული ქსელები მოითხოვს სერიოზულ მიდგომას ქსელის არქიტექტურასთან, წონების ინიციალიზაციასთან და ქსელის ოპტიმიზაციასთან. მცირე შეცდომამ შეიძლება გამოიწვიოს უსიამოვნო პრობლემები.

ეს სტატია ეხება თქვენი ნერვული ქსელების გამართვის ალგორითმს.

Skillbox გირჩევთ: პრაქტიკული კურსი პითონის დეველოპერი ნულიდან.

შეგახსენებთ: "Habr"-ის ყველა მკითხველისთვის - ფასდაკლება 10 რუბლიდან Skillbox-ის ნებისმიერ კურსზე ჩარიცხვისას "Habr" სარეკლამო კოდის გამოყენებით.

ალგორითმი შედგება ხუთი ეტაპისგან:

• მარტივი დაწყება;
• დანაკარგების დადასტურება;
• შუალედური შედეგებისა და კავშირების შემოწმება;
• პარამეტრის დიაგნოსტიკა;
• მუშაობის კონტროლი.

თუ რამე უფრო საინტერესო მოგეჩვენებათ, ვიდრე დანარჩენი, შეგიძლიათ დაუყოვნებლივ გადახვიდეთ ამ განყოფილებებზე.

მარტივი დაწყება

რთული არქიტექტურის, რეგულარიზაციისა და სწავლის სიჩქარის განრიგის მქონე ნერვული ქსელის გამართვა უფრო რთულია, ვიდრე ჩვეულებრივი. ჩვენ აქ ცოტა რთულად ვიქცევით, რადგან თავად წერტილი ირიბად არის დაკავშირებული გამართვასთან, მაგრამ ეს მაინც მნიშვნელოვანი რეკომენდაციაა.

მარტივი დასაწყისია გამარტივებული მოდელის შექმნა და მისი მომზადება მონაცემთა ერთ ნაკრებზე (პუნქტზე).

ჯერ ვქმნით გამარტივებულ მოდელს

სწრაფად დასაწყებად, ჩვენ ვქმნით პატარა ქსელს ერთი ფარული ფენით და ვამოწმებთ, რომ ყველაფერი სწორად მუშაობს. შემდეგ ჩვენ თანდათან ვართულებთ მოდელს, ვამოწმებთ მისი სტრუქტურის ყოველ ახალ ასპექტს (დამატებითი ფენა, პარამეტრი და ა.შ.) და გადავდივართ.

ჩვენ ვავარჯიშებთ მოდელს მონაცემთა ერთ ნაკრებზე (წერტილზე).

როგორც თქვენი პროექტის საღი აზრის სწრაფი შემოწმება, შეგიძლიათ გამოიყენოთ ერთი ან ორი მონაცემთა წერტილი ტრენინგისთვის, რათა დაადასტუროთ, მუშაობს თუ არა სისტემა სწორად. ნერვულმა ქსელმა უნდა აჩვენოს 100% სიზუსტე ვარჯიშსა და ტესტირებაში. თუ ეს ასე არ არის, მაშინ ან მოდელი ძალიან პატარაა, ან უკვე გაქვთ შეცდომა.

მაშინაც კი, თუ ყველაფერი კარგად არის, მოამზადეთ მოდელი ერთი ან მეტი ეპოქისთვის, სანამ გადაადგილდებით.

ზარალის შეფასება

ზარალის შეფასება არის მოდელის მუშაობის დახვეწის მთავარი გზა. თქვენ უნდა დარწმუნდეთ, რომ დანაკარგი შეესაბამება პრობლემას და რომ დანაკარგის ფუნქციები შეფასებულია სწორი მასშტაბით. თუ იყენებთ ერთზე მეტ დანაკარგის ტიპს, დარწმუნდით, რომ ისინი ყველა ერთი და იგივე თანმიმდევრობისაა და სწორად არის მასშტაბირებული.

მნიშვნელოვანია იყოთ ყურადღებიანი საწყისი დანაკარგების მიმართ. შეამოწმეთ რამდენად ახლოს არის რეალური შედეგი მოსალოდნელ შედეგთან, თუ მოდელი დაიწყო შემთხვევითი გამოცნობით. IN ანდრეი კარპატის ნაშრომი გვთავაზობს შემდეგს:: „დარწმუნდით, რომ მიიღებთ იმ შედეგს, რასაც ელოდებით, როდესაც იწყებთ მცირე რაოდენობის პარამეტრებს. უმჯობესია დაუყოვნებლივ შეამოწმოთ მონაცემთა დაკარგვა (ნოლზე დაყენებული რეგულარიზაციის ხარისხით). მაგალითად, CIFAR-10-ისთვის Softmax კლასიფიკატორით, ჩვენ ველით, რომ საწყისი დანაკარგი იქნება 2.302, რადგან მოსალოდნელი დიფუზური ალბათობა არის 0,1 თითოეული კლასისთვის (რადგან 10 კლასია) და Softmax დანაკარგი არის სწორი კლასის უარყოფითი ჟურნალის ალბათობა. როგორც − ln (0.1) = 2.302."

ბინარული მაგალითისთვის, მსგავსი გაანგარიშება უბრალოდ კეთდება თითოეული კლასისთვის. აი, მაგალითად, მონაცემები: 20% 0 და 80% 1. მოსალოდნელი საწყისი დანაკარგი იქნება –0,2ln (0,5) –0,8ln (0,5) = 0,693147-მდე. თუ შედეგი 1-ზე მეტია, ეს შეიძლება მიუთითებდეს, რომ ნერვული ქსელის წონა არ არის სათანადოდ დაბალანსებული ან მონაცემები არ არის ნორმალიზებული.

შუალედური შედეგების და კავშირების შემოწმება

ნერვული ქსელის გამართვისთვის აუცილებელია ქსელში მიმდინარე პროცესების დინამიკის და მათი დაკავშირებისას ცალკეული შუალედური ფენების როლის გაგება. აქ არის გავრცელებული შეცდომები, რომლებიც შეიძლება შეგხვდეთ:

• არასწორი გამონათქვამები gradle განახლებისთვის;
• წონის განახლებები არ გამოიყენება;
• ფეთქებადი გრადიენტები.

თუ გრადიენტის მნიშვნელობები ნულის ტოლია, ეს ნიშნავს, რომ ოპტიმიზატორში სწავლის სიჩქარე ძალიან ნელია, ან რომ თქვენ აწყდებით არასწორ გამოხატულებას გრადიენტის განახლებისთვის.

გარდა ამისა, აუცილებელია თითოეული ფენის აქტივაციის ფუნქციების, წონისა და განახლებების მნიშვნელობების მონიტორინგი. მაგალითად, პარამეტრების განახლების სიდიდე (წონა და მიკერძოება) უნდა იყოს 1-e3.

არსებობს ფენომენი სახელწოდებით "Dying ReLU" ან "გაქრობის გრადიენტის პრობლემა", როდესაც ReLU ნეირონები გამოიმუშავებენ ნულს მისი წონებისთვის დიდი უარყოფითი მიკერძოების მნიშვნელობის შესწავლის შემდეგ. ეს ნეირონები აღარასოდეს ამუშავდება მონაცემთა არცერთ წერტილში.

თქვენ შეგიძლიათ გამოიყენოთ გრადიენტის შემოწმება ამ შეცდომების დასადგენად გრადიენტის მიახლოებით რიცხვითი მიდგომის გამოყენებით. თუ ის ახლოსაა გამოთვლილ გრადიენტებთან, მაშინ უკანა გავრცელება სწორად განხორციელდა. გრადიენტური შემოწმების შესაქმნელად, შეამოწმეთ ეს შესანიშნავი რესურსები CS231-დან აქ и აქისევე როგორც გაკვეთილი ენდრიუ ნგა ამ თემაზე.

ფაიზან შეიხი მიუთითებს ნერვული ქსელის ვიზუალიზაციის სამ ძირითად მეთოდს:

• წინასწარი მარტივი მეთოდებია, რომლებიც გვიჩვენებს მომზადებული მოდელის ზოგად სტრუქტურას. ეს მოიცავს ნერვული ქსელის ცალკეული ფენების ფორმებს ან ფილტრებს და თითოეულ ფენაში არსებულ პარამეტრებს.
• აქტივაციის საფუძველზე. მათში ჩვენ გავშიფრავთ ცალკეული ნეირონების ან ნეირონების ჯგუფების აქტივაციას მათი ფუნქციების გასაგებად.
• გრადიენტებზე დაყრდნობით. ეს მეთოდები მიზნად ისახავს მანიპულირებას გრადიენტებით, რომლებიც წარმოიქმნება მოდელის ტრენინგის წინ და უკან გადასვლებიდან (მათ შორის გამორჩეული რუკები და კლასის აქტივაციის რუკები).

არსებობს რამდენიმე სასარგებლო ინსტრუმენტი ცალკეული ფენების აქტივაციისა და კავშირების ვიზუალიზაციისთვის, მაგ. ConX и ტენსორბორდი.

პარამეტრის დიაგნოსტიკა

ნერვულ ქსელებს აქვთ ბევრი პარამეტრი, რომლებიც ურთიერთქმედებენ ერთმანეთთან, რაც ართულებს ოპტიმიზაციას. სინამდვილეში, ეს განყოფილება არის სპეციალისტების აქტიური კვლევის საგანი, ამიტომ ქვემოთ მოცემული წინადადებები უნდა განიხილებოდეს მხოლოდ როგორც რჩევა, საიდანაც უნდა ავაშენოთ.

Შეფუთვის ზომა (სერიების ზომა) - თუ გსურთ, რომ სერიის ზომა იყოს საკმარისად დიდი, რათა მიიღოთ ზუსტი შეცდომის გრადიენტის შეფასება, მაგრამ საკმარისად მცირე იყოს სტოქასტური გრადიენტის წარმოშობისთვის (SGD) თქვენი ქსელის დარეგულირებისთვის. პარტიების მცირე ზომები გამოიწვევს სწრაფ კონვერგენციას სავარჯიშო პროცესის დროს ხმაურის გამო და შემდგომში ოპტიმიზაციის სირთულეებთან. ეს უფრო დეტალურად არის აღწერილი აქ.

სწავლის მაჩვენებელი - ძალიან დაბალი გამოიწვევს ნელ კონვერგენციას ან ადგილობრივ მინიმუმებში ჩარჩენის რისკს. ამავდროულად, სწავლის მაღალი მაჩვენებელი გამოიწვევს ოპტიმიზაციის დივერგენციას, რადგან თქვენ რისკავთ ზარალის ფუნქციის ღრმა, მაგრამ ვიწრო ნაწილის გადახტომას. სცადეთ გამოიყენოთ სიჩქარის დაგეგმვა, რათა შეამციროთ ის ნერვული ქსელის ვარჯიშის დროს. განახლებულია CS231n-ით ამ პრობლემას ეძღვნება დიდი განყოფილება.

გრადიენტური ამოკვეთა  — პარამეტრის გრადიენტების ტრიმირება უკანა გავრცელებისას მაქსიმალურ მნიშვნელობაზე ან ზღვრულ ნორმაზე. სასარგებლოა ნებისმიერი ფეთქებადი გრადიენტის აღმოსაფხვრელად, რომელიც შეიძლება შეგხვდეთ მესამე პუნქტში.

პარტიული ნორმალიზაცია - გამოიყენება თითოეული ფენის შეყვანის მონაცემების ნორმალიზებისთვის, რაც საშუალებას გვაძლევს გადავჭრათ შიდა კოვარიატიული ცვლის პრობლემა. თუ თქვენ იყენებთ Dropout-სა და Batch Norma-ს ერთად, გადახედეთ ამ სტატიას.

სტოქასტური გრადიენტური დაღმართი (SGD) — არსებობს SGD-ის რამდენიმე სახეობა, რომლებიც იყენებენ იმპულსს, სწავლის ადაპტირებულ ტემპებს და ნესტეროვის მეთოდს. თუმცა, არცერთ მათგანს არ აქვს აშკარა უპირატესობა როგორც სწავლის ეფექტურობის, ისე განზოგადების თვალსაზრისით (დეტალები აქ).

რეგულარიზაცია - გადამწყვეტი მნიშვნელობა აქვს განზოგადებული მოდელის შესაქმნელად, რადგან ის ამატებს ჯარიმას მოდელის სირთულის ან უკიდურესი პარამეტრის მნიშვნელობებისთვის. ეს არის მოდელის დისპერსიის შემცირების გზა მისი მიკერძოების მნიშვნელოვნად გაზრდის გარეშე. მეტი დეტალური ინფორმაცია - აქ.

ყველაფრის შესაფასებლად, თქვენ უნდა გამორთოთ რეგულაცია და თავად შეამოწმოთ მონაცემთა დაკარგვის გრადიენტი.

მიტოვება თქვენი ქსელის გამარტივების კიდევ ერთი მეთოდია გადატვირთულობის თავიდან ასაცილებლად. ვარჯიშის დროს ვარდნა ხორციელდება მხოლოდ ნეირონის აქტივობის შენარჩუნებით გარკვეული ალბათობით p (ჰიპერპარამეტრი) ან საპირისპირო შემთხვევაში ნულზე დაყენებით. შედეგად, ქსელმა უნდა გამოიყენოს პარამეტრების განსხვავებული ქვეჯგუფი თითოეული სასწავლო ჯგუფისთვის, რაც ამცირებს ცვლილებებს გარკვეულ პარამეტრებში, რომლებიც დომინანტური ხდება.

მნიშვნელოვანია: თუ იყენებთ როგორც გამოტოვებას, ასევე სერიული ნორმალიზებას, ფრთხილად იყავით ამ ოპერაციების თანმიმდევრობაზე ან თუნდაც ერთად გამოყენებაზე. ეს ყველაფერი დღემდე აქტიურად განიხილება და ავსებს. აქ არის ორი მნიშვნელოვანი დისკუსია ამ თემაზე Stackoverflow-ზე и არქსივი.

მუშაობის კონტროლი

ეს ეხება სამუშაო პროცესების და ექსპერიმენტების დოკუმენტირებას. თუ არაფერს არ ადასტურებთ, შეიძლება დაგავიწყდეთ, მაგალითად, რა სწავლის მაჩვენებელი ან კლასის წონა გამოიყენება. კონტროლის წყალობით, თქვენ შეგიძლიათ მარტივად ნახოთ და გაიმეოროთ წინა ექსპერიმენტები. ეს საშუალებას გაძლევთ შეამციროთ დუბლიკატი ექსპერიმენტების რაოდენობა.

თუმცა, ხელით დოკუმენტაცია შეიძლება გახდეს რთული ამოცანა სამუშაოს დიდი მოცულობის შემთხვევაში. აქ შემოდის ისეთი ინსტრუმენტები, როგორიცაა Comet.ml, რათა დაგეხმაროთ ავტომატურად ჩაწეროთ მონაცემთა ნაკრები, კოდების ცვლილებები, ექსპერიმენტული ისტორია და წარმოების მოდელები, მათ შორის ძირითადი ინფორმაცია თქვენი მოდელის შესახებ (ჰიპერპარამეტრები, მოდელის მუშაობის მეტრიკა და გარემოს ინფორმაცია).

ნერვული ქსელი შეიძლება იყოს ძალიან მგრძნობიარე მცირე ცვლილებების მიმართ და ეს გამოიწვევს მოდელის მუშაობის ვარდნას. თქვენი სამუშაოს თვალყურის დევნება და დოკუმენტირება არის პირველი ნაბიჯი, რომლის გადადგმაც შეგიძლიათ თქვენი გარემოსა და მოდელირების სტანდარტიზაციისთვის.

იმედი მაქვს, რომ ეს პოსტი შეიძლება იყოს საწყისი წერტილი, რომ დაიწყოთ თქვენი ნერვული ქსელის გამართვა.

Skillbox გირჩევთ:

• ორწლიანი პრაქტიკული კურსი "მე ვარ PRO ვებ დეველოპერი".
• ონლაინ კურსი "C# დეველოპერი 0-დან".
• პრაქტიკული წლის კურსი "PHP დეველოპერი 0-დან PRO-მდე".

წყარო: www.habr.com