განმტკიცების სწავლა თუ ევოლუციური სტრატეგიები? - ორივე

ჰეი ჰაბრ!

ჩვენ ხშირად არ ვწყვეტთ აქ გამოვაქვეყნოთ ორი წლის წინანდელი, კოდის გარეშე და აშკარად აკადემიური ხასიათის ტექსტების თარგმანები - მაგრამ დღეს გამონაკლისს დავუშვებთ. ვიმედოვნებთ, რომ სტატიის სათაურში დასმული დილემა ბევრ ჩვენს მკითხველს აწუხებს და თქვენ უკვე წაიკითხეთ ფუნდამენტური ნაშრომი ევოლუციური სტრატეგიების შესახებ, რომელთანაც ეს პოსტი კამათობს ორიგინალში ან წაიკითხავთ ახლავე. კეთილი იყოს თქვენი მობრძანება კატასთან!

2017 წლის მარტში, OpenAI-მ ტალღა გამოიწვია ღრმა სწავლის საზოგადოებაში ნაშრომით “ევოლუციის სტრატეგიები, როგორც გაძლიერებული სწავლის მასშტაბური ალტერნატივა" ეს ნაშრომი აღწერს შთამბეჭდავ შედეგებს იმ ფაქტის სასარგებლოდ, რომ განმტკიცების სწავლა (RL) არ გახდა სოლი და რთული ნერვული ქსელების ვარჯიშის დროს, მიზანშეწონილია სცადოთ სხვა მეთოდები. შემდეგ დაიწყო დებატები განმამტკიცებელი სწავლის მნიშვნელობაზე და რამდენად იმსახურებს მის სტატუსს, როგორც „აუცილებელ“ ტექნოლოგიას პრობლემის გადაჭრის სწავლებისთვის. აქვე მინდა ვთქვა, რომ ეს ორი ტექნოლოგია არ უნდა ჩაითვალოს კონკურენტად, რომელთაგან ერთი აშკარად უკეთესია მეორეზე; პირიქით, ისინი საბოლოოდ ავსებენ ერთმანეთს. მართლაც, თუ ცოტას დაფიქრდებით იმაზე, თუ რა სჭირდება შექმნას ზოგადი AI და ისეთ სისტემებს, რომლებსაც მთელი თავისი არსებობის მანძილზე შეეძლოთ სწავლა, განსჯა და დაგეგმვა, მაშინ თითქმის აუცილებლად მივალთ დასკვნამდე, რომ საჭირო იქნება ესა თუ ის კომბინირებული გადაწყვეტა. სხვათა შორის, სწორედ ამ კომბინირებულ გადაწყვეტამდე მივიდა ბუნება, რომელმაც ევოლუციის პროცესში ძუძუმწოვრები და სხვა უმაღლესი ცხოველები რთული ინტელექტით დააჯილდოვა.

ევოლუციური სტრატეგიები

OpenAI-ის ნაშრომის მთავარი თეზისი იყო ის, რომ იმის ნაცვლად, რომ გამოეყენებინათ გამაგრებითი სწავლება ტრადიციულ უკუღმა გავრცელებასთან ერთად, მათ წარმატებით მოამზადეს ნერვული ქსელი რთული პრობლემების გადასაჭრელად, რასაც უწოდებდნენ „ევოლუციური სტრატეგიას“ (ES). ეს ES მიდგომა მოიცავს წონების ქსელის მასშტაბით განაწილების შენარჩუნებას, პარალელურად მომუშავე მრავალი აგენტის ჩართვისა და ამ განაწილებიდან შერჩეული პარამეტრების გამოყენებით. თითოეული აგენტი მოქმედებს საკუთარ გარემოში და ეპიზოდების განსაზღვრული რაოდენობის ან ეპიზოდების ეტაპების დასრულების შემდეგ, ალგორითმი აბრუნებს კუმულაციურ ჯილდოს, გამოხატულ ფიტნეს ქულაში. ამ მნიშვნელობის გათვალისწინებით, პარამეტრების განაწილება შეიძლება გადაიტანოს უფრო წარმატებულ აგენტებზე, რაც ართმევს ნაკლებად წარმატებულებს. ასეთი ოპერაციის მილიონჯერ გამეორებით ასობით აგენტის მონაწილეობით, შესაძლებელია წონების განაწილების გადატანა სივრცეში, რომელიც საშუალებას მისცემს აგენტებს ჩამოაყალიბონ მაღალი ხარისხის პოლიტიკა მათთვის დაკისრებული ამოცანის გადასაჭრელად. მართლაც, სტატიაში წარმოდგენილი შედეგები შთამბეჭდავია: ნაჩვენებია, რომ თუ თქვენ აწარმოებთ პარალელურად ათას აგენტს, მაშინ ანთროპომორფული მოძრაობა ორ ფეხზე შეიძლება გაიგოთ ნახევარ საათზე ნაკლებ დროში (მაშინ, როდესაც ყველაზე მოწინავე RL მეთოდებიც კი მოითხოვს მეტის დახარჯვას. ერთ საათზე მეტი). უფრო დეტალური ინფორმაციისთვის გირჩევთ წაიკითხოთ შესანიშნავი პოსტი ექსპერიმენტის ავტორებისგან, ასევე სამეცნიერო სტატია.

ანთროპომორფული ვერტიკალური სიარულის სწავლების სხვადასხვა სტრატეგიები, შესწავლილი OpenAI-ის ES მეთოდის გამოყენებით.

შავი ყუთი

ამ მეთოდის დიდი უპირატესობა ის არის, რომ მისი ადვილად პარალელიზება შესაძლებელია. მიუხედავად იმისა, რომ RL მეთოდები, როგორიცაა A3C, მოითხოვს ინფორმაციის გაცვლას მუშა ძაფებსა და პარამეტრულ სერვერს შორის, ES-ს სჭირდება მხოლოდ ფიტნესის შეფასება და განზოგადებული პარამეტრის განაწილების ინფორმაცია. სწორედ ამ სიმარტივიდან გამომდინარეობს, რომ ეს მეთოდი სკალირების შესაძლებლობების თვალსაზრისით ბევრად უსწრებს თანამედროვე RL მეთოდებს. თუმცა, ეს ყველაფერი ტყუილად არ გამოდის: თქვენ უნდა გააკეთოთ ქსელის ოპტიმიზაცია შავი ყუთის პრინციპით. ამ შემთხვევაში, „შავი ყუთი“ ნიშნავს, რომ ვარჯიშის დროს ქსელის შიდა სტრუქტურა მთლიანად იგნორირებულია და გამოიყენება მხოლოდ საერთო შედეგი (ანაზღაურება ეპიზოდისთვის) და ამაზეა დამოკიდებული იქნება თუ არა კონკრეტული ქსელის წონა. მემკვიდრეობით გადაეცემა მომდევნო თაობებს. იმ სიტუაციებში, როდესაც ჩვენ არ ვიღებთ დიდ გამოხმაურებას გარემოსგან - და ბევრ ტრადიციულ RL პრობლემაში ჯილდოს ნაკადი ძალიან მწირია - პრობლემა გადადის "ნაწილობრივ შავი ყუთიდან" "სრულიად შავ ყუთამდე". ამ შემთხვევაში, თქვენ შეგიძლიათ მნიშვნელოვნად გაზარდოთ პროდუქტიულობა, ასე რომ, რა თქმა უნდა, ასეთი კომპრომისი გამართლებულია. ”ვის სჭირდება გრადიენტები, თუ ისინი მაინც უიმედოდ ხმაურიანია?” - ეს არის ზოგადი აზრი.

თუმცა, იმ სიტუაციებში, როდესაც გამოხმაურება უფრო აქტიურია, ES-ისთვის ყველაფერი არასწორია. OpenAI-ის გუნდი აღწერს, თუ როგორ ივარჯიშეს მარტივი MNIST კლასიფიკაციის ქსელი ES-ის გამოყენებით და ამჯერად ტრენინგი 1000-ჯერ ნელი იყო. ფაქტია, რომ გრადიენტური სიგნალი გამოსახულების კლასიფიკაციაში ძალიან ინფორმაციულია იმის შესახებ, თუ როგორ უნდა ასწავლოს ქსელს უკეთესი კლასიფიკაცია. ამრიგად, პრობლემა ნაკლებია RL ტექნიკასთან და უფრო მწირი ჯილდოებით გარემოში, რომელიც ქმნის ხმაურიან გრადიენტებს.

ბუნების გამოსავალი

თუ ჩვენ ვცდილობთ ვისწავლოთ ბუნების მაგალითიდან, ვიფიქროთ ხელოვნური ინტელექტის განვითარების გზებზე, მაშინ ზოგიერთ შემთხვევაში AI შეიძლება ჩაითვალოს როგორც პრობლემაზე ორიენტირებული მიდგომა. ყოველივე ამის შემდეგ, ბუნება მოქმედებს იმ შეზღუდვების ფარგლებში, რაც კომპიუტერულ მეცნიერებს უბრალოდ არ აქვთ. არსებობს მოსაზრება, რომ კონკრეტული პრობლემის გადაჭრის წმინდა თეორიულ მიდგომას შეუძლია უფრო ეფექტური გადაწყვეტილებების მიღება, ვიდრე ემპირიული ალტერნატივები. თუმცა, მე მაინც მგონია, რომ ღირებული იქნება იმის შემოწმება, თუ როგორ წარმოქმნის დინამიურმა სისტემამ გარკვეული შეზღუდვების ქვეშ (დედამიწა) აგენტები (ცხოველები, განსაკუთრებით ძუძუმწოვრები), რომლებსაც შეუძლიათ მოქნილი და რთული ქცევა. მიუხედავად იმისა, რომ ზოგიერთი შეზღუდვა არ გამოიყენება მონაცემთა სიმულირებული მეცნიერების სამყაროში, სხვები უბრალოდ კარგია.

ძუძუმწოვრების ინტელექტუალური ქცევის შესწავლის შემდეგ, ჩვენ ვხედავთ, რომ იგი ყალიბდება ორი ერთმანეთთან მჭიდროდ დაკავშირებული პროცესის რთული ურთიერთგავლენის შედეგად: სხვების გამოცდილებიდან სწავლა и კეთებით სწავლობს. პირველს ხშირად აიგივებენ ევოლუციას, რომელიც განპირობებულია ბუნებრივი გადარჩევით, მაგრამ აქ მე ვიყენებ უფრო ფართო ტერმინს ეპიგენეტიკის, მიკრობიომების და სხვა მექანიზმების გასათვალისწინებლად, რომლებიც იძლევა გამოცდილების გაზიარებას გენეტიკურად დაუკავშირებელ ორგანიზმებს შორის. მეორე პროცესი, გამოცდილებიდან სწავლა, არის ყველა ის ინფორმაცია, რომლის სწავლას ცხოველი მთელი ცხოვრების მანძილზე ახერხებს და ეს ინფორმაცია პირდაპირ განისაზღვრება ამ ცხოველის გარე სამყაროსთან ურთიერთქმედებით. ეს კატეგორია მოიცავს ყველაფერს, დაწყებული საგნების ამოცნობის სწავლიდან დაწყებული სასწავლო პროცესის თანდაყოლილი კომუნიკაციის დაუფლებამდე.

უხეშად რომ ვთქვათ, ბუნებაში მიმდინარე ეს ორი პროცესი შეიძლება შევადაროთ ნერვული ქსელების ოპტიმიზაციის ორ ვარიანტს. ევოლუციური სტრატეგიები, სადაც გრადიენტების შესახებ ინფორმაცია გამოიყენება ორგანიზმის შესახებ ინფორმაციის განახლებისთვის, ახლოსაა სხვების გამოცდილებიდან სწავლასთან. ანალოგიურად, გრადიენტური მეთოდები, სადაც ამა თუ იმ გამოცდილების მიღება იწვევს აგენტის ქცევის ამა თუ იმ ცვლილებას, შედარებულია საკუთარი გამოცდილებიდან სწავლასთან. თუ ვიფიქრებთ ინტელექტუალური ქცევის ან შესაძლებლობების ტიპებზე, რომლებსაც ამ ორი მიდგომადან თითოეული უვითარდება ცხოველებში, შედარება უფრო გამოხატული ხდება. ორივე შემთხვევაში, „ევოლუციური მეთოდები“ ხელს უწყობს რეაქტიული ქცევების შესწავლას, რაც საშუალებას აძლევს ადამიანს განავითაროს გარკვეული ფიტნესი (საკმარისი სიცოცხლის შესანარჩუნებლად). სიარულის ან ტყვეობიდან თავის დაღწევის სწავლა ხშირ შემთხვევაში ექვივალენტურია უფრო „ინსტინქტურ“ ქცევებს, რომლებიც „მყარად არის დაკავშირებული“ ბევრ ცხოველში გენეტიკურ დონეზე. გარდა ამისა, ეს მაგალითი ადასტურებს, რომ ევოლუციური მეთოდები გამოიყენება იმ შემთხვევებში, როდესაც ჯილდოს სიგნალი ძალზე იშვიათია (მაგალითად, ბავშვის წარმატებული აღზრდის ფაქტი). ასეთ შემთხვევაში, შეუძლებელია ჯილდოს კორელაცია რაიმე კონკრეტულ ქმედებებთან, რომლებიც შესაძლოა განხორციელებულიყო ამ ფაქტის დადგომამდე მრავალი წლით ადრე. მეორეს მხრივ, თუ გავითვალისწინებთ შემთხვევას, როდესაც ES ვერ ხერხდება, კერძოდ, გამოსახულების კლასიფიკაცია, შედეგები საოცრად შედარებულია ცხოველების სწავლის შედეგებთან, რომლებიც მიღწეულ იქნა 100-ზე მეტი წლის განმავლობაში ჩატარებულ უამრავ ქცევით ფსიქოლოგიურ ექსპერიმენტში.

სწავლა ცხოველებისგან

განმამტკიცებელი სწავლებისას გამოყენებული მეთოდები ხშირ შემთხვევაში უშუალოდ აღებულია ფსიქოლოგიური ლიტერატურიდან ოპერაციული კონდიცირებადა ოპერაციული კონდიცირება შეისწავლეს ცხოველთა ფსიქოლოგიის გამოყენებით. სხვათა შორის, რიჩარდ სატონს, განმამტკიცებელი სწავლის ორი დამფუძნებელიდან ერთ-ერთს, აქვს ბაკალავრის ხარისხი ფსიქოლოგიაში. ოპერაციული კონდიცირების კონტექსტში, ცხოველები სწავლობენ ჯილდოს ან დასჯის დაკავშირებას კონკრეტულ ქცევის ნიმუშებთან. ტრენერებსა და მკვლევარებს შეუძლიათ ამ ჯილდოს ასოციაციის მანიპულირება ამა თუ იმ გზით, პროვოცირება გაუკეთონ ცხოველებს ინტელექტის ან გარკვეული ქცევის დემონსტრირებაში. თუმცა, ოპერაციული კონდიცირება, როგორც გამოიყენება ცხოველთა კვლევაში, სხვა არაფერია, თუ არა ერთი და იგივე განპირობების უფრო გამოხატული ფორმა, რომლის საფუძველზეც ცხოველები სწავლობენ მთელი ცხოვრების განმავლობაში. ჩვენ მუდმივად ვიღებთ პოზიტიური გაძლიერების სიგნალებს გარემოსგან და შესაბამისად ვარეგულირებთ ჩვენს ქცევას. სინამდვილეში, ბევრი ნეირომეცნიერი და შემეცნებითი მეცნიერი თვლის, რომ ადამიანები და სხვა ცხოველები რეალურად მოქმედებენ კიდევ უფრო მაღალ დონეზე და მუდმივად სწავლობენ თავიანთი ქცევის შედეგების პროგნოზირებას მომავალ სიტუაციებში, პოტენციური ჯილდოების საფუძველზე.

პროგნოზის ცენტრალური როლი გამოცდილებიდან სწავლისას ცვლის ზემოთ აღწერილ დინამიკას მნიშვნელოვნად. სიგნალი, რომელიც ადრე ძალიან მწირად ითვლებოდა (ეპიზოდური ჯილდო), ძალიან მკვრივი გამოდის. თეორიულად, სიტუაცია დაახლოებით ასეთია: ნებისმიერ დროს, ძუძუმწოვრების ტვინი ითვლის შედეგებს სენსორული სტიმულისა და მოქმედებების კომპლექსურ ნაკადზე დაყრდნობით, ხოლო ცხოველი უბრალოდ ჩაეფლო ამ ნაკადში. ამ შემთხვევაში, ცხოველის საბოლოო ქცევა იძლევა ძლიერ სიგნალს, რომელიც უნდა იქნას გამოყენებული პროგნოზების კორექტირებისა და ქცევის განვითარებისთვის. ტვინი იყენებს ყველა ამ სიგნალს მომავალში პროგნოზების (და, შესაბამისად, განხორციელებული ქმედებების ხარისხის) ოპტიმიზაციის მიზნით. ამ მიდგომის მიმოხილვა მოცემულია შესანიშნავ წიგნში "სერფინგის გაურკვევლობაშემეცნებითი მეცნიერი და ფილოსოფოსი ენდი კლარკი. თუ ამ მსჯელობას ხელოვნური აგენტების სწავლებას მივაღწევთ, მაშინ გამოვლინდება ფუნდამენტური ხარვეზი განმამტკიცებელ სწავლებაში: ამ პარადიგმაში გამოყენებული სიგნალი უიმედოდ სუსტია იმაზე, რაც შეიძლება იყოს (ან უნდა იყოს). იმ შემთხვევებში, როდესაც შეუძლებელია სიგნალის გაჯერების გაზრდა (შესაძლოა იმიტომ, რომ ის არსებითად სუსტია ან ასოცირდება დაბალი დონის რეაქტიულობასთან), ალბათ უკეთესია უპირატესობა მიანიჭოთ ვარჯიშის მეთოდს, რომელიც კარგად არის პარალელიზებული, მაგალითად, ES.

ნერვული ქსელების უფრო მდიდარი ტრენინგი

ძუძუმწოვრების ტვინის თანდაყოლილი უმაღლესი ნერვული აქტივობის პრინციპებზე დაყრდნობით, რომელიც მუდმივად პროგნოზირებით არის დაკავებული, ბოლო წინსვლა მიღწეულია განმტკიცების სწავლაში, რომელიც ახლა ითვალისწინებს ამგვარი პროგნოზების მნიშვნელობას. მე შემიძლია დაუყოვნებლივ გირჩიოთ ორი მსგავსი ნამუშევარი:

• ისწავლეთ მოქმედება მომავლის წინასწარმეტყველებით
• განმამტკიცებელი სწავლა უკონტროლო დამხმარე ამოცანებით

ორივე ამ ნაშრომში, ავტორები ავსებენ თავიანთი ნერვული ქსელების ტიპურ ნაგულისხმევ პოლიტიკას მომავალში გარემოს მდგომარეობის შესახებ პროგნოზირების შედეგებით. პირველ სტატიაში პროგნოზირება გამოიყენება სხვადასხვა საზომი ცვლადების მიმართ, ხოლო მეორეში პროგნოზირება გამოიყენება გარემოში ცვლილებებზე და აგენტის ქცევაზე, როგორც ასეთზე. ორივე შემთხვევაში, მწირი სიგნალი, რომელიც დაკავშირებულია პოზიტიურ გაძლიერებასთან, ხდება უფრო მდიდარი და ინფორმატიული, რაც საშუალებას იძლევა როგორც უფრო სწრაფად სწავლა, ასევე უფრო რთული ქცევის შეძენა. ასეთი გაუმჯობესებები ხელმისაწვდომია მხოლოდ მეთოდებით, რომლებიც იყენებენ გრადიენტურ სიგნალს, და არა იმ მეთოდებს, რომლებიც მოქმედებენ „შავი ყუთის“ პრინციპით, როგორიცაა ES.

გარდა ამისა, გამოცდილებიდან სწავლა და გრადიენტური მეთოდები გაცილებით ეფექტურია. იმ შემთხვევებშიც კი, როდესაც შესაძლებელი იყო კონკრეტული პრობლემის შესწავლა ES მეთოდის გამოყენებით უფრო სწრაფად, ვიდრე განმამტკიცებელი სწავლის გამოყენებით, მოგება მიღწეული იყო იმის გამო, რომ ES სტრატეგია ბევრჯერ მეტ მონაცემს მოიცავდა, ვიდრე RL-ით. ამ შემთხვევაში ცხოველებში სწავლის პრინციპებზე მსჯელობისას აღვნიშნავთ, რომ სხვისი მაგალითიდან სწავლის შედეგი მრავალი თაობის შემდეგ იჩენს თავს, მაშინ როცა ზოგჯერ თავისთავად განცდილი ერთი მოვლენა საკმარისია იმისათვის, რომ ცხოველმა სამუდამოდ ისწავლოს გაკვეთილი. მიუხედავად იმისა, რომ მოსწონს ტრენინგი მაგალითების გარეშე მიუხედავად იმისა, რომ იგი საკმაოდ არ ჯდება ტრადიციულ გრადიენტულ მეთოდებში, ის ბევრად უფრო გასაგებია ვიდრე ES. არსებობს, მაგალითად, მიდგომები, როგორიცაა ნერვული ეპიზოდური კონტროლი, სადაც ვარჯიშის პროცესში ინახება Q-მნიშვნელობები, რის შემდეგაც პროგრამა ამოწმებს მათ ქმედებების განხორციელებამდე. შედეგი არის გრადიენტური მეთოდი, რომელიც საშუალებას გაძლევთ ისწავლოთ პრობლემების გადაჭრა ბევრად უფრო სწრაფად, ვიდრე ადრე. სტატიაში ნერვული ეპიზოდური კონტროლის შესახებ, ავტორები ახსენებენ ადამიანის ჰიპოკამპს, რომელსაც შეუძლია შეინარჩუნოს ინფორმაცია მოვლენის შესახებ თუნდაც ერთი გამოცდილების შემდეგ და, შესაბამისად, თამაშობს. კრიტიკული როლი დამახსოვრების პროცესში. ასეთი მექანიზმები მოითხოვს წვდომას აგენტის შიდა ორგანიზაციასთან, რაც ასევე, განსაზღვრებით, შეუძლებელია ES პარადიგმაში.

მაშ, რატომ არ დააკავშიროთ ისინი?

სავარაუდოა, რომ ამ სტატიის დიდმა ნაწილმა შეიძლება დატოვოს შთაბეჭდილება, რომ მე მხარს ვუჭერ RL მეთოდებს. თუმცა, რეალურად ვფიქრობ, რომ გრძელვადიან პერსპექტივაში საუკეთესო გამოსავალი არის ორივე მეთოდის გაერთიანება, რათა თითოეული გამოყენებული იქნას იმ სიტუაციებში, სადაც ის საუკეთესოდ შეეფერება. ცხადია, ბევრი რეაქტიული პოლიტიკის შემთხვევაში ან პოზიტიური გაძლიერების ძალიან მწირი სიგნალების მქონე სიტუაციებში, ES იმარჯვებს, განსაკუთრებით იმ შემთხვევაში, თუ თქვენს განკარგულებაში გაქვთ გამოთვლითი ძალა, რომლითაც შეგიძლიათ აწარმოოთ მასიურად პარალელური ვარჯიში. მეორეს მხრივ, გრადიენტური მეთოდები განმამტკიცებელი სწავლის ან ზედამხედველობის ქვეშ სწავლის გამოყენებით სასარგებლო იქნება, როდესაც გვაქვს წვდომა ფართო გამოხმაურებაზე და გვჭირდება ვისწავლოთ როგორ გადავჭრათ პრობლემა სწრაფად და ნაკლები მონაცემებით.

ბუნებას რომ მივმართავთ, აღმოვაჩენთ, რომ პირველი მეთოდი, არსებითად, საფუძველს უყრის მეორეს. სწორედ ამიტომ, ევოლუციის მსვლელობისას ძუძუმწოვრებს განუვითარდათ ტვინი, რომელიც საშუალებას აძლევს მათ უკიდურესად ეფექტურად ისწავლონ გარემოდან მომდინარე რთული სიგნალებიდან. ასე რომ, კითხვა ღია რჩება. შესაძლოა, ევოლუციური სტრატეგიები დაგვეხმარება გამოვიგონოთ ეფექტური სასწავლო არქიტექტურები, რომლებიც ასევე გამოდგება გრადიენტური სწავლის მეთოდებისთვის. ყოველივე ამის შემდეგ, ბუნების მიერ ნაპოვნი გამოსავალი მართლაც ძალიან წარმატებულია.

წყარო: www.habr.com