OpenAI ასწავლის AI გუნდურ მუშაობას დამალვის თამაშში

კარგი ძველმოდური თამაში დამალვა და ძიება შეიძლება იყოს შესანიშნავი ტესტი ხელოვნური ინტელექტის (AI) ბოტებისთვის, რათა აჩვენონ, თუ როგორ იღებენ გადაწყვეტილებებს და ურთიერთობენ ერთმანეთთან და მათ გარშემო არსებულ სხვადასხვა ობიექტებთან.

მისი ახალი სტატია, გამოქვეყნებულია OpenAI-ის მკვლევარების მიერ, არაკომერციული ხელოვნური ინტელექტის კვლევის ორგანიზაცია, რომელიც ცნობილი გახდა გამარჯვება მსოფლიოს ჩემპიონებზე კომპიუტერულ თამაშში Dota 2 მეცნიერები აღწერენ, თუ როგორ ავარჯიშებდნენ ხელოვნური ინტელექტის მიერ კონტროლირებად აგენტებს ვირტუალურ გარემოში ერთმანეთის ძებნაში და დამალვაში უფრო დახვეწილი. კვლევის შედეგებმა აჩვენა, რომ ორი ბოტის გუნდი უფრო ეფექტურად და სწრაფად სწავლობს, ვიდრე რომელიმე აგენტი მოკავშირეების გარეშე.

მეცნიერებმა გამოიყენეს მეთოდი, რომელმაც დიდი ხანია მოიპოვა თავისი პოპულარობა მანქანათმცოდნეობა გაძლიერებით, რომელშიც ხელოვნური ინტელექტი მოთავსებულია მისთვის უცნობ გარემოში, ამასთან აქვს მასთან ურთიერთქმედების გარკვეული გზები, ასევე ჯილდოებისა და ჯარიმების სისტემა მისი ქმედებების ამა თუ იმ შედეგისთვის. ეს მეთოდი საკმაოდ ეფექტურია ხელოვნური ინტელექტის უნარის გამო, შეასრულოს სხვადასხვა მოქმედებები ვირტუალურ გარემოში უზარმაზარი სიჩქარით, მილიონჯერ უფრო სწრაფად, ვიდრე ადამიანს წარმოუდგენია. ეს საშუალებას აძლევს ცდასა და შეცდომებს იპოვოთ ყველაზე ეფექტური სტრატეგიები მოცემული პრობლემის გადასაჭრელად. მაგრამ ამ მიდგომას ასევე აქვს გარკვეული შეზღუდვები, მაგალითად, გარემოს შექმნა და მრავალი სასწავლო ციკლის ჩატარება მოითხოვს უზარმაზარ გამოთვლით რესურსებს და თავად პროცესი მოითხოვს ზუსტ სისტემას ხელოვნური ინტელექტის მოქმედებების შედეგების მის მიზანთან შესადარებლად. გარდა ამისა, აგენტის მიერ ამ გზით შეძენილი უნარები შემოიფარგლება აღწერილი ამოცანებით და, როგორც კი AI ისწავლის მასთან გამკლავებას, შემდგომი გაუმჯობესება არ იქნება.

დამალვა-ძიების თამაშისთვის ხელოვნური ინტელექტის გასაწვრთნელად, მეცნიერებმა გამოიყენეს მიდგომა სახელწოდებით „უმართავი გამოკვლევა“, სადაც აგენტებს აქვთ სრული თავისუფლება, განავითარონ თამაშის სამყაროს გაგება და განავითარონ გამარჯვების სტრატეგიები. ეს მსგავსია მრავალ აგენტური სწავლის მიდგომისა, რომელსაც DeepMind-ის მკვლევარები იყენებდნენ ხელოვნური ინტელექტის მრავალი სისტემის დროს გაწვრთნილი იყვნენ, რათა ეთამაშათ დროშის დაჭერის რეჟიმი Quake III არენაზე. როგორც ამ შემთხვევაში, ხელოვნური ინტელექტის აგენტები ადრე არ იყვნენ გაწვრთნილი თამაშის წესებში, მაგრამ დროთა განმავლობაში მათ ისწავლეს ძირითადი სტრატეგიები და შეძლეს მკვლევარების გაოცებაც კი არა ტრივიალური გადაწყვეტილებებით.

დამალვა-ძიების თამაშში, რამდენიმე აგენტს, რომელთა მოვალეობაც იყო დამალვა, მოეთხოვებოდათ თავიდან აეცილებინათ ოპონენტების მხედველობა მცირე თავდასხმის შემდეგ, როდესაც მაძიებელთა გუნდი იმობილიზებული იყო. უფრო მეტიც, „მხედველობის ხაზი“ ამ კონტექსტში არის 135 გრადუსიანი კონუსი ინდივიდუალური ბოტის წინ. აგენტებს არ შეეძლოთ ძალიან შორს გასულიყვნენ სათამაშო მოედნის გარეთ და იძულებულნი იყვნენ ნავიგაცია შემთხვევით წარმოქმნილ ოთახებში, ირგვლივ მიმოფანტული ზოგიერთი გარე ობიექტების (ყუთები, მოძრავი კედლები, სპეციალური პანდუსები) გამოყენების შესაძლებლობით, რომლებიც გამოიყენებოდა როგორც საფარის შესაქმნელად, ასევე მათში შეღწევისთვის. .

ხანგრძლივი სასწავლო პროცესის მეშვეობით, AI-ის აგენტებმა ისწავლეს ექვსი უნიკალური სტრატეგია, რომელთაგან თითოეული დაეხმარა მათ თამაშის შემდეგ ეტაპზე გადასვლაში. თავიდან მაძიებელი და დამალული გუნდები უბრალოდ გარბოდნენ და დაედევნენ ერთმანეთს, მაგრამ დაახლოებით 25 მილიონი მატჩის შემდეგ, დამალულმა გუნდმა ისწავლა გადასასვლელების გადაკეტვა ყუთებით და მათგან თავშესაფრების აშენება. კიდევ 75 მილიონი მატჩის შემდეგ, გუნდმა აღმოაჩინა პანდუსების გამოყენების გზები ამ სამალავებში მოსახვედრად. კიდევ 10 მილიონი რაუნდის შემდეგ, დამალულებმა ისწავლეს პანდუსების გადათრევა სათამაშო მოედნის კიდეზე და მათი ჩაკეტვა, რათა მოწინააღმდეგეებმა არ გამოიყენონ ისინი.

388 მილიონი მატჩის შემდეგ, მაძიებლებმა ისწავლეს დაბლოკილი პანდუსების გამოყენება მათთან მიტანილ ყუთებზე ასასვლელად, შემდეგ კი, პირდაპირ მათზე გადასვლისას, შეაღწიონ მტრის სამალავებში, რომლებიც შექმნილია პორტატული კედლებიდან. და ბოლოს, 458 მილიონი მატჩის შემდეგ, დამალულმა გუნდმა დაასკვნა, რომ მათ სჭირდებოდათ ყველა ობიექტის დაბლოკვა და შემდეგ თავშესაფრის აშენება, რამაც აშკარად გამოიწვია მათი საბოლოო გამარჯვება.

განსაკუთრებით შთამბეჭდავი ის არის, რომ 22 მილიონი მატჩის შემდეგ აგენტებმა ისწავლეს თავიანთი ქმედებების კოორდინაცია და მათი თანამშრომლობის ეფექტურობა მხოლოდ მომავალში გაიზარდა, მაგალითად, თითოეულმა მოიტანა საკუთარი ყუთი ან კედელი თავშესაფრის შესაქმნელად და აირჩია თავისი წილი ობიექტები. ბლოკი, რათა გაართულოს სირთულის თამაში ოპონენტებს.

მეცნიერებმა ასევე აღნიშნეს მნიშვნელოვანი პუნქტი, რომელიც დაკავშირებულია სასწავლო ობიექტების რაოდენობასთან (ნერვულ ქსელში გადასული მონაცემების რაოდენობა - "Batch Size") სწავლის სიჩქარეზე. ნაგულისხმევი მოდელი მოითხოვდა 132,3 მილიონ მატჩს 34 საათის განმავლობაში ვარჯიშის განმავლობაში, რათა მიაღწიოს იმ წერტილს, სადაც დამალულმა გუნდმა ისწავლა პანდუსების დაბლოკვა, ხოლო მეტი მონაცემი საგრძნობლად შემცირდა ვარჯიშის დროს. მაგალითად, პარამეტრების რაოდენობის (მთელი სასწავლო პროცესის განმავლობაში მიღებული მონაცემების ნაწილი) 0,5 მილიონიდან 5,8 მილიონამდე გაზრდამ გაზარდა შერჩევის ეფექტურობა 2,2-ჯერ, ხოლო შეყვანის მონაცემების ზომის გაზრდა 64 კბ-დან 128 კბ-მდე შეამცირა ტრენინგი. დრო თითქმის ერთნახევარჯერ.

სამუშაოს დასასრულს, მკვლევარებმა გადაწყვიტეს შეემოწმებინათ, რამდენად შეეძლო თამაშში ვარჯიში დაეხმარა აგენტებს გაუმკლავდნენ მსგავს ამოცანებს თამაშის გარეთ. სულ ხუთი ტესტი იყო: ობიექტების რაოდენობის ინფორმირებულობა (გაგება, რომ ობიექტი აგრძელებს არსებობას მაშინაც კი, თუ ის მხედველობის მიღმაა და არ გამოიყენება); „ჩაკეტვა და დაბრუნება“ - პირვანდელი პოზიციის დამახსოვრების და მასში დაბრუნების შესაძლებლობა დამატებითი დავალების შესრულების შემდეგ; „თანმიმდევრული ბლოკირება“ - 4 ყუთი შემთხვევით განლაგებული იყო სამ ოთახში კარების გარეშე, მაგრამ პანდუსებით შიგნით შესასვლელად, აგენტებს სჭირდებოდათ ყველა მათგანის პოვნა და დაბლოკვა; ყუთების განთავსება წინასწარ განსაზღვრულ ადგილებში; ობიექტის გარშემო თავშესაფრის შექმნა ცილინდრის სახით.

შედეგად, ხუთი ამოცანიდან სამში, ბოტებმა, რომლებმაც გაიარეს წინასწარი ტრენინგი თამაშში, უფრო სწრაფად ისწავლეს და აჩვენეს უკეთესი შედეგები, ვიდრე AI, რომელიც გაწვრთნილი იყო პრობლემების ნულიდან გადაჭრაზე. მათ ოდნავ უკეთესად შეასრულეს დავალება და დაბრუნდნენ საწყის პოზიციაზე, თანმიმდევრულად ბლოკავდნენ ყუთებს დახურულ ოთახებში და ათავსებდნენ ყუთებს მოცემულ ადგილებში, მაგრამ ოდნავ სუსტად ასრულებდნენ საგნების რაოდენობას და ქმნიდნენ საფარს სხვა ობიექტის გარშემო.

მკვლევარები შერეულ შედეგებს მიაწერენ იმას, თუ როგორ სწავლობს და ახსოვს ხელოვნური ინტელექტი გარკვეული უნარ-ჩვევები. „ჩვენ ვფიქრობთ, რომ დავალებები, სადაც თამაშში წინასწარი ვარჯიში საუკეთესოდ შესრულდა, გულისხმობდა ადრე ნასწავლი უნარების ხელახლა გამოყენებას ნაცნობი გზით, ხოლო დარჩენილი ამოცანების შესრულებას ნულიდან გაწვრთნილი ხელოვნური ინტელექტის მიხედვით, მოითხოვს მათ სხვაგვარად გამოყენებას. უფრო რთული“, - წერენ ნაწარმოების თანაავტორები. ”ეს შედეგი ხაზს უსვამს მეთოდების შემუშავების აუცილებლობას ტრენინგის შედეგად შეძენილი უნარების ეფექტური ხელახალი გამოყენებისთვის, როდესაც ისინი ერთი გარემოდან მეორეში გადაიტანება.”

შესრულებული სამუშაო ნამდვილად შთამბეჭდავია, რადგან ამ სწავლების მეთოდის გამოყენების პერსპექტივა სცილდება ნებისმიერი თამაშის საზღვრებს. მკვლევარები ამბობენ, რომ მათი მუშაობა მნიშვნელოვანი ნაბიჯია ხელოვნური ინტელექტის შესაქმნელად „ფიზიკაზე დაფუძნებული“ და „ადამიანის მსგავსი“ ქცევით, რომელსაც შეუძლია დაავადების დიაგნოსტიკა, რთული ცილის მოლეკულების სტრუქტურების პროგნოზირება და კომპიუტერული ტომოგრაფიის ანალიზი.

ქვემოთ მოცემულ ვიდეოში ნათლად ხედავთ, როგორ მიმდინარეობდა მთელი სასწავლო პროცესი, როგორ ისწავლა AI-მ გუნდური მუშაობა და მისი სტრატეგიები სულ უფრო და უფრო მზაკვრული და რთული ხდებოდა.

წყარო: 3dnews.ru