როგორ შევქმნათ სათამაშო AI: სახელმძღვანელო დამწყებთათვის

თამაშებში წავაწყდი საინტერესო მასალას ხელოვნური ინტელექტის შესახებ. ხელოვნური ინტელექტის შესახებ ძირითადი საგნების ახსნით მარტივი მაგალითების გამოყენებით და შიგნით არის მრავალი სასარგებლო ინსტრუმენტი და მეთოდი მისი მოსახერხებელი განვითარებისა და დიზაინისთვის. როგორ, სად და როდის გამოვიყენოთ ისინი ასევე არსებობს.

მაგალითების უმეტესობა დაწერილია ფსევდოკოდში, ამიტომ არ არის საჭირო პროგრამირების გაფართოებული ცოდნა. ჭრილის ქვეშ არის 35 ფურცელი ტექსტი სურათებით და გიფებით, ასე რომ მოემზადეთ.

UPD. ბოდიშს ვიხდი, მაგრამ მე უკვე გავაკეთე ამ სტატიის ჩემი თარგმანი Habré-ზე PatientZero. შეგიძლიათ წაიკითხოთ მისი ვერსია აქ, მაგრამ რატომღაც სტატიამ გამიარა (გამოვიყენე ძებნა, მაგრამ რაღაც შეცდა). და რადგან მე ვწერ ბლოგზე, რომელიც ეძღვნება თამაშების განვითარებას, გადავწყვიტე თარგმანის ჩემი ვერსია დავტოვო აბონენტებისთვის (ზოგიერთი პუნქტი სხვაგვარად არის ფორმატირებული, ზოგი განზრახ გამოტოვებულია დეველოპერების რჩევით).

რა არის AI?

თამაშის AI ყურადღებას ამახვილებს იმაზე, თუ რა მოქმედებები უნდა შეასრულოს ობიექტმა იმ პირობებიდან გამომდინარე, რომელშიც ის მდებარეობს. ამას ჩვეულებრივ უწოდებენ "ინტელექტუალური აგენტის" მენეჯმენტს, სადაც აგენტი არის მოთამაშის პერსონაჟი, მანქანა, ბოტი ან ზოგჯერ რაღაც უფრო აბსტრაქტული: ერთეულების მთელი ჯგუფი ან თუნდაც ცივილიზაცია. ყოველ შემთხვევაში, ეს არის ნივთი, რომელმაც უნდა დაინახოს თავისი გარემო, მიიღოს გადაწყვეტილებები მასზე დაყრდნობით და იმოქმედოს მათ შესაბამისად. ამას ეწოდება გრძნობა/ფიქრი/მოქმედების ციკლი:

• გრძნობა: აგენტი პოულობს ან იღებს ინფორმაციას მის გარემოში არსებულ ნივთებზე, რამაც შეიძლება გავლენა მოახდინოს მის ქცევაზე (საფრთხეები ახლომახლო, შესაგროვებელი ნივთები, შესასწავლი საინტერესო ადგილები).
• დაფიქრდი: აგენტი წყვეტს, როგორ მოიქცეს (განიხილავს, რამდენად უსაფრთხოა ნივთების შეგროვება, თუ ჯერ უნდა იბრძოლოს/დამალვოს).
• აქტი: აგენტი ასრულებს მოქმედებებს წინა გადაწყვეტილების განსახორციელებლად (იწყებს მოძრაობას მტრის ან ობიექტისკენ).
• ...ახლა ვითარება შეიცვალა პერსონაჟების მოქმედებების გამო, ამიტომ ციკლი მეორდება ახალი მონაცემებით.

AI მიდრეკილია ფოკუსირება მოახდინოს მარყუჟის Sense ნაწილზე. მაგალითად, ავტონომიური მანქანები იღებენ გზის სურათებს, აერთიანებენ მათ რადართან და ლიდარის მონაცემებთან და ინტერპრეტაციას უკეთებენ მათ. ეს, როგორც წესი, კეთდება მანქანური სწავლით, რომელიც ამუშავებს შემოსულ მონაცემებს და ანიჭებს მას მნიშვნელობას, ამოიღებს სემანტიკურ ინფორმაციას, როგორიც არის „შენს წინ კიდევ ერთი მანქანაა 20 იარდი“. ეს არის ე.წ. კლასიფიკაციის პრობლემები.

თამაშებს არ სჭირდებათ რთული სისტემა ინფორმაციის მოსაპოვებლად, რადგან მონაცემთა უმეტესობა უკვე მისი განუყოფელი ნაწილია. არ არის საჭირო გამოსახულების ამოცნობის ალგორითმების გაშვება იმის დასადგენად, არის თუ არა წინ მტერი - თამაშმა უკვე იცის და აწვდის ინფორმაციას პირდაპირ გადაწყვეტილების მიღების პროცესში. ამიტომ, ციკლის გრძნობის ნაწილი ხშირად ბევრად უფრო მარტივია, ვიდრე იფიქრე და იმოქმედე.

თამაშის AI-ს შეზღუდვები

AI-ს აქვს მთელი რიგი შეზღუდვები, რომლებიც უნდა დაიცვან:

• AI-ს არ სჭირდება წინასწარ მომზადება, თითქოს ეს იყოს მანქანური სწავლის ალგორითმი. აზრი არ აქვს განვითარების დროს ნერვული ქსელის დაწერას ათიათასობით მოთამაშის მონიტორინგისთვის და მათ წინააღმდეგ თამაშის საუკეთესო ხერხების სწავლისთვის. რატომ? იმიტომ რომ თამაში არ გამოსულა და მოთამაშეები არ არიან.
• თამაში უნდა იყოს სახალისო და რთული, ამიტომ აგენტებმა არ უნდა იპოვონ საუკეთესო მიდგომა ხალხის წინააღმდეგ.
• აგენტები რეალისტურად უნდა გამოიყურებოდნენ, რათა მოთამაშეებმა იგრძნონ, რომ რეალურ ადამიანებთან თამაშობენ. AlphaGo პროგრამამ აჯობა ადამიანებს, მაგრამ არჩეული ნაბიჯები ძალიან შორს იყო თამაშის ტრადიციული გაგებისგან. თუ თამაში ახდენს ადამიანის მოწინააღმდეგის სიმულაციას, ეს გრძნობა არ უნდა არსებობდეს. ალგორითმი უნდა შეიცვალოს ისე, რომ მან მიიღოს დამაჯერებელი გადაწყვეტილებები და არა იდეალური.
• AI უნდა მუშაობდეს რეალურ დროში. ეს ნიშნავს, რომ ალგორითმს არ შეუძლია გადაწყვეტილების მისაღებად CPU-ს გამოყენების მონოპოლიზირება დიდი ხნის განმავლობაში. 10 მილიწამიც კი ძალიან გრძელია, რადგან თამაშების უმეტესობას მხოლოდ 16-დან 33 მილიწამამდე სჭირდება მთელი დამუშავება და შემდეგ გრაფიკულ ჩარჩოზე გადასვლისთვის.
• იდეალურ შემთხვევაში, სისტემის ნაწილი მაინც უნდა იყოს მონაცემთა ბაზაზე ორიენტირებული, რათა არაკოდერებმა შეძლონ ცვლილებების შეტანა და კორექტირება უფრო სწრაფად მოხდეს.

მოდით შევხედოთ ხელოვნური ინტელექტის მიდგომებს, რომლებიც მოიცავს გრძნობის/აზროვნების/მოქმედების მთელ ციკლს.

ძირითადი გადაწყვეტილებების მიღება

დავიწყოთ უმარტივესი თამაშით - პონგი. მიზანი: ამოძრავეთ ბალიშები ისე, რომ ბურთი აეშვას მას, ვიდრე გაფრინდეს მასზე. ეს ჰგავს ჩოგბურთს, სადაც კარგავ, თუ ბურთს არ დაარტყამ. აქ AI-ს აქვს შედარებით მარტივი ამოცანა - გადაწყვიტოს რომელი მიმართულებით გადაიტანოს პლატფორმა.

პირობითი განცხადებები

პონგში ხელოვნური ინტელექტისთვის ყველაზე აშკარა გამოსავალია ყოველთვის ეცადოთ პლატფორმის ბურთის ქვეშ მოათავსოთ.

ამისათვის მარტივი ალგორითმი, რომელიც დაწერილია ფსევდოკოდში:

ყოველი ჩარჩო/განახლება თამაშის გაშვებისას:
თუ ბურთი ბუშტის მარცხნივ არის:
მარცხნივ გადაადგილება
სხვა შემთხვევაში, თუ ბურთი არის პადლის მარჯვნივ:
გადაადგილება პანელი მარჯვნივ

თუ პლატფორმა მოძრაობს ბურთის სიჩქარით, მაშინ ეს არის იდეალური ალგორითმი პონგში AI-სთვის. არაფრის გართულება არ არის საჭირო, თუ აგენტისთვის ამდენი მონაცემები და შესაძლო ქმედებები არ არის.

ეს მიდგომა იმდენად მარტივია, რომ გრძნობა/აზროვნება/მოქმედების მთელი ციკლი ძლივს შესამჩნევია. მაგრამ ის იქ არის:

• გრძნობის ნაწილი არის ორ if განცხადებებში. თამაშმა იცის, სად არის ბურთი და სად არის პლატფორმა, ამიტომ AI ეძებს მას ამ ინფორმაციის მისაღებად.
• Think ნაწილი ასევე შედის ორ if განცხადებებში. ისინი განასახიერებენ ორ გადაწყვეტას, რომლებიც ამ შემთხვევაში ურთიერთგამომრიცხავია. შედეგად, არჩეულია სამი მოქმედებიდან ერთ-ერთი - გადაიტანეთ პლატფორმა მარცხნივ, გადაიტანეთ მარჯვნივ ან არაფერი გააკეთეთ, თუ ის უკვე სწორად არის განლაგებული.
• აქტის ნაწილი გვხვდება Move Paddle Left და Move Paddle Right განცხადებებში. თამაშის დიზაინიდან გამომდინარე, მათ შეუძლიათ პლატფორმის გადატანა მყისიერად ან კონკრეტული სიჩქარით.

ასეთ მიდგომებს რეაქტიული ეწოდება - არსებობს წესების მარტივი ნაკრები (ამ შემთხვევაში, თუ განცხადებები კოდშია), რომლებიც რეაგირებენ მსოფლიოს ამჟამინდელ მდგომარეობაზე და მოქმედებენ.

გადაწყვეტილების ხე

პონგის მაგალითი რეალურად ექვივალენტურია ფორმალური AI კონცეფციისა, რომელსაც ეწოდება გადაწყვეტილების ხე. ალგორითმი გადის მასში, რათა მიაღწიოს "ფოთოლს" - გადაწყვეტილებას იმის შესახებ, თუ რა მოქმედება უნდა განხორციელდეს.

მოდით გავაკეთოთ გადაწყვეტილების ხის ბლოკ-სქემა ჩვენი პლატფორმის ალგორითმისთვის:

ხის თითოეულ ნაწილს ეწოდება კვანძი - AI იყენებს გრაფიკის თეორიას ასეთი სტრუქტურების აღსაწერად. არსებობს ორი ტიპის კვანძი:

• გადაწყვეტილების კვანძები: არჩევანი ორ ალტერნატივს შორის ზოგიერთი პირობის ტესტირების საფუძველზე, სადაც თითოეული ალტერნატივა წარმოდგენილია როგორც ცალკეული კვანძი.
• ბოლო კვანძები: შესასრულებელი მოქმედება, რომელიც წარმოადგენს საბოლოო გადაწყვეტილებას.

ალგორითმი იწყება პირველი კვანძიდან (ხის „ფესვი“). ის ან იღებს გადაწყვეტილებას, რომელ ბავშვურ კვანძში უნდა წავიდეს, ან ახორციელებს კვანძში შენახულ მოქმედებას და გადის.

რა სარგებლობა მოაქვს გადაწყვეტილების ხეს იგივე სამუშაოს შესრულებას, როგორც წინა განყოფილებაში მოცემული if განცხადებები? აქ არის ზოგადი სისტემა, სადაც თითოეულ გადაწყვეტილებას აქვს მხოლოდ ერთი პირობა და ორი შესაძლო შედეგი. ეს საშუალებას აძლევს დეველოპერს შექმნას AI მონაცემებიდან, რომლებიც წარმოადგენენ გადაწყვეტილებებს ხეზე, მყარი კოდირების გარეშე. წარმოვადგინოთ იგი ცხრილის სახით:

კოდის მხარეს მიიღებთ სტრიქონების წაკითხვის სისტემას. შექმენით კვანძი თითოეული მათგანისთვის, დააკავშირეთ გადაწყვეტილების ლოგიკა მეორე სვეტის საფუძველზე და ბავშვის კვანძები მესამე და მეოთხე სვეტების საფუძველზე. თქვენ ჯერ კიდევ გჭირდებათ პირობების და მოქმედებების დაპროგრამება, მაგრამ ახლა თამაშის სტრუქტურა უფრო რთული იქნება. აქ თქვენ დაამატებთ დამატებით გადაწყვეტილებებს და მოქმედებებს, შემდეგ კი არეგულირებთ მთელ AI-ს ხის განმარტების ტექსტური ფაილის უბრალოდ რედაქტირებით. შემდეგი, თქვენ გადასცემთ ფაილს თამაშის დიზაინერს, რომელსაც შეუძლია შეცვალოს ქცევა თამაშის ხელახალი კომპილაციის ან კოდის შეცვლის გარეშე.

გადაწყვეტილების ხეები ძალიან სასარგებლოა, როდესაც ისინი ავტომატურად აგებულია მაგალითების დიდი ნაკრებიდან (მაგალითად, ID3 ალგორითმის გამოყენებით). ეს მათ ეფექტურ და მაღალეფექტურ ინსტრუმენტად აქცევს მიღებული მონაცემების საფუძველზე სიტუაციების კლასიფიკაციისთვის. თუმცა, ჩვენ სცილდებათ აგენტების მოქმედებების შერჩევის მარტივ სისტემას.

სცენარები

ჩვენ გავაანალიზეთ გადაწყვეტილების ხის სისტემა, რომელიც იყენებდა წინასწარ შექმნილ პირობებს და მოქმედებებს. AI-ის დიზაინერს შეუძლია ხის ორგანიზება როგორც უნდა, მაგრამ მაინც უნდა დაეყრდნოს კოდირებულს, რომელმაც ეს ყველაფერი დააპროგრამა. რა მოხდება, თუ შეგვეძლო დიზაინერს მივცეთ ხელსაწყოები საკუთარი პირობების ან მოქმედებების შესაქმნელად?

იმისათვის, რომ პროგრამისტს არ მოუწიოს კოდის დაწერა პირობებისთვის Is Ball Left Of Paddle და Is Ball Right Of Paddle, მას შეუძლია შექმნას სისტემა, რომელშიც დიზაინერი დაწერს პირობებს ამ მნიშვნელობების შესამოწმებლად. შემდეგ გადაწყვეტილების ხის მონაცემები ასე გამოიყურება:

ეს არსებითად იგივეა, რაც პირველ ცხრილში, მაგრამ გადაწყვეტილებებს თავისთავად აქვთ საკუთარი კოდი, ოდნავ ჰგავს if განცხადების პირობით ნაწილს. კოდის მხარეს, ეს წაიკითხება მეორე სვეტში გადაწყვეტილების კვანძებისთვის, მაგრამ იმის ნაცვლად, რომ ეძებოს კონკრეტული პირობა შესასრულებლად (Is Ball Left Of Paddle), ის აფასებს პირობით გამოხატულებას და შესაბამისად აბრუნებს true ან false. ეს კეთდება Lua ან Angelscript სკრიპტირების ენის გამოყენებით. მათი გამოყენებით, დეველოპერს შეუძლია მიიღოს ობიექტები თავის თამაშში (ბურთი და პადლი) და შექმნას ცვლადები, რომლებიც ხელმისაწვდომი იქნება სკრიპტში (ball.position). ასევე, სკრიპტირების ენა უფრო მარტივია ვიდრე C++. ის არ საჭიროებს კომპილაციის სრულ ეტაპს, ამიტომ იდეალურია თამაშის ლოგიკის სწრაფად კორექტირებისთვის და საშუალებას აძლევს „არაკოდერებს“ თავად შექმნან საჭირო ფუნქციები.

ზემოთ მოყვანილ მაგალითში, სკრიპტირების ენა გამოიყენება მხოლოდ პირობითი გამოხატვის შესაფასებლად, მაგრამ ის ასევე შეიძლება გამოყენებულ იქნას მოქმედებებისთვის. მაგალითად, მონაცემები Move Paddle Right შეიძლება გახდეს სკრიპტის განცხადება (ball.position.x += 10). ისე, რომ მოქმედება ასევე განსაზღვრულია სკრიპტში, Move Paddle Right დაპროგრამების საჭიროების გარეშე.

შეგიძლიათ კიდევ უფრო შორს წახვიდეთ და დაწეროთ მთელი გადაწყვეტილების ხე სკრიპტირების ენაზე. ეს იქნება კოდი მყარი კოდირებული პირობითი განცხადებების სახით, მაგრამ ისინი განთავსდება სკრიპტის გარე ფაილებში, ანუ მათი შეცვლა შესაძლებელია მთელი პროგრამის ხელახალი შედგენის გარეშე. თქვენ ხშირად შეგიძლიათ შეცვალოთ სკრიპტის ფაილი გეიმპლეის დროს, რათა სწრაფად შეამოწმოთ სხვადასხვა ხელოვნური ინტელექტის რეაქცია.

ღონისძიებაზე რეაგირება

ზემოთ მოყვანილი მაგალითები შესანიშნავია პონგისთვის. ისინი მუდმივად მართავენ გრძნობა/აზროვნება/მოქმედების ციკლს და მოქმედებენ მსოფლიოს უახლესი მდგომარეობის მიხედვით. მაგრამ უფრო რთულ თამაშებში საჭიროა რეაგირება მოახდინოთ ინდივიდუალურ მოვლენებზე და არ შეაფასოთ ყველაფერი ერთდროულად. პონგი ამ შემთხვევაში უკვე ცუდი მაგალითია. მოდი ავირჩიოთ სხვა.

წარმოიდგინეთ მსროლელი, სადაც მტრები გაუნძრევლად არიან, სანამ მოთამაშეს არ აღმოაჩენენ, რის შემდეგაც ისინი მოქმედებენ თავიანთი „სპეციალიზაციიდან გამომდინარე“: ვიღაც გაიქცევა „აჩქარებაზე“, ვიღაც თავს დაესხმება შორიდან. ეს ჯერ კიდევ ძირითადი რეაქტიული სისტემაა - "თუ მოთამაშე შენიშნეს, გააკეთე რამე" - მაგრამ ის ლოგიკურად შეიძლება დაიყოს მოთამაშის დანახულ მოვლენად და რეაქციად (აირჩიეთ პასუხი და შეასრულეთ იგი).

ეს გვაბრუნებს გრძნობის/აზროვნების/მოქმედების ციკლს. ჩვენ შეგვიძლია დაშიფროთ Sense ნაწილი, რომელიც შეამოწმებს თითოეულ კადრს, ხედავს თუ არა AI მოთამაშეს. თუ არა, არაფერი ხდება, მაგრამ თუ ხედავს, მაშინ იქმნება Player Seen ღონისძიება. კოდს ექნება ცალკე განყოფილება, რომელშიც ნათქვამია: „როდესაც მოეწყობა მოთამაშის ნანახი მოვლენა, გააკეთე“, სადაც არის პასუხი, რომელიც უნდა მიმართო იფიქრე და იმოქმედე ნაწილებს. ამრიგად, თქვენ დააყენებთ რეაქციებს Player Seen-ის მოვლენაზე: „აჩქარებული“ პერსონაჟისთვის - ChargeAndAttack და სნაიპერისთვის - HideAndSnipe. ეს ურთიერთობები შეიძლება შეიქმნას მონაცემთა ფაილში სწრაფი რედაქტირებისთვის ხელახალი კომპილაციის გარეშე. სკრიპტის ენის გამოყენება აქაც შეიძლება.

რთული გადაწყვეტილებების მიღება

მიუხედავად იმისა, რომ მარტივი რეაქციის სისტემები ძალიან მძლავრია, არსებობს მრავალი სიტუაცია, სადაც ისინი საკმარისი არ არის. ზოგჯერ საჭიროა სხვადასხვა გადაწყვეტილების მიღება იმის მიხედვით, თუ რას აკეთებს აგენტი ამჟამად, მაგრამ ძნელი წარმოსადგენია ეს მდგომარეობა. ზოგჯერ ძალიან ბევრი პირობაა მათი ეფექტურად წარმოსაჩენად გადაწყვეტილების ხეში ან სკრიპტში. ზოგჯერ საჭიროა წინასწარ შეაფასოთ, როგორ შეიცვლება სიტუაცია, სანამ გადაწყვეტთ შემდეგ ნაბიჯს. ამ პრობლემების გადასაჭრელად საჭიროა უფრო დახვეწილი მიდგომები.

სასრული მდგომარეობის მანქანა

სასრული მდგომარეობის მანქანა ან FSM (სასრული მდგომარეობის მანქანა) არის გზა იმის სათქმელად, რომ ჩვენი აგენტი ამჟამად იმყოფება რამდენიმე შესაძლო მდგომარეობიდან და რომ მას შეუძლია გადასვლა ერთი მდგომარეობიდან მეორეზე. ასეთი სახელმწიფოების გარკვეული რაოდენობა არსებობს - აქედან მოდის სახელი. ცხოვრების საუკეთესო მაგალითი შუქნიშანია. სხვადასხვა ადგილას განათების სხვადასხვა თანმიმდევრობაა, მაგრამ პრინციპი ერთია - თითოეული მდგომარეობა რაღაცას წარმოადგენს (გაჩერება, სიარული და ა.შ.). შუქნიშანი ნებისმიერ დროს მხოლოდ ერთ მდგომარეობაშია და მარტივი წესების საფუძველზე გადადის ერთიდან მეორეზე.

მსგავსი ამბავია NPC-ებთან თამაშებში. მაგალითად, ავიღოთ მცველი შემდეგი მდგომარეობებით:

• პატრულირება.
• თავდასხმა.
• გაქცევა.

და ეს პირობები მისი მდგომარეობის შესაცვლელად:

• თუ მცველი მტერს ხედავს, ის თავს ესხმის.
• თუ მცველი თავს დაესხმება, მაგრამ მტერს ვეღარ ხედავს, ის ბრუნდება პატრულირებაში.
• თუ მცველი თავს დაესხმება, მაგრამ მძიმედ დაიჭრა, ის გარბის.

ასევე შეგიძლიათ დაწეროთ if-განცხადებები მფარველი მდგომარეობის ცვლადით და სხვადასხვა შემოწმებით: არის თუ არა მტერი ახლოს, როგორია NPC-ის ჯანმრთელობის დონე და ა.შ. დავამატოთ კიდევ რამდენიმე მდგომარეობა:

• უსაქმურობა - პატრულებს შორის.
• ძებნა - როდესაც შენიშნა მტერი გაქრა.
• დახმარების პოვნა - როდესაც მტერი შენიშნეს, მაგრამ ზედმეტად ძლიერია მარტო საბრძოლველად.

არჩევანი თითოეულ მათგანზე შეზღუდულია - მაგალითად, მცველი არ წავა ფარული მტრის მოსაძებნად, თუ მას აქვს დაბალი ჯანმრთელობა.

ყოველივე ამის შემდეგ, არსებობს "თუ"-ების უზარმაზარი სია , ეს "შეიძლება გახდეს ზედმეტად შრომატევადი, ამიტომ ჩვენ გვჭირდება მეთოდის ფორმალიზება, რომელიც საშუალებას მოგვცემს გავითვალისწინოთ მდგომარეობები და სახელმწიფოებს შორის გადასვლა. ამისათვის ჩვენ ვითვალისწინებთ ყველა მდგომარეობას და თითოეული შტატის ქვეშ ჩამოვწერთ სიაში ყველა გადასვლას სხვა შტატებში, მათთვის აუცილებელ პირობებთან ერთად.

ეს არის მდგომარეობის გარდამავალი ცხრილი - ყოვლისმომცველი გზა FSM-ის წარმოდგენისთვის. მოდით დავხატოთ დიაგრამა და მივიღოთ სრული მიმოხილვა იმის შესახებ, თუ როგორ იცვლება NPC ქცევა.

დიაგრამა ასახავს ამ აგენტის გადაწყვეტილების მიღების არსს არსებული სიტუაციიდან გამომდინარე. უფრო მეტიც, თითოეული ისარი გვიჩვენებს გადასვლას მდგომარეობებს შორის, თუ მის გვერდით არსებული პირობა მართალია.

ყოველ განახლებას ვამოწმებთ აგენტის მიმდინარე მდგომარეობას, ვათვალიერებთ გადასვლების ჩამონათვალს და თუ გადასვლის პირობები დაკმაყოფილებულია, ის იღებს ახალ მდგომარეობას. მაგალითად, თითოეული ფრეიმი ამოწმებს, ამოიწურა თუ არა 10 წამიანი ტაიმერი, და თუ ასეა, მაშინ მცველი გადადის უმოქმედო მდგომარეობიდან პატრულირებაზე. ანალოგიურად, შემტევი სახელმწიფო ამოწმებს აგენტის ჯანმრთელობას - თუ ის დაბალია, მაშინ ის გადადის გაქცევის მდგომარეობაში.

ეს არის სახელმწიფოებს შორის გადასვლების მართვა, მაგრამ რაც შეეხება ქცევას, რომელიც დაკავშირებულია თავად სახელმწიფოებთან? კონკრეტული სახელმწიფოსთვის ფაქტობრივი ქცევის განხორციელების თვალსაზრისით, როგორც წესი, არსებობს ორი ტიპის „კაკვი“, სადაც ჩვენ ვანიჭებთ მოქმედებებს FSM-ს:

• მოქმედებები, რომლებსაც პერიოდულად ვასრულებთ არსებული მდგომარეობისთვის.
• მოქმედებები, რომლებსაც ვაკეთებთ ერთი მდგომარეობიდან მეორეზე გადასვლისას.

მაგალითები პირველი ტიპისთვის. პატრულირების სახელმწიფო აგენტს გადააადგილებს საპატრულო მარშრუტის გასწვრივ თითოეულ ჩარჩოში. თავდამსხმელი სახელმწიფო შეეცდება წამოიწყოს თავდასხმა თითოეულ ჩარჩოში ან გადავიდეს ისეთ მდგომარეობაში, სადაც ეს შესაძლებელია.

მეორე ტიპისთვის განიხილეთ გადასვლა „თუ მტერი ჩანს და მტერი ძალიან ძლიერია, გადადით დახმარების პოვნაში. აგენტმა უნდა აირჩიოს სად მიმართოს დახმარებისთვის და შეინახოს ეს ინფორმაცია, რათა დახმარების პოვნის შტატმა იცოდეს სად წავიდეს. დახმარების აღმოჩენის შემდეგ, აგენტი ბრუნდება თავდასხმის მდგომარეობაში. ამ მომენტში, მას სურს მოკავშირეს უთხრას საფრთხის შესახებ, ასე რომ შეიძლება მოხდეს NotifyFriendOfThreat ქმედება.

კიდევ ერთხელ შეგვიძლია შევხედოთ ამ სისტემას გრძნობა/აზროვნება/მოქმედების ციკლის ობიექტივიდან. გრძნობა ვლინდება გადასვლის ლოგიკის მიერ გამოყენებულ მონაცემებში. იფიქრე - გადასვლები ხელმისაწვდომია თითოეულ სახელმწიფოში. და აქტი ხორციელდება პერიოდულად შესრულებული ქმედებებით სახელმწიფოში ან სახელმწიფოებს შორის გადასვლის დროს.

ზოგჯერ მუდმივი კენჭისყრის გარდამავალი პირობები შეიძლება იყოს ძვირი. მაგალითად, თუ თითოეული აგენტი ასრულებს კომპლექსურ გამოთვლებს ყველა ფრეიმზე, რათა დაადგინოს შეუძლია თუ არა მტრების დანახვა და იმის გაგება, შეუძლია თუ არა პატრულირების მდგომარეობიდან თავდასხმაზე გადასვლა, ამას CPU-ს დიდი დრო დასჭირდება.

მსოფლიოს მდგომარეობის მნიშვნელოვანი ცვლილებები შეიძლება ჩაითვალოს მოვლენებად, რომლებიც დამუშავდება, როგორც კი ისინი მოხდება. იმის ნაცვლად, რომ FSM შეამოწმოს გარდამავალი პირობა „შეიძლება თუ არა ჩემს აგენტს ნახოს მოთამაშე?“ ყოველ კადრში, ცალკე სისტემა შეიძლება კონფიგურირებული იყოს ნაკლებად ხშირად შესამოწმებლად (მაგ. 5-ჯერ წამში). და შედეგი არის Player Seen-ის გაცემა, როდესაც შემოწმება გაივლის.

ეს გადაეცემა FSM-ს, რომელიც ახლა უნდა გადავიდეს Player Seen ღონისძიებაზე, მიღებულ მდგომარეობაში და უპასუხოს შესაბამისად. შედეგად მიღებული ქცევა იგივეა, გარდა რეაგირებამდე თითქმის შეუმჩნეველი დაყოვნებისა. მაგრამ შესრულება გაუმჯობესდა Sense ნაწილის პროგრამის ცალკეულ ნაწილად დაყოფის შედეგად.

იერარქიული სასრული მდგომარეობის მანქანა

თუმცა, დიდ FSM-ებთან მუშაობა ყოველთვის არ არის მოსახერხებელი. თუ გვსურს გავაფართოვოთ თავდასხმის მდგომარეობა, რათა გამოვყოთ MeleeAttacking და RangedAttacking, ჩვენ უნდა შევცვალოთ გადასვლები ყველა სხვა მდგომარეობიდან, რომელიც მივყავართ Attacking მდგომარეობამდე (მიმდინარე და მომავალი).

თქვენ ალბათ შენიშნეთ, რომ ჩვენს მაგალითში არის ბევრი დუბლიკატი გადასვლები. უმოქმედობის მდგომარეობაში გადასვლების უმეტესობა იდენტურია პატრულირების მდგომარეობაში გადასვლებისა. კარგი იქნება, რომ არ გავიმეოროთ, მით უმეტეს, თუ დავამატებთ მსგავს მდგომარეობას. აზრი აქვს იდლინგი და პატრულირება დაჯგუფდეს "არასაბრძოლო" ზოგადი იარლიყის ქვეშ, სადაც არის მხოლოდ ერთი საერთო გადასვლის ნაკრები საბრძოლო მდგომარეობებზე. თუ ამ იარლიყს სახელმწიფოდ მივიჩნევთ, მაშინ უსაქმურობა და პატრულირება ხდება სუბსახელმწიფოებად. ცალკე გარდამავალი ცხრილის გამოყენების მაგალითი ახალი არასაბრძოლო ქვესახელმწიფოსთვის:

ძირითადი ქვეყნები:


საბრძოლო მდგომარეობიდან გამოსული:


და დიაგრამის სახით:

ეს იგივე სისტემაა, მაგრამ ახალი არასაბრძოლო მდგომარეობით, რომელიც მოიცავს უსაქმურობას და პატრულირებას. თითოეული მდგომარეობით, რომელიც შეიცავს FSM-ს ქვემდგომარეობებთან ერთად (და ეს ქვესახელმწიფოები, თავის მხრივ, შეიცავს საკუთარ FSM-ებს - და ა.შ. რამდენი ხანი გჭირდებათ), ჩვენ ვიღებთ იერარქიულ სასრულ მდგომარეობის მანქანას ან HFSM (იერარქიული სასრული მდგომარეობის მანქანა). არასაბრძოლო მდგომარეობის დაჯგუფებით, ჩვენ გამოვკვეთეთ ზედმეტი გადასვლები. ჩვენ შეგვიძლია იგივე გავაკეთოთ ნებისმიერი ახალი სახელმწიფოსთვის საერთო გადასვლებით. მაგალითად, თუ მომავალში გავაფართოვებთ თავდასხმის მდგომარეობას MeleeAttacking და MissileAttacking მდგომარეობებზე, ისინი იქნებიან ქვესახელმწიფოები, რომლებიც გადადიან ერთმანეთს შორის მტერმდე მანძილისა და საბრძოლო მასალის ხელმისაწვდომობის მიხედვით. შედეგად, რთული ქცევები და ქვექცევები შეიძლება წარმოდგენილი იყოს მინიმუმ დუბლიკატი გადასვლებით.

ქცევის ხე

HFSM-ით, ქცევების რთული კომბინაციები იქმნება მარტივი გზით. თუმცა, არსებობს მცირე სირთულე, რომ გადაწყვეტილების მიღება გარდამავალი წესების სახით მჭიდროდ არის დაკავშირებული არსებულ მდგომარეობასთან. და ბევრ თამაშში ეს არის ზუსტად ის, რაც საჭიროა. და სახელმწიფო იერარქიის ფრთხილად გამოყენებამ შეიძლება შეამციროს გადასვლის გამეორებების რაოდენობა. მაგრამ ხანდახან გჭირდებათ წესები, რომლებიც მუშაობს, მიუხედავად იმისა, რომელ შტატში იმყოფებით, ან რომლებიც გამოიყენება თითქმის ნებისმიერ შტატში. მაგალითად, თუ აგენტის ჯანმრთელობა 25%-მდე შემცირდება, თქვენ მოგინდებათ, რომ ის გაიქცეს, მიუხედავად იმისა, იყო თუ არა ბრძოლაში, უსაქმურობაში თუ ლაპარაკობდა - თქვენ უნდა დაამატოთ ეს მდგომარეობა თითოეულ შტატში. და თუ თქვენს დიზაინერს მოგვიანებით სურს შეცვალოს ჯანმრთელობის დაბალი ბარიერი 25%-დან 10%-მდე, მაშინ ეს კვლავ უნდა გაკეთდეს.

იდეალურ შემთხვევაში, ეს ვითარება მოითხოვს სისტემას, რომელშიც გადაწყვეტილებები იმის შესახებ, თუ „რომელ მდგომარეობაში ვიყოთ“ არის სახელმწიფოს გარეთ, რათა ცვლილებები განხორციელდეს მხოლოდ ერთ ადგილას და არ შეეხოს გარდამავალ პირობებს. აქ ჩნდება ქცევის ხეები.

მათი განხორციელების რამდენიმე გზა არსებობს, მაგრამ არსი უხეშად ყველასთვის ერთნაირია და გადაწყვეტილების ხის მსგავსია: ალგორითმი იწყება „ძირეული“ კვანძით და ხე შეიცავს კვანძებს, რომლებიც წარმოადგენენ გადაწყვეტილებებს ან მოქმედებებს. თუმცა არსებობს რამდენიმე ძირითადი განსხვავება:

• კვანძები ახლა აბრუნებენ სამი მნიშვნელობიდან ერთს: Succeeded (თუ დავალება დასრულებულია), Failed (თუ მისი დაწყება შეუძლებელია) ან Running (თუ ის ჯერ კიდევ მუშაობს და საბოლოო შედეგი არ არის).
• აღარ არსებობს გადაწყვეტილების კვანძები ორ ალტერნატივას შორის არჩევისთვის. სამაგიეროდ, ისინი დეკორატორის კვანძებია, რომლებსაც აქვთ ერთი ბავშვის კვანძი. თუ ისინი წარმატებას მიაღწევენ, ისინი ასრულებენ თავიანთ ერთადერთ შვილობილ კვანძს.
• კვანძები, რომლებიც ასრულებენ მოქმედებებს, აბრუნებენ Running მნიშვნელობას, რათა წარმოადგინონ შესრულებული მოქმედებები.

კვანძების ეს მცირე ნაკრები შეიძლება გაერთიანდეს რთული ქცევის დიდი რაოდენობის შესაქმნელად. წარმოვიდგინოთ HFSM მცველი წინა მაგალითიდან, როგორც ქცევის ხე:

ამ სტრუქტურით არ უნდა მოხდეს აშკარა გადასვლა უმოქმედო/პატრული მდგომარეობიდან თავდასხმაში ან სხვა ქვეყნებზე. თუ მტერი ჩანს და პერსონაჟის ჯანმრთელობა დაბალია, შესრულება შეჩერდება გაქცევის კვანძზე, იმისდა მიუხედავად, თუ რომელ კვანძს ასრულებდა იგი ადრე - პატრულირება, უმოქმედობა, თავდასხმა თუ სხვა.

ქცევის ხეები რთულია - მათი შედგენის მრავალი გზა არსებობს და დეკორატორებისა და რთული კვანძების სწორი კომბინაციის პოვნა შეიძლება რთული იყოს. ასევე არის კითხვები იმის შესახებ, თუ რამდენად ხშირად შევამოწმოთ ხე - გვინდა მისი ყველა ნაწილის გავლა, თუ მხოლოდ მაშინ, როცა ერთ-ერთი პირობა შეიცვალა? როგორ შევინახოთ მდგომარეობა, რომელიც ეხება კვანძებს - როგორ გავიგოთ, როდის ვმუშაობთ უმოქმედოდ 10 წამის განმავლობაში, ან როგორ გავიგოთ, რომელი კვანძები ასრულებდნენ ბოლო დროს, რათა შევძლოთ თანმიმდევრობის სწორად დამუშავება?

სწორედ ამიტომ არის მრავალი განხორციელება. მაგალითად, ზოგიერთმა სისტემამ შეცვალა დეკორატორის კვანძები შიდა დეკორატორებით. ისინი ხელახლა აფასებენ ხეს, როდესაც იცვლება დეკორატორის პირობები, ეხმარებიან კვანძების შეერთებას და პერიოდულ განახლებებს.

კომუნალურზე დაფუძნებული სისტემა

ზოგიერთ თამაშს აქვს მრავალი განსხვავებული მექანიკა. სასურველია, რომ მათ მიიღონ მარტივი და ზოგადი გარდამავალი წესების ყველა სარგებელი, მაგრამ არა აუცილებლად ქცევის სრული ხის სახით. იმის ნაცვლად, რომ გქონდეთ არჩევანის მკაფიო ნაკრები ან შესაძლო მოქმედებების ხე, უფრო ადვილია ყველა ქმედების შესწავლა და ამ მომენტისთვის ყველაზე შესაფერისის არჩევა.

კომუნალური დაფუძნებული სისტემა დაგეხმარებათ ამაში. ეს არის სისტემა, სადაც აგენტს აქვს სხვადასხვა მოქმედებები და ირჩევს რომელი შეასრულოს თითოეულის შედარებითი სარგებლიანობის მიხედვით. სადაც სარგებლიანობა არის თვითნებური საზომი იმისა, თუ რამდენად მნიშვნელოვანია ან სასურველია აგენტისთვის ამ მოქმედების შესრულება.

მოქმედების გამოთვლილი სარგებლობა, რომელიც დაფუძნებულია მიმდინარე მდგომარეობასა და გარემოზე, აგენტს შეუძლია ნებისმიერ დროს შეამოწმოს და შეარჩიოს ყველაზე შესაფერისი სხვა მდგომარეობა. ეს არის FSM-ის მსგავსი, გარდა იმ შემთხვევებისა, როდესაც გადასვლები განისაზღვრება თითოეული პოტენციური მდგომარეობის შეფასებით, მათ შორის მიმდინარე. გთხოვთ გაითვალისწინოთ, რომ ჩვენ ვირჩევთ ყველაზე სასარგებლო მოქმედებას გადასასვლელად (ან დავრჩებით, თუ უკვე დავასრულეთ). მეტი მრავალფეროვნებისთვის, ეს შეიძლება იყოს დაბალანსებული, მაგრამ შემთხვევითი არჩევანი მცირე სიიდან.

სისტემა ანიჭებს სასარგებლო მნიშვნელობების თვითნებურ დიაპაზონს - მაგალითად, 0-დან (სრულიად არასასურველი) 100-მდე (სრულიად სასურველია). თითოეულ მოქმედებას აქვს რამდენიმე პარამეტრი, რომელიც გავლენას ახდენს ამ მნიშვნელობის გაანგარიშებაზე. დავუბრუნდეთ ჩვენს მეურვე მაგალითს:

მოქმედებებს შორის გადასვლები ორაზროვანია - ნებისმიერ მდგომარეობას შეუძლია მოჰყვეს სხვა. მოქმედების პრიორიტეტები გვხვდება დაბრუნებულ სასარგებლო მნიშვნელობებში. თუ მტერი ჩანს და ეს მტერი ძლიერია და პერსონაჟის ჯანმრთელობა დაბალია, მაშინ Fleeing და FindingHelp დააბრუნებენ მაღალ არა-ნულოვან მნიშვნელობებს. ამ შემთხვევაში FindingHelp ყოველთვის უფრო მაღალი იქნება. ანალოგიურად, არასაბრძოლო აქტივობები არასოდეს ბრუნდება 50-ზე მეტს, ამიტომ ისინი ყოველთვის უფრო დაბალი იქნება ვიდრე საბრძოლო. თქვენ უნდა გაითვალისწინოთ ეს მოქმედებების შექმნისა და მათი სარგებლიანობის გაანგარიშებისას.

ჩვენს მაგალითში, მოქმედებები აბრუნებს ან ფიქსირებულ მუდმივ მნიშვნელობას ან ორი ფიქსირებული მნიშვნელობიდან ერთს. უფრო რეალისტური სისტემა დააბრუნებს შეფასებას მნიშვნელობების უწყვეტი დიაპაზონიდან. მაგალითად, Fleeing ქმედება აბრუნებს უფრო მაღალ სასარგებლო მნიშვნელობებს, თუ აგენტის ჯანმრთელობა დაბალია, ხოლო თავდასხმის მოქმედება უბრუნებს სასარგებლო მნიშვნელობებს, თუ მტერი ძალიან ძლიერია. ამის გამო, გაქცევის მოქმედება უპირატესია თავდასხმაზე ნებისმიერ სიტუაციაში, როდესაც აგენტი გრძნობს, რომ არ აქვს საკმარისი ჯანმრთელობა მტრის დასამარცხებლად. ეს საშუალებას აძლევს მოქმედებების პრიორიტეტიზაციას ნებისმიერი რაოდენობის კრიტერიუმზე დაყრდნობით, რაც ამ მიდგომას უფრო მოქნილს და ცვლადი გახდის, ვიდრე ქცევის ხე ან FSM.

თითოეულ მოქმედებას აქვს მრავალი პირობა პროგრამის გაანგარიშებისთვის. ისინი შეიძლება დაიწეროს სკრიპტის ენაზე ან მათემატიკური ფორმულების სერიის სახით. Sims, რომელიც ახდენს პერსონაჟის ყოველდღიური რუტინის სიმულაციას, ამატებს გამოთვლის დამატებით ფენას - აგენტი იღებს "მოტივაციის" სერიას, რომელიც გავლენას ახდენს სასარგებლო რეიტინგებზე. თუ პერსონაჟი მშიერია, დროთა განმავლობაში ის კიდევ უფრო მშიერი გახდება და EatFood მოქმედების სასარგებლო მნიშვნელობა გაიზრდება მანამ, სანამ პერსონაჟი არ შეასრულებს მას, შეამცირებს შიმშილის დონეს და დააბრუნებს EatFood მნიშვნელობას ნულამდე.

რეიტინგის სისტემაზე დაფუძნებული მოქმედებების შერჩევის იდეა საკმაოდ მარტივია, ამიტომ Utility-ზე დაფუძნებული სისტემა შეიძლება გამოყენებულ იქნას როგორც AI გადაწყვეტილების მიღების პროცესების ნაწილი, ვიდრე მათი სრული შემცვლელი. გადაწყვეტილების ხემ შეიძლება მოითხოვოს ორი ბავშვის კვანძის სასარგებლო რეიტინგი და შეარჩიოს უფრო მაღალი. ანალოგიურად, ქცევის ხეს შეიძლება ჰქონდეს კომპოზიციური Utility კვანძი, რათა შეაფასოს მოქმედებების სარგებლიანობა, რათა გადაწყვიტოს რომელი ბავშვი შეასრულოს.

მოძრაობა და ნავიგაცია

წინა მაგალითებში გვქონდა პლატფორმა, რომელიც მარცხნივ ან მარჯვნივ გადავინაცვლეთ და მცველი, რომელიც პატრულირებდა ან თავს ესხმოდა. მაგრამ ზუსტად როგორ გავუმკლავდეთ აგენტის მოძრაობას გარკვეული პერიოდის განმავლობაში? როგორ დავაყენოთ სიჩქარე, როგორ ავიცილოთ თავიდან დაბრკოლებები და როგორ დავგეგმოთ მარშრუტი, როცა დანიშნულების ადგილამდე მისვლა უფრო რთულია, ვიდრე უბრალოდ სწორი ხაზით მოძრაობა? მოდით შევხედოთ ამას.

მენეჯმენტი

საწყის ეტაპზე, ჩვენ ვივარაუდებთ, რომ თითოეულ აგენტს აქვს სიჩქარის მნიშვნელობა, რომელიც მოიცავს რამდენად სწრაფად მოძრაობს და რა მიმართულებით. მისი გაზომვა შესაძლებელია წამში მეტრებში, კილომეტრებში საათში, პიქსელებში და ა.შ. Sense/Think/Act მარყუჟის გახსენებით, შეგვიძლია წარმოვიდგინოთ, რომ Think ნაწილი ირჩევს სიჩქარეს, ხოლო Act ნაწილი მიმართავს ამ სიჩქარეს აგენტზე. როგორც წესი, თამაშებს აქვთ ფიზიკის სისტემა, რომელიც ასრულებს ამ დავალებას თქვენთვის, სწავლობს თითოეული ობიექტის სიჩქარის მნიშვნელობას და არეგულირებს მას. ამიტომ, თქვენ შეგიძლიათ დატოვოთ AI ერთი დავალება - გადაწყვიტოთ რა სიჩქარე უნდა ჰქონდეს აგენტს. თუ იცით სად უნდა იყოს აგენტი, მაშინ თქვენ უნდა გადაიტანოთ იგი სწორი მიმართულებით დადგენილი სიჩქარით. ძალიან ტრივიალური განტოლება:

სასურველი_მოგზაურობა = დანიშნულების_პოზიცია – აგენტის_პოზიცია

წარმოიდგინეთ 2D სამყარო. აგენტი არის წერტილში (-2,-2), დანიშნულება არის სადღაც ჩრდილო-აღმოსავლეთით წერტილში (30, 20) და აგენტისთვის საჭირო გზა არის (32, 22). ვთქვათ, ეს პოზიციები იზომება მეტრებში - თუ აგენტის სიჩქარეს ავიღებთ 5 მეტრ წამში, მაშინ გავაფართოვებთ ჩვენი გადაადგილების ვექტორს და მივიღებთ დაახლოებით (4.12, 2.83) სიჩქარეს. ამ პარამეტრებით აგენტი დანიშნულების ადგილზე თითქმის 8 წამში მივიდოდა.

მნიშვნელობების ხელახლა გამოთვლა შეგიძლიათ ნებისმიერ დროს. თუ აგენტი სამიზნემდე იყო ნახევრად, მოძრაობა იქნებოდა სიგრძის ნახევარი, მაგრამ ვინაიდან აგენტის მაქსიმალური სიჩქარეა 5 მ/წმ (ეს ზემოთ გადავწყვიტეთ), სიჩქარე იგივე იქნება. ეს ასევე მუშაობს მოძრავი სამიზნეებისთვის, რაც საშუალებას აძლევს აგენტს შეიტანოს მცირე ცვლილებები მათი გადაადგილებისას.

მაგრამ ჩვენ გვსურს მეტი ვარიაცია - მაგალითად, ნელ-ნელა გავზარდოთ სიჩქარის სიმულაცია დგომიდან სირბილზე გადასული პერსონაჟის. იგივე შეიძლება გაკეთდეს ბოლოს შეჩერებამდე. ეს მახასიათებლები ცნობილია როგორც საჭის ქცევები, რომელთაგან თითოეულს აქვს კონკრეტული სახელები: ძიება, გაქცევა, ჩამოსვლა და ა.შ. იდეა არის ის, რომ აჩქარების ძალები შეიძლება გამოყენებულ იქნას აგენტის სიჩქარეზე, აგენტის პოზიციისა და მიმდინარე სიჩქარის დანიშნულების ადგილზე შედარების საფუძველზე. რათა გამოიყენონ მიზნისკენ გადასვლის სხვადასხვა მეთოდი.

თითოეულ ქცევას აქვს ოდნავ განსხვავებული მიზანი. ძიება და ჩამოსვლა არის აგენტის დანიშნულების ადგილზე გადატანის გზები. დაბრკოლებების თავიდან აცილება და განცალკევება არეგულირებს აგენტის მოძრაობას, რათა თავიდან აიცილოს დაბრკოლებები მიზნისკენ მიმავალ გზაზე. გასწორება და თანმიმდევრულობა ინარჩუნებს აგენტებს ერთად მოძრაობას. ნებისმიერი რაოდენობის სხვადასხვა საჭის ქცევა შეიძლება შეჯამდეს ერთი ბილიკის ვექტორის შესაქმნელად ყველა ფაქტორის გათვალისწინებით. აგენტი, რომელიც იყენებს ჩამოსვლას, განცალკევებას და დაბრკოლებების თავიდან აცილების ქცევებს, რათა თავი აარიდოს კედლებს და სხვა აგენტებს. ეს მიდგომა კარგად მუშაობს ღია ადგილებში ზედმეტი დეტალების გარეშე.

უფრო რთულ პირობებში, სხვადასხვა ქცევის დამატება უარესად მუშაობს - მაგალითად, აგენტი შეიძლება კედელში გაიჭედოს ჩამოსვლასა და დაბრკოლებების თავიდან აცილებას შორის კონფლიქტის გამო. ამიტომ, თქვენ უნდა გაითვალისწინოთ ვარიანტები, რომლებიც უფრო რთულია, ვიდრე უბრალოდ ყველა მნიშვნელობის დამატება. გზა ასეთია: ყოველი ქცევის შედეგების დამატების ნაცვლად, შეგიძლიათ განიხილოთ მოძრაობა სხვადასხვა მიმართულებით და აირჩიოთ საუკეთესო ვარიანტი.

თუმცა, რთულ გარემოში ჩიხებითა და არჩევანით, თუ რომელი გზით უნდა წავიდეთ, ჩვენ დაგვჭირდება რაღაც უფრო მოწინავე.

გზის პოვნა

საჭის ქცევა შესანიშნავია მარტივი გადაადგილებისთვის ღია სივრცეში (ფეხბურთის მოედანი ან არენა), სადაც A-დან B-მდე გადასვლა არის სწორი გზა დაბრკოლებების გარშემო მხოლოდ მცირე შემოვლით. რთული მარშრუტებისთვის ჩვენ გვჭირდება ბილიკი, რომელიც არის სამყაროს შესწავლისა და მასში მარშრუტის გადაწყვეტის გზა.

უმარტივესი არის ბადის გამოყენება აგენტის გვერდით მდებარე თითოეულ კვადრატზე და შეაფასეთ, რომელ მათგანს აქვს გადაადგილების უფლება. თუ რომელიმე მათგანი დანიშნულების ადგილია, მაშინ მიჰყევით მარშრუტს თითოეული მოედნიდან წინამდე, სანამ არ მიაღწევთ საწყისს. ეს არის მარშრუტი. წინააღმდეგ შემთხვევაში, გაიმეორეთ პროცესი ახლომდებარე სხვა კვადრატებთან, სანამ არ იპოვით თქვენს დანიშნულებას ან არ ამოიწურება კვადრატები (რაც ნიშნავს, რომ არ არსებობს შესაძლო მარშრუტი). ეს არის ის, რაც ფორმალურად ცნობილია, როგორც Breadth-First Search ან BFS (breadth-first search ალგორითმი). ყოველ ნაბიჯზე ის ყველა მიმართულებით იყურება (აქედან სიგანე, „სიგანე“). საძიებო სივრცე ჰგავს ტალღის ფრონტს, რომელიც მოძრაობს მანამ, სანამ არ მიაღწევს სასურველ ადგილს - საძიებო სივრცე ფართოვდება ყოველ საფეხურზე, სანამ არ შედის ბოლო წერტილი, რის შემდეგაც შესაძლებელია მისი მიკვლევა საწყისამდე.

შედეგად, თქვენ მიიღებთ კვადრატების სიას, რომლებზეც შედგენილია სასურველი მარშრუტი. ეს არის ბილიკი (შესაბამისად, გზამკვლევი) - იმ ადგილების სია, რომლებსაც აგენტი ეწვევა დანიშნულების ადგილის მიდევნებისას.

იმის გათვალისწინებით, რომ ჩვენ ვიცით ყველა კვადრატის პოზიცია მსოფლიოში, ჩვენ შეგვიძლია გამოვიყენოთ საჭის ქცევები ბილიკზე გადასაადგილებლად - კვანძიდან 1-დან 2-მდე, შემდეგ მე-2 კვანძიდან 3-მდე და ა.შ. უმარტივესი ვარიანტია შემდეგი კვადრატის ცენტრისკენ გასვლა, მაგრამ კიდევ უკეთესი ვარიანტია გაჩერდეთ კიდეების შუაგულში მიმდინარე და მომდევნო კვადრატს შორის. ამის გამო, აგენტი შეძლებს მკვეთრ მოხვევებზე კუთხეების მოჭრას.

BFS ალგორითმს ასევე აქვს უარყოფითი მხარეები - ის იკვლევს იმდენ კვადრატს "არასწორი" მიმართულებით, რამდენიც "სწორი" მიმართულებით. აქ უფრო რთული ალგორითმი სახელწოდებით A* (A ვარსკვლავი) ამოქმედდება. ის მუშაობს ანალოგიურად, მაგრამ იმის ნაცვლად, რომ ბრმად შეისწავლოს მეზობლების კვადრატები (შემდეგ მეზობლების მეზობლები, შემდეგ მეზობლების მეზობლების მეზობლები და ასე შემდეგ), ის აგროვებს კვანძებს სიაში და ახარისხებს მათ ისე, რომ შემდეგი გამოკვლეული კვანძი ყოველთვის იყოს რომელიც მიდის უმოკლეს მარშრუტამდე. კვანძები დალაგებულია ევრისტიკის საფუძველზე, რომელიც ითვალისწინებს ორ რამეს - ჰიპოთეტური მარშრუტის „ფასს“ სასურველ მოედანზე (ნებისმიერი მგზავრობის ხარჯების ჩათვლით) და იმის შეფასება, თუ რამდენად შორს არის ეს კვადრატი დანიშნულებიდან (მიკერძოებული ძიების ზონაში). სწორი მიმართულება).

ეს მაგალითი გვიჩვენებს, რომ აგენტი იკვლევს ერთ კვადრატს და ყოველ ჯერზე ირჩევს მიმდებარე კვადრატს, რომელიც ყველაზე პერსპექტიულია. შედეგად მიღებული გზა იგივეა, რაც BFS, მაგრამ პროცესში გათვალისწინებული იყო ნაკლები კვადრატი - რაც დიდ გავლენას ახდენს თამაშის შესრულებაზე.

მოძრაობა ბადის გარეშე

მაგრამ თამაშების უმეტესობა არ არის ასახული ბადეზე და ამის გაკეთება ხშირად შეუძლებელია რეალიზმის შეწირვის გარეშე. კომპრომისებია საჭირო. რა ზომის უნდა იყოს კვადრატები? ძალიან დიდია და ისინი ვერ შეძლებენ სწორად წარმოადგინონ პატარა დერეფნები ან მოხვევები, ძალიან პატარა და იქნება ძალიან ბევრი კვადრატი მოსაძებნად, რასაც საბოლოოდ დიდი დრო დასჭირდება.

პირველი, რაც უნდა გვესმოდეს, არის ის, რომ mesh გვაძლევს დაკავშირებული კვანძების გრაფიკს. A* და BFS ალგორითმები რეალურად მუშაობს გრაფიკებზე და საერთოდ არ აინტერესებთ ჩვენი ბადე. ჩვენ შეგვიძლია დავაყენოთ კვანძები თამაშის სამყაროში ნებისმიერ ადგილას: სანამ არის კავშირი ნებისმიერ ორ დაკავშირებულ კვანძს შორის, ასევე საწყის და დასასრულ წერტილებს და მინიმუმ ერთ კვანძს შორის, ალგორითმი იმუშავებს ისევე, როგორც ადრე. მას ხშირად უწოდებენ საგზაო წერტილების სისტემას, რადგან თითოეული კვანძი წარმოადგენს მნიშვნელოვან პოზიციას მსოფლიოში, რომელიც შეიძლება იყოს ნებისმიერი რაოდენობის ჰიპოთეტური ბილიკის ნაწილი.

მაგალითი 1: კვანძი თითოეულ კვადრატში. ძიება იწყება იმ კვანძიდან, სადაც აგენტი მდებარეობს და მთავრდება სასურველი კვადრატის კვანძთან.

მაგალითი 2: კვანძების უფრო მცირე ნაკრები (გზის წერტილები). ძიება იწყება აგენტის მოედანზე, გადის კვანძების საჭირო რაოდენობას და შემდეგ გრძელდება დანიშნულების ადგილამდე.

ეს არის სრულიად მოქნილი და ძლიერი სისტემა. მაგრამ გარკვეული სიფრთხილეა საჭირო იმის გადასაწყვეტად, თუ სად და როგორ უნდა განთავსდეს გზა, წინააღმდეგ შემთხვევაში აგენტებმა შეიძლება უბრალოდ ვერ დაინახონ უახლოესი წერტილი და ვერ შეძლონ გზის დაწყება. უფრო ადვილი იქნება, თუ ჩვენ შევძლებთ ავტომატურად განვათავსოთ საგზაო წერტილები სამყაროს გეომეტრიის მიხედვით.

აქ ჩნდება ნავიგაციის ბადე ან ნავმეში (ნავიგაციის ბადე). ეს, როგორც წესი, სამკუთხედების 2D ბადეა, რომელიც გადახურულია მსოფლიოს გეომეტრიაზე - იქ, სადაც აგენტს სიარულის უფლება აქვს. ბადის თითოეული სამკუთხედი ხდება კვანძი გრაფაში და აქვს სამამდე მიმდებარე სამკუთხედი, რომლებიც იქცევიან გრაფაში მიმდებარე კვანძებად.

ეს სურათი არის მაგალითი Unity ძრავიდან - მან გააანალიზა გეომეტრია მსოფლიოში და შექმნა ნავმეში (სკრინშოტში ღია ლურჯი). ნავმეშში თითოეული მრავალკუთხედი არის ტერიტორია, სადაც აგენტს შეუძლია დადგეს ან გადავიდეს ერთი მრავალკუთხედიდან მეორე პოლიგონზე. ამ მაგალითში, პოლიგონები უფრო მცირეა ვიდრე სართულები, რომლებზეც ისინი მდებარეობს - ეს კეთდება იმისათვის, რომ გავითვალისწინოთ აგენტის ზომა, რომელიც გაგრძელდება მისი ნომინალური პოზიციის მიღმა.

ჩვენ შეგვიძლია მოვძებნოთ მარშრუტი ამ ქსელის მეშვეობით, ისევ A* ალგორითმის გამოყენებით. ეს მოგვცემს თითქმის სრულყოფილ მარშრუტს მსოფლიოში, რომელიც ითვალისწინებს მთელ გეომეტრიას და არ საჭიროებს ზედმეტ კვანძებს და გზის წერტილების შექმნას.

ბილიკის ძებნა ძალიან ფართო თემაა, რომლისთვისაც სტატიის ერთი ნაწილი საკმარისი არ არის. თუ გსურთ მისი უფრო დეტალურად შესწავლა, მაშინ ეს დაგეხმარებათ Amit Patel ვებსაიტზე.

დაგეგმვა

გზადაგზა ვისწავლეთ, რომ ზოგჯერ საკმარისი არ არის მხოლოდ მიმართულების არჩევა და გადაადგილება - ჩვენ უნდა ავირჩიოთ მარშრუტი და გავაკეთოთ რამდენიმე შემობრუნება სასურველ დანიშნულებამდე მისასვლელად. ჩვენ შეგვიძლია განვაზოგადოთ ეს იდეა: მიზნის მიღწევა არ არის მხოლოდ შემდეგი ნაბიჯი, არამედ მთელი თანმიმდევრობა, სადაც ზოგჯერ საჭიროა რამდენიმე ნაბიჯის წინ გადახედვა, რათა გაარკვიოთ, რა უნდა იყოს პირველი. ამას ჰქვია დაგეგმვა. ბილიკის ძიება შეიძლება ჩაითვალოს დაგეგმვის რამდენიმე გაფართოებად. ჩვენი გრძნობა/აზროვნება/მოქმედების ციკლის თვალსაზრისით, ეს არის ის ადგილი, სადაც Think ნაწილი გეგმავს მრავალი აქტის ნაწილს მომავლისთვის.

მოდით შევხედოთ სამაგიდო თამაშის მაგალითს Magic: The Gathering. ჩვენ პირველ რიგში მივდივართ ბარათების შემდეგი ნაკრებით ხელში:

• ჭაობი - აძლევს 1 შავ მანას (მიწის ბარათს).
• ტყე - აძლევს 1 მწვანე მანას (მიწის ბარათს).
• გაქცეული ოსტატი - გამოძახებისთვის საჭიროა 1 ლურჯი მანა.
• Elvish Mystic - მოითხოვს 1 მწვანე მანას გამოძახებას.

ჩვენ უგულებელვყოფთ დარჩენილ სამ ბარათს, რათა გაადვილდეს. წესების მიხედვით, მოთამაშეს უფლება აქვს ითამაშოს 1 მიწის კარტი თითო მორიგეობაში, მას შეუძლია „დაეკრა“ ამ ბარათს, რათა მისგან მანა ამოიღოს, შემდეგ კი შელოცვები (მათ შორის არსების გამოძახება) მანის რაოდენობის მიხედვით. ამ სიტუაციაში, ადამიანმა მოთამაშემ იცის ფორესტის თამაში, შეეხეთ 1 მწვანე მანას და შემდეგ გამოიძახოს ელვიშ მისტიკი. მაგრამ როგორ შეუძლია თამაშის AI-ს გარკვევა?

მარტივი დაგეგმვა

ტრივიალური მიდგომაა ყოველი ქმედება რიგრიგობით სცადოთ, სანამ შესაფერისი არ დარჩება. ბარათების დათვალიერებით, AI ხედავს რისი თამაში შეუძლია Swamp-ს. და ის თამაშობს. დარჩა თუ არა სხვა მოქმედებები ამ მხრივ? მას არ შეუძლია გამოიძახოს არც ელვიში მისტიკოსი და არც გაქცეული ჯადოქარი, რადგან მათ უნდა გამოიძახონ შესაბამისად მწვანე და ლურჯი მანა, ხოლო Swamp მხოლოდ შავ მანას უზრუნველყოფს. და ის ვეღარ ითამაშებს ტყის, რადგან უკვე ითამაშა ჭაობი. ამდენად, თამაში AI დაიცავდა წესებს, მაგრამ ეს ცუდად გააკეთა. შეიძლება გაუმჯობესდეს.

დაგეგმვაში შეგიძლიათ იპოვოთ მოქმედებების სია, რომლებიც თამაშს სასურველ მდგომარეობამდე მიიყვანს. ისევე, როგორც ბილიკზე ყველა კვადრატს ჰყავდა მეზობლები (ბილიკების ძიებაში), გეგმის ყველა მოქმედებას ასევე ჰყავს მეზობლები ან მემკვიდრეები. ჩვენ შეგვიძლია მოვძებნოთ ეს მოქმედებები და შემდგომი მოქმედებები, სანამ არ მივაღწევთ სასურველ მდგომარეობას.

ჩვენს მაგალითში სასურველი შედეგია „შეძლებისდაგვარად არსების გამოძახება“. შემობრუნების დასაწყისში ჩვენ ვხედავთ მხოლოდ ორ შესაძლო მოქმედებას, რომელიც დაშვებულია თამაშის წესებით:

1. ითამაშეთ Swamp (შედეგი: Swamp თამაშში)
2. ითამაშეთ Forest (შედეგი: ტყე თამაშში)

ყოველი განხორციელებული ქმედება შეიძლება გამოიწვიოს შემდგომი ქმედებები და დახუროს სხვები, ისევ თამაშის წესებიდან გამომდინარე. წარმოიდგინეთ, რომ ჩვენ ვითამაშეთ Swamp - ეს ამოიღებს Swamp-ს, როგორც მომდევნო საფეხურს (ჩვენ უკვე ვითამაშეთ), და ასევე წაშლის Forest-ს (რადგან წესების მიხედვით შეგიძლიათ ითამაშოთ თითო მიწის კარტი თითო ტურში). ამის შემდეგ, AI ამატებს 1 შავი მანის მიღებას, როგორც შემდეგ ეტაპზე, რადგან სხვა ვარიანტები არ არის. თუ ის გააგრძელებს და აირჩევს Tap the Swamp-ს, მიიღებს 1 ერთეულ შავ მანას და ვერაფერს გააკეთებს.

1. ითამაშეთ Swamp (შედეგი: Swamp თამაშში)
1.1 „ტაპ“ ჭაობი (შედეგი: ჭაობი „დასხდა“, +1 ერთეული შავი მანა)
ქმედებები არ არის ხელმისაწვდომი - END
2. ითამაშეთ Forest (შედეგი: ტყე თამაშში)

მოქმედებების სია მოკლე იყო, ჩიხში მივედით. ჩვენ ვიმეორებთ პროცესს შემდეგი ეტაპისთვის. ჩვენ ვთამაშობთ Forest-ს, ვხსნით აქციას „მიიღეთ 1 მწვანე მანა“, რომელიც თავის მხრივ გახსნის მესამე მოქმედებას - გამოიძახეთ ელვიშ მისტიკი.

1. ითამაშეთ Swamp (შედეგი: Swamp თამაშში)
1.1 „ტაპ“ ჭაობი (შედეგი: ჭაობი „დასხდა“, +1 ერთეული შავი მანა)
ქმედებები არ არის ხელმისაწვდომი - END
2. ითამაშეთ Forest (შედეგი: ტყე თამაშში)
2.1 "ტაპ" ტყე (შედეგი: ტყე არის "დაწეული", +1 ერთეული მწვანე მანა)
2.1.1 ელვიში მისტიკის გამოძახება (შედეგი: ელვის მისტიკი თამაშში, -1 მწვანე მანა)
ქმედებები არ არის ხელმისაწვდომი - END

დაბოლოს, ჩვენ გამოვიკვლიეთ ყველა შესაძლო მოქმედება და ვიპოვეთ გეგმა, რომელიც იძახებს არსებას.

ეს არის ძალიან გამარტივებული მაგალითი. მიზანშეწონილია აირჩიოთ საუკეთესო შესაძლო გეგმა და არა რაიმე გეგმა, რომელიც აკმაყოფილებს გარკვეულ კრიტერიუმებს. ზოგადად შესაძლებელია პოტენციური გეგმების შეფასება მათი განხორციელების შედეგის ან საერთო სარგებლის საფუძველზე. თქვენ შეგიძლიათ დააგროვოთ 1 ქულა მიწის კარტის სათამაშოდ და 3 ქულა არსების გამოძახებისთვის. Swamp-ის თამაში იქნება 1 პუნქტიანი გეგმა. და თამაში Forest → Tap the Forest → გამოძახება Elvish Mystic დაუყოვნებლივ მოგცემთ 4 ქულას.

ასე მუშაობს დაგეგმვა Magic: The Gathering-ში, მაგრამ იგივე ლოგიკა მოქმედებს სხვა სიტუაციებში. მაგალითად, ლომბარდის გადატანა, რათა ეპისკოპოსს ჭადრაკში გადაადგილება მოეხსნა. ან დაიფარეთ კედლის უკან, რომ უსაფრთხოდ გადაიღოთ XCOM-ში ასე. ზოგადად, თქვენ გესმით იდეა.

გაუმჯობესებული დაგეგმვა

ზოგჯერ ძალიან ბევრი პოტენციური ქმედებაა ყველა შესაძლო ვარიანტის გასათვალისწინებლად. დავუბრუნდეთ მაგალითს Magic: The Gathering-ით: ვთქვათ, რომ თამაშში და თქვენს ხელში არის რამდენიმე მიწის და არსების ბარათი - სვლების შესაძლო კომბინაციების რაოდენობა შეიძლება იყოს ათეულობით. პრობლემის რამდენიმე გამოსავალი არსებობს.

პირველი მეთოდი უკუღმა ჯაჭვობაა. იმის ნაცვლად, რომ სცადოთ ყველა კომბინაცია, უმჯობესია დაიწყოთ საბოლოო შედეგით და შეეცადოთ იპოვოთ პირდაპირი მარშრუტი. იმის ნაცვლად, რომ ხის ფესვიდან კონკრეტულ ფოთოლზე გადავიდეთ, საპირისპირო მიმართულებით - ფოთლიდან ფესვისკენ მივდივართ. ეს მეთოდი უფრო მარტივი და სწრაფია.

თუ მტერს აქვს 1 ჯანმრთელობა, შეგიძლიათ იპოვოთ "გარიგება 1 ან მეტი ზიანის" გეგმა. ამის მისაღწევად, მთელი რიგი პირობები უნდა დაკმაყოფილდეს:

1. ზიანი შეიძლება მიაყენოს შელოცვას - ის უნდა იყოს ხელში.
2. შელოცვისთვის საჭიროა მანა.
3. მანას მისაღებად, თქვენ უნდა ითამაშოთ land card.
4. მიწის კარტის სათამაშოდ, ის უნდა გქონდეს ხელში.

კიდევ ერთი გზა არის საუკეთესო ძიება. იმის ნაცვლად, რომ ვცადოთ ყველა გზა, ვირჩევთ ყველაზე შესაფერისს. ყველაზე ხშირად, ეს მეთოდი იძლევა ოპტიმალურ გეგმას ძებნის ზედმეტი ხარჯების გარეშე. A* არის საუკეთესო პირველი ძიების ფორმა - თავიდანვე ყველაზე პერსპექტიული მარშრუტების შესწავლით, მას უკვე შეუძლია საუკეთესო გზის პოვნა სხვა ვარიანტების შემოწმების გარეშე.

საინტერესო და სულ უფრო პოპულარული საუკეთესო პირველი საძიებო ვარიანტია Monte Carlo Tree Search. იმის ნაცვლად, რომ გამოიცნოს რომელი გეგმები სჯობს სხვებს ყოველი მომდევნო მოქმედების არჩევისას, ალგორითმი ირჩევს შემთხვევით მემკვიდრეებს ყოველ საფეხურზე, სანამ ის ბოლომდე არ მიაღწევს (როდესაც გეგმა მოჰყვა გამარჯვებას ან დამარცხებას). საბოლოო შედეგი შემდეგ გამოიყენება წინა ვარიანტების წონის გასაზრდელად ან შესამცირებლად. ამ პროცესის ზედიზედ რამდენჯერმე გამეორებით, ალგორითმი იძლევა კარგ შეფასებას იმის შესახებ, თუ რა არის საუკეთესო შემდეგი ნაბიჯი, მაშინაც კი, თუ სიტუაცია შეიცვლება (თუ მტერი მიიღებს ზომებს მოთამაშეში ჩარევისთვის).

არცერთი ამბავი თამაშებში დაგეგმვის შესახებ არ იქნებოდა სრულყოფილი მიზნებზე ორიენტირებული სამოქმედო დაგეგმვის ან GOAP-ის (მიზნებზე ორიენტირებული სამოქმედო დაგეგმვის) გარეშე. ეს არის ფართოდ გამოყენებული და განხილული მეთოდი, მაგრამ გარდა რამდენიმე განმასხვავებელი დეტალისა, ეს არსებითად არის უკანა ჯაჭვის მეთოდი, რომელზეც ადრე ვისაუბრეთ. თუ მიზანი იყო "მოთამაშის განადგურება" და მოთამაშე საფარს მიღმა დგას, გეგმა შეიძლება იყოს: გაანადგურე ყუმბარით → მიიღე → გადააგდე.

როგორც წესი, არსებობს რამდენიმე მიზანი, თითოეულს აქვს საკუთარი პრიორიტეტი. თუ უმაღლესი პრიორიტეტული მიზნის დასრულება შეუძლებელია (მოქმედებების არცერთი კომბინაცია არ ქმნის „მოთამაშის მოკვლას“ გეგმას, რადგან მოთამაშე არ ჩანს), AI დაუბრუნდება ქვედა პრიორიტეტულ მიზნებს.

ტრენინგი და ადაპტაცია

ჩვენ უკვე ვთქვით, რომ თამაშის AI ჩვეულებრივ არ იყენებს მანქანურ სწავლებას, რადგან ის არ არის შესაფერისი აგენტების რეალურ დროში მართვისთვის. მაგრამ ეს არ ნიშნავს იმას, რომ ამ ტერიტორიიდან რაიმეს სესხება არ შეიძლება. ჩვენ გვსურს მოწინააღმდეგე მსროლელში, რომლიდანაც რაღაცის სწავლა შეგვიძლია. მაგალითად, გაიგეთ საუკეთესო პოზიციების შესახებ რუკაზე. ან საბრძოლო თამაშში მოწინააღმდეგე, რომელიც დაბლოკავს მოთამაშის ხშირად გამოყენებულ კომბინაციურ სვლებს, რაც მოტივაციას უქმნის მას გამოიყენოს სხვები. ასე რომ, მანქანათმცოდნეობა შეიძლება საკმაოდ სასარგებლო იყოს ასეთ სიტუაციებში.

სტატისტიკა და ალბათობა

სანამ რთულ მაგალითებს შევეხებით, ვნახოთ, რამდენად შორს შეიძლება მივიდეთ რამდენიმე მარტივი გაზომვით და მათი გამოყენებით გადაწყვეტილების მისაღებად. მაგალითად, რეალურ დროში სტრატეგია - როგორ განვსაზღვროთ შეუძლია თუ არა მოთამაშეს შეტევა თამაშის პირველ წუთებში და რა დაცვა უნდა მოემზადოს ამის წინააღმდეგ? ჩვენ შეგვიძლია შევისწავლოთ მოთამაშის წარსული გამოცდილება, რათა გავიგოთ, რა შეიძლება იყოს მომავალი რეაქციები. დასაწყისისთვის, ჩვენ არ გვაქვს ასეთი ნედლეული მონაცემები, მაგრამ შეგვიძლია შევაგროვოთ ისინი - ყოველ ჯერზე, როდესაც AI თამაშობს ადამიანის წინააღმდეგ, მას შეუძლია ჩაწეროს პირველი შეტევის დრო. რამდენიმე სესიის შემდეგ ჩვენ მივიღებთ საშუალოდ იმ დროს, რომელიც დასჭირდება მოთამაშეს მომავალში შეტევისთვის.

ასევე პრობლემაა საშუალო მნიშვნელობებთან დაკავშირებით: თუ მოთამაშემ 20-ჯერ იჩქარა და 20-ჯერ ნელა ითამაშა, მაშინ საჭირო მნიშვნელობები იქნება სადღაც შუაში და ეს არაფერს მოგვცემს სასარგებლოს. ერთი გამოსავალი არის შეყვანის მონაცემების შეზღუდვა - ბოლო 20 ცალი შეიძლება იყოს გათვალისწინებული.

მსგავსი მიდგომა გამოიყენება გარკვეული მოქმედებების ალბათობის შეფასებისას, იმის დაშვებით, რომ მოთამაშის წარსული პრეფერენციები იგივე იქნება მომავალში. თუ მოთამაშე ხუთჯერ თავს დაესხმება ცეცხლსასროლი ბურთით, ორჯერ ელვისებურით და ერთხელაც მელეით, აშკარაა, რომ მას ცეცხლოვანი ბურთი ურჩევნია. მოდით ექსტრაპოლაცია და ვნახოთ სხვადასხვა იარაღის გამოყენების ალბათობა: fireball=62,5%, ელვა=25% და melee=12,5%. ჩვენი თამაში AI უნდა მოემზადოს ხანძრისგან თავის დასაცავად.

კიდევ ერთი საინტერესო მეთოდია Naive Bayes Classifier-ის გამოყენება დიდი რაოდენობით შეყვანის მონაცემების შესასწავლად და სიტუაციის კლასიფიკაციისთვის, რათა AI რეაგირებს სასურველი გზით. Bayesian კლასიფიკატორები ყველაზე ცნობილია ელ.ფოსტის სპამის ფილტრებში გამოყენებისთვის. იქ ისინი იკვლევენ სიტყვებს, ადარებენ მათ იმ ადგილს, სადაც ეს სიტყვები ადრე გამოჩნდა (სპამში თუ არა) და აკეთებენ დასკვნებს შემომავალი ელ.წერილების შესახებ. ჩვენ შეგვიძლია იგივე გავაკეთოთ, თუნდაც ნაკლები შეყვანით. ყველა სასარგებლო ინფორმაციის საფუძველზე, რომელსაც AI ხედავს (როგორიცაა მტრის რა დანაყოფები იქმნება, ან რა შელოცვებს იყენებენ, ან რა ტექნოლოგიებს გამოიკვლიეს) და საბოლოო შედეგზე (ომი ან მშვიდობა, ჩქარობა ან დაცვა და ა.შ.) - ჩვენ ავირჩევთ სასურველ AI ქცევას.

ტრენინგის ყველა ეს მეთოდი საკმარისია, მაგრამ მიზანშეწონილია მათი გამოყენება ტესტირების მონაცემების საფუძველზე. ხელოვნური ინტელექტი შეისწავლის ადაპტირებას სხვადასხვა სტრატეგიებთან, რომლებსაც თქვენი მოთამაშეები იყენებდნენ. AI, რომელიც მოერგება მოთამაშეს გამოშვების შემდეგ, შეიძლება გახდეს ძალიან პროგნოზირებადი ან ძალიან რთული დასამარცხებელი.

ღირებულებაზე დაფუძნებული ადაპტაცია

ჩვენი თამაშის სამყაროს შინაარსისა და წესების გათვალისწინებით, ჩვენ შეგვიძლია შევცვალოთ მნიშვნელობების ნაკრები, რომლებიც გავლენას ახდენენ გადაწყვეტილების მიღებაზე, ვიდრე უბრალოდ შეყვანის მონაცემების გამოყენება. ჩვენ ამას ვაკეთებთ:

• მიეცით საშუალება AI-ს შეაგროვოს მონაცემები თამაშის დროს მსოფლიოს მდგომარეობისა და ძირითადი მოვლენების შესახებ (როგორც ზემოთ).
• მოდით შევცვალოთ რამდენიმე მნიშვნელოვანი მნიშვნელობა ამ მონაცემებზე დაყრდნობით.
• ჩვენ ვახორციელებთ ჩვენს გადაწყვეტილებებს ამ ღირებულებების დამუშავების ან შეფასების საფუძველზე.

მაგალითად, აგენტს აქვს რამდენიმე ოთახი ასარჩევად პირველი პირის მსროლელ რუკაზე. თითოეულ ოთახს აქვს თავისი ღირებულება, რომელიც განსაზღვრავს რამდენად სასურველია მისი მონახულება. ხელოვნური ინტელექტი შემთხვევითად ირჩევს რომელ ოთახში წავიდეს ღირებულების მიხედვით. შემდეგ აგენტი ახსოვს, რომელ ოთახში მოკლეს და ამცირებს მის ღირებულებას (ახალ დაბრუნების ალბათობას). ანალოგიურად საპირისპირო სიტუაციისთვის - თუ აგენტი ანადგურებს ბევრ მოწინააღმდეგეს, მაშინ ოთახის ღირებულება იზრდება.

მარკოვის მოდელი

რა მოხდება, თუ შეგროვებულ მონაცემებს გამოვიყენებთ პროგნოზების გასაკეთებლად? თუ გავიხსენებთ თითოეულ ოთახს, რომელშიც მოთამაშეს ვხედავთ გარკვეული პერიოდის განმავლობაში, ჩვენ ვიწინასწარმეტყველებთ, რომელ ოთახში შეიძლება წავიდეს მოთამაშე. მოთამაშის მოძრაობების თვალყურის დევნებით და ჩაწერით ოთახებში (მნიშვნელობებზე), ჩვენ შეგვიძლია მათი პროგნოზირება.

ავიღოთ სამი ოთახი: წითელი, მწვანე და ლურჯი. და ასევე დაკვირვებები, რომლებიც ჩავწერეთ თამაშის სესიის ყურებისას:

თითოეულ ოთახში დაკვირვების რაოდენობა თითქმის თანაბარია - ჩვენ ჯერ კიდევ არ ვიცით სად უნდა გავაკეთოთ კარგი ადგილი ჩასაფრებისთვის. სტატისტიკის შეგროვება ასევე გართულებულია მოთამაშეების ხელახალი გამრავლებით, რომლებიც თანაბრად ჩნდებიან რუკაზე. მაგრამ რუკაზე გამოჩენის შემდეგ შემდეგი ოთახის მონაცემები უკვე გამოსადეგია.

ჩანს, რომ მწვანე ოთახი მოთამაშეებს უხდება - ადამიანების უმეტესობა წითელი ოთახიდან მასში გადადის, რომელთაგან 50% შემდგომში რჩება. ცისფერი ოთახი, პირიქით, არ არის პოპულარული, თითქმის არავინ დადის და თუ მიდის, დიდხანს არ ჩერდებიან.

მაგრამ მონაცემები უფრო მნიშვნელოვანს გვეუბნება - როდესაც მოთამაშე ლურჯ ოთახშია, შემდეგი ოთახი, რომელშიც მას ვხედავთ, იქნება წითელი და არა მწვანე. მიუხედავად იმისა, რომ მწვანე ოთახი უფრო პოპულარულია, ვიდრე წითელი ოთახი, სიტუაცია იცვლება, თუ მოთამაშე იმყოფება ლურჯ ოთახში. შემდეგი მდგომარეობა (ანუ ოთახი, რომელშიც მოთამაშე წავა) დამოკიდებულია წინა მდგომარეობაზე (ანუ ოთახში, რომელშიც მოთამაშე ამჟამად იმყოფება). იმის გამო, რომ ჩვენ ვიკვლევთ დამოკიდებულებებს, უფრო ზუსტ პროგნოზებს გავაკეთებთ, ვიდრე უბრალოდ დამოუკიდებლად დავთვლით დაკვირვებებს.

წარსული მდგომარეობიდან მიღებული მონაცემების საფუძველზე მომავალი მდგომარეობის პროგნოზირებას ეწოდება მარკოვის მოდელი, ხოლო ასეთ მაგალითებს (ოთახებით) ეწოდება მარკოვის ჯაჭვები. ვინაიდან შაბლონები წარმოადგენენ ცვლილებების ალბათობას თანმიმდევრულ მდგომარეობებს შორის, ისინი ვიზუალურად ნაჩვენებია FSM-ების სახით, ყოველი გადასვლის გარშემო ალბათობით. ადრე, ჩვენ ვიყენებდით FSM ქცევის მდგომარეობის წარმოსაჩენად, რომელშიც იყო აგენტი, მაგრამ ეს კონცეფცია ვრცელდება ნებისმიერ მდგომარეობაზე, იქნება ეს აგენტთან ასოცირებული თუ არა. ამ შემთხვევაში, სახელმწიფოები წარმოადგენს ოთახს, რომელსაც აგენტი იკავებს:

ეს არის მდგომარეობის ცვლილებების შედარებითი ალბათობების წარმოდგენის მარტივი გზა, რაც AI-ს აძლევს შემდეგი მდგომარეობის პროგნოზირების გარკვეულ უნარს. თქვენ შეგიძლიათ წინასწარ განსაზღვროთ რამდენიმე ნაბიჯი.

თუ მოთამაშე იმყოფება მწვანე ოთახში, არის 50% შანსი, რომ ის იქ დარჩეს შემდეგ ჯერზე დაკვირვებისას. მაგრამ რა არის იმის შანსები, რომ მას შემდეგაც იქ დარჩეს? არა მხოლოდ არის იმის შანსი, რომ მოთამაშე მწვანე ოთახში დარჩენილიყო ორი დაკვირვების შემდეგ, არამედ არის იმის შანსიც, რომ წავიდეს და დაბრუნდეს. აქ არის ახალი ცხრილი ახალი მონაცემების გათვალისწინებით:

ეს აჩვენებს, რომ ორი დაკვირვების შემდეგ მოთამაშის ხილვის შანსი მწვანე ოთახში იქნება 51% - 21% რომ ის იქნება წითელი ოთახიდან, 5% რომ მოთამაშე ეწვევა მათ შორის არსებულ ლურჯ ოთახს და 25% რომ მოთამაშე არ დატოვებს მწვანე ოთახს.

ცხრილი უბრალოდ ვიზუალური ინსტრუმენტია - პროცედურა მხოლოდ თითოეულ საფეხურზე ალბათობების გამრავლებას მოითხოვს. ეს ნიშნავს, რომ თქვენ შეგიძლიათ შეხედოთ შორს მომავალს ერთი სიფრთხილით: ჩვენ ვვარაუდობთ, რომ ოთახში შესვლის შანსი მთლიანად დამოკიდებულია არსებულ ოთახში. ამას მარკოვის საკუთრება ჰქვია - მომავალი მდგომარეობა მხოლოდ აწმყოზეა დამოკიდებული. მაგრამ ეს არ არის ასი პროცენტით ზუსტი. მოთამაშეებს შეუძლიათ შეცვალონ გადაწყვეტილებები სხვა ფაქტორების მიხედვით: ჯანმრთელობის დონე ან საბრძოლო მასალის რაოდენობა. იმის გამო, რომ ჩვენ არ ვაფიქსირებთ ამ მნიშვნელობებს, ჩვენი პროგნოზები ნაკლებად ზუსტი იქნება.

N-გრამები

რაც შეეხება საბრძოლო თამაშის მაგალითს და მოთამაშის კომბინირებული სვლების პროგნოზირებას? Იგივე! მაგრამ ერთი მდგომარეობის ან მოვლენის ნაცვლად, ჩვენ განვიხილავთ მთელ თანმიმდევრობას, რომლებიც ქმნიან კომბინირებულ დარტყმას.

ამის გაკეთების ერთი გზაა თითოეული შეყვანის შენახვა (როგორიცაა Kick, Punch ან Block) ბუფერში და ჩაწეროთ მთელი ბუფერი, როგორც მოვლენა. ასე რომ, მოთამაშე არაერთხელ აჭერს Kick-ს, Kick-ს, Punch-ს, რომ გამოიყენოს SuperDeathFist შეტევა, AI-სისტემა ინახავს ყველა შენატანს ბუფერში და ახსოვს ბოლო სამი გამოყენებული ყოველი ნაბიჯი.

(სტრიქონი მუქში არის, როდესაც მოთამაშე იწყებს SuperDeathFist შეტევას.)

AI დაინახავს ყველა ვარიანტს, როდესაც მოთამაშე აირჩევს Kick-ს, რასაც მოჰყვება სხვა Kick-ს და შემდეგ შეამჩნევს, რომ შემდეგი შეყვანა ყოველთვის არის Punch. ეს საშუალებას მისცემს აგენტს წინასწარ განსაზღვროს SuperDeathFist-ის კომბინირებული მოძრაობა და დაბლოკოს იგი, თუ ეს შესაძლებელია.

მოვლენების ამ თანმიმდევრობას N-გრამები ეწოდება, სადაც N არის შენახული ელემენტების რაოდენობა. წინა მაგალითში ეს იყო 3-გრამიანი (ტრიგრამა), რაც ნიშნავს: პირველი ორი ჩანაწერი გამოიყენება მესამეს პროგნოზირებისთვის. შესაბამისად, 5-გრამში პირველი ოთხი ჩანაწერი წინასწარმეტყველებს მეხუთეს და ასე შემდეგ.

დიზაინერმა ფრთხილად უნდა აირჩიოს N-გრამის ზომა. პატარა N მოითხოვს ნაკლებ მეხსიერებას, მაგრამ ასევე ინახავს ნაკლებ ისტორიას. მაგალითად, 2 გრამიანი (ბიგრამი) ჩაიწერს Kick, Kick ან Kick, Punch, მაგრამ ვერ შეინახავს Kick, Kick, Punch, ასე რომ AI არ უპასუხებს SuperDeathFist კომბოს.

მეორეს მხრივ, უფრო დიდი რიცხვი მოითხოვს მეტ მეხსიერებას და ხელოვნური ინტელექტის მომზადება უფრო რთული იქნება, რადგან კიდევ ბევრი შესაძლო ვარიანტი იქნება. თუ გქონდათ სამი შესაძლო შეყვანა Kick, Punch ან Block და ჩვენ გამოვიყენებდით 10-გრამს, ეს იქნებოდა დაახლოებით 60 ათასი სხვადასხვა ვარიანტი.

ბიგრამის მოდელი მარტივი მარკოვის ჯაჭვია - ყოველი წარსული მდგომარეობის/მიმდინარე მდგომარეობის წყვილი არის ბიგრამი და თქვენ შეგიძლიათ იწინასწარმეტყველოთ მეორე მდგომარეობა პირველზე დაყრდნობით. 3-გრამიანი და უფრო დიდი N-გრამები ასევე შეიძლება მივიჩნიოთ მარკოვის ჯაჭვებად, სადაც ყველა ელემენტი (გარდა N-გრამის უკანასკნელისა) ერთად ქმნის პირველ მდგომარეობას და ბოლო ელემენტი მეორეს. საბრძოლო თამაშის მაგალითი გვიჩვენებს დარტყმისა და დარტყმის მდგომარეობიდან დარტყმისა და დარტყმის მდგომარეობაზე გადასვლის შანსს. შეყვანის ისტორიის მრავალჯერადი ჩანაწერის ერთ ერთეულად განხილვით, ჩვენ არსებითად ვაქცევთ შეყვანის თანმიმდევრობას მთელი მდგომარეობის ნაწილად. ეს გვაძლევს მარკოვის თვისებას, რომელიც საშუალებას გვაძლევს გამოვიყენოთ მარკოვის ჯაჭვები შემდეგი შეყვანის პროგნოზირებისთვის და გამოვიცნოთ რა კომბინირებული მოძრაობა იქნება შემდეგი.

დასკვნა

ჩვენ ვისაუბრეთ ხელოვნური ინტელექტის განვითარების ყველაზე გავრცელებულ ინსტრუმენტებსა და მიდგომებზე. ჩვენ ასევე განვიხილეთ ის სიტუაციები, რომლებშიც საჭიროა მათი გამოყენება და სადაც ისინი განსაკუთრებით სასარგებლოა.

ეს საკმარისი უნდა იყოს AI თამაშის საფუძვლების გასაგებად. მაგრამ, რა თქმა უნდა, ეს არ არის ყველა მეთოდი. ნაკლებად პოპულარული, მაგრამ არანაკლებ ეფექტური მოიცავს:

• ოპტიმიზაციის ალგორითმები გორაზე ასვლის, გრადიენტული დაღმართის და გენეტიკური ალგორითმების ჩათვლით
• საპირისპირო ძიების/დაგეგმვის ალგორითმები (მინიმქსი და ალფა-ბეტა მორთვა)
• კლასიფიკაციის მეთოდები (პერცეპტრონები, ნერვული ქსელები და დამხმარე ვექტორული მანქანები)
• აგენტების აღქმისა და მეხსიერების დამუშავების სისტემები
• ხელოვნური ხელოვნური ინტელექტისადმი არქიტექტურული მიდგომები (ჰიბრიდული სისტემები, ქვეჯგუფის არქიტექტურები და AI სისტემების გადაფარვის სხვა გზები)
• ანიმაციური ინსტრუმენტები (დაგეგმვა და მოძრაობის კოორდინაცია)
• შესრულების ფაქტორები (დეტალების დონე, ნებისმიერ დროს და დროში მოყვანის ალგორითმები)

ონლაინ რესურსები თემაზე:

1. GameDev.net აქვს განყოფილება სტატიებითა და გაკვეთილებით ხელოვნური ინტელექტის შესახებდა ფორუმი.
2. AiGameDev.com შეიცავს ბევრ პრეზენტაციას და სტატიას თამაშის ხელოვნური ინტელექტის განვითარებასთან დაკავშირებული თემების ფართო სპექტრზე.
3. GDC Vault მოიცავს თემებს GDC AI Summit-დან, რომელთაგან ბევრი ხელმისაწვდომია უფასოდ.
4. სასარგებლო მასალების ნახვა ასევე შეგიძლიათ ვებგვერდზე AI თამაშის პროგრამისტების გილდია.
5. ტომი ტომპსონი, ხელოვნური ინტელექტის მკვლევარი და თამაშების დეველოპერი, აკეთებს ვიდეოებს YouTube-ზე AI და თამაშები კომერციულ თამაშებში ხელოვნური ინტელექტის ახსნა-განმარტებითა და შესწავლით.

წიგნები თემაზე:

1. Game AI Pro წიგნების სერია არის მოკლე სტატიების კრებული, რომელიც განმარტავს, თუ როგორ უნდა განხორციელდეს კონკრეტული ფუნქციები ან როგორ გადაჭრას კონკრეტული პრობლემები.

თამაში AI Pro: თამაშის AI პროფესიონალების შეგროვებული სიბრძნე
თამაში AI Pro 2: თამაშის AI პროფესიონალების შეგროვებული სიბრძნე
თამაში AI Pro 3: თამაშის AI პროფესიონალების შეგროვებული სიბრძნე

2. AI Game Programming Wisdom სერია არის Game AI Pro სერიის წინამორბედი. ის შეიცავს უფრო ძველ მეთოდებს, მაგრამ თითქმის ყველა აქტუალურია დღესაც.

AI Game Programming Wisdom 1
AI Game Programming Wisdom 2
AI Game Programming Wisdom 3
AI Game Programming Wisdom 4

3. ხელოვნური ინტელექტი: თანამედროვე მიდგომა არის ერთ-ერთი ძირითადი ტექსტი ყველასთვის, ვისაც სურს გაიგოს ხელოვნური ინტელექტის ზოგადი სფერო. ეს არ არის წიგნი თამაშის განვითარების შესახებ - ის ასწავლის ხელოვნური ინტელექტის საფუძვლებს.

წყარო: www.habr.com