Как функционира хибридния игрови ИИ и какви са предимствата му

Продължавайки темата, която преди време разгледахме в нашия блог, игровия изкуствен интелект, ще обсъдим доколко приложимо е машинното обучение към него и в каква форма. Чрез опита си и решенията, базирани на него сподели експерт по въпросите на ИИ в Apex Game Tools, Якоб Расмусен.

През последните години се водят много разговори за това, че машинното обучение коренно ще промени игровата индустрия, тъй като тази технология вече е направила пробив в много други цифрови приложения. Но не трябва да забравяме, че игрите са много по сложни от симулатор на автомобилно управление, програма за управление на безпилотник или алгоритми за разпознаване на лица на изображение.

В момента в игровата индустрия все още се използват традиционни методи за ИИ, като методи на крайни автомати, поведенчески дървета и - в последно време все по-често - AI, основан на полезността. Такъв ИИ също така се нарича design-based (изкуствен интелект с дизайн) или експертни системи. Но става все по-очевидно - и най-вече за играчите, - че тези системи все повече не са подходящи за създаване на наистина напреднали противници, които могат да имитират поведението на играчите. Особено това се отнася до креативните решения. Това може да се обясни с факта, че разработчиците на изкуствен интелект не могат да отчетат всички възможни тактики и стратегии на поведение и успешно да ги реализират в традиционните системи на ИИ. За играчите това често води до скука и предсказуемост при играта с противник, чиято линия на поведение лесно се запомня.

Този резултат се дължи на множество причини, но една от основните е неспособността на ИИ да се обучава. Затова, при създаване на изкуствен интелект за противник, логично идва решението за преход към машинно обучение, което е показало отлични резултати в много други приложения. Но има няколко нюанса, които трябва да се вземат предвид. Например, игровият ИИ трябва да може да се адаптира към всяка ситуация и да използва предимствата, които тя му предоставя, а също така да се настрои на различни игрови стилове на противниците - както на живи играчи, така и на други ИИ.

Как стоят нещата сега

Британската компания DeepMind, занимаваща се с разработката на изкуствен интелект, наскоро показа как ИИ могат самостоятелно да се учат да играят игри, да усвояват правилата им и да намират начини за преминаване на играта или победа в нея — засега само на примера на прости игри, като ранните игри. Atari — например, шахматите и японската логическа игра го. Получените резултати показват, че изкуственият интелект може да създаде адекватна оценка на събитията на игралното поле. Но що се отнася до адаптацията на ИИ към различни стилове на игра на противника, резултатите все още не са толкова впечатляващи.

В наши дни невронните мрежи вече са се научили да разпознават изображения и да управляват автомобили. Но тези функции могат да се реализират и чрез сравнително прости архитектури, дори ако в резултат те се окажат доста дълбоки и обширни. Така, ИИ за разпознаване на изображения във Facebook има дълбочина от приблизително 100 слоя, което го прави да наподобява биологичен мозък — по количество и сложност на взаимовръзките между невроните, образуващи една голяма мрежа.

Игрови ИИ

Що се отнася до приложението на машинното обучение в игровата индустрия, тук съществуват редица ограничения, които не винаги позволяват използването на този тип архитектура. Към тях спадат системните изисквания, по-специално свързани с ЦП, които определят способността на компютъра да обработва сложната игрова структура и пригодността му за игрово разказване и геймплей.

Следователно, в много игри не е възможно да се организира необходимото хардуерно оборудване за реализиране на сложна система за изкуствен интелект, особено кластер от сървъри, какъвто съществува, например, за мрежи за разпознаване на изображения във Facebook. Понякога дори е необходимо да работят едновременно няколко AI — не само на компютри, но и на мобилни устройства и на други по-малко мощни платформи. Всичко това налага ограничения върху размера и сложността на архитектурата на машинното обучение, тъй като всички изчисления трябва да се извършват в рамките на 1 или 2 милисекунди. Разбира се, могат да се използват различни технологии за оптимизация и разпределение на натоварването между кадрите, но все пак не е възможно напълно да се отстранят тези ограничения.

Сериозните проблеми за AI могат да произхождат от сложността на играта. В игри като StarCraft II механиката на играта е значително по-сложна, отколкото в игрите на Atari. Поради това не бива да се очаква, че при дадена честота на кадрите и известни системни изисквания машинното обучение ще успее да усвои цялото състояние на играта и да взаимодейства с него. Както играчът често разчита на интуицията си в ранните етапи на играта, така и AI трябва да научи първичната обработка на състоянието на играта, за да опрости по-нататъшното й преминаване. Например, в един от последните API за Starcraft II на картите се показва само информацията, която разработчиците смятат за важна: в единия случай AI е използвал намален изглед на цялата територия на картата, а в другия — подобно на играча, той е могъл да движи камерата, като по този начин възприятието му е било ограничено от информацията на екрана.

Визуализация на играта на AI AlphaStar срещу играча в StarCraft II: на екрана са показани "суровите" наблюдения, активността на невронната мрежа, някои от възможните действия и координати, а също и предполагаемият изход на мача.

Това е особено актуален аспект в контекста на игрите. Често общоприетите методи за решаване на проблеми с машинно обучение не могат да се прилагат към игровия изкуствен интелект. Например, той обикновено не е длъжен да печели или да прави всичко възможно, за да побеждава, както беше в случая с игрите от Atari. По-често ролята на ИИ е да направи играта по-вълнуваща. Той може да се наложи да играе роля и да се държи така, както предполага характерът на героя, за когото носи отговорност. Така, игровите ИИ са по-свързани с геймдизайна и разказването на истории и трябва да имат необходимите инструменти, за да управляват поведението си за постигане на зададената цел. Машинното обучение в чист вид не винаги е подходящо за това - следователно е необходимо да се търси нещо друго.

Практически проблеми с машинното обучение

Тези проблеми възникнаха при разработката на изкуствения интелект на базата на машинното обучение за Unleash, където ИИ трябва да се държат като обикновени играчи - тоест, да бъдат толкова гъвкави и находчиви.

Както и Starcraft II, Unleashed е устроена значително по-сложно от шахматите и го за Atari. Геймплеят е интуитивно разбираем и лесен за усвояване, но за да имаш истински успех, са нужни определени умения за управление на мета. Играчът трябва да построи лабиринти, да изпрати чудовища на враговете и да планира стратегията си в икономиката, атаката и защитата на съоръженията през цялата игра. За това е нужно да блефира и да предвижда ходовете на противниците, както и да управлява психологическата мета - именно тя прави покера нещо повече от просто статистическа игра.

Скриншот от Unleashed

В търсене на най-подходящата архитектура за тези цели, първоначално в играта практически без промяна бяха внедрени технологии като нейроеволюция и дълбочинно обучение и бяха проучени как ще се представят в суров вид като противников ИИ.

Това беше ужасно.

Бързо стана очевидно, че в Unleashed трябва да се решат много глобални проблеми, за които е трудно да се адаптира машинното обучение.

Един от тях е изграждането на ефективен лабиринт. Както в много игри с цел защита на кула, тук играчите трябва да изградят лабиринт около нея, през който да преминат чудовища. Те от своя страна трябва да бъдат унищожени с помощта на оръжия, разположени в лабиринта. В идеалния случай лабиринтът трябва да бъде колкото се може по-дълъг, за да успее да нанесе достатъчно щети на чудовищата и да не им позволи да достигнат кулата. За някои видове оръжия чудовищата са по-уязвими, отколкото за други, затова с цел по-голяма ефективност е добре те да бъдат разположени в лабиринта по-рано от всички останали. Спецификата на Unleash е в това, че не съществува идеален лабиринт: в играта има толкова много видове чудовища, че така или иначе някое от тях безпрепятствено ще премине през определен участък от лабиринта. Всеки лабиринт трябва да бъде адаптиран към новите чудовища, пуснати от другите играчи. Така че, беше нужно не просто да се научи изкуственият интелект да строи лабиринти — трябваше да го научим да създава ефективни лабиринти за различни сценарии, с които може да се сблъска както в ранната, така и в късната версия на играта.

Също така, ИИ трябваше да научи как да прогнозира какви чудовища ще се появят в лабиринта. Това е вид обратна задача спрямо изграждането на лабиринта. Както в много други игри, в Unleash не е достатъчно просто да увеличите армията и да я изпратите в стан врага: необходимо е също така да шпионирате вражеската отбрана и да структурирате войската така, че да нанесе максимално ефективен удар по болевите точки на противника. Армията от чудовища трябва да взаимодейства помежду си, за да успее най-добре да премине през лабиринта. Понякога е необходимо също да се освободят чудовища в определен ред в зависимост от техните функции и роля. Това също увеличава броя на различните комбинации.

Накрая, тъй като играчът трябва както да създава лабиринти, така и да събира армия от чудовища, ИИ също трябва да научи да намира баланс между нападение и защита. Също така е важно да се вземе предвид, че колкото повече играчът увеличава армията от чудовища и колкото повече строи лабиринта, толкова повече ресурси са му нужни за това. Поради това правилната стратегия за нападение е изключително важна както за икономиката по време на играта, така и за победата в нея. За да се осигури конкуренция, ИИ трябва да може да разполага ресурсите си така, че да създаде мощна армия от чудовища, без да поставя под заплаха силата на лабиринта. Инвестирането в максималното количество чудовища може да бъде икономически изгодно, но увеличава риска от завладяване на лабиринта от чудовищата на противника. Обратно, ако се направи залог за укрепване на защитата на лабиринта, това може да отслаби икономиката ви. Нито един от тези сценарии няма да доведе до победа. Така че проблемът с оптимизацията в Unleashed се оказва по-сложен от този в шаха или Starcraft и включва необходимостта от жертване на нещо и изчисляване на ползите ви за няколко хода напред.

С развитието на изкуствения интелект възникват множество преди неотчетени проблеми. Първоначално, ИИ често достигаше определено ниво на развитие, при което започваше да разбира някои аспекти на играта — например, кое оръжие в лабиринта е ефективно срещу конкретни типове чудовища или кои чудовища най-добре преминават определени участъци от лабиринта. Но обучението бе бавно и водеше до формиране на монотонни стратегии.

Необходимостта от паралелни подходи

Докато обучението на изкуствения интелект, базиран на машинно обучение, напредваше бавно и не особено успешно, за другите етапи на тестване и разработка стана необходим по-добър изкуствен интелект и по-надеждни конкурентни AI. За тяхното реализиране беше използвана архитектурата Utility, чрез която могат да се създават специализирани AI за тестване и проверка на качеството на играта, вътрешни тестове и балансиране на оръжия и чудовища, както и за създаване на конкретни лабиринти и чудовища. Въпреки това, по време на разработването на Unleash, създателите също усъвършенстваха уменията си в нейното преминаване и след това решиха да използват придобитите знания за създаване на по-сложен Utility AI. Така стана ясно, че много от проблемите, възникващи в системите на изкуствения интелект, базирани на машинно обучение, могат лесно да се решат с помощта на Utility системи, които използват заложените в тях знания и обратно.

Например, по-ефективните лабиринти е по-добре да се изграждат с помощта на Utility AI, базиран на бази знания, съставени от резултатите на вътрешните тестове. Лесно може да се опише и програмира алгоритъм за изграждане на лабиринт и разположението на оръжията в него по такъв начин, че да бъде по-лесно живият играч да защитава кулата от конкретни чудовища. Но създаването на армия от чудовища на базата на знания за противника се оказа сложна задача за такива AI, тъй като броят на различните условия и комбинации, които трябва да се имат предвид, беше поразителен. С такава архитектура на AI, търсенето на подходящи комплекти чудовища би отнело безкрайно дълго време. При тези ограничения, дълбокото обучение беше идеалното решение за тази задача.

Създаване на хибридни AI

И така, беше решено да се комбинират два подхода, за да се създаде хибридна система за изкуствен интелект, основана на машинно обучение и Utility. Идеята беше, че където е необходимо да се обработят огромен брой комбинации и състояния на играта, или където е нужно да я обучим на нещо, се използва машинното обучение. За други задачи, където е по-добре да се разчита на личния опит на разработчиците, бяха включени системи Utility. Предимството на този подход е, че при необходимост може по-добре да се контролира поведението на ИИ, за да се осигури по-точно спазване на зададената цел. Например, може да се използва Utility ИИ за осигуряване на баланс между атака и защита, като се създадат по този начин различни нива на агресия, или може да се създадат различни конфигурации на лабиринти за различни ИИ, за да се формират индивидуални стилове на игра. Също така, може да се зададат на невронните мрежи определени системи от ценности за формиране на различни предпочитания при подбора на въздушни или наземни чудовища и по този начин също да се добави индивидуалност на отделните ИИ. Има много други опции за реализиране на проектни решения и всички те подчертават силните страни на всеки един вид архитектура на ИИ.

Хибридният подход също бе отговор на друг въпрос, изправил се пред екипа разработчици по време на разработването на изкуствения интелект за Unleash: дали да се прилага единна глобална дълбока невронна мрежа, основана на машинно обучение, за да се вземат предвид всички входни и изходни данни, или е по-добре да се проектира ИИ с йерархична структура?

Две архитектури, използвани в Unleash: отляво — голяма дълбока невронна мрежа с единна архитектура, отдясно — йерархична система, в която всяка мрежа има своя задача.

И все пак, бих искал да се изгради общ подход към системата за изкуствен интелект, в архитектурата на която разработчиците да не влагат собствения си опит. Обаче, колкото повече входове се правеха в играта, толкова повече се разширяваше невронната мрежа. При това не можеше да се раздели обучението на ИИ и да се обучават за нещо конкретно: или за защита, или за атака. И възникнаха опасения, че по-общият подход би довел до значително увеличаване на изчисленията.

Оттук идва и идеята за създаване на йерархична архитектура, в която всяка конкретна задача да се изпълнява от специализирана невронна мрежа. Съгласно тази идея, първо изкуственият интелект трябва да вземе решение за разпределение на ресурсите между атака (увеличаване на армията от чудовища) и защита (строителство на лабиринт). След като направи това, той преминава на следващия слой в зависимост от своя избор и получава достъп до необходимата част от състоянието на играта, след което взема подробни решения относно избора на чудовища и какво оръжие да инсталира в лабиринта.

Заключение и следващи стъпки

При хибридния подход на Utility ИИ, включващ мрежи на базата на машинно обучение, напомня на йерархичната архитектура. А тя, от своя страна, прилича на биологичния мозък, в който различни нервни центрове отговарят за конкретни задачи.

В момента ИИ противникът в Unleash е много труден за победа: те са в състояние да се адаптират към всяка ситуация в играта, но разработчиците могат да променят техните настройки по свое усмотрение. Според автора на статията, с времето хибридният подход трябва да получи по-широко разпространение и да се появи в много други игри. Може би, някой ден ще успеем да внедрим изкуствен интелект, основан на машинно обучение, в най-чистия му вид в игровия процес. Но, очевидно, необходимо е още време за това. Но все пак, целта е да се намери такава архитектура, която сама да се настрои към стоящите пред нея задачи и да намери оптимални начини за тяхното решаване.

Източник: habr.com