Как е устроен хибридният игрови ИИ и какви са неговите предимства

В продължение на темата, която обсъждахме в нашия блог за игровия изкуствен интелект да поговорим за приложимостта на машинното обучение в него и в какъв формат. Споделяме опит и решения, взети на негова база сподели се експерта по ИИ в Apex Game Tools Яков Расмусен.

През последните години се водят много разговори за това как машинното обучение радикално ще промени игровата индустрия, тъй като тази технология вече е пробивна в много други цифрови приложения. Но не трябва да забравяме, че игрите са много по-сложни от симулатора за управление на автомобил, програмата за управление на дрон или алгоритмите за разпознаване на лица в изображения.

За момента в игровата индустрия все още се предпочитат традиционни методи на ИИ, като методите на крайни автомати, поведенчески дървета и — в последно време все по-често — ИИ на базата на полезност (системи, базирани на полезността). Такъв ИИ също се нарича design-based (изкуствен дизайн-интелект) или експертни системи. Но става все по-очевидно — и на първо място за играчите — че тези системи стават все по-малко подходящи за създаването на наистина напреднали противници, които биха могли да имитират поведението на играчите. В частност това важи за креативните решения. Това може да се обясни с факта, че разработчиците на изкуствен интелект не могат да предвидят всичките възможни тактики и стратегии на поведение и успешно да ги реализират в традиционните ИИ системи. За играчите това често води до скука и предсказуемост при игра с противник, чиято линия на поведение лесно се запомня.

Този резултат произтича от многобройни причини, но една от основните е неспособността на ИИ да се обучава. Затова, когато се създава изкуствен интелект за противник, естествено идва идеята за преминаване към машинно обучение, което се е доказало в много други приложения. Но има няколко нюанса, които трябва да се вземат под внимание. Така, игровият ИИ трябва да може да се адаптира към всяка ситуация и да използва предимствата, които тя предлага, а също така да се приспособява към различни игрови стилове на противниците — живи играчи и други ИИ.

Как е ситуацията в момента

Британската компания DeepMind, занимаваща се с разработка на изкуствен интелект, наскоро показа как ИИ може самостоятелно да се учи да играе игри, да усвоява техните правила и да намира начини да преодолява играта или да побеждава в нея — засега само на примера на прости игри, като ранните игри. Atari — например, шахмат и японската логическа игра го. Резултатите, получени за тях, показват, че изкуственият интелект е способен да формира адекватна оценка на случващото се на полето. Когато става дума за адаптация на ИИ към различни стилове на игра на опонента, резултатите все още не са толкова впечатляващи.

В наше време невронните мрежи вече научиха да разпознават изображения и да шофират автомобили. Но тези функции могат да бъдат реализирани и чрез сравнително прости архитектури, дори ако в крайна сметка те се окажат доста дълбоки и обемисти. Така например, ИИ за разпознаване на изображения в Facebook има дълбочина от порядъка на 100 слоя, което го прави подобен на биологичния мозък — по количеството и сложността на взаимовръзките между невроните, образуващи една голяма мрежа.

Игрови ИИ

Що се отнася до прилагането на машинното обучение в гейминг индустрията, тук съществуват ред ограничения, поради които не винаги е възможно да се използва този вид архитектура. Те включват системни изисквания, свързани най-вече с ЦП, които определят способността на компютъра да обработва сложната игра и пригодността му за игрово разказване и геймплей.

Така получаваме, че в много игри за реализиране на сложна система за изкуствен интелект няма възможност да се организира необходимото хардуерно оборудване, а тем повече и клъстер от сървъри, какъвто съществува, например, за мрежи за разпознаване на изображения в Facebook. Понякога трябва да работят едновременно няколко ИИ — и не само на компютри, но и на мобилни устройства, и на други по-малко производителни платформи. Всичко това налага ограничения върху размера и сложността на архитектурата на машинното обучение, тъй като всички изчисления трябва да се изпълняват за времето на кадър от порядъка на 1 или 2 милисекунди. Разбира се, могат да се използват различни технологии за оптимизация и разпределяне на натоварването между кадрите, но пак не успяваме да се отървем от тези ограничения напълно.

Сериозни проблеми за ИИ може да предизвика сложността на играта. Например, в игри като StarCraft II механиката на играта е многократно по-сложна, в сравнение с игрите на Atari. Затова не трябва да очакваме, че при зададена честота на кадри и с известни системни изисквания машинното обучение непременно ще се справи с изучаването на цялото състояние на играта и ще може да взаимодейства с него. Както играчът често се ръководи от интуицията си в ранните етапи на играта, така и ИИ трябва да научи основната обработка на състоянието на играта, за да улесни по-нататъшното й преминаване. Например, в една от последните API за Starcraft II на картите се показва само онази информация, която разработчиците са сметнали за важна: в един случай ИИ използваше намален вид на цялата територия на картата, а в друг — подобно на играча, той можеше да движи камерата, и тогава неговото възприятие беше ограничено до информацията на екрана.

Визуализация на играта на ИИ AlphaStar срещу играч в StarCraft II: на екрана са изобразени "суровите" изходни наблюдения, активността на невронната мрежа, някои от възможните й действия и координати, както и предполагаемият изход от мача.

Това е особено актуален аспект в случай на игрите. Често методите за решаване на проблеми с машинното обучение не могат да се прилагат на игровия изкуствен интелект. Например, той не е задължен да печели или да прави всичко възможно, за да победи, както беше в случая с игрите Atari. По-скоро, ролята на ИИ е да направи играта по-впечатляваща. Може да се наложи да играе роля и да се държи в съответствие с характера на героя, за когото е отговорен. По този начин, игралният ИИ е по-свързан с гейм дизайна и разказването на истории и трябва да притежава необходимите инструменти, за да управлява поведението си за постигане на целта. Чистото машинно обучение не винаги е подходящо за тази задача - затова трябва да се търси нещо различно.

Практически проблеми в машинното обучение

Тези проблеми възникнаха по време на разработката на изкуствен интелект, основан на машинно обучение за Unleash, където ИИ трябва да се държат като обикновени играчи - т.е. да бъдат толкова гъвкави и находчиви.

Както и в Starcraft II, Unleashed е много по-сложно устроена от шахматите и го на Atari. Геймплеят е интуитивен и лесен за усвояване, но за да преуспееш в нея, са необходими определени умения за управление на метата. Играчът трябва да изгражда лабиринти, да изпраща чудовища срещу враговете и да планира стратегията си в икономиката, нападението и защитата на сградите през цялата игра. За това е нужно да блефира и да предвижда ходовете на противниците, както и да управлява психологическата мета - точно това превръща покера в нещо повече от просто статистическа игра.

Скриншот от Unleashed

В търсене на най-подходящата архитектура за тези цели, в играта първо се внедриха технологии като нейроеволюция и дълбоко обучение и се провериха как ще се представят в суров вид като противник ИИ.

Това беше ужасно.

Бързо стана очевидно, че в Unleashed трябва да се решат много глобални проблеми, за които е трудно да се адаптира машинното обучение.

Един от тях е изграждането на ефективно labirint. Както в много игри, чиято цел е да защитят кула, тук играчите трябва да изградят labirint около нея, през който ще преминават чудовища. Тях, от своя страна, трябва да бъдат унищожени с помощта на оръжия, разположени в labirint. Идеалният labirint трябва да бъде колкото се може по-дълъг, за да успее да нанесе достатъчно повреди на чудовищата и да не им позволи да достигнат до кулата. За някои видове оръжия чудовищата са по-уязвими, отколкото за други, затова за по-голяма ефективност е добре да ги разположите в labirint преди всичките останали. Особеност на Unleash е, че не съществува идеален labirint: в играта има толкова видове чудовища, че по един или друг начин някой от тях безпрепятствено ще премине през определена част от labirint. Всеки labirint трябва да се адаптира към новите чудовища, пуснати от други играчи. Така че, не просто беше необходимо да обучим изкуствения интелект да строи labirint – трябваше да го научим да създава ефективни labirint за различни сценарии, с които може да се сблъскате както в ранната, така и в късната версия на играта.

Също така, ИИ трябваше да научи как да изчислява какви чудовища ще се появят в labirint. Това е вид обратна задача по отношение на изграждането на labirint. Както в много други игри, в Unleash не е достатъчно просто да увеличите армията и да я изпратите в стан врага: необходимо е също така да шпионирате вражеската отбрана и да структурирате войското така, че да удари максимално ефективно болевите точки на противника. Армията от чудовища трябва да взаимодейства помежду си, за да успее да премине успешно през labirint. Понякога е необходимо също така да се пуснат чудовища в определен ред в зависимост от техните функции и роля. Това също увеличава броя на различните комбинации.

Накрая, тъй като играчът трябва както да създава лабиринти, така и да събира армия от чудовища, ИИ също трябва да научи как да намери баланс между нападение и защита. Също така е важно да се има предвид, че колкото повече играчът увеличава армията от чудовища и колкото повече строи лабиринта, толкова повече ресурси са му необходими за това. Затова правилната нападателна стратегия е изключително важна както за икономиката по време на играта, така и за победата в нея. За да осигури конкурентоспособност, ИИ трябва да може да разпределя ресурсите си, така че да създаде мощна армия от чудовища, без да поставя под заплаха силата на лабиринта. Инвестирането максимално в чудовища може да бъде икономически изгодно, но това увеличава риска от захващане на лабиринта от чудовища на противника. Но ако се постави акцент върху укрепването на защитата на лабиринта, това би могло да подкопае икономиката ви. Нито един от тези сценарии няма да доведе до победа. Така че, проблемът с оптимизацията в Unleashed е по-мащабен, отколкото в шах или Starcraft и включва необходимостта от жертване на нещо и изчисляване на своята печалба няколко хода напред.

С напредването на обучението на изкуствения интелект изникват множество преди това непредвидени проблеми. Така, в началото ИИ често достига определено ниво на развитие, при което започва да разбира някои аспекти на играта — например, кое оръжие в лабиринта е ефективно срещу конкретни типове чудовища или кои чудовища най-добре преминават през определени участъци от лабиринта. Но обучението беше бавно и водеше до разработване на еднообразни стратегии.

Необходимостта от паралелни подходи

Докато развитието на ИИ, основан на машинно самообучение, напредваше бавно и не особено успешно, за другите етапи на тестване и развитие стана необходим по-добър ИИ и по-надеждни конкурентни ИИ. За тяхната реализация беше използвана архитектура Utility, с помощта на която могат да се създават специализирани ИИ за тестване и проверка на качеството на играта, вътрешноигрови тестове и балансиране на оръжия и чудовища, и създаване на конкретни лабиринти и чудовища. Въпреки това, по време на разработката на Unleash създателите и сами усъвършенстваха уменията си в нейното преминаване, а след това решиха да използват придобитите знания за създаване на по-сложен Utility ИИ. Така стана ясно, че много от проблемите, възникващи в системите на изкуствения интелект, основани на машинно самообучение, могат лесно да бъдат решени с помощта на Utility системи, които използват вградените в тях знания, и обратно.

Например, по-ефективните лабиринти са по-добре да се изграждат с помощта на Utility ИИ, базирани на бази знания, съставени от резултатите от вътрешни тестове. Лесно може да бъде описан и програмиран алгоритъм за изграждане на лабиринт и разполагане в него на оръжията по начин, който би позволил на живия играч да защитава кулата срещу конкретни чудовища. А създаването на армия от чудовища на основата на знания за базата на противника се оказа сложна задача за такива ИИ, тъй като количеството различни условия и комбинации, които трябва да се вземат под внимание, поразяваше въображението. При такъв вид архитектура ИИ търсенето на подходящи комбинации от чудовища би отнемало безкрайно дълго време. Тогава, при зададени ограничения, дълбокото обучение би било идеалното решение за тази задача.

Създаване на хибридни ИИ

Така, беше решено да се комбинират два подхода и по този начин да се създаде хибридна система за изкуствен интелект, основана на машинно обучение и Utility. Идеята беше, че там, където беше необходимо да се обработят огромни количества комбинации и състояния на играта, или където беше нужно да се обучи нещо, се използваше машинно обучение. За други задачи, при които е по-добре да се разчита на личния опит на разработчиците, бяха внедрени системи Utility. Предимството на този подход е, че при необходимост може да се контролира по-добре поведението на ИИ, за да се осигури по-точно следване на зададена цел. Например, може да се използва Utility ИИ за осигуряване на баланс между атака и защита и по този начин да се създадат различни нива на агресия, а може да се създадат различни конфигурации на лабиринти за различни ИИ, за да се формират индивидуални стилове на игра. Също така, могат да се зададат определени ценностни системи на невронните мрежи, за да формират различни предпочитания при избора на въздушни или наземни чудовища и по този начин да добавят индивидуалност на отделни ИИ. Има още много други опции за реализиране на проектни решения и всички те подчертават силните страни на различните видове архитектура на ИИ.

Хибридният подход също така беше отговор на друг въпрос, който стоеше пред екипа на разработчиците по време на разработката на изкуствения интелект за Unleash: дали да се използва единна глобална дълбока невронна мрежа, основана на машинно обучение, за да се вземат предвид всички входни и изходни данни, или е по-добре да се проектира ИИ с йерархична структура?

Две архитектури, използвани в Unleash: отляво — голяма дълбока невронна мрежа с единна архитектура, отдясно — йерархична система, в която всяка мрежа има своя задача.

И все пак, желаехме да създадем общ подход към системата за изкуствен интелект, в архитектурата на която разработчиците да не заложат собствения си опит. Въпреки това, колкото повече влизания в играта имаше, толкова повече нарастваше невронната мрежа. При това не можеше да се раздели обучението на ИИ и да се обучават те на нещо конкретно: или защита, или нападение. И възникваха опасения, че по-общият подход би довел до значително увеличение на изчисленията.

Оттук произлезе идеята за създаване на йерархична архитектура, в която всяка конкретна задача да бъде изпълнена от специализирана невронна мрежа. Според тази идея, първо изкуственият интелект трябва да вземе решение за разпределение на ресурсите за нападение (увеличаване на армията от чудовища) и защита (строителство на лабиринт). След като го направи, той преминава на следващия слой съобразно своя избор и получава достъп до необходимата част от състоянието на играта, след което взема детайлни решения за това, какви чудовища да избере и какво оръжие да постави в лабиринта.

Заключение и следващи стъпки

При хибридния подход Utility ИИ с включените в него мрежи на базата на машинно обучение наподобява йерархичната архитектура. А тя, от своя страна, прилича на биологичния мозък, в който различни нервни центрове отговарят всеки за своята задача.

Сега ИИ противникът в Unleash е много труден за победа: те са в състояние да се приспособят към всяка ситуация в играта, но разработчиците могат да променят настройките им по свое усмотрение. Според автора на статията, с времето хибридният подход трябва да стане по-популярен и да се появи в много други игри. Може би някога ще успеем да внедрим изкуствен интелект, базиран на машинно обучение, в чист вид в игровия процес. Но очевидно, за това ще бъде нужно още време. Засега целта е да се намери такава архитектура, която сама да се настрои на поставените пред нея задачи и да намери оптимални решения за тях.

Източник: habr.com