Kuidas on korraldatud hübriidne mängu tehisintellekt ja millised on selle eelised?

Jätkates meie blogis kunagi tõstatatud teemat mängu tehisintellektist , räägime, kui rakendatav on masinõpe ning millisel kujul. Oma kogemuse ja valikute põhjal jagatud on tehisintellekti ekspert Apex Game Tools'is Jakob Rasmussen.

Viimastel aastatel on tõstatatud palju arutelusid selle üle, et masinõpe toob mängutööstusesle suuri muutusi, sest see tehnoloogia on juba paljude muude digitaalse rakenduse puhul läbirääkimise hetkel. Kuid ärgem unustagem, et mängud on palju keerukamad kui auto juhtimise simulaator, drooni juhtimise programm või näotuvastus algoritmid pildil.

Praegu mängutööstuses kasutatakse endiselt traditsioonilisi tehisintellekti meetodeid, nagu lõppautomaatide meetod, käitumispuud ja — üha enam — kasu põhine tehisintellekt (kasutuse hoidvad süsteemid). Selliseid tehisintellekte nimetatakse ka disaini põhisteks (tehisdisaini intellekt) või ekspert-süsteemideks. Kuid järjest selgemaks on saanud — eelkõige mängijatele — et need süsteemid sobivad üha vähem tõeliselt arenenud vastaste, kes suudaksid imiteerida mängijate käitumist, loomiseks. Eelkõige puudutab see loomingulisi lahendusi. Seda on võimalik selgitada sellega, et tehisintellekti arendajad ei suuda arvesse võtta kõiki võimalikke taktikaid ja käitumistrateegiaid ning neid traditsioonilistes tehisintellekti süsteemides edukalt rakendada. Mängijate jaoks tähendab see sageli, et mäng vastasega, kelle käitumisjoon on kergesti meeles pidatav, muutub igavaks ja ettearvatavaks.

Selle tulemuseni viivad mitmed põhjus, kuid üks peamisi on tehisintellekti õppimisvõime puudumine. Seetõttu tuleb tehisintellekti arendamisel silmas pidada lahendust masinõppe suunas, mis on paljudes teistes rakendustes end tõestanud. Siiski on mitmeid nüansse, mida tasub arvesse võtta. Nimelt peab mängu tehisintellekt suutma kohaneda iga olukorraga ja kasutama selle eeliseid, samuti olema võimeline kohanema erinevate vastaste mängustiilidega — olgu need siis elavad mängijad või teised tehisintellektid.

Kuidas asjad praegu on

Briti ettevõte DeepMind, mis tegeleb tehisintellekti arendamisega, tutvustas hiljuti, kuidas tehisintellekt suudab iseseisvalt mänge mängida, omandada nende reegleid ja leida viise, kuidas mäng läbi mängida või selles võita — tõsi küll, seni ainult lihtsate mängude, nagu varasemad mängud, näitel. Atari — näiteks šahh ja Jaapani loogikamäng go. Saadud tulemused näitavad, et tehisintellekt suudab endale luua adekvaatse hinnangu toimuvale mängulaual. Kui aga rääkida tehisintellekti kohandamisest erinevate vastaste mängustiilidega, siis tulemused ei ole seni nii muljetavaldavad.

Tänapäeval on närvivõrgud juba õppinud pilte ära tundma ja autosid juhtima. Kuid neid funktsioone saab rakendada ka suhteliselt lihtsate arhitektuuride abil, isegi kui lõpptulemus on üsna sügav ja mahukas. Näiteks Facebooki piltide tuvastamise tehisintellekt on ligikaudu 100 kihti sügav, mistõttu meenutab see bioloogilist aju — neuronite vaheliste seoste arv ja keerukus moodustavad ühe suure võrgu.

Mängu tehisintellekt

Mida puutub masinõppe kasutamisse mängutööstuses, siis on siin mitmeid piiranguid, mis teevad keeruliseks selle arhitektuuri rakendamise. Nendeks on süsteeminõuded, eelkõige CPU-ga seotud, mis määravad arvuti võime töötelda keerulisi mängustruktuure ning sobivuse mänguloome ja mängimise jaoks.

Nii et paljude mängude puhul ei ole keerulise tehisintellekti süsteemi rakendamiseks võimalik korraldada vajalikke riistvaravahendeid, rääkimata serveriklustritest, nagu näiteks Facebooki pildituvastuse võrkudes. Mõnikord peab samaaegselt töötama mitu IAd — mitte ainult arvutites, vaid ka mobiilseadmetes ja teistel vähem võimsatel platvormidel. Kõik see seab piirangud masinõppe arhitektuuri suurusele ja keerukusele, kuna kõik arvutused peavad toimuma 1 või 2 millisekundi piires. Loomulikult on võimalik kasutada erinevaid optimeerimise ja koormuse jaotamise tehnoloogiaid, kuid nendest piirangutest ei suuda siiski täielikult vabaneda.

AI võib tõsiseid probleeme kohtuda mängu keerukuse tõttu. Näiteks, nagu StarCraft II, on mängumehaanika kordades keerulisem kui Atari mängudes. Seetõttu ei tasu oodata, et masinõpe suudab antud kaadrisageduse ja teadaolevate süsteeminõuetega täielikult mängu seisundit õppida ja sellega suhelda. Nii nagu mängijad sageli juhinduvad oma intuitsioonist mängu varasemates etappides, peab ka AI õppima mängu seisundi algset töötlemist, et lihtsustada edasist mängimist. Näiteks ühes viimaste Starcraft II API kaartidel kuvatakse ainult see teave, mille arendajad on oluliseks pidanud: ühes juhul kasutas AI kogu kaardi territooriumi vähendatud vaadet, teises - nagu mängija, sai ta kaamerat liigutada ja siis piirdus tema tajumine ekraanil oleva teabega.

AI AlphaStar mängu visualiseerimine mängija vastu StarCraft II-s: ekraanipildil on kujutatud "tooreid" algseid vaatlusi, närvivõrgu aktiivsust, mõningaid selle võimalikke toiminguid ja koordinaate ning eeldatavat mängu lõpptulemust.

See especially relevant aspect in the case of games. Often, conventional methods for solving machine learning problems are not applicable to game artificial intelligence. For example, it doesn’t typically have to win or do everything possible to secure a victory, as was the case with Atari games. More often, the role of AI is to make the game more engaging. It may need to act in alignment with the character it represents and behave as expected. Thus, game AIs are more tied to game design and storytelling and must possess the necessary tools to manage their behavior to achieve the desired goals. Pure machine learning isn’t always suitable for this — hence, alternative solutions must be sought.

Practical machine learning challenges

These challenges arose during the development of machine learning-based artificial intelligence for Unleash, where AIs must behave like ordinary players — that is, be as flexible and resourceful.

Nii nagu Starcraft II, on Unleashed tunduvalt keerulisem kui šahhi ja go Atari jaoks. Mängumehaanika on intuitiivselt arusaadav ja kergesti omandatav, kuid tõeliselt eduka mängimise jaoks on vajalikud teatud oskused metaga juhtimisel. Mängija peab ehitama labürinte, suunama vaenlastele koletisi ja väljamõtlema oma strateegiaid majanduses, rünnakutes ja kaitses kogu mängu vältel. Selleks peab ta bluffima ja ennustama vastaste käike ning samuti juhtima psühholoogilist metat – just see teeb pokkerist midagi enamat kui lihtsalt statistiline mäng.

Unleashed'i ekraanipilt

Otsides kõige sobivamat arhitektuuri nende eesmärkide jaoks, integreeriti mängu peaaegu muutumatul kujul sellised tehnoloogiad nagu neuroevolutsioon ja süvaõpe, ning uuriti, kuidas need algselt nähtud kui tehisintellekti vastased toimivad.

See oli kohutav.

Kiiresti sai selgeks, et Unleashed vajab lahendamist paljusid globaalseid probleeme, mille jaoks on raske kohandada masinõpet.

Üks neist on tõhusate labürintide loomine. Nagu paljudes mängudes, mille eesmärk on torni kaitsmine, peavad mängijad ehitama labürindi torni ümber, mille kaudu koletised tungivad. Need tuleb hävitada labürinti paigutatud relvade abil. Ideaalis peaks labürint olema võimalikult pikk, et jõuda koletistele piisavalt kahju teha ja takistada neid torni jõudmast. Mõne relvatüübi puhul on koletised teiste suhtes haavatavamad, seetõttu on tõhusam need labürindis paigutada enne kui kõik teised. Unleashi eripära on see, et ideaalset labürinti ei eksisteeri: mängus on nii palju erinevaid koletisi, et mingil hetkel pääseb mõni neist alati labürindi mingist osast läbi. Iga labürinti tuleb kohandada uute koletiste jaoks, keda teised mängijad käivitavad. Seega oli vajalik mitte ainult õpetada tehisintellektilt labürinte ehitama — tuli õppida ka looma tõhusaid labürinte erinevate stsenaariumide jaoks, millega võib kokku puutuda nii mängu varases kui ka hilises versioonis.

Samuti pidi tehisintellekt õppima arvutama, millised koletised labürindis ilmuvad. See on teatud tüüpi tagurpidi probleem labürindi ehitamise suhtes. Nagu paljudes teistes mängudes, ei piisa Unleash'is lihtsalt armee kasvatamisest ja selle vaenlase poole suunamisest: tuleb jälgida ka vaenlase kaitset ja struktureerida armee nii, et see lööks võimalikult tõhusalt vaenlase nõrgenemist. Koletiste armee peab omavahel koostööd tegema, et kõige edukamalt labürindist läbi murda. Mõnikord on vajalik ka koletiste väljastamine kindlas järjekorras, sõltuvalt nende funktsioonidest ja rollidest. See suurendab ka erinevate kombinatsioonide arvu.

Lõpuks, kuna mängija peab nii labürinte looma kui ka koletiste armee koguma, peab tehisintellekt samuti õppima leidma rünnaku ja kaitse vahel tasakaalu. Samuti tuleb arvestada, et mida rohkem mängija koletiste armee suurendab ja labürinti ehitab, seda rohkem ressursse tal selleks vajatakse. Seega on õige rünnaku strateegia äärmiselt oluline nii mängu majanduse kui ka võidu saavutamiseks. Ja et tagada tehisintellekti konkurentsivõime, peab see suutma ressursse jaotada nii, et luua võimas koletiste armee, ohustamata samal ajal labürindi tugevust. Maksimaalselt koletistesse investeerimine võib olla majanduslikult kasulik, kuid see suurendab riski, et vaenlaste koletised labürindi hõivavad. Kui aga panustada labürindi kaitse tugevdamisele, võib see teie majandust nõrgendada. Ükski neist stsenaariumidest ei viigi võiduni. Seega on Unleashed'i optimeerimisprobleem ulatuslikum kui malet või Starcrafti puhul ja hõlmab vajadust millegagi ohverdada ning oma kasu mitme sammu edasi planeerida.

Tehisintellekti õpetamisel kerkib esile palju varem tähelepanuta jäänud probleeme. Alguses saavutas AI sageli kindla arengu taseme, mille käigus ta hakkas mõistma mängu teatud aspekte — näiteks, milline relv labürindis on efektiivne konkreetsete tüüpi koletiste vastu või millised koletised läbivad kõige paremini teatud labürindi osi. Kuid õpetamine oli aeglane ja tõi kaasa ühtlase strateegiate arendamise.

Paralleelsete lähenemiste vajadus

Kuigi masinõppel põhineva tehisintellekti koolitus arenes aeglaselt ja ei olnud eriti edukas, muutus muude testimise ja arendamise etappide jaoks vajalikuks parema tehisintellekti ja usaldusväärsemate konkurentsivõimeliste tehisintellektide olemasolu. Nende rakendamiseks kasutati Utility arhitektuuri, mille kaudu saab luua spetsiaalseid tehisintellekte mängu testimiseks ja kvaliteedi kontrollimiseks, mängusiseste testide ja relvade ning olendite tasakaalustamiseks, samuti konkreetsete labürintide ja olendite loomiseks. Arendamise käigus lihvisid Unleashi loojad ise oma oskusi selle läbimiseks ning otsustasid seejärel kasutada omandatud teadmisi keerukama Utility tehisintellekti loomiseks. Nii sai selgeks, et paljusid masinõppel põhinevate tehisintellekti süsteemide probleemide lahendusi on lihtne leida kasutades Utility süsteeme, mis kasutasid oma sisse ehitatud teadmisi, ja vastupidi.

Näiteks on efektiivsemad labürindid parem ehitada Utility AI-de abil, mis põhinevad teadmiste baasidel, mis on koostatud sisetestide tulemuste põhjal. Labürindi ehitamise ja seal oleva relva paigutamise algoritmi on lihtne kirjeldada ja programmeerida nii, et see oleks lihtsam tornide kaitsmiseks kindlate koletiste eest elavale mängijale. Kuid koletiste armee loomine vastavalt vaenlase teadmiste baasile osutus sellistele AI-dele keeruliseks ülesandeks, kuna arvesse võetavate tingimuste ja kombinatsioonide arv ületas kujutlusvõime. Sellise AI arhitektuuri korral tooks sobivate koletiste komplektide leidmine lõputult aega. Seetõttu oleks antud tingimuste korral süvaõpe ideaalne lahendus selle ülesande jaoks.

Hübriidsete AI-de loomine

Otsustati ühendada kaks lähenemist, et luua hübriidne tehisintellekti süsteem, mis põhineb masinõppel ja Utility’l. Idee oli, et seal, kus tuli töödelda tohutult kombinatsioone ja mängu olekuid või kus oli vaja seda millegagi õpetada, kasutati masinõpet. Teiste ülesannete puhul, kus oli parem toota arendajate isiklikule kogemusele, rakendati Utility süsteeme. Selle lähenemise eeliseks on ka see, et vajaduse korral on võimalik paremini juhtida AI käitumist, et tagada täpsem järgimine antud eesmärgile. Näiteks saab kasutada Utility AI-d rünnaku ja kaitse tasakaalu tagamiseks ning seeläbi luua erinevaid aggressiivsuse tasemeid, või luua erinevaid labürindi konfiguratsioone erinevatele AI-dele, et kujundada neile individuaalsed mängustiilid. Samuti on võimalik määrata närvivõrkudele teatud väärtussüsteeme, et kujundada erinevaid eelistusi õhu- või maamonistrite valimisel ja seeläbi lisada iga AI-le isikupära. Veel on palju teisi võimalusi projektide lahenduste rakendamiseks, mis kõik rõhutavad teatud tehisintellekti arhitektuuri tugevaid külgi.

Hübriidne lähenemine oli vastuseks ka teisele küsimusele, millega arendajate meeskond silmitsi seisis Unleash'i tehisintellekti arendamise protsessis: kas kasutada ühtset globaalselt sügavat närvivõrku, mis põhineb masinõppel, et arvestada kõiki sisendeid ja väljundeid, või oleks parem projekteerida tehisintellekt hierarhilise struktuuriga?

Kaks arhitektuuri, mida Unleash'is kasutati: vasakul — suur sügav närvivõrk oma ühtse arhitektuuriga, paremal — hierarhiline süsteem, kus igal võrgul on oma ülesanne.

Siiski soovitakse luua üldine lähenemine tehisintellekti süsteemile, mille arhitektuuri arendajad ei oleks oma kogemusi sisse ehitanud. Kuid mida rohkem mängu sisenemisi toimus, seda suuremaks muutus närvivõrk. Samas ei olnud võimalik tehisintellekti koolitamist jagada ega õpetada seda ainult ühele asjale: kas kaitsele või rünnakule. Ja tekkis kartus, et liiga üldine lähenemine tooks kaasa märkimisväärse arvutuste arvu suurenemise.

Siit tekkis idee luua hierarhiline arhitektuur, kus iga konkreetset ülesannet täidab spetsialiseeritud tehisintellekt. Selle idee kohaselt peab tehisintellekt esmalt otsustama ressursside jaotamise rünnakule (koletiste armee suurendamine) ja kaitsele (labürindi ehitamine). Kui ta on selle otsuse teinud, liigub ta järgmisse kihti vastavalt oma valikule ja pääseb juurde mängu seisundi vajalikule osale, pärast mida teeb ta üksikasjalikke otsuseid, milliseid koletisi valida ja millist relva labürinti paigaldada.

Järeldus ja järgmised sammud

Hübriidses lähenemises Utility AI, mis sisaldab endas masinõppe põhjal üles ehitatud võrgustikke, sarnaneb hierarhilise arhitektuuriga. See omakorda meenutab bioloogilist ajalugu, kus erinevad närvikeskused vastutavad igaühe oma ülesande eest.

Praegu on vastase AI Unleash'iga väga raske võita: nad suudavad kohanduda mängu igasuguste olukordadega, kuid samal ajal saavad arendajad nende seadeid oma äranägemise järgi muuta. Artikli autori arvates peaks aja jooksul hübriidne lähenemine saama suuremat levikut ja ilmuma paljudele teistele mängudele. Võib-olla suudetakse kunagi puhtal kujul implementida mängu protsessis masinõpet. Kuid selgelt on selleks veel aega vaja. Seni on eesmärk leida selline arhitektuur, mis kohandub ise esitatud ülesannetega ja leiab nende lahendamiseks optimaalsed meetodid.

Allikas: habr.com