Kuidas töötab hübriidne mängutehisintellekt ja millised on selle eelised

Jätkame varem meie blogis käsitletud teemat mängutehisintellekti räägime sellest, kui hästi on sellele rakendatav masinõpe ja millises vormis. Oma kogemustega ja valitud lahendustega, videosid, kus ta näitas XQEMU emulaatori (emuleerib originaal Xbox konsooli) käivitamist Nintendo Switch'il. Samuti demonstreeris Voxel9, et süsteem suudab käivitada mitmeid mänge, sealhulgas Halo: Combat Evolved. tehisintellekti ekspert Apex Game Tools'is, Jakob Rasmussen.

Viimastel aastatel on palju räägitud sellest, et masinõpe muudab mängutööstust, kuna see tehnoloogia on juba palju teistes digitaalses rakenduses edusamme teinud. Kuid ei tohi unustada, et mängud on palju keerukamad kui auto juhtimise simulatsioon, drone juhtimise programm või näotuvastuse algoritmid pildil.

Praegu mängutööstuses eelistatakse endiselt traditsioonilisi tehisintellekti meetodeid, nagu lõppautomaatide meetod, käitumise puude ja - viimastel aastatel üha rohkem - kasulikkusel põhinev tehisintellekt (utility-based AI). Selliseid tehisintellekte nimetatakse ka disainipõhiseks (design-based) või teadmuslahenduseks. Kuid muutub järjest selgemaks - ja eelkõige mängijatele - et need süsteemid ei sobi enam tõeliselt arenenud vastaste loomiseks, kes suudaksid jäljendada mängijate käitumist. Eriti puudutab see loomingulisi lahendusi. Seda võib seletada sellega, et tehisintellekti arendajad ei suuda arvestada kõigi võimalike taktikate ja käitumisstrateegiatega ning neid edukalt rakendada traditsioonilistes tehisintellekti süsteemides. Mängijatele see sageli tähendab, et mängimine vastasega, kelle käitumisjoon on kergesti meeldejääv, muutub igavaks ja ettearvatavaks.

Sellele tulemusele viib mitmeid põhjuseid, kuid üks peamisi on tehisintellekti õppimise suutmatuse. Seetõttu ilmneb vastase tehisintellekti loomisel loomulikult idee liikuda masinõppe suunas, mis on paljuski teistes rakendustes oma tõhusust tõestanud. Kuid on mitmeid nüansse, mida tuleb arvesse võtta. Nii peab mängutehisintellekt oskama igasuguste olukordadega kohaneda ja kasutama neid eeliseid, mida need talle pakuvad, samuti kohanema erinevate vastaste - elavate mängijate ja teiste tehisintellektide - mängustiilidega.

Kuidas on asjad praegu

Briti ettevõte DeepMind, mis tegeleb tehisintellekti arendamisega, näitas hiljuti, kuidas tehisintellekt suudab iseseisvalt õppida mänge mängima, nende reegleid omandama ning leidma viise mängu läbimiseks või selles võitmiseks — tõsi, seni ainult lihtsate mängude, nagu varasemad mängud, näitel. Atari — näiteks malet ja Jaapani loogikamängu go. Saadud tulemused näitavad, et tehisintellekt suudab enda jaoks luua adekvaatse olukorra hindamise mängulaual. Kui rääkida tehisintellekti kohandamisest erinevate vastaste mängustiilidele, siis tulemused pole veel nii muljetavaldavad.

Meie ajal on närvivõrgud juba õppinud tuvastama pilte ja juhteetama autosid. Kuid neid funktsioone saab ellu viia ka suhteliselt lihtsate arhitektuuride kaudu, isegi kui tulemuseks on nende suhteliselt sügavad ja keerulised mudelid. Näiteks Facebooki piltide tuvastamise tehisintellektil on ligikaudu 100 kihiga sügavus, mis muudab selle sarnaseks bioloogilise ajuga — oma neuronite vaheliste sidemete arvu ja keerukuse poolest, mis moodustavad ühe suure võrgu.

Mängu tehisintellekt

Mis puudutab masinõppe rakendamist mängutööstuses, siis siin on mitmeid piiranguid, mis takistavad selle tüüpi arhitektuuride alati kasutamist. Nende hulka kuuluvad süsteeminõuded, eelkõige need, mis on seotud protsessorite jõudlusega, mis määravad arvuti võime töödelda keerulist mängustruktuuri ja selle sobivust mängulugude ja mängimise jaoks.

Seega ei ole paljude mängude jaoks keerulise tehisintellekti süsteemi rakendamiseks vajalikku riistvara ja veel vähem serveriklastrit, mis oleks olemas näiteks Facebooki pildituvastuse võrgustikes. Mõnikord peavad mitmed AI-d töötama samal ajal — mitte ainult arvutites, vaid ka mobiilseadmetes ja muudel vähem võimsatel platvormidel. Kõik see seab piirangud masinõppe arhitektuuri suurusele ja keerukusele, sest kõik arvutused peavad toimuma 1 või 2 millisekundi jooksul. Loomulikult on võimalik kasutada erinevaid optimeerimise ja koormuse jaotamise tehnoloogiaid kaadrite vahel, kuid siiski ei suudeta neist piirangutest täielikult vabaneda.

Mängu keerukus võib tehisintellektile tõsiseid probleeme tekitada. Mängudes nagu StarCraft II on mängumehaanika mitu korda keerukam kui Atari mängudes. Seetõttu ei tohiks oodata, et antud kaadrisageduse ja tuntud süsteeminõuetega suudab masinõpe tingimata õppida mängu kogu olekut põhjalikult ja suudab sellega suhelda. Nii nagu mängija juhindub varases mänguetapis sageli intuitsioonist, peab AI õppima mängu oleku esialgset töötlemist, et lihtsustada edasist edasiviimist. Näiteks ühes viimastes Starcraft II API kaardil kuvatakse ainult see teave, mille arendajad on olulise leidnud: ühes juhul kasutas AI vähendatud vaadet kogu kaardist, teises — sarnaselt mängijale, sai kaamerat liigutada, ja siis piirdus selle tajumine ekraanil oleva teabega.

AI AlphaStar mängu visualiseerimine mängija vastu StarCraft II-s: ekraanipildil on kuvatud "toored" algse jälgimise, neuronivõrgu aktiivsuse, mõned võimalikud tegevused ja koordinaadid, samuti eeldatav mängu lõpp.

See, see see, see see see and see see. See, see see at see. See see the see is that see see see see see, and so, see see see see see, see is that the scene is set. See, see see see, and see see see see see, so that see is seen.

Praktilised masinõppe probleemid

Need probleemid kerkisid esile masinaõppe põhjal loodud kunstliku Intelli-gentsi arendamise ajal Unleash, kus AI peab käituma nagu tavalised mängijad – see tähendab, olema sama paindlikud ja leidlikud.

Nii nagu Starcraft II, on Unleashed palju keerulisem kui Atarisse jäävad malemängud ja goo. Selle mängimine on intuitiivselt arusaadav ja kergesti omandatav, kuid tõeliselt edukaks saavutamiseks on vaja teatud oskusi, et majandust, rünnakut ja kaitselaevade strateegiat kogu mängu vältel arendada. Sellega on vajalik petta ja arvutada teiste samme ette, samuti juhtida psühholoogilist mängu – see on see, mis muudab pokkeri millekski enamaks kui lihtsalt statistiliseks mänguks.

Kuvatõmmis mängust Unleashed

Otsides selleks kõige sobivamat arhitektuuri, integreeriti mängu alguses praktiliselt muutumatud tehnoloogiad nagu neuroevolutsioon ja süvaõpe ning kontrolliti, kuidas need esmakordselt AI vastasena toimivad.

See oli kohutav.

Ruttu sai selgeks, et Unleashed peab lahendama palju globaalseid probleeme, millele masinõpet on keeruline kohandada.

Üks neist on tõhusa labürindi ehitamine. Nagu paljudes mängudes, mille eesmärk on kaitsta torni, peavad mängijad ka siin ehitama labürindi torni ümber, mille kaudu koletised tungivad. Need tuleb elimineerida relvadega, mis on labürinti paigutatud. Ideaalis peaks labürind olema võimalikult pikk, et jõuda koletistele piisavalt kahju tekitada ja takistada neid tornini jõudmast. Mõne relvatüübi vastu on koletised haavatavamad kui teiste vastu, seetõttu tuleks need labürindis paigutada enne kõiki teisi relvi suurema efektiivsuse saavutamiseks. Unleashi eripära on see, et ideaalset labürinti ei eksisteeri: mängus on nii palju koletiste tüüpe, et mingil viisil suudab keegi neist küllaltki takistamatult läbi mõne labürindi osa läbida. Igat labürinti tuleb kohandada uute koletiste jaoks, keda teised mängijad käivitavad. Seega ei olnud vajalik mitte lihtsalt õpetada tehisintellekti labürinte ehitama - tuli õpetada seda looma tõhusaid labürinte erinevate stsenaariumide jaoks, millega võib kokku puutuda nii mängu varajases kui ka hilises versioonis.

Samuti pidi tehisintellekt õppima prognoosima, millised koletised ilmuvad labürindis. See on omamoodi tagurpidi probleem labürindi ehitamise suhtes. Nagu paljudes teistes mängudes, ei piisa Unleashis lihtsalt armee kasvatamisest ja selle saatmisest vaenlase ridadesse: samuti on vajalik jälgida vaenlase kaitset ja struktureerida oma väed nii, et saavutada maksimaalne efektiivsus vastase valutsemispunktide tabamisel. Koletiste armee peab omavahel suhtlema nii, et nad suudaksid labürindi kaudu kõige edukamalt läbida. Mõnikord on vajalik ka koletiste vabastamine teatud järjekorras, sõltuvalt nende funktsioonidest ja rollidest. See suurendab samuti erinevate kombinatsioonide arvu.

Lõpuks, kuna mängija peab nii labürinte looma kui ka koletiste armee koguma, peab tehisintellekt õppima leidma tasakaalu rünnaku ja kaitse vahel. Tuleb arvestada, et mida rohkem mängija kasvatab koletiste armeed ja mida rohkem ta labürinti ehitab, seda rohkem ressursse tal selleks vajatakse. Seetõttu on õige rünnaku strateegia äärmiselt oluline nii mängu käigus majanduse jaoks kui ka selle võidu saavutamiseks. Ja konkurentsivõime tagamiseks peab tehisintellekt olema osav ressursside jaotamises, et luua võimas koletiste armee, ohustamata samas labürindi tugevust. Suurtesse koletistesse investeerimine võib olla majanduslikult kasulik, kuid see suurendab riski, et vastase koletised vallutavad labürindi. Kui aga panustada labürindi kaitse tugevdamisele, võib see kahjustada teie majandust. Ükski neist stsenaariumidest ei too võitu. Seega, optimeerimise probleem Unleashedis osutub suuremaks kui malet ja Starcrafti puhul ja hõlmab vajadust midagi ohverdada ning oma kasu mitme sammu võrra ette planeerida.

Tehisintellekti koolitamise käigus kerkib esile palju varasemalt arvesse võtmata probleeme. Alguses saavutas tehisintellekt sageli teatud arengu taseme, kus ta hakkas mõistma mängu teatud aspekte — näiteks, milline relv labürindis on konkreetsete koletiste vastu efektiivne või millised koletised läbivad kõige paremini teatud labürindi osi. Kuid õppimine oli aeglane ja tõi kaasa ühtlaste strateegiate väljatöötamise.

Paralleelsete lähenemisviiside vajadus

Kuigi tehisintellekti, mis põhineb masinõppel, koolitamine arenes aeglaselt ja ei olnud eriti edukas, tekkis vajadus parema tehisintellekti ja usaldusväärsemate konkurentide järele testimise ja arendamise muude etappide jaoks. Nende rakendamiseks kasutati Utility arhitektuuri, mille abil on võimalik luua spetsiaalseid tehisintellekte mängu kvaliteedi testimiseks ja kontrollimiseks, sisesiseste testide läbiviimiseks, relvade ja monsterite tasakaalu saavutamiseks, samuti spetsiifiliste labürintide ja monsterite loomiseks. Siiski, Unleashi arendamise käigus lihvisid loojad ise oskusi selle läbimiseks ning otsustasid seejärel kasutada saadud teadmisi keerukama Utility tehisintellekti loomisel. Nii sai selgeks, et paljusid tehisintellekti süsteemides esinevaid probleeme, mis põhinevad masinõppel, on lihtne lahendada Utility süsteemide abil, mis kasutavad endasse talletatud teadmisi, ja vastupidi.

Näiteks tõhusamaid labürinte on parem ehitada Utility tehisintellekti abil, mis tugineb teadmisbaasidele, mis on koostatud sise-testide tulemustel. Labürindi loomise ja relvade paigutamise algoritmi saab hõlpsasti kirja panna ja programmeerida nii, et see oleks elavale mängijale lihtsam kindlustada torni teatud monsterite vastu. Kuid vaenlase aluse teadmiste põhjal monsteri armee loomine oli selliste tehisintellektide jaoks keeruline ülesanne, kuna erinevate tingimuste ja kombinatsioonide arv, mida tuli arvesse võtta, oli omaette väljakutse. Sellise tehisintellekti arhitektuuri puhul tooks sobivate monsterite valimise protsess igavesti aega. Sellisel juhul oleks süvaõpe ideaalne lahendus.

Hübriidsete tehisintellektide loomine

Nii, otsustati ühendada kaks lähenemist ja luua seeläbi hübriidne tehisintellekti süsteem, mis põhineb masinõppel ja Utility'l. Idee oli, et seal, kus oli vajalik töötleda tohutult kombinatsioone ja mängu seisundeid või kus tuli midagi õpetada, kasutati masinõpet. Muude ülesannete puhul, kus oli parem toetuda arendajate isiklikule kogemusele, kaasati Utility süsteemid. Selle lähenemise eeliseks on ka see, et vajadusel saab paremini kontrollida AI käitumist, et tagada selle täpsem järgimine seatud eesmärgile. Näiteks võib kasutada Utility AI-d rünnakute ja kaitse vahelise tasakaalu tagamiseks ning seeläbi luua erinevaid agressiivsuse tasemeid, või luua erinevaid labürintide konfiguratsioone erinevatele AI-dele, et kujundada neile individuaalsed mängustiilid. Samuti saab närvivõrkudele seada teatud väärtussüsteeme, et kujundada erinevaid eelistusi õhu- või maamonsterite valikul ja seeläbi lisada eraldi AI-dele isikupära. On veel palju muid valikuid projektilahenduste teostamiseks, ja kõik need rõhutavad teatud tüüpi AI arhitektuuri tugevusi.

Hübriidne lähenemine oli ka vastuseks teisele küsimusele, mis tekkis arendajate meeskonna ees tehisintellekti väljatöötamise protsessis Unleashi jaoks: kas peaks rakendama ühte globaalset sügavat närvivõrku, mis põhineb masinõppel, et arvestada kõiki sisendeid ja väljundeid, või on parem kavandada AI hierarhilise struktuuriga?

Kaks arhitektuuri, mida Unleashis kasutati: vasakul — suur sügav närvivõrk oma ühtse arhitektuuriga, paremal — hierarhiline süsteem, kus igal võrgul on oma ülesanne.

Kuid siiski oleks soov luua üldine lähenemine tehisintellekti süsteemile, mille arhitektuuri arendajad ei oleks integreerinud oma isiklikku kogemust. Mida rohkem mängu sisse pääses, seda enam laienes närvivõrk. Samal ajal ei olnud võimalik eraldada AI koolitust ja õpetada seda ühte asja: kas kaitseks või rünnakuks. Tekkis mure, et üldine lähenemine toob kaasa märkimisväärse arvutuste arvu suurenemise.

Sealt tuli mõte luua hierarhiline arhitektuur, kus iga konkreetne ülesanne täidetakse spetsialiseeritud närvivõrgu poolt. Selle idee kohaselt peab tehisintellekt esiteks otsustama, kuidas jaotada ressursse rünnaku (monstrite armee suurendamine) ja kaitse (labürindi ehitamine) vahel. Kui ta selle otsuse langetab, liigub ta oma valiku järgi järgmisele tasemele ja saab juurdepääsu vajalikele mängu olekute osadele, pärast mida teeb ta üksikasjalikud otsused, milliseid monstreid valida ja millist relva labürindis paigaldada.

Kokkuvõte ja järgmised sammud

Hübridse lähenemise korral utilitaarne AI, mis sisaldab masinõppe põhiseid võrke, meenutab hierarhilist arhitektuuri. Ja see omakorda sarnaneb bioloogilisele ajule, kus erinevad närvikeskused vastutavad igaühe oma ülesande eest.

Praegu on Unleash'i vastase AI-d väga raske võita: nad suudavad kohaneda mängu igas olukorras, kuid arendajad saavad nende seadeid vastavalt vajadustele muuta. Artikli autori arvates peaks tulevikus hübriidne lähenemine saama laiemat kasutust ja ilmuma paljudes teistes mängudes. Võib-olla õnnestub kunagi puhtal kujul rakendada mängu protsessis masinõppel põhinevat tehisintellekti. Kuid on ilmselge, et selleks on veel aega. Seni seisneb eesmärk sellise arhitektuuri leidmises, mis suudab ise kohanduda ees seisvate ülesannetega ja leida nende lahendamiseks optimaalsed viisid.

Allikas: habr.com