Kuidas hübriidmängude tehisintellekt töötab ja millised on selle eelised?

Meie blogis kunagi tõstatatud teema jätkuks tehisintellekti mängimine Räägime sellest, kuidas masinõpe sellele rakendatav on ja mis kujul. Teie kogemus ja selle põhjal valitud lahendused jagatud Apex Game Toolsi tehisintellekti ekspert Jakob Rasmussen.

Viimastel aastatel on palju räägitud sellest, kuidas masinõpe mängutööstust kardinaalselt muudab, sest see tehnoloogia on saanud juba läbimurdeks paljudes teistes digirakendustes. Kuid ärge unustage, et mängud on palju keerukamad kui autosõidu simulaator, droonijuhtimisprogramm või pildil olevad näotuvastusalgoritmid.

Praegu on mängutööstuses endiselt tavaline kasutada traditsioonilisi tehisintellekti meetodeid, nagu lõpliku oleku masina meetod, käitumispuud ja üha enam utiliidipõhised AI (utiliidipõhised süsteemid). Selliseid AI-sid nimetatakse ka disainipõhisteks (tehisintellektiks) või ekspertsüsteemideks. Kuid muutub üha selgemaks – ja eriti mängijatele –, et need süsteemid on üha vähem sobivad tõeliselt arenenud vastaste loomiseks, kes suudavad mängija käitumist jäljendada. See kehtib eriti loominguliste lahenduste kohta. Seda võib seletada sellega, et tehisintellekti arendajad ei suuda kõiki võimalikke taktikaid ja käitumisstrateegiaid arvesse võtta ning neid traditsioonilistes tehisintellektisüsteemides edukalt rakendada. Mängijate jaoks põhjustab see sageli igava ja etteaimatava mängimise vastase vastu, kelle käitumist on lihtne meelde jätta.

Sellel tulemusel on palju põhjuseid, kuid üks peamisi on AI võimetus õppida. Seetõttu tuleb vaenlase tehisintellekti luues loomulikult meelde otsus minna üle masinõppele, mis on end tõestanud paljudes teistes rakendustes. Kuid on mitmeid nüansse, mida tasub kaaluda. Seega peab mängu tehisintellekt olema võimeline kohanema iga olukorraga ja kasutama eeliseid, mida see talle annab, samuti kohanema vastaste – live-mängijate ja teiste tehisintellektide – erinevate mängustiilidega.

Kuidas nüüd lood on?

Ühendkuningriigis asuv tehisintellektiettevõte DeepMind näitas hiljuti, kuidas AI-d saavad õppida iseseisvalt mänge mängima, reegleid arvesse võtma ja leida viise mängu ületamiseks või võitmiseks – kuigi seni on kasutatud ainult lihtsaid mänge, nagu varasemad mängud. Atari - näiteks male ja Jaapani loogikamäng Go. Nende kohta saadud tulemused näitavad, et tehisintellekt suudab kujundada adekvaatse hinnangu väljakul toimuvale. Kui räägime AI kohandamisest vastase erinevate mängustiilidega, pole tulemused siiani nii muljetavaldavad.

Tänapäeval on närvivõrgud juba õppinud pilte ära tundma ja autosid juhtima. Kuid neid funktsioone saab rakendada suhteliselt lihtsate arhitektuuride abil, isegi kui need osutuvad seetõttu üsna sügavateks ja mahukateks. Seega on Facebooki pildituvastuse tehisintellekti sügavus umbes 100 kihti, mistõttu see sarnaneb bioloogilise ajuga - ühe suure võrgu moodustavate neuronite vaheliste suhete arvu ja keerukuse poolest.

Mängu AI

Seoses masinõppe rakendamisega mängutööstuses on mitmeid piiranguid, mille tõttu ei ole seda tüüpi arhitektuuri alati võimalik kasutada. Nende hulka kuuluvad süsteeminõuded, eriti need, mis on seotud protsessoriga, mis määravad arvuti võime käsitleda keerulist mängustruktuuri ning selle sobivust mängude loo jutustamiseks ja mängimiseks.

Nii selgub, et paljudes mängudes pole keeruka tehisintellektisüsteemi rakendamiseks võimalik organiseerida vajalikku riistvara, veel vähem serveriklastrit, mis eksisteerib näiteks Facebookis pildituvastusvõrkude jaoks. Mõnikord peab korraga töötama mitu AI-d – ja mitte ainult arvutites, vaid ka mobiilseadmetes ja muudel vähem tootlikel platvormidel. Kõik see seab piirangud masinõppe arhitektuuri suurusele ja keerukusele, sest kõik arvutused tuleb teha ka umbes 1 või 2 millisekundilise kaadri kestusega. Loomulikult saate kasutada erinevaid optimeerimistehnoloogiaid ja jaotada koormust kaadrite vahel, kuid te ei saa ikkagi neist piirangutest täielikult vabaneda.

Mängu keerukus võib tehisintellektile tõsiseid probleeme tekitada. Tõepoolest, sellistes mängudes nagu StarCraft II on mängumehaanika kordades keerulisem kui Atari mängudel. Seetõttu ei tohiks te eeldada, et antud kaadrisageduse ja teadaolevate süsteeminõuete juures suudab masinõpe tingimata uurida kogu mängu olekut ja sellega suhelda. Nii nagu mängijat juhib mängu algfaasis sageli intuitsioon, peab AI õppima mängu olekut algselt töötlema, et selle edasist läbimist lihtsustada. Näiteks ühes viimastest API Starcraft II jaoks kaardid kuvavad ainult seda teavet, mida arendajad pidasid oluliseks: ühel juhul kasutas AI kogu kaardiala väljasuumitud vaadet, teisel juhul sai see sarnaselt mängijaga liigutada kaamerat ja seejärel selle taju piirdus ekraanil oleva teabega.

AlphaStar AI ja mängija StarSraft II visualiseerimine: ekraanipilt näitab töötlemata vaatlusi, närvivõrgu aktiivsust, mõningaid selle võimalikke toiminguid ja koordinaate ning matši eeldatavat tulemust

See on eriti oluline aspekt mängude puhul. Sageli ei ole üldtunnustatud masinõppeprobleemide lahendamise meetodid mängude tehisintellekti jaoks rakendatavad. Näiteks ei pea ta tavaliselt võitma ega tegema kõike, mida selleks vaja on, nagu see oli Atari mängude puhul. Enamasti on AI roll muuta mäng põnevamaks. Temalt võidakse nõuda rolli mängimist ja käitumist viisil, mis on kooskõlas tegelasega, kelle eest ta vastutab. Seega on mängu AI-d rohkem seotud mängukujunduse ja jutuvestmisega ning neil peavad olema vajalikud tööriistad, et kontrollida oma käitumist, et saavutada eesmärk. Masinõpe puhtal kujul selleks alati ei sobi, mis tähendab, et tuleb otsida midagi muud.

Masinõppe praktilised probleemid

Need probleemid on kerkinud esile masinõppel põhineva tehisintellekti arendamisel valla päästma, kus AI peaks käituma nagu tavalised mängijad – st olema sama paindlik ja leidlik.

Nagu Starcraft II, on ka Unleashed palju keerulisem kui Atari male ja Go. Mäng on intuitiivne ja hõlpsasti õpitav, kuid selle tõeliseks õnnestumiseks on vaja mõningaid metahaldusoskusi. Mängija peab kogu mängu jooksul ehitama labürinte, seadma vaenlastele koletisi ja mõtlema läbi oma strateegia majanduses, ründes ja struktuuride kaitses. Selleks peab ta eelnevalt bluffima ja teiste käike arvutama, samuti psühholoogilist metat juhtima – just see teeb pokkerist midagi enamat kui lihtsalt statistikamäng.

Ekraanipilt rakendusest Unleashed

Nendel eesmärkidel sobivaima arhitektuuri otsimisel kasutatakse selliseid tehnoloogiaid nagu neuroevolutsioon ja sügav õppimine ning testiti, kuidas nad vaenlase tehisintellektina toores vormis toimiksid.

See oli kohutav.

Kiiresti sai selgeks, et Unleashedil oli vaja lahendada palju globaalseid probleeme, millega masinõpet oli raske kohandada.

Üks neist on tõhusa labürindi ehitamine. Nagu paljudes mängudes, kus eesmärk on torni kaitsta, peavad mängijad selle ümber ehitama labürindi, millest koletised läbi tungivad. Need tuleb omakorda likvideerida, kasutades kogu labürinti paigutatud relvi. Ideaalis peaks labürint olema võimalikult pikk, et koletistele piisavalt kahju teha ja nende tornini jõudmist takistada. Koletised on mõnede relvade suhtes haavatavamad kui teised, seega tuleks nad tõhusama toimimise huvides asetada labürinti kõigist teistest ette. Unleashi eripära seisneb selles, et ideaalset labürinti pole olemas: mängus on nii palju koletisi, et ühel või teisel viisil pääseb üks neist kergesti läbi ükskõik millise labürindi osa. Iga labürint tuleb kohandada teiste mängijate käivitatud uute koletistega. Seega oli vaja mitte ainult õpetada tehisintellekti labürinti ehitama, vaid oli vaja õpetada looma tõhusaid labürinte erinevate stsenaariumide jaoks, mida võib kohata nii mängu varases kui ka hilises versioonis.

Tehisintellekt pidi ka õppima arvutama, millised koletised labürinti ilmuvad. See on labürindi ehitamisele vastupidine probleem. Nagu paljudes teistes mängudes, ei piisa ka Unleashis lihtsalt armee moodustamisest ja vaenlase laagrisse saatmisest: peate ka luurama vaenlase kaitset ja struktureerima armee nii, et see tabaks vaenlase nõrku kohti. võimalikult tõhusalt. Koletiste armee peab üksteisega suhtlema nii, et kõige edukamalt labürindist läbi murda. Mõnikord on vaja ka koletisi vabastada teatud järjekorras, sõltuvalt nende funktsioonidest ja rollidest. See suurendab ka erinevate kombinatsioonide arvu.

Lõpuks, kuna mängija peab looma labürinte ja koguma koletiste armee, peab AI ka õppima, kuidas tasakaalustada rünnakut ja kaitset. Samuti tasub arvestada, et mida rohkem mängija koletiste armeed üles ehitab ja labürinti, seda rohkem ressursse ta selleks vajab. Seetõttu on õige ründestrateegia ülimalt oluline nii mänguaegse majanduse kui ka selles võidu nimel. Ja selleks, et olla konkurentsivõimeline, peab tehisintellekt suutma ressursse koondada, et luua võimas koletiste armee ilma labürindi võimsust kahjustamata. Koletistesse võimalikult palju investeerimine võib olla kulutõhus, kuid see suurendab ohtu, et vaenlase koletised võtavad labürindi üle. Kui loodate labürindi kaitse tugevdamisele, võib see teie majandust halvata. Ükski neist stsenaariumidest ei vii võiduni. Seega osutub Unleashedi optimeerimise probleem suuremaks kui male või Starcrafti puhul ning sisaldab vajadust midagi ohverdada ja oma kasu mitu sammu ette arvutada.

Tehisintellekti treenides ilmnevad paljud varem tähelepanuta jäänud probleemid. Seega jõudis tehisintellekt algul sageli teatud arengutasemele, kus ta hakkas mõistma mängu teatud aspekte - näiteks millised relvad labürindis on tõhusad teatud tüüpi koletiste vastu või millised koletised on kõige paremad. labürindi teatud lõikude läbimine. Kuid õppimine oli aeglane ja viis monotoonsete strateegiate väljatöötamiseni.

Vajadus paralleelsete lähenemisviiside järele

Kuigi masinõppel põhinev tehisintellektiõpe on olnud aeglane ja mitte eriti edukas, on testimise ja arendamise teistes etappides muutunud vajalikuks parem tehisintellekt ja tugevam konkureeriv AI. Nende rakendamiseks kasutati Utility arhitektuuri, millega saab luua spetsiaalset AI-d mängu kvaliteedi testimiseks ja kontrollimiseks, mängusiseseid teste ja relvade ja koletiste tasakaalustamist ning konkreetsete labürintide ja koletiste loomist. Kuid Unleashi arendamise käigus lihvisid loojad ise oma oskusi selle valmimisel ning otsustasid saadud teadmisi seejärel kasutada keerukama Utility AI loomisel. Nii sai selgeks, et paljusid masinõppel põhinevates tehisintellektisüsteemides tekkivaid probleeme saab hõlpsasti lahendada Utility süsteemide abil, mis kasutavad neisse põimitud teadmisi ja vastupidi.

Näiteks on parem ehitada tõhusamaid labürindid Utility AI abil, tuginedes sisetestide tulemustest koostatud teadmistebaasidele. Labürindi konstrueerimise ja sinna relvade paigutamise algoritmi saab lihtsalt kirjeldada ja programmeerida nii, et elaval mängijal oleks lihtsam torni konkreetsete koletiste eest kaitsta. Kuid vaenlase baasi teadmiste põhjal koletiste armee loomine oli sellise AI jaoks keeruline ülesanne, kuna erinevate tingimuste ja kombinatsioonide arv, millega tuleb arvestada, oli hämmastav. Sellise AI-arhitektuuri puhul võtaks sobivate koletiste komplektide leidmine lõputult palju aega. Siis, arvestades antud piiranguid, oleks süvaõpe selle probleemi jaoks ideaalne lahendus.

Hübriid-AI loomine

Seega otsustati need kaks lähenemisviisi ühendada ja luua nii masinõppel ja utiliidil põhinev tehisintellekti hübriidsüsteem. Idee seisnes selles, et seal, kus oli vaja töödelda tohutul hulgal kombinatsioone ja mänguolekuid või kus oli vaja midagi õpetada, kasutati masinõpet. Muude ülesannete puhul, kus on parem tugineda arendajate isiklikule kogemusele, kasutati utiliitsüsteeme. Selle lähenemisviisi eeliseks on see, et vajadusel saab tehisintellekti käitumist paremini kontrollida, et tagada selle täpsem järgimine etteantud eesmärgil. Näiteks saate Utility AI-ga ründe ja kaitse tasakaalustamiseks kasutada erinevat agressioonitaset või luua erinevatele tehisintellektidele erinevaid labürindi konfiguratsioone, et luua neile individuaalseid mängustiile. Samuti saate määrata närvivõrkudele teatud väärtussüsteemid, et kujundada õhu- või maakoletiste värbamisel erinevaid eelistusi ja seeläbi lisada individuaalsele tehisintellektile individuaalsust. Disainiotsuste elluviimiseks on palju rohkem võimalusi, mis kõik tõstavad esile teatud tüüpi tehisintellekti arhitektuuri tugevad küljed.

Hübriidne lähenemine vastas ka teisele küsimusele, millega meeskond silmitsi seisis Unleashi tehisintellekti väljatöötamisel: kas peaksime kasutama üht masinõppel põhinevat globaalset sügavat närvivõrku, et võtta arvesse kõiki sisendeid ja väljundeid või on parem AI kujundada hierarhilise struktuuriga?

Unleashis kasutatakse kahte arhitektuuri: vasakul on suur sügav närvivõrk oma ühtse arhitektuuriga, paremal on hierarhiline süsteem, milles igal võrgul on oma ülesanne

Ja ometi tahaksin luua üldise lähenemise tehisintellekti süsteemile, mille arhitektuuri arendajad oma kogemusi ei kasutaks. Mida rohkem aga mängu sissekandeid tehti, seda rohkem närvivõrk kasvas. Samal ajal oli võimatu eraldada tehisintellekti väljaõpet ja õpetada neile üht: kas kaitset või rünnakut. Ja oli mure, et üldisem lähenemine toob kaasa arvutuste arvu olulise suurenemise.

Siin tekkiski idee luua hierarhiline arhitektuur, kus iga konkreetset ülesannet täidaks spetsiaalne närvivõrk. Selle idee kohaselt tuleb tehisintellektil esmalt otsustada ressursside jaotamine rünnakuks (koletiste armee suurendamine) ja kaitseks (labürindi ehitamine). Kui ta seda teeb, liigub ta vastavalt oma valikule järgmisele kihile ja pääseb juurde mängu oleku vajalikule osale, misjärel teeb ta üksikasjalikud otsused, milliseid koletisi valida ja milliseid relvi labürinti paigaldada.

Järeldus ja järgmised sammud

Utility hübriidses lähenemisviisis sarnaneb tehisintellekt koos masinõppepõhiste võrkudega hierarhilise arhitektuuriga. Ja see omakorda sarnaneb bioloogilise ajuga, milles erinevad närvikeskused vastutavad igaüks oma ülesande eest.

Praegu on Unleashi vaenlase AI-st väga raske võita: nad suudavad kohaneda iga mänguolukorraga, kuid samal ajal saavad arendajad oma seadeid oma äranägemise järgi muuta. Artikli autori sõnul peaks aja jooksul hübriidkäsitlus üha laiemalt levima ja ilmuma ka paljudes teistes mängudes. Võib-olla on kunagi võimalik masinõppel põhinevat tehisintellekti mängus puhtal kujul kasutusele võtta. Kuid ilmselgelt võtab see veel aega. Praegu on eesmärk leida arhitektuur, mis kohaneks eesseisvate ülesannetega ja leida nende lahendamiseks optimaalsed viisid.

Allikas: www.habr.com