Turpinot tēmu, kas reiz tika izvirzīta mūsu emuārā Parunāsim par to, cik lielā mērā un kādā formā mašīnmācīšanās ir piemērojama šajā jomā. Mēs izmantosim savu pieredzi un uz tās balstītos risinājumus. Jakobs Rasmusens, mākslīgā intelekta eksperts uzņēmumā Apex Game Tools.
Pēdējos gados daudz tiek runāts par to, kā mašīnmācīšanās radikāli mainīs spēļu nozari, jo šī tehnoloģija jau ir pierādījusi savu revolucionāro vērtību daudzās citās digitālajās lietojumprogrammās. Taču ir svarīgi atcerēties, ka spēles ir daudz sarežģītākas nekā braukšanas simulators, dronu vadības programma vai sejas atpazīšanas algoritmi.
Lai gan spēļu industrija joprojām lielā mērā paļaujas uz tradicionālajām mākslīgā intelekta metodēm, piemēram, galīgo stāvokļu mašīnām, uzvedības kokiem un — pēdējā laikā — uz utilītām balstītu mākslīgo intelektu (MI). Šādu MI sauc arī par uz dizainu balstītām vai ekspertu sistēmām. Tomēr arvien skaidrāk — īpaši spēlētājiem — kļūst, ka šīs sistēmas arvien vairāk nav piemērotas patiesi progresīvu pretinieku izveidei, kas var atdarināt spēlētāja uzvedību. Tas jo īpaši attiecas uz radošiem risinājumiem. To var izskaidrot ar MI izstrādātāju nespēju apsvērt visas iespējamās taktikas un stratēģijas un veiksmīgi ieviest tās tradicionālajās MI sistēmās. Spēlētājiem tas bieži vien noved pie garlaicīgām un paredzamām spēlēm pret pretiniekiem, kuru uzvedības modeļus ir viegli iegaumēt.
Šim rezultātam ir daudz iemeslu, bet viens no galvenajiem ir mākslīgā intelekta nespēja mācīties. Tāpēc, veidojot pretinieka mākslīgo intelektu, acīmredzama izvēle ir pāriet uz mašīnmācīšanos, kas ir pierādījusi sevi daudzās citās lietojumprogrammās. Tomēr ir vairākas nianses, kuras ir vērts apsvērt. Piemēram, spēļu mākslīgajam intelektam ir jāspēj pielāgoties jebkurai situācijai un izmantot tās piedāvātās priekšrocības, kā arī pielāgoties pretinieku — gan cilvēku spēlētāju, gan citu mākslīgo intelektu — atšķirīgajiem spēles stiliem.
Kā tagad klājas?
Britu mākslīgā intelekta uzņēmums DeepMind nesen demonstrēja, kā mākslīgais intelekts var iemācīties spēlēt spēles patstāvīgi, apgūt to noteikumus un atrast veidus, kā pabeigt vai uzvarēt spēli — lai gan līdz šim tikai vienkāršās spēlēs, piemēram, agrīnajās spēlēs. Piemēram, šahs un japāņu loģikas spēle Go. Šajās spēlēs iegūtie rezultāti liecina, ka mākslīgais intelekts spēj adekvāti novērtēt notiekošo uz galda. Tomēr, runājot par mākslīgā intelekta pielāgošanu dažādiem pretinieku spēles stiliem, rezultāti vēl nav tik iespaidīgi.
Mūsdienās neironu tīkli jau ir iemācījušies atpazīt attēlus un vadīt automašīnas. Taču šīs funkcijas var ieviest, izmantojot relatīvi vienkāršas arhitektūras, pat ja tās galu galā ir diezgan dziļas un sarežģītas. Piemēram, Facebook attēlu atpazīšanas mākslīgajam intelektam ir aptuveni 100 slāņu dziļums, kas to padara līdzīgu bioloģiskajām smadzenēm neironu savienojumu skaita un sarežģītības ziņā, veidojot vienotu, lielu tīklu.
Spēles mākslīgais intelekts
Runājot par mašīnmācīšanās pielietošanu spēļu industrijā, pastāv vairāki ierobežojumi, kas neļauj šāda veida arhitektūru vienmēr izmantot. Tie ietver sistēmas prasības, jo īpaši tās, kas saistītas ar centrālo procesoru (CPU), kas nosaka datora spēju apstrādāt sarežģītas spēļu struktūras un tā piemērotību spēļu stāstījumam un spēlēšanai.
Tādējādi izrādās, ka daudzās spēlēs nepieciešamā aparatūra, vēl jo mazāk serveru klasteris, piemēram, tāds, kādu izmanto, piemēram, Facebook attēlu atpazīšanas tīklos, nav pietiekams, lai ieviestu sarežģītu mākslīgā intelekta sistēmu. Dažreiz vairākām mākslīgā intelekta sistēmām ir jādarbojas vienlaikus — ne tikai datoros, bet arī mobilajās ierīcēs un citās mazāk jaudīgās platformās. Tas viss ierobežo mašīnmācīšanās arhitektūras lielumu un sarežģītību, jo visi aprēķini jāveic ar aptuveni 1 vai 2 milisekundes kadru ilgumu. Lai gan var izmantot dažādas optimizācijas tehnoloģijas un slodzes līdzsvarošanu starp kadriem, šos ierobežojumus nevar pilnībā novērst.
Spēles sarežģītība var radīt nopietnus izaicinājumus mākslīgajam intelektam. Galu galā tādās spēlēs kā StarCraft II mehānika ir daudz sarežģītāka nekā Atari spēlēs. Tāpēc nav reāli sagaidīt, ka, ņemot vērā noteiktu kadru ātrumu un zināmas sistēmas prasības, mašīnmācīšanās spēs saprast un mijiedarboties ar visu spēles stāvokli. Tāpat kā spēlētājs spēles sākumposmā bieži paļaujas uz intuīciju, arī mākslīgajam intelektam ir jāiemācās sākotnēji apstrādāt spēles stāvokli, lai vienkāršotu turpmāko progresu. Piemēram, vienā nesenā spēlē, Kartēs tiek attēlota tikai tā informācija, ko izstrādātāji uzskatīja par svarīgu: vienā gadījumā mākslīgais intelekts izmantoja samazinātu skatu uz visu kartes apgabalu; otrajā gadījumā, tāpat kā spēlētājs, tas varēja pārvietot kameru, un tad tā uztvere aprobežojās ar informāciju ekrānā.
AlphaStar mākslīgā intelekta vizualizācija pret cilvēka spēlētāju spēlē StarSraft II: ekrānuzņēmumā redzami neapstrādāti ievades novērojumi, neironu tīkla aktivitāte, dažas no tā iespējamām darbībām un koordinātām, kā arī paredzamais spēles iznākums.
Tas ir īpaši svarīgi spēlēm. Tradicionālās mašīnmācīšanās pieejas bieži vien nav piemērojamas spēļu mākslīgajam intelektam. Piemēram, tam parasti nav jāuzvar vai jādara viss iespējamais, lai sasniegtu uzvaru, kā tas bija Atari spēļu gadījumā. Biežāk mākslīgā intelekta uzdevums ir padarīt spēli saistošāku. Tam, iespējams, ir jārīkojas un jāuzvedas atbilstoši tēlam, par kuru tas ir atbildīgs. Tāpēc spēļu mākslīgie intelekti ir ciešāk saistīti ar spēļu dizainu un stāstījumu, un tiem ir jābūt nepieciešamajiem rīkiem, lai pārvaldītu savu uzvedību, lai sasniegtu noteiktu mērķi. Tīra mašīnmācīšanās ne vienmēr ir piemērota šim nolūkam, kas nozīmē, ka ir jāmeklē kaut kas cits.
Mašīnmācīšanās praktiskās problēmas
Šīs problēmas ir radušās mašīnmācīšanās balstīta mākslīgā intelekta izstrādē. , kur mākslīgajam intelektam ir jāuzvedas kā parastiem spēlētājiem — tas ir, jābūt tikpat elastīgam un atjautīgam.
Tāpat kā Starcraft II, arī Unleashed ir daudz sarežģītāks nekā Atari šahs un Go. Tā spēle ir intuitīva un viegli apgūstama, taču, lai gūtu patiesus panākumus, ir nepieciešamas noteiktas prasmes meta pārvaldībā. Spēlētājiem ir jāveido labirinti, jāatbrīvo monstri uz saviem ienaidniekiem un jāizstrādā stratēģija visas spēles laikā, koncentrējoties uz ekonomiku, uzbrukumiem un struktūru aizsardzību. Tas prasa blefošanu un pretinieku gājienu paredzēšanu, kā arī psiholoģiskās meta pārvaldīšanu — tieši šī meta padara pokeru par vairāk nekā tikai statistisku spēli.
Ekrānuzņēmums no Unleashed
Meklējot vispiemērotāko arhitektūru šiem mērķiem, tika izmantotas tādas tehnoloģijas kā un dziļo mācīšanos, kā arī pārbaudīja, kā tie darbotos neapstrādātā veidā kā konkurējošs mākslīgais intelekts.
Tas bija briesmīgi.
Ātri vien kļuva skaidrs, ka Unleashed bija jāatrisina daudzas liela mēroga problēmas, kuras bija grūti pielāgot mašīnmācībai.
Viens no tiem ir efektīva labirinta izbūve. Tāpat kā daudzās torņu aizsardzības spēlēs, spēlētājiem ir jāveido labirints ap torni, ļaujot monstriem izlauzties cauri. Šie monstri savukārt ir jāiznīcina, izmantojot ieročus, kas izvietoti visā labirintā. Ideālā gadījumā labirintam jābūt pēc iespējas garākam, lai nodarītu pietiekamu kaitējumu monstriem un neļautu tiem sasniegt torni. Monstri ir neaizsargātāki pret dažiem ieročiem nekā pret citiem, tāpēc maksimālas efektivitātes sasniegšanai tie labirintā jānovieto agrāk nekā citi. Unikāla Unleash iezīme ir tā, ka neviens labirints nav ideāls: spēlē ir tik daudz monstru veidu, ka vienā vai otrā veidā daži netraucēti izies cauri kādai labirinta daļai. Jebkuram labirintam jābūt pielāgotam, lai tajā varētu ievietot jaunus monstrus, ko palaiž citi spēlētāji. Tāpēc bija nepieciešams ne tikai iemācīt mākslīgajam intelektam būvēt labirintus, bet arī iemācīt tam izveidot efektīvus labirintus dažādiem scenārijiem, ar kuriem saskārās gan spēles agrīnajā, gan vēlīnā versijā.
Mākslīgajam intelektam bija arī jāiemācās paredzēt, kuri monstri parādīsies labirintā. Šī ir sava veida apgriezta problēma labirinta dizainam. Tāpat kā daudzās citās spēlēs, arī Unleash nepietiek tikai ar armijas izveidi un nosūtīšanu uz ienaidnieka nometni: ir arī jāizpēta ienaidnieka aizsardzība un jāstrukturē savi spēki, lai visefektīvāk uzveiktu viņu vājās vietas. Monstru armijai ir jāmijiedarbojas savā starpā, lai visveiksmīgāk izlauztos cauri labirintam. Dažreiz ir nepieciešams arī atbrīvot monstrus noteiktā secībā atkarībā no to funkcijām un lomām. Tas arī palielina dažādu kombināciju skaitu.
Visbeidzot, tā kā spēlētājam ir gan jāveido labirinti, gan jāapkopo monstru armija, mākslīgajam intelektam ir jāiemācās līdzsvarot uzbrukumu un aizsardzību. Ir arī vērts padomāt, ka jo vairāk spēlētājs veido savu monstru armiju un jo vairāk labirintu viņš uzbūvē, jo vairāk resursu viņam nepieciešams. Tāpēc pareiza ofensīvas stratēģija ir ļoti svarīga gan spēles ekonomikai, gan uzvarai. Lai nodrošinātu konkurētspēju, mākslīgajam intelektam ir jāspēj pārvaldīt resursus tā, lai izveidotu spēcīgu monstru armiju, neapdraudot labirinta spēku. Lieli ieguldījumi monstros var būt ekonomiski izdevīgi, taču tie palielina risku, ka ienaidnieka monstri ieņems labirintu. Paļaušanās uz labirinta aizsardzības stiprināšanu var apdraudēt jūsu ekonomiku. Neviens no scenārijiem neved pie uzvaras. Tādējādi optimizācijas problēma spēlē Unleashed ir plašāka nekā šahā vai StarCraft, un tā ietver nepieciešamību upurēties un aprēķināt savus ieguvumus vairākus gājienus uz priekšu.
Mākslīgajam intelektam mācoties, rodas daudzas iepriekš neparedzētas problēmas. Sākotnēji mākslīgais intelekts bieži sasniedza noteiktu attīstības līmeni, kurā tas sāka izprast noteiktus spēles aspektus, piemēram, kuri ieroči labirintā bija efektīvi pret noteikta veida monstriem vai kuri monstri vislabāk orientējās noteiktās labirinta daļās. Taču mācīšanās bija lēna un noveda pie atkārtotu stratēģiju izstrādes.
Nepieciešamība pēc paralēlām pieejām
Lai gan mašīnmācīšanās balstītas mākslīgā intelekta (MI) apmācība noritēja lēni un ar ierobežotiem panākumiem, citos testēšanas un izstrādes posmos kļuva nepieciešams labāks MI un spēcīgāks pretinieku MI. Lai ieviestu šīs iespējas, tika izmantota Utility arhitektūra, kas ļauj izveidot specializētus MI spēļu testēšanai un kvalitātes nodrošināšanai, ieroču un monstru testēšanai un balansēšanai spēlē, kā arī specifisku labirintu un monstru izveidei. Tomēr Unleash izstrādes laikā veidotāji slīpēja savas prasmes, paši spēlējot spēli, un pēc tam nolēma izmantot šīs zināšanas, lai izveidotu sarežģītāku Utility MI. Tas noveda pie atziņas, ka daudzas problēmas, ar kurām saskaras mašīnmācīšanās balstītās MI sistēmās, varētu viegli atrisināt Utility sistēmas, kas izmanto to iekšējās zināšanas, un otrādi.
Piemēram, efektīvākus labirintus vislabāk var konstruēt, izmantojot mākslīgos intelektus (MI), kuru pamatā ir zināšanu bāzes, kas apkopotas no iekšējās testēšanas. Labirinta konstruēšanas un ieroču izvietošanas tajā algoritmu var viegli aprakstīt un ieprogrammēt tā, lai cilvēkam būtu vieglāk aizstāvēt torni pret konkrētiem monstriem. Tomēr monstru armijas izveide, pamatojoties uz zināšanām par ienaidnieka bāzi, šādiem MI bija sarežģīts uzdevums, jo dažādu nosacījumu un kombināciju skaits, kas bija jāņem vērā, bija satriecošs. Ar šāda veida MI arhitektūru piemērotu monstru kopu atrašana prasītu bezgalīgi daudz laika. Ņemot vērā noteiktos ierobežojumus, dziļā mācīšanās būtu ideāls risinājums šai problēmai.
Hibrīda mākslīgā intelekta izveide
Tāpēc tika nolemts apvienot abas pieejas, izveidojot hibrīda mākslīgā intelekta sistēmu, kuras pamatā ir mašīnmācīšanās un lietderība. Ideja bija izmantot mašīnmācīšanos, kur bija jāapstrādā milzīgs skaits spēles kombināciju un stāvokļu vai kur bija nepieciešama specifiska mācīšanās. Citiem uzdevumiem, kur labāk bija paļauties uz izstrādātāju personīgo pieredzi, tika izmantotas lietderības sistēmas. Vēl viena šīs pieejas priekšrocība ir tā, ka tā ļauj labāk kontrolēt mākslīgā intelekta uzvedību, ja nepieciešams, lai nodrošinātu, ka tas precīzāk atbilst noteiktam mērķim. Piemēram, lietderības mākslīgo intelektu varētu izmantot, lai līdzsvarotu uzbrukumu un aizsardzību, tādējādi radot dažādus agresijas līmeņus, vai arī varētu izveidot dažādas labirinta konfigurācijas dažādiem mākslīgajiem intelektiem, lai attīstītu individuālus spēles stilus. Neironu tīklus varētu arī programmēt ar specifiskām vērtību sistēmām, lai ģenerētu dažādas preferences, vervējot gaisa vai zemes monstrus, tādējādi piešķirot personību individuālam mākslīgajam intelektam. Ir arī daudzas citas iespējas dizaina risinājumu ieviešanai, kas visas izceļ konkrēta mākslīgā intelekta arhitektūras veida stiprās puses.
Hibrīda pieeja atbildēja arī uz citu jautājumu, ar kuru izstrādes komanda saskārās, izstrādājot mākslīgo intelektu Unleash: vai viņiem vajadzētu izmantot vienu, globālu dziļo neironu tīklu, kas balstīts uz mašīnmācīšanos, lai ņemtu vērā visas ievades un izvades, vai arī labāk būtu izstrādāt mākslīgo intelektu ar hierarhisku struktūru?
Divas Unleash izmantotās arhitektūras: kreisajā pusē ir liels dziļš neironu tīkls ar savu vienoto arhitektūru, labajā pusē ir hierarhiska sistēma, kurā katram tīklam ir savs uzdevums.
Tomēr būtu bijis vēlams izveidot vispārēju pieeju mākslīgā intelekta sistēmai, kuras arhitektūru izstrādātāji nepaļautos uz savu pieredzi. Tomēr, jo vairāk spēlētāju pieslēdzās spēlei, jo lielāks kļuva neironu tīkls. Tajā pašā laikā nebija iespējams atdalīt mākslīgā intelekta apmācību un iemācīt tam tikai vienu prasmi: aizsardzību vai uzbrukumu. Un pastāvēja bažas, ka vispārīgāka pieeja ievērojami palielinātu aprēķinu apjomu.
Tas radīja ideju par hierarhiskas arhitektūras izveidi, kurā katru konkrēto uzdevumu veiktu specializēts neironu tīkls. Saskaņā ar šo ideju mākslīgajam intelektam vispirms ir jāizlemj, vai sadalīt resursus starp uzbrukumu (monstru armijas palielināšana) un aizsardzību (labirinta veidošana). Kad tas ir izdarīts, tas, pamatojoties uz savu izvēli, pāriet uz nākamo slāni un iegūst piekļuvi attiecīgajai spēles stāvokļa daļai, pēc kuras tas pieņem detalizētus lēmumus par to, kurus monstrus izvēlēties un kādus ieročus izvietot labirintā.
Secinājums un nākamie soļi
Saskaņā ar uzņēmuma Utility hibrīdo pieeju, mākslīgais intelekts ar iegultiem mašīnmācīšanās tīkliem atgādina hierarhisku arhitektūru. Tas savukārt atgādina bioloģiskās smadzenes, kurās dažādi neironu centri ir atbildīgi par savu uzdevumu.
Pašlaik ienaidnieka mākslīgo intelektu spēlē Unleash ir ļoti grūti uzvarēt: tie var pielāgoties jebkurai spēles situācijai, taču izstrādātāji var arī pielāgot iestatījumus pēc saviem ieskatiem. Pēc raksta autora domām, laika gaitā hibrīdajai pieejai vajadzētu kļūt plašākai un parādīties daudzās citās spēlēs. Varbūt kādu dienu būs iespējams integrēt tīru, uz mašīnmācīšanos balstītu mākslīgo intelektu spēlē. Tomēr tas, protams, prasīs laiku. Pagaidām mērķis ir atrast arhitektūru, kas pielāgosies izaicinājumiem, ar kuriem tā saskaras, un atradīs optimālus risinājumus.
Avots: www.habr.com
