Hur hybrid gaming AI fungerar och dess fördelar

I fortsatt av en tidligere snakket tema i bloggen vår spillkunstig intelligens skal vi snakke om hvor relevant maskinlæring er for dette, og i hvilken form. Om sine erfaringer og de løsningene valgt på dette grunnlaget delte ekspert på AI-spørsmål i Apex Game Tools, Jakob Rasmussen.

I de senere år har det vært mye diskusjon om at maskinlæring vil endre spillindustrien radikalt, ettersom denne teknologien allerede har blitt banebrytende innen mange andre digitale applikasjoner. Men man må ikke glemme at spill er langt mer komplekse enn en bilkjøringssimulator, dronestyringsprogrammer eller ansiktsgjenkjenningsalgoritmer.

Fremdeles i spillindustrien brukes tradisjonelle metoder for AI, som metoden med endelige automater, atferdstrær og - i økende grad - nyttebasert AI (systemer basert på nytte). Denne AI kalles også design-basert (kunstnerisk designintelligens) eller ekspertverktøy. Men det blir stadig mer åpenbart - og først og fremst for spillerne - at disse systemene blir mindre egnet til å skape virkelig avanserte motstandere som kan imitere spillernes atferd. Dette gjelder spesielt kreative løsninger. Dette kan forklares med at utviklere av kunstig intelligens ikke klarer å ta hensyn til alle mulige taktikker og strategier for atferd og implementere dem vellykket i tradisjonelle AI-systemer. For spillere fører dette ofte til at det blir kjedelig og forutsigbart å spille mot en motstander med en atferdslinje som er lett å huske.

Et slikt resultat kommer av mange grunner, men en av hovedårsakene er AI sin manglende evne til å lære. Derfor kommer man, når man lager kunstig intelligens for motstanderen, automatisk til å tenke på overgangen til maskinlæring som har bevist seg vellykket i mange andre anvendelser. Men det er flere spesifikasjoner man bør ta hensyn til. Spill-AI må kunne tilpasse seg enhver situasjon og bruke fordelene den gir, samt tilpasse seg forskjellige spillestiler hos motstandere - både levende spillere og andre AI.

Hur läget ser ut nu

Det brittiska företaget DeepMind, som arbetar med utvecklingen av artificiell intelligens, har nyligen visat hur AI kan lära sig själv att spela spel, förstå reglerna och hitta sätt att genomföra spelet eller vinna — åtminstone hittills bara med enkla spel som tidiga spel. Atari — till exempel schack och det japanska logikspelet go. Resultaten som erhölls för dessa visar att artificiell intelligens kan bilda en adekvat bedömning av vad som händer på spelplanen. När det gäller AI:s anpassning till olika motståndarstilar är resultaten dock inte särskilt imponerande.

Nu för tiden har neurala nätverk redan lärt sig att känna igen bilder och köra bilar. Men dessa funktioner kan också implementeras med relativt enkla arkitekturer, även om de i slutändan kan visa sig ganska djupa och omfattande. Till exempel har AI för bildigenkänning på Facebook en djup av cirka 100 lager, vilket gör att den påminner om en biologisk hjärna — i termer av antalet och komplexiteten av kopplingar mellan neuroner som bildar ett stort nätverk.

Spel-AI

När det gäller tillämpningen av maskininlärning inom spelindustrin finns det en rad begränsningar som gör det svårt att använda denna typ av arkitektur. Dessa inkluderar systemkrav, särskilt vad gäller CPU, som avgör datorns förmåga att hantera komplexa spelstrukturer och lämpligheten för spelberättande och gameplay.

Det visar sig att det i många spel inte finns möjlighet att organisera den nödvändiga hårdvaran för att implementera ett komplext artificiellt intelligenssystem, och ännu mindre en kluster av servrar som finns, till exempel för bildigenkänningsnätverk på Facebook. Ibland måste flera AI till och med fungera samtidigt — inte bara på datorer utan också på mobila enheter och andra mindre kraftfulla plattformar. Allt detta lägger begränsningar på storleken och komplexiteten hos maskininlärningsarkitekturen, eftersom alla beräkningar dessutom måste utföras inom en tidsram på cirka 1 eller 2 millisekunder. Självklart kan olika optimeringsteknologier och belastningsfördelning mellan bildrutor användas, men det går fortfarande inte att helt bli av med dessa begränsningar.

Komplexiteten i spelet kan ge allvarliga problem för AI. I spel som exempelvis StarCraft II är spelmekaniken mycket mer komplex än i Atari-spel. Därför bör man inte förvänta sig att maskininlärning, givet en viss bildfrekvens och kända systemkrav, nödvändigtvis kommer att klara av att förstå hela spelets tillstånd och interagera med det. Precis som en spelare ofta styrs av intuitionen i de tidiga fasarna av spelet, måste AI också lära sig att initialt bearbeta spelstatusen för att förenkla den fortsatta progressionen. Till exempel, i en av de senaste API för Starcraft II på kartorna visas endast den information som utvecklarna ansåg vara viktig: i ett fall använde AI en nedskärd vy av hela kartterritoriet, i det andra — likt spelaren, kunde den flytta kameran, och dess uppfattning var då begränsad till informationen på skärmen.

Visualisering av AI:n AlphaStar mot spelaren i StarCraft II: på skärmdumpen visas "rå" ursprungliga observationer, aktiviteten hos det neurala nätverket, några av dess möjliga handlingar och koordinater, samt den förväntade utgången av matchen.

Detta är en särskilt relevant aspekt när det gäller spel. Vanligtvis är traditionella metoder för maskininlärning inte tillämpliga på spelens artificiella intelligens. Till exempel behöver den oftast inte vinna eller göra allt som krävs för att segra, som var fallet med Atari-spelen. Ofta består AI:ns roll av att göra spelet mer engagerande. Den kan behöva spela en roll och bete sig som karaktären den representerar. Således är spel-AI mer kopplade till speldesign och berättande och måste ha de verktyg som krävs för att styra sitt beteende mot att nå ett specificerat mål. Ren maskininlärning är inte alltid tillräcklig för detta — vilket innebär att vi måste leta efter något annat.

Praktiska problem med maskininlärning

Dessa problem uppstod vid utvecklingen av artificiell intelligens baserad på maskininlärning för Unleash, där AI måste bete sig som vanliga spelare — det vill säga vara lika flexibla och fyndiga.

Precis som Starcraft II är Unleashed mycket mer komplex än schack och go för Atari. Spelet är intuitivt och lätt att förstå, men för att verkligen lyckas krävs det specifika färdigheter i meta-hantering. Spelaren måste bygga labyrinter, skicka monster mot fiender och tänka igenom sin strategi kring ekonomi, anfall och försvar av byggnader under hela spelets gång. För detta måste hen bluffa och förutsäga motståndarens drag samt hantera den psykologiska metan — det är just detta som gör poker till något mer än bara ett statistiskt spel.

Skärmdump från Unleashed

I jakten på den mest lämpliga arkitekturen för dessa ändamål implementerades sådana teknologier som neuroevolution och djupinlärning i spelet nästan oförändrat och testades för att se hur de presterade i sitt råa skick som motstående AI.

Det var fruktansvärt.

Det blev snabbt uppenbart att Unleashed behövde lösa många globala problem som är svåra att anpassa maskininlärning till.

En av dem är att bygga en effektiv labyrint. Precis som i många tornförsvarsspel måste spelarna här skapa en labyrint runt tornet för att stoppa monster som försöker ta sig igenom. Spelarna måste eliminera dem med hjälp av vapen placerade runt om i labyrinten. Idealisk är labyrinten så lång som möjligt, så att spelarna hinner orsaka tillräckligt med skada innan monstren når tornet. Vissa vapen är mer effektiva mot vissa typer av monster, så de bör placeras i labyrinten före de andra för att förstärka effektiviteten. Det speciella med Unleash är att det inte finns något perfekt labyrint: i spelet finns det så många typer av monster att någon av dem förr eller senare kommer att ta sig igenom en del av labyrinten. Varje labyrint behöver anpassas efter nya monster som släpps av andra spelare. Därför var det nödvändigt att inte bara träna AI att bygga labyrinter - det krävdes också att lära AI att skapa effektiva labyrinter för olika scenarier, oavsett om det är i spelets tidiga eller senare version.

AI behövde också lära sig att beräkna vilka monster som skulle dyka upp i labyrinten. Detta är en slags omvänd problemställning i förhållande till byggandet av labyrinten. Precis som i många andra spel är det i Unleash inte tillräckligt att bara bygga upp en armé och skicka den mot fienden: det är också viktigt att spionera på fiendens försvar och strukturera sin armé för att slå mot fiendens svaga punkter så effektivt som möjligt. Armén av monster måste interagera på ett sätt så att den framgångsrikt kan ta sig igenom labyrinten. Ibland är det också nödvändigt att släppa ut monster i en viss ordning beroende på deras funktioner och roller. Det här ökar också antalet olika kombinationer.

Slutligen, eftersom spelaren både måste skapa labyrinter och samla en armé av monster, måste AI:n också lära sig att hitta en balans mellan attack och försvar. Det är också värt att beakta att ju mer spelaren bygger upp sin armé av monster och ju mer han bygger labyrinten, desto mer resurser behöver han för detta. Därför är en korrekt angreppsstrategi extremt viktig både för ekonomin under spelets gång och för att vinna. För att säkerställa konkurrenskraft måste AI:n kunna fördela resurser så att den kan skapa en kraftfull armé av monster utan att äventyra labyrintens styrka. Att satsa allt på monster kan vara ekonomiskt fördelaktigt, men detta ökar risken för att motståndarens monster tar över labyrinten. Om man istället satsar på att stärka labyrintens försvar kan detta skada ens ekonomi. Inga av dessa scenarier kommer att leda till seger. Således visar sig optimeringsproblemet i Unleashed vara mer omfattande än i fallet med schack eller Starcraft, och inkluderar behovet av att offra något och beräkna sin nytta flera steg framåt.

I takt med att den artificiella intelligensen lär sig uppstår en mängd tidigare oövervägda problem. Till exempel, i början nådde AI:n ofta en viss utvecklingsnivå där den började förstå vissa aspekter av spelet — till exempel vilket vapen i labyrinten som är effektivt mot specifika typer av monster eller vilka monster som bäst tar sig igenom vissa delar av labyrinten. Men lärandet var långsamt och ledde till att enformiga strategier utvecklades.

Behovet av parallella tillvägagångssätt

Medan AI-utbildning, baserad på maskininlärning, utvecklades långsamt och inte särskilt framgångsrikt, blev bättre AI och mer pålitliga konkurrerande AI nödvändiga för andra test- och utvecklingsfaser. För att genomföra detta användes Utility-arkitekturen, som gör det möjligt att skapa specialiserade AI för testning och kvalitetskontroll av spel, in-game-tester och balansering av vapen och fiender, samt för att skapa specifika labyrinter och monster. Under utvecklingen av Unleash finslipade skaparna själva sina färdigheter i att navigera genom den, och beslutade sedan att använda den kunskap de fått för att skapa en mer avancerad Utility AI. Det blev tydligt att många problem som uppstår i AI-system baserade på maskininlärning enkelt kan lösas med hjälp av Utility-system som använder den kunskap de innehåller, och vice versa.

Till exempel är det bättre att bygga mer effektiva labyrinter med hjälp av Utility AI, baserade på kunskapsbaser skapade från resultaten av interna tester. Det är lätt att beskriva och programmera en algoritm för att bygga en labyrint och placera vapen i den på ett sätt som gör det enklare för en levande spelare att försvara sitt torn mot specifika monster. Men att skapa en armé av monster baserat på kunskapsbasen om fienden visade sig vara en utmaning för sådana AI, eftersom antalet olika förhållanden och kombinationer som måste beaktas var överväldigande. Med den här typen av AI-arkitektur skulle det ta oändligt lång tid att hitta lämpliga svärd av monster. Därför skulle djupinlärning vara den idealiska lösningen för denna uppgift, under givna begränsningar.

Skapande av hybrida AI

Så det beslutades att kombinera två metoder och på så sätt skapa ett hybrid-system för artificiell intelligens baserat på maskininlärning och Utility. Idén var att där det var nödvändigt att bearbeta ett stort antal kombinationer och spelsituationer, eller där det krävdes en viss träning, användes maskininlärning. För andra uppgifter, där det är bättre att förlita sig på utvecklarnas personliga erfarenhet, användes Utility-system. Fördelen med denna metod är att man vid behov kan bättre kontrollera AI:ns beteende för att säkerställa dess exakta efterföljande av det givna målet. Till exempel kan man använda Utility AI för att säkerställa balans mellan anfall och försvar och på så sätt skapa olika nivåer av aggressivitet, eller så kan man skapa olika labyrinkonfigurationer för olika AI för att forma individuella spelstilar. Man kan också ge neuronnät vissa värdesystem för att forma olika preferenser i valet av flygande eller markbaserade monster och på så sätt också ge vissa AI en personlig prägel. Det finns många andra alternativ för att realisera projektlösningar, och alla dessa framhäver styrkorna hos de olika typerna av AI-arkitektur.

Den hybrida metoden var också svaret på en annan fråga som ställdes till utvecklarteamet under utvecklingen av AI för Unleash: Ska man använda ett enhetligt globalt djupt neuronnät baserat på maskininlärning för att ta hänsyn till alla in- och utdata, eller är det bättre att utforma AI med en hierarkisk struktur?

De två arkitekturer som användes i Unleash: till vänster — ett stort djupt neuronnät med sin egen enhetliga arkitektur, till höger — ett hierarkiskt system där varje nätverk har sin egen uppgift.

Och ändå skulle jag vilja skapa en gemensam strategi för artificiell intelligens, där utvecklarna inte skulle ha infört sin egen erfarenhet i arkitekturen. Ju fler ingångar som genomfördes i spelet, desto mer växte neuronnätverket. Samtidigt kunde man inte separera träningen av AI och lära dem något enskilt: antingen försvar eller anfall. Det fanns farhågor om att en mer generell ansats skulle leda till en betydande ökning av antalet beräkningar.

Härifrån uppstod idén om att skapa en hierarkisk arkitektur där varje specifik uppgift utfördes av ett specialiserat neuronnät. Enligt denna idé måste den artificiella intelligensen först fatta beslut om resursfördelning för anfall (ökning av monsterarmén) och försvar (byggande av labyrinter). När den har gjort detta går den vidare till nästa lager enligt sitt val och får tillgång till den nödvändiga delen av spelets tillstånd, varefter den fattar detaljerade beslut om vilka monster som ska väljas och vilken typ av vapen som ska installeras i labyrinten.

Slutsats och nästa steg

Med en hybridmetod påminner Utility AI med inbyggda maskininlärningsnät om en hierarkisk arkitektur. Den liknar i sin tur den biologiska hjärnan, där olika nervcentraler ansvarar för sina specifika uppgifter.

För närvarande är det mycket svårt att besegra AI-motståndaren i Unleash: de kan anpassa sig till vilken situation som helst i spelet, men utvecklarna kan ändra deras inställningar efter eget skön. Enligt artikelförfattaren bör den hybridmetoden över tid bli mer spridd och dyka upp i många andra spel. Kanske kommer det en dag att vara möjligt att införa ren maskininlärningsbaserad artificiell intelligens i spelprocessen. Men uppenbarligen kommer det fortfarande att ta tid. Under tiden är målet att hitta en sådan arkitektur som kan anpassa sig till de uppgifter som ställs framför den och hitta optimala sätt att lösa dem.

Källa: habr.com