In Fortsetzung eines Themas, das wir einst in unserem Blog behandelt haben, darüber, wie anwendbar maschinelles Lernen ist und in welcher Form. Mit unseren Erfahrungen und den auf dieser Basis getroffenen Entscheidungen, Experte für KI-Themen bei Apex Game Tools, Jakob Rasmussen.
In den letzten Jahren wird viel darüber gesprochen, dass maschinelles Lernen die Spieleindustrie revolutionieren wird, da diese Technologie bereits in vielen anderen digitalen Anwendungen bahnbrechend ist. Doch sollte man nicht vergessen, dass Spiele deutlich komplexer sind als ein Fahrsimulator, ein Drohnensteuerungsprogramm oder Gesichtserkennungsalgorithmen in Bildern.
Während in der Spieleindustrie nach wie vor traditionelle KI-Methoden wie endliche Automaten, Verhaltensbäume und – zunehmend – utilitaristische KI (nutzungsbasierte Systeme) verwendet werden, ist es für die Spieler immer offensichtlicher geworden, dass diese Systeme für die Schaffung wirklich fortschrittlicher Gegner, die das Verhalten der Spieler nachahmen könnten, zunehmend ungeeignet sind. Insbesondere betrifft dies kreative Lösungsansätze. Dies lässt sich damit erklären, dass die Entwickler von künstlicher Intelligenz nicht in der Lage sind, alle möglichen Taktiken und Verhaltensstrategien zu berücksichtigen und erfolgreich in traditionellen KI-Systemen umzusetzen. Für die Spieler wird es oft langweilig und vorhersehbar, gegen einen Gegner zu spielen, dessen Verhaltensmuster leicht zu merken sind.
Verschiedene Gründe führen zu diesem Ergebnis, aber einer der Hauptgründe ist die Unfähigkeit der KI zu lernen. Daher liegt es nahe, bei der Entwicklung von Gegner-KI zu maschinellem Lernen überzugehen, das sich in vielen anderen Anwendungen hervorragend bewährt hat. Jedoch gibt es einige Nuancen zu beachten. So muss die KI im Spiel in der Lage sein, sich an jede Situation anzupassen und die Vorteile zu nutzen, die sie ihr bietet, sowie sich an verschiedene Spielstile der Gegner – sowohl lebende Spieler als auch andere KIs – anzupassen.
Wie sieht die Situation jetzt aus
Das britische Unternehmen DeepMind, das sich mit der Entwicklung von künstlicher Intelligenz beschäftigt, hat kürzlich gezeigt, wie KI selbstständig lernen kann, Spiele zu spielen, deren Regeln zu verstehen und Wege zu finden, um ein Spiel zu meistern oder zu gewinnen – allerdings bisher nur am Beispiel einfacher Spiele wie den frühen Spielen. – zum Beispiel Schach und das japanische Logikspiel Go. Die erzielten Ergebnisse zeigen, dass die künstliche Intelligenz in der Lage ist, sich eine angemessene Einschätzung der Situation auf dem Feld zu bilden. Wenn es um die Anpassung der KI an verschiedene Spielstile des Gegners geht, sind die Ergebnisse jedoch noch nicht so beeindruckend.
Heutzutage haben neuronale Netze bereits gelernt, Bilder zu erkennen und Fahrzeuge zu steuern. Diese Funktionen können jedoch auch mit vergleichsweise einfachen Architekturen umgesetzt werden, auch wenn sie am Ende relativ tief und umfangreich sind. So hat die KI zur Bildkennung bei Facebook eine Tiefe von etwa 100 Schichten, weshalb sie dem biologischen Gehirn ähnelt – durch die Anzahl und Komplexität der Verbindungen zwischen Neuronen, die ein großes Netzwerk bilden.
Spielfähige KI
Was die Anwendung des maschinellen Lernens in der Spieleindustrie betrifft, gibt es eine Reihe von Einschränkungen, die es nicht immer ermöglichen, dieser Art von Architektur zu nutzen. Dazu gehören die Systemanforderungen, insbesondere die an die CPU, die bestimmen, wie gut der Computer in der Lage ist, komplexe Spielstrukturen zu verarbeiten und wie geeignet er für das Storytelling und Gameplay ist.
Das bedeutet, dass in vielen Spielen für die Implementierung eines komplexen KI-Systems oft nicht die notwendige Hardware und schon gar nicht ein Servercluster zur Verfügung steht, wie es beispielsweise für Bildverarbeitungsnetzwerke bei Facebook der Fall ist. Manchmal müssen mehrere KIs gleichzeitig arbeiten – nicht nur auf Computern, sondern auch auf mobilen Geräten und anderen weniger leistungsfähigen Plattformen. All dies setzt Grenzen für die Größe und Komplexität der Architektur des maschinellen Lernens, da alle Berechnungen zudem innerhalb einer Frame-Dauer von etwa 1 oder 2 Millisekunden durchgeführt werden müssen. Natürlich kann man verschiedene Optimierungs- und Lastverteilungs-Technologien nutzen, doch ganz entkommen lassen sich diese Einschränkungen nicht.
Die Komplexität des Spiels kann ernsthafte Probleme für die KI darstellen. In Spielen wie zum Beispiel StarCraft II ist die Spielmechanik um ein Vielfaches komplizierter als in Atari-Spielen. Daher sollte man nicht erwarten, dass das maschinelle Lernen bei gegebener Bildfrequenz und bekannten Systemanforderungen in der Lage ist, den gesamten Zustand des Spiels ganz zu erfassen und damit zu interagieren. Während der Spieler zu Beginn oft von Intuition geleitet wird, muss auch die KI lernen, den Spielzustand primär zu verarbeiten, um die weiteren Fortschritte zu erleichtern. Zum Beispiel in einem der letzten auf den Karten wird nur die Informationen angezeigt, die die Entwickler für wichtig erachteten: In einem Fall nutzte die KI eine verkleinerte Ansicht des gesamten Kartenbereichs, im anderen – ähnlich wie der Spieler – konnte sie die Kamera bewegen, wodurch ihre Wahrnehmung auf die Informationen auf dem Bildschirm beschränkt war.
Visualisierung des Spiels der KI AlphaStar gegen den Spieler in StarCraft II: Der Screenshot zeigt die „rohen“ ursprünglichen Beobachtungen, die Aktivität des neuronalen Netzwerks, einige ihrer möglichen Aktionen und Koordinaten sowie den vermuteten Ausgang des Spiels.
Dies ist ein besonders aktueller Aspekt im Falle von Spielen. Oft sind herkömmliche Methoden zur Problemlösung im Bereich des maschinellen Lernens nicht auf die Spiel- künstliche Intelligenz anwendbar. Zum Beispiel ist es normalerweise nicht erforderlich, dass sie gewinnt oder alles tut, um zu siegen, wie es bei Atari-Spielen der Fall war. Häufig besteht die Rolle der KI darin, das Spielerlebnis spannender zu gestalten. Sie kann dazu gezwungen sein, eine Rolle zu spielen und sich so zu verhalten, wie es der Charakter vorsieht, für den sie verantwortlich ist. Somit sind Spiel-KIs stärker an Game Design und Storytelling gebunden und müssen die Werkzeuge besitzen, um ihr Verhalten zur Erreichung des festgelegten Ziels zu steuern. Reines maschinelles Lernen eignet sich dafür nicht immer — also muss nach etwas anderem gesucht werden.
Praktische Probleme des maschinellen Lernens
Diese Probleme traten bei der Entwicklung einer auf maschinellem Lernen basierenden künstlichen Intelligenz für , wo die KI sich wie normale Spieler verhalten muss — das heißt, ebenso flexibel und einfallsreich sein muss.
Ähnlich wie Starcraft II ist Unleashed viel komplexer aufgebaut als Schach und Go für Atari. Das Gameplay ist intuitiv und leicht erlernbar, aber um darin wirklich erfolgreich zu sein, sind bestimmte Fähigkeiten im Umgang mit der Meta erforderlich. Der Spieler muss Labyrinthe erstellen, Monster auf Feinde hetzen und seine Strategie in Bezug auf Wirtschaft, Angriff und Verteidigung von Gebäuden während des gesamten Spiels überdenken. Dafür muss er bluffen und die Züge anderer im Voraus kalkulieren sowie die psychologische Meta steuern — genau das macht Poker zu mehr als nur einem statistischen Spiel.
Screenshot aus Unleashed
Bei der Suche nach der am besten geeigneten Architektur für diese Zwecke wurden zunächst Technologien wie und Deep Learning in die Spielumgebung praktisch unverändert integriert und es wurde getestet, wie sie sich im rohen Zustand als KI-Gegner schlagen würden.
Das war schrecklich.
Es wurde schnell offensichtlich, dass in Unleashed viele globale Probleme gelöst werden müssen, für die sich maschinelles Lernen schwer anpassen lässt.
Eines davon ist der Bau eines effektiven Labyrinths. Wie in vielen Spielen, deren Ziel es ist, einen Turm zu verteidigen, müssen die Spieler hier ein Labyrinth um ihn herum errichten, durch das Monster hindurchdringen werden. Diese müssen dann mit den im Labyrinth platzierten Waffen beseitigt werden. Idealerweise sollte das Labyrinth so lang wie möglich sein, um den Monstern ausreichend Schaden zuzufügen und sie daran zu hindern, den Turm zu erreichen. Für bestimmte Waffentypen sind die Monster anfälliger als für andere, weshalb es sich lohnt, diese früher im Labyrinth zu platzieren als alle anderen. Das Besondere an Unleash ist, dass es kein perfektes Labyrinth gibt: Im Spiel gibt es so viele Monstertypen, dass irgendwie immer eines von ihnen ungehindert durch einen Teil des Labyrinths kommen wird. Jedes Labyrinth muss an neue Monster angepasst werden, die von anderen Spielern ins Spiel gebracht werden. Daher war es notwendig, nicht nur die künstliche Intelligenz zu lehren, Labyrinthe zu bauen — sie musste auch lernen, effektive Labyrinthe für verschiedene Szenarien zu erstellen, mit denen man sowohl in der frühen als auch in der späten Version des Spiels konfrontiert werden kann.
Außerdem musste die KI lernen, welche Monster im Labyrinth erscheinen werden. Dies ist eine Art umgekehrtes Problem im Vergleich zum Bau des Labyrinths. Wie in vielen anderen Spielen ist es in Unleash nicht genug, einfach eine Armee aufzubauen und sie in die feindlichen Reihen zu schicken: Man muss auch die feindliche Verteidigung ausspionieren und die Truppe so strukturieren, dass ein maximales gezieltes Treffen auf die Schwachstellen des Gegners möglich ist. Die Armee der Monster muss so interagieren, dass sie am erfolgreichsten durch das Labyrinth brechen kann. Manchmal ist es auch notwendig, die Monster in einer bestimmten Reihenfolge loszulassen, abhängig von ihren Funktionen und Rollen. Auch das erhöht die Anzahl der verschiedenen Kombinationen.
Schließlich muss die KI, da der Spieler sowohl Labyrinthe erstellen als auch eine Armee von Monstern aufbauen muss, ein Gleichgewicht zwischen Angriff und Verteidigung finden lernen. Es ist auch zu beachten, dass je mehr der Spieler seine Armee von Monstern aufbaut und je mehr er das Labyrinth gestaltet, desto mehr Ressourcen er dafür benötigt. Daher ist eine effektive Angriffsstrategie entscheidend sowohl für die Wirtschaft im Spiel als auch für den Sieg. Um die Wettbewerbsfähigkeit zu gewährleisten, muss die KI in der Lage sein, Ressourcen so zu verwalten, dass sie eine starke Armee von Monstern schafft, ohne dabei die Stärke des Labyrinths zu gefährden. Maximale Investitionen in Monster können wirtschaftlich vorteilhaft sein, erhöhen jedoch das Risiko, dass Gegner das Labyrinth erobern. Eine Fokussierung auf die Verstärkung der Labyrinthverteidigung könnte hingegen deine Wirtschaft schwächen. Kein dieses Szenarien führt zum Sieg. Daher erweist sich das Optimierungsproblem in Unleashed als umfassender als in Schach oder Starcraft und beinhaltet die Notwendigkeit, etwas zu opfern und den eigenen Vorteil mehrere Schritte im Voraus zu kalkulieren.
Während das künstliche Lernen der Intelligenz tauchen viele zuvor nicht berücksichtigte Probleme auf. So erreichte die KI anfangs oft ein bestimmtes Entwicklungsniveau, bei dem sie begann, einige Aspekte des Spiels zu verstehen – zum Beispiel, welches Labyrinth-Waffen gegen bestimmte Arten von Monstern effektiv sind oder welche Monster am besten bestimmte Abschnitte des Labyrinths durchqueren. Aber das Lernen war langsam und führte zu uniformen Strategien.
Notwendigkeit paralleler Ansätze
Während das Training von KI, die auf maschinellem Lernen basiert, langsam und nicht besonders erfolgreich voranschritt, wurde für andere Test- und Entwicklungsphasen eine bessere KI und zuverlässigere konkurrierende KIs benötigt. Zu diesem Zweck wurde die Utility-Architektur genutzt, mit der spezielle KIs für Tests, Qualitätsprüfungen von Spielen, In-Game-Tests und die Balance von Waffen und Monstern sowie zur Erstellung spezifischer Labyrinthe und Monster entwickelt werden konnten. Allerdings verfeinerten die Entwickler von Unleash während der Entwicklung ihre eigenen Fähigkeiten im Gameplay und entschieden sich schließlich, das gewonnene Wissen für die Erstellung einer komplexeren Utility-KI zu nutzen. So wurde klar, dass viele Probleme in maschinell lernenden KI-Systemen leicht mit Utility-Systemen gelöst werden können, die das in ihnen verankerte Wissen nutzen, und umgekehrt.
Zum Beispiel lassen sich effizientere Labyrinthe besser mit Utility-KIs erstellen, die auf Wissensdatenbanken basieren, die durch interne Tests zusammengestellt wurden. Es lässt sich leicht ein Algorithmus zur Erstellung von Labyrinthen und zur Platzierung von Waffen programmieren, der so gestaltet ist, dass es einem lebenden Spieler leichter fällt, einen Turm gegen bestimmte Monster zu verteidigen. Die Schaffung einer Armee von Monstern auf der Grundlage von Wissen über die gegnerische Basis stellte jedoch eine komplexe Aufgabe für solche KIs dar, da die Vielzahl der zu berücksichtigenden Bedingungen und Kombinationen schier überwältigend war. Bei diesem Architekturstil würde die Suche nach geeigneten Monstersets ewig dauern. Unter den gegebenen Einschränkungen wäre tiefes Lernen die ideale Lösung für diese Aufgabe.
Erstellung von hybriden KIs
Es wurde beschlossen, zwei Ansätze zu kombinieren und somit ein hybrides System für künstliche Intelligenz auf Basis von maschinellem Lernen und Utility zu schaffen. Die Idee war, dass in Situationen, wo eine enorme Anzahl von Kombinationen und Zuständen des Spiels verarbeitet werden musste oder wo es nötig war, es zu trainieren, maschinelles Lernen eingesetzt wurde. Für andere Aufgaben, bei denen es besser ist, sich auf die persönliche Erfahrung der Entwickler zu stützen, wurden Utility-Systeme verwendet. Der Vorteil dieses Ansatzes liegt auch darin, dass das Verhalten der KI bei Bedarf besser kontrolliert werden kann, um eine genauere Einhaltung des vorgegebenen Ziels zu gewährleisten. Beispielsweise könnte man Utility-KI verwenden, um das Gleichgewicht zwischen Angriff und Verteidigung zu gewährleisten und dadurch unterschiedliche Aggressionslevel zu schaffen, oder man könnte verschiedene Labyrinthkonfigurationen für unterschiedliche KIs erstellen, um ihnen individuelle Spielstile zu verleihen. Auch könnten neuronalen Netzen bestimmte Wertesysteme zugewiesen werden, um unterschiedliche Präferenzen bei der Auswahl von Luft- oder Bodenmonstern zu formen und somit einzelnen KIs ebenfalls Individualität zu verleihen. Es gibt noch viele weitere Optionen zur Umsetzung von Projektszenarien, und alle betonen die Stärken des jeweiligen KI-Architekturtyps.
Der hybride Ansatz stellte auch eine Antwort auf eine weitere Frage dar, die sich dem Entwicklerteam im Verlauf der Entwicklung der künstlichen Intelligenz für Unleash stellte: Soll eine globale, tiefe neuronale Netzstruktur auf der Basis von maschinellem Lernen verwendet werden, um alle Eingaben und Ausgaben zu berücksichtigen, oder ist es besser, die KI mit einer hierarchischen Struktur zu entwerfen?
Die zwei Architekturen, die in Unleash verwendet wurden: links — ein großes tiefes neuronales Netzwerk mit einer eigenen einheitlichen Architektur, rechts — ein hierarchisches System, in dem jedes Netzwerk seine eigene Aufgabe hat.
Und dennoch wäre es wünschenswert, einen gemeinsamen Ansatz für das System der künstlichen Intelligenz zu schaffen, in dessen Architektur die Entwickler ihre eigene Erfahrung nicht einfließen ließen. Je mehr Zugriffe ins Spiel vorgenommen wurden, desto mehr wuchs das neuronale Netzwerk. Dabei konnte man das Training der KI nicht vom Training auf eine bestimmte Richtung trennen: entweder Verteidigung oder Angriff. Es gab Bedenken, dass ein allgemeinerer Ansatz zu einem erheblichen Anstieg der Berechnungen führen würde.
Daraus entstand die Idee, eine hierarchische Architektur zu schaffen, bei der jede spezifische Aufgabe von einem spezialisierten neuronalen Netzwerk ausgeführt wird. gemäß dieser Idee muss die künstliche Intelligenz zunächst eine Entscheidung über die Ressourcenzuteilung für Angriff (Erhöhung der Monsterarmee) und Verteidigung (Bau des Labyrinths) treffen. Sobald sie dies tut, wechselt sie zur nächsten Ebene entsprechend ihrer Wahl und erhält Zugriff auf den benötigten Teil des Spielzustands, woraufhin sie detaillierte Entscheidungen darüber trifft, welche Monster auszuwählen und welche Waffen im Labyrinth zu installieren.
Fazit und nächste Schritte
Bei einem hybriden Ansatz erinnert die Utility-KI mit ihren integrierten, maschinenlernenden Netzwerken an eine hierarchische Architektur. Diese wiederum ähnelt dem biologischen Gehirn, in dem verschiedene Nervenzentren jeweils für ihre eigene Aufgabe verantwortlich sind.
Der gegnerische KI in Unleash ist jetzt sehr schwer zu besiegen: Sie sind in der Lage, sich jeder Spielsituation anzupassen, und die Entwickler können ihre Einstellungen nach Belieben ändern. Der Artikelverfasser ist der Meinung, dass der hybride Ansatz im Laufe der Zeit verbreiteter werden sollte und in vielen anderen Spielen auftauchen wird. Vielleicht wird es eines Tages gelingen, eine reine maschinenlernbasierte künstliche Intelligenz in den Spielprozess zu integrieren. Doch offensichtlich wird dies noch Zeit erfordern. Derzeit besteht das Ziel darin, eine Architektur zu finden, die sich selbst an die vorliegenden Aufgaben anpassen kann und optimale Lösungen findet.
Quelle: habr.com
