Im Anschluss an das zuvor in unserem Blog behandelte Thema möchten wir erörtern, inwieweit maschinelles Lernen anwendbar ist und in welcher Form. Experteneinsichten und auf dieser Grundlage getroffene Entscheidungen stammen von Jakob Rasmussen, einem Experten für KI bei Apex Game Tools.
In den letzten Jahren wird viel darüber diskutiert, dass maschinelles Lernen die Gaming-Industrie revolutionieren wird, da diese Technologie bereits in vielen anderen digitalen Anwendungen bahnbrechend geworden ist. Man sollte jedoch nicht vergessen, dass Spiele viel komplexer sind als ein Fahrsimulator, ein Drohnensteuerungsprogramm oder Gesichtsrecognition-Algorithmen in Bildern.
Während in der Spieleindustrie nach wie vor traditionelle KI-Methoden wie Zustandsautomaten, Verhaltenbäume und zunehmend auch utilitaristische KI (nutzbasierten Systeme) bevorzugt werden, wird immer deutlicher — vor allem den Spielern — dass diese Systeme zunehmend ungeeignet sind, um wirklich anspruchsvolle Gegner zu schaffen, die das Verhalten von Spielern nachahmen können. Dies gilt insbesondere für kreative Entscheidungen. Der Grund dafür liegt darin, dass KI-Entwickler nicht in der Lage sind, alle möglichen Taktiken und Verhaltensstrategien zu berücksichtigen und sie erfolgreich in traditionellen KI-Systemen umzusetzen. Für die Spieler führt dies oft dazu, dass das Spiel gegen einen Gegner, dessen Verhaltensmuster leicht zu merken sind, langweilig und vorhersehbar wird.
Zahlreiche Ursachen führen zu diesem Ergebnis, aber eine der Hauptgründe ist die Unfähigkeit von KI zur eigenständigen Lernfähigkeit. Daher erscheint der Übergang zu maschinellem Lernen als eine offensichtliche Lösung bei der Entwicklung von Gegner-KI, die sich in vielen anderen Anwendungen bewährt hat. Es gibt jedoch einige wichtige Aspekte, die man beachten sollte. So muss die Spiel-KI in der Lage sein, sich an jede Situation anzupassen und die Vorteile, die sich daraus ergeben, zu nutzen sowie sich an verschiedene Spielstile von Gegnern – lebenden Spielern und anderen KIs – anzupassen.
Wie sieht die Lage derzeit aus
Das britische Unternehmen DeepMind, das sich mit der Entwicklung von Künstlicher Intelligenz beschäftigt, hat kürzlich gezeigt, wie KI selbstständig lernen kann, Spiele zu spielen, deren Regeln zu verstehen und Strategien zu finden, um die Spiele zu bestehen oder zu gewinnen – bislang jedoch nur bei einfachen Spielen wie den frühen — zum Beispiel Schach und das japanische Brettspiel Go. Die erzielten Ergebnisse zeigen, dass die künstliche Intelligenz in der Lage ist, eine angemessene Einschätzung der Situation auf dem Spielfeld vorzunehmen. Bei der Anpassung der KI an verschiedene Spielstile des Gegners sind die Ergebnisse bisher jedoch nicht so beeindruckend.
Heutzutage haben neuronale Netze bereits gelernt, Bilder zu erkennen und Autos zu fahren. Diese Funktionen können jedoch auch mit vergleichsweise einfachen Architekturen realisiert werden, selbst wenn sie letztendlich recht komplex und umfangreich sind. So hat die KI zur Bilderkennung auf Facebook eine Tiefe von etwa 100 Schichten, was sie in Bezug auf die Anzahl und Komplexität der Verbindungen zwischen den Neuronen, die ein großes Netzwerk bilden, dem biologischen Gehirn ähnlich macht.
Spielerische KI
Bei der Anwendung von maschinellem Lernen in der Spieleindustrie gibt es eine Reihe von Einschränkungen, die es nicht immer ermöglichen, diese Art von Architektur zu nutzen. Dazu gehören die Systemanforderungen, insbesondere die bezüglich der CPU, die die Fähigkeit des Computers zur Verarbeitung komplexer Spielestrukturen und dessen Eignung für das Storytelling und Gameplay bestimmen.
In vielen Spielen besteht keine Möglichkeit, die erforderliche Hardware für die Implementierung eines komplexen KI-Systems bereitzustellen, geschweige denn einen Servercluster zu organisieren, wie es beispielsweise für Bildvernetzungsnetzwerke bei Facebook der Fall ist. Manchmal müssen sogar mehrere KI-Systeme gleichzeitig arbeiten — und nicht nur auf Computern, sondern auch auf mobilen Endgeräten und anderen weniger leistungsstarken Plattformen. Diese Herausforderungen setzen Grenzen für die Größe und Komplexität der Architektur des maschinellen Lernens, da alle Berechnungen innerhalb eines Zeitrahmens von etwa 1 oder 2 Millisekunden erfolgen müssen. Natürlich können verschiedene Optimierungstechnologien und Lastverteilungstechniken eingesetzt werden, dennoch lassen sich diese Einschränkungen nicht vollständig überwinden.
Die Komplexität des Spiels kann ernsthafte Probleme für KI darstellen. In Spielen wie StarCraft II beispielsweise ist die Spielmechanik erheblich komplexer als in Atari-Spielen. Daher sollte man nicht erwarten, dass maschinelles Lernen bei einer bestimmten Bildrate und den bekannten Systemanforderungen in der Lage ist, den gesamten Zustand des Spiels zu verstehen und mit ihm zu interagieren. Während ein Spieler in den frühen Phasen oft intuitiv handelt, muss auch die KI lernen, den Spielzustand zunächst zu verarbeiten, um das weitere Fortschreiten zu erleichtern. Zum Beispiel in einer der letzten werden auf den Karten nur die Informationen angezeigt, die die Entwickler für wichtig hielten: In einem Fall nutzte die KI eine reduzierte Ansicht des gesamten Kartenbereichs, im anderen konnte sie, ähnlich wie der Spieler, die Kamera bewegen, und ihre Wahrnehmung wurde durch die Informationen auf dem Bildschirm eingeschränkt.
Visualisierung des Spiels der KI AlphaStar gegen einen Spieler in Starcraft II: Der Screenshot zeigt die "rohen" Ausgangsbeobachtungen, die Aktivität des neuronalen Netzwerks, einige seiner möglichen Handlungen und Koordinaten sowie den vermuteten Ausgang des Matches.
Dies ist ein besonders relevantes Thema im Bereich der Spiele. Oftmals sind übliche Methoden des maschinellen Lernens nicht auf künstliche Intelligenz (KI) in Spielen anwendbar. Zum Beispiel muss sie nicht unbedingt gewinnen oder alles in ihrer Macht Stehende tun, um zu siegen, wie es bei Atari-Spielen der Fall war. Häufig besteht die Rolle der KI darin, das Spielerlebnis spannender zu gestalten. Sie muss eventuell schauspielern und sich so verhalten, wie es der Charakter, für den sie verantwortlich ist, erfordert. Daher sind Spiele-KIs stark auf Game-Design und Storytelling angewiesen und müssen über die notwendigen Werkzeuge verfügen, um ihr Verhalten für ein festgelegtes Ziel zu steuern. Rein maschinelles Lernen ist nicht immer dafür geeignet — deshalb ist es notwendig, etwas anderes zu finden.
Praktische Herausforderungen des maschinellen Lernens
Diese Herausforderungen traten bei der Entwicklung von KI auf, die auf maschinellem Lernen basiert, für , wo die KI sich wie gewöhnliche Spieler verhalten soll – das heißt, ebenso flexibel und einfallsreich sein muss.
Wie bei Starcraft II ist Unleashed viel komplexer als Schach und Go für Atari. Das Gameplay ist intuitiv verständlich und leicht zu erlernen, aber um wirklich erfolgreich zu sein, sind bestimmte Fähigkeiten im Umgang mit der Meta erforderlich. Der Spieler muss Labyrinthe erstellen, Monster auf Feinde hetzen und seine Strategie in der Wirtschaft, beim Angriff und beim Schutz von Gebäuden im Verlauf des gesamten Spiels durchdenken. Dazu gehört es, zu bluffen und die Züge der Gegner im Voraus zu kalkulieren sowie die psychologische Meta zu steuern — sie macht Poker zu mehr als nur einem statistischen Spiel.
Screenshot aus Unleashed
Bei der Suche nach der am besten geeigneten Architektur wurden zunächst Technologien wie und tiefes Lernen in das Spiel integriert, um zu testen, wie sie sich in roher Form als KI-Gegner schlagen.
Das war schrecklich.
Es wurde schnell klar, dass in Unleashed viele globale Probleme gelöst werden müssen, für die maschinelles Lernen schwer anzupassen ist.
Eine der Herausforderungen besteht darin, ein effektives Labyrinth zu erstellen. Wie in vielen Tower-Defense-Spielen müssen die Spieler hier ein Labyrinth um ihren Turm herum bauen, durch das Monster eindringen werden. Diese müssen dann mit den im Labyrinth platzierten Waffen beseitigt werden. Idealerweise sollte das Labyrinth so lang wie möglich sein, um den Monstern genügend Schaden zuzufügen und zu verhindern, dass sie den Turm erreichen. Bei einigen Waffen sind die Monster anfälliger als bei anderen, daher ist es ratsam, diese früher im Labyrinth zu platzieren, um die Effektivität zu erhöhen. Das Besondere an Unleash ist, dass es kein perfektes Labyrinth gibt: Es gibt so viele verschiedene Monster in dem Spiel, dass immer eines von ihnen ohne Schwierigkeiten einen Abschnitt des Labyrinths durchqueren wird. Jedes Labyrinth muss an neue Monster angepasst werden, die von anderen Spielern ins Spiel gebracht werden. Deshalb war es notwendig, nicht nur künstliche Intelligenz darin zu trainieren, Labyrinthe zu bauen, sondern auch effektive Labyrinthe für verschiedene Szenarien zu entwickeln, die sowohl in der frühen als auch in der späten Version des Spiels auftreten können.
Auch die KI musste lernen, welche Monster im Labyrinth erscheinen würden. Das ist eine Art umgekehrtes Problem im Vergleich zum Erstellen des Labyrinths. Wie in vielen anderen Spielen reicht es in Unleash nicht aus, einfach eine Armee aufzubauen und sie ins feindliche Lager zu schicken: Es ist auch notwendig, die feindliche Verteidigung auszuspionieren und die Truppen so zu strukturieren, dass sie die Schwachstellen des Gegners möglichst effektiv angreifen. Die Armee der Monster muss so miteinander interagieren, dass sie den Durchbruch durch das Labyrinth am erfolgreichsten gestalten können. Manchmal ist es auch erforderlich, die Monster in einer bestimmten Reihenfolge freizulassen, abhängig von ihren Funktionen und Rollen. Das erhöht ebenfalls die Anzahl der verschiedenen Kombinationen.
Schließlich muss der KI nicht nur lernen, wie man Labyrinthe erstellt, sondern auch, wie man eine Armee von Monstern aufbaut, um ein Gleichgewicht zwischen Angriff und Verteidigung zu finden. Es ist ebenfalls zu berücksichtigen, dass je mehr der Spieler seine Monsterarmee vergrößert und je mehr er das Labyrinth ausbaut, desto mehr Ressourcen er dafür benötigt. Daher ist die richtige Angriffsstrategie von entscheidender Bedeutung, sowohl für die Wirtschaft im Spielverlauf als auch für den Sieg. Um die Wettbewerbsfähigkeit zu gewährleisten, muss die KI in der Lage sein, Ressourcen so zu verwalten, dass sie eine starke Monsterarmee aufbaut, ohne die Stärke des Labyrinths zu gefährden. Maximal in Monster zu investieren, kann wirtschaftlich vorteilhaft sein, birgt jedoch das Risiko, dass das Labyrinth von gegnerischen Monstern erobert wird. Auf der anderen Seite könnte der Fokus auf den Ausbau der Labyrinthverteidigung die eigene Wirtschaft schwächen. Keiner dieser Szenarien führt zum Sieg. Die Optimierungsproblematik in Unleashed ist somit umfassender als im Fall von Schach oder Starcraft und beinhaltet die Notwendigkeit, etwas zu opfern und seinen Nutzen mehrere Schritte im Voraus zu kalkulieren.
Mit dem Fortschritt der Künstlichen Intelligenz treten zahlreiche zuvor unbeachtete Probleme auf. So erreichte die KI anfangs häufig ein bestimmtes Entwicklungsniveau, bei dem sie begann, einige Aspekte des Spiels zu verstehen — zum Beispiel, welche Waffen im Labyrinth gegen bestimmte Monster effektiv sind oder welche Monster am besten bestimmte Abschnitte des Labyrinths überwinden. Doch das Lernen war langsam und führte zu sich wiederholenden Strategien.
Die Notwendigkeit paralleler Ansätze
Während sich das Training von KI-gestützten Systemen, die auf maschinellem Lernen basieren, langsam und nicht besonders erfolgreich entwickelte, wurde für andere Test- und Entwicklungsphasen eine bessere KI sowie zuverlässigere konkurrierende KIs erforderlich. Zu diesem Zweck wurde die Utility-Architektur verwendet, die es ermöglicht, spezialisierte KIs für die Testung und Qualitätskontrolle von Spielen, für In-Game-Tests sowie für die Balance von Waffen und Monstern zu entwickeln und spezifische Labyrinthe und Kreaturen zu erschaffen. Während der Entwicklung von Unleash verfeinerten die Schöpfer selbst ihre Fähigkeiten im Spiel und entschieden dann, das gewonnene Wissen zur Schaffung einer anspruchsvolleren Utility-KI zu nutzen. Es wurde deutlich, dass viele Probleme, die in KI-Systemen auftreten, die auf maschinellem Lernen basieren, leicht mit Utility-Systemen gelöst werden können, die das in ihnen verankerte Wissen nutzen, und umgekehrt.
Beispielsweise lassen sich effizientere Labyrinthe besser mit Hilfe von Utility-KI erstellen, die auf Wissensdatenbanken basieren, die aus internen Tests gewonnen wurden. Der Algorithmus zur Erstellung von Labyrinthen und zur Platzierung von Waffen kann so beschrieben und programmiert werden, dass es für einen lebenden Spieler einfacher wäre, einen Turm gegen bestimmte Monster zu verteidigen. Die Schaffung einer Monsterarmee auf der Grundlage von Informationen über die gegnerische Basis stellte jedoch eine komplexe Herausforderung für solche KI dar, da die Vielzahl an Bedingungen und Kombinationen, die berücksichtigt werden mussten, schier überwältigend war. In diesem Architekturansatz würde die Suche nach geeigneten Monstersets unendlich lange dauern. Unter den gegebenen Einschränkungen wäre Deep Learning die ideale Lösung für diese Aufgabe.
Erstellung hybrider KI
Es wurde beschlossen, zwei Ansätze zu kombinieren, um ein hybrides KI-System basierend auf maschinellem Lernen und Utility zu schaffen. Die Idee war, dass an Stellen, wo eine große Anzahl von Spielkombinationen und -zuständen verarbeitet werden musste oder wo es notwendig war, das System zu trainieren, maschinelles Lernen eingesetzt wurde. Für andere Aufgaben, bei denen es besser ist, auf die Erfahrung der Entwickler zu bauen, wurden Utility-Systeme verwendet. Der Vorteil dieses Ansatzes liegt auch darin, dass man das Verhalten der KI bei Bedarf besser kontrollieren kann, um sicherzustellen, dass sie genau den gewünschten Zielen folgt. Zum Beispiel kann Utility-KI eingesetzt werden, um ein Gleichgewicht zwischen Angriff und Verteidigung zu gewährleisten und so verschiedene Aggressionslevel zu schaffen. Man kann auch unterschiedliche Labyrinthkonfigurationen für verschiedene KIs erstellen, sodass individuelle Spielstile entstehen. Darüber hinaus können neuronalen Netzen bestimmte Wertesysteme zugewiesen werden, um unterschiedliche Präferenzen bei der Auswahl von Luft- oder Bodentypen zu fördern und so den KIs eine individuelle Note zu verleihen. Es gibt noch viele weitere Optionen zur Umsetzung von Projektlösungen, und alle betonen die Stärken der jeweiligen Architekturart der KI.
Der hybride Ansatz war auch eine Antwort auf eine weitere Frage, die sich dem Entwicklungsteam stellte, als es KI für Unleash entwickelte: Soll man einheitliche globale tiefen Neuronale Netze einsetzen, die alle Eingangs- und Ausgangsdaten berücksichtigen, oder ist es besser, eine KI mit einer hierarchischen Struktur zu gestalten?
Die zwei Architekturen, die in Unleash verwendet wurden: links — ein großes tiefes Neuronales Netz mit einer eigenen einheitlichen Architektur, rechts — ein hierarchisches System, in dem jedes Netzwerk seine eigene Aufgabe hat.
Dennoch wünscht man sich einen gemeinsamen Ansatz für das KI-System, dessen Architektur von den Entwicklern nicht durch eigene Erfahrungen geprägt ist. Doch mit jeder zusätzlichen Eingabe in das Spiel wurde das Neuronale Netz komplexer. Gleichzeitig konnte das Training der KI nicht getrennt erfolgen, man konnte sie nicht nur auf Verteidigung oder nur auf Angriff trainieren. Es gab Befürchtungen, dass ein allgemeineren Ansatz zu einem erheblichen Anstieg der Rechenleistung führen würde.
Hieraus entstand die Idee, eine hierarchische Architektur zu schaffen, in der jede spezifische Aufgabe von einem spezialisierten neuronalen Netzwerk erfüllt wird. Nach diesem Konzept muss die künstliche Intelligenz zunächst entscheiden, wie die Ressourcen zwischen Angriff (Verstärkung der Monsterarmee) und Verteidigung (Bau des Labyrinths) aufgeteilt werden. Sobald dies entschieden ist, wechselt sie zur nächsten Schicht entsprechend ihrer Wahl und erhält Zugang zu dem benötigten Teil des Spielzustands, um dann detaillierte Entscheidungen darüber zu treffen, welche Monster ausgewählt werden und welche Waffen im Labyrinth platziert werden.
Fazit und nächste Schritte
Bei einem hybriden Ansatz ähnelt Utility-AI mit integrierten maschinellen Lernnetzwerken einer hierarchischen Architektur. Diese erinnert wiederum an das biologische Gehirn, in dem verschiedene Nervenzentren für jeweils spezifische Aufgaben verantwortlich sind.
Der KI-Gegner in Unleash ist zurzeit äußerst schwer zu besiegen: Sie können sich an jede Spielsituation anpassen, während die Entwickler deren Einstellungen nach Belieben ändern können. Laut dem Autor des Artikels sollte sich im Laufe der Zeit ein hybrider Ansatz verbreiten und in vielen anderen Spielen auftauchen. Möglicherweise wird es eines Tages gelingen, KI-Intelligenz basierend auf maschinellem Lernen in Reinform in das Gameplay zu integrieren. Offensichtlich wird dafür jedoch noch Zeit benötigt. Bis dahin besteht das Ziel darin, eine Architektur zu finden, die sich selbst an die ihr gestellten Aufgaben anpasst und optimale Lösungen dafür findet.
Quelle: habr.com
