DeepMind AI はチームプレイをマスターし、Quake III で人間を上回るパフォーマンスを発揮

キャプチャー・ザ・フラッグは、多くの人気シューターに見られるかなりシンプルな対戦モードです。 各チームの拠点にはマーカーがあり、目標は相手のマーカーを捕らえ、うまく自分たちのところに持ち込むことです。 しかし、人間にとって理解しやすいことは、機械にとってはそれほど簡単ではありません。 フラッグを捕捉するために、ノンプレイヤー キャラクター (ボット) は伝統的にヒューリスティックと単純なアルゴリズムを使用してプログラムされており、選択の自由が限られており、人間よりも著しく劣っています。 しかし、人工知能と機械学習は、この状況を完全に変えることを約束します。

В статье、約XNUMX年後に今週サイエンス誌に掲載されました。 プレプリント、および あなたのブログ、ロンドンに本拠を置くAlphabetの子会社DeepMindの研究者らは、id SoftwareのQuake III Arenaマップ上でキャプチャ・ザ・フラッグをプレイする方法を学習できるだけでなく、まったく新しいチーム戦略を開発することもできるシステムについて説明している。

「誰もAIにこのゲームのプレイ方法を教えたわけではなく、AIが対戦相手に勝つかどうかという結果だけを持っていました。 このアプローチを使用する利点は、エージェントをトレーニングするときにどのような動作が現れるか決して分からないことです」と、以前は機械学習システム AlphaStar に携わっていた DeepMind の研究科学者 Max Jaderberg 氏は言います (最近では 超えた StarCraft II の専門家の人間チーム)。 同氏はさらに、彼らの新しい取り組みの重要な手法は、まず強化学習であり、一種の報酬システムを使用してソフトウェアエージェントに設定された目標を達成するよう促すものであり、報酬システムはAIチームが勝ったかどうかに関係なく機能したと説明した。しかし、第二に、エージェントはグループで訓練されたため、AIは最初からチームインタラクションを習得する必要がありました。

「研究の観点から見ると、これは非常にエキサイティングなアルゴリズムのアプローチとしては目新しいものです」とマックス氏は付け加えた。 「私たちが AI をトレーニングした方法は、古典的な進化のアイデアをどのように拡張して実装するかをよく示しています。」

For The Win (FTW) という挑発的な名前が付けられた DeepMind のエージェントは、畳み込みニューラル ネットワーク (人間の視覚野をモデルにしたレイヤーに配置された一連の数学関数 (ニューロン)) を使用して、画面のピクセルから直接学習します。 受信したデータは、長期依存関係を認識できる複数の短期記憶 (英語の長期短期記憶 - LSTM) を備えた XNUMX つのネットワークに送信されます。 XNUMXつは応答速度が速く業務データを管理し、もうXNUMXつはゆっくりと分析して戦略を策定します。 どちらも変分メモリに関連付けられており、ゲーム世界の変化を予測し、エミュレートされたゲーム コントローラを通じてアクションを実行するために一緒に使用されます。

合計で、DeepMind は 30 人のエージェントを訓練し、さまざまなチームメイトと対戦相手を与えて、AI が記憶しないようにゲーム カードをランダム化しました。 各エージェントには独自の報酬信号があり、旗をキャプチャするなどの独自の内部目標を作成できます。 各 AI は個別にキャプチャ ザ フラッグの約 450 万ゲームをプレイしました。これは約 XNUMX 年のゲーム経験に相当します。

十分に訓練された FTW エージェントは、あらゆるマップ、チーム名簿、チーム規模に共通の戦略を適用することを学びました。 彼らはチームメイトを追跡する、敵の基地でキャンプする、攻撃者から基地を守るなどの人間の行動を学習し、味方を注意深く監視しすぎるなど、あまり有益ではないパターンを徐々に失いました。

それで、どのような結果が得られたのでしょうか？ 人間とエージェントがランダムに一緒にプレイしたり、お互いに対戦したりする 40 人トーナメントでは、FTW エージェントは人間のプレイヤーの勝率を大幅に上回りました。 AI の Elo レーティング (勝利の確率) は 1600 でした。これに対し、「強力な」人間プレーヤーの場合は 1300、「平均的な」人間プレーヤーの場合は 1050 でした。

AI の反応速度は人間の反応速度よりもはるかに速く、初期の実験では前者が大幅に有利だったため、これは驚くべきことではありません。 しかし、組み込みの 257 ミリ秒の遅延のおかげでエージェントの精度が低下し、反応時間が増加した場合でも、AI は依然として人間を上回りました。 上級プレイヤーとカジュアルプレイヤーは、それぞれゲーム全体の 21% と 12% しか勝ちませんでした。

さらに、研究の発表後、科学者たちは、複雑なレベルのアーキテクチャと、Future Crossings や Ironwood などの追加オブジェクトを備えた本格的な Quake III Arena マップでエージェントをテストすることを決定し、そこで AI はテストマッチで人間にうまく挑戦し始めました。 。 研究者らがエージェントのニューラル ネットワークの活性化パターン、つまり、入ってくる情報に基づいて出力を決定する役割を担うニューロンの機能を調べたところ、部屋、旗の状態、チームメイトと対戦相手の可視性、および敵基地におけるエージェントの有無、チームベース、およびゲームプレイのその他の重要な側面。 訓練されたエージェントには、エージェントが旗を取ったときや味方がそれを保持していたときなど、特定の状況を直接エンコードするニューロンも含まれていました。

「注目すべき点の XNUMX つは、これらのマルチエージェント チームが非常に強力であるということだと思います。私たちの研究はそれを実証しています」とジェイダーバーグ氏は言います。 「それが、私たちがここ数年、より良いやり方で、強化学習の問題を解決する方法を学んできたことです。」 そして、強化されたトレーニングは本当に見事に効果を発揮しました。」

ユニバーシティ・カレッジ・ロンドンのコンピュータ・サイエンス教授でディープマインドの科学者でもあるトーア・グレーペル氏は、彼らの研究がAIの将来におけるマルチエージェント学習の可能性を浮き彫りにしていると信じている。 また、人間と機械の相互作用や、相互に補完したり連携したりするシステムに関する研究の基礎としても機能します。

「私たちの結果は、マルチエージェント強化学習が、人間のプレイヤーがコンピュータープレイヤーの方がより良いチームメイトになると信じるまでに、複雑なゲームを首尾よくマスターできることを示しています。 この研究では、訓練されたエージェントがどのように行動し、連携するかについて、非常に興味深い詳細な分析も提供されていると Grapel 氏は述べています。 「これらの結果が非常に興味深いのは、エージェントが自分たちの環境を一人称で、つまり人間のプレイヤーと同じように認識していることです。 戦術的にプレーし、チームメイトと協力する方法を学ぶために、これらのエージェントは、教師やコーチが何をすべきかを指示することなく、試合結果からのフィードバックに頼らなければなりませんでした。」

出所： 3dnews.ru