強化学習か進化戦略か? - 両方

おい、ハブル！

私たちは、コードがなく、明らかに学術的な性質を持つ XNUMX 年前のテキストの翻訳をここに投稿することを決定することはあまりありませんが、今日は例外を設けます。 この記事のタイトルで提起されているジレンマが多くの読者を悩ませていることを願っています。また、あなたはこの記事が論じている進化戦略に関する基本的な著作を原文ですでに読んでいるか、これから読む予定です。 猫さんへようこそ！

2017 年 XNUMX 月、OpenAI は「」という論文で深層学習コミュニティに波紋を広げました。強化学習のスケーラブルな代替手段としての進化戦略」 この研究では、強化学習 (RL) がくさびになっていないこと、および複雑なニューラル ネットワークをトレーニングする場合は他の方法を試すことが推奨されるという事実を支持する印象的な結果について説明しました。 その後、強化学習の重要性と、それが問題解決を教えるための「必須」テクノロジーとしての地位にどのように値するかについて議論が巻き起こりました。 ここで私が言いたいのは、これら XNUMX つのテクノロジーを競合するものとして考えるべきではなく、一方が他方よりも明らかに優れているということです。 それどころか、最終的には相互に補完し合うことになります。 確かに、創作に何が必要か少し考えてみると、 一般的なAI そして、その存在全体を通して学習、判断、計画を行うことができるそのようなシステムであれば、ほぼ確実に、これまたはその組み合わせのソリューションが必要であるという結論に達するでしょう。 ちなみに、進化の過程で哺乳類やその他の高等動物に複雑な知性を与えたのは、まさにこの組み合わせた解決策でした。

進化戦略

OpenAI の論文の主なテーマは、強化学習と従来の逆伝播を組み合わせて使用​​する代わりに、「進化戦略」(ES) と呼ばれるものを使用して複雑な問題を解決するニューラル ネットワークのトレーニングに成功したということでした。 この ES アプローチは、複数のエージェントが並行して動作し、この分布から選択されたパラメータを使用することにより、ネットワーク全体の重みの分布を維持することで構成されます。 各エージェントは独自の環境で動作し、指定された数のエピソードまたはエピソードのステージが完了すると、アルゴリズムはフィットネス スコアとして表現される累積報酬を返します。 この値を考慮すると、パラメータの分布をより成功したエージェントにシフトし、あまり成功していないエージェントを除外することができます。 このような操作を何百人ものエージェントが参加して何百万回も繰り返すことで、エージェントが自分に割り当てられたタスクを解決するための質の高いポリシーを策定できる空間に重みの配分を移動することができます。 実際、この記事で紹介されている結果は印象的です。XNUMX 個のエージェントを並行して実行すると、擬人化された二足歩行を XNUMX 分以内に学習できることが示されています (ただし、最も高度な RL 手法であっても、より多くの費用が必要です)。これには XNUMX 時間以上）。 さらに詳しい情報については、優れた書籍を読むことをお勧めします。 投稿する 実験の著者らからも、 科学論文.

OpenAI の ES メソッドを使用して研究された、擬人化された直立歩行を教えるためのさまざまな戦略。

ブラックボックス

この方法の大きな利点は、簡単に並列化できることです。 A3C などの RL メソッドではワーカー スレッドとパラメータ サーバー間で情報を交換する必要がありますが、ES では適合度推定と一般化されたパラメータ分布情報のみが必要です。 この単純さにより、この手法はスケーリング機能の点で最新の RL 手法よりもはるかに優れています。 ただし、これらすべてが無駄になるわけではありません。ブラック ボックスの原則に従ってネットワークを最適化する必要があります。 この場合、「ブラック ボックス」とは、トレーニング中にネットワークの内部構造が完全に無視され、全体的な結果 (エピソードの報酬) のみが使用され、特定のネットワークの重みがどのように変化するかはそれに依存することを意味します。後の世代にも受け継がれます。 環境からあまりフィードバックを受け取らない状況では、また多くの従来の RL 問題では報酬の流れが非常に希薄であるため、問題は「部分的にブラック ボックス」から「完全にブラック ボックス」になります。 この場合、生産性を大幅に向上できるため、もちろん、そのような妥協は正当化されます。 「とにかく絶望的にノイズが多い場合、誰がグラデーションを必要とするでしょうか?」 -これが一般的な意見です。

ただし、フィードバックがより活発になる状況では、ES にとって問題が発生し始めます。 OpenAI チームは、シンプルな MNIST 分類ネットワークが ES を使用してトレーニングされた方法について説明していますが、今回のトレーニングは 1000 倍遅かったです。 実際のところ、画像分類における勾配信号は、より適切な分類をネットワークに教える方法に関して非常に有益です。 したがって、問題は RL 手法では少なく、ノイズの多い勾配を生成する環境での報酬がまばらな場合に問題が大きくなります。

自然の解決策

自然の例から学び、AI の開発方法を考えてみると、場合によっては AI は次のように考えることができます。 問題指向のアプローチ。 結局のところ、自然はコンピューター科学者がまったく持たない制約の中で動いています。 特定の問題を解決するための純粋に理論的なアプローチは、経験的な代替案よりも効果的な解決策を提供できるという意見があります。 しかし、私は依然として、特定の制約の下で動作する動的システム (地球) が、柔軟で複雑な行動が可能なエージェント (動物、特に哺乳類) をどのように生成するかをテストする価値があると考えています。 これらの制約の一部はシミュレートされたデータ サイエンスの世界には適用されませんが、その他の制約は問題ありません。

哺乳類の知的行動を調べてみると、それは密接に関連する XNUMX つのプロセスの複雑な相互影響の結果として形成されていることがわかります。 他人の経験から学ぶ и 実践から学ぶ。 前者は自然選択による進化と同一視されることが多いですが、ここではエピジェネティクス、マイクロバイオーム、および遺伝的に関連のない生物間での経験の共有を可能にするその他のメカニズムを考慮するために、より広い用語を使用しています。 XNUMX 番目のプロセスである経験からの学習は、動物が生涯を通じて学習するすべての情報であり、この情報はこの動物と外界との相互作用によって直接決定されます。 このカテゴリには、物体を認識する学習から、学習プロセスに固有のコミュニケーションの習得まで、あらゆるものが含まれます。

大まかに言えば、自然界で発生するこれら 100 つのプロセスは、ニューラル ネットワークを最適化するための XNUMX つのオプションにたとえることができます。 勾配に関する情報を使用して生物に関する情報を更新する進化戦略は、他人の経験から学ぶことに近づきます。 同様に、何らかの経験を得ることがエージェントの行動に何らかの変化をもたらす勾配法は、自分自身の経験から学習することに匹敵します。 これら XNUMX つのアプローチのそれぞれが動物においてどのような種類の知的な行動や能力を発達させるかを考えると、その比較はより顕著になります。 どちらの場合も、「進化的方法」は、人が一定の適応度（生き続けるのに十分な）を発達させることを可能にする反応的行動の研究を促進します。 歩くことや飼育下から逃げることを学ぶことは、多くの場合、多くの動物に遺伝子レベルで「組み込まれている」より「本能的な」行動と同等です。 さらに、この例は、報酬シグナルが非常にまれな場合 (たとえば、赤ちゃんの育成が成功したという事実) に進化的手法が適用できることを確認します。 このような場合、この事実が発生する何年も前に実行された可能性のある特定の一連の行動と報酬を相関させることは不可能です。 一方、ES が失敗した場合、つまり画像分類を考慮すると、その結果は、XNUMX 年以上にわたって行われた無数の行動心理学実験で得られた動物学習の結果に驚くほど匹敵します。

動物から学ぶ

強化学習で使用される手法は、多くの場合、心理学の文献から直接引用されています。 オペラント条件付け、オペラント条件付けは動物心理学を使用して研究されました。 ちなみに、強化学習の創始者XNUMX人のうちのXNUMX人であるリチャード・サットンは心理学の学士号を取得しています。 オペラント条件付けの文脈では、動物は報酬または罰を特定の行動パターンと関連付けることを学習します。 調教師や研究者は、この報酬の関連付けを何らかの方法で操作し、動物に知性や特定の行動を示すよう促すことができます。 しかし、動物研究で使用されるオペラント条件付けは、動物が生涯を通じて学習する基礎となる同じ条件付けのより顕著な形式にすぎません。 私たちは常に環境からポジティブな強化のシグナルを受け取り、それに応じて自分の行動を調整します。 実際、多くの神経科学者や認知科学者は、人間や他の動物は実際にはさらに高いレベルで動作し、潜在的な報酬に基づいて将来の状況での行動の結果を予測する方法を継続的に学習していると信じています。

経験から学習する際の予測の中心的な役割は、上記のダイナミクスを大きく変化させます。 以前は非常にまばらであると考えられていたシグナル (エピソード報酬) は、非常に密であることが判明しました。 理論的には、状況は次のようなものです。哺乳類の脳は常に、感覚刺激と行動の複雑な流れに基づいて結果を計算していますが、動物は単にこの流れに浸っているだけです。 この場合、動物の最終的な行動は、予測の調整と行動の発展を導くために使用する必要がある強い信号を与えます。 脳はこれらすべての信号を使用して、将来の予測 (およびそれに応じて実行される行動の質) を最適化します。 このアプローチの概要は、優れた書籍「サーフィンの不確実性」認知科学者で哲学者のアンディ・クラーク。 このような推論を人工エージェントのトレーニングに当てはめると、強化学習の根本的な欠陥が明らかになります。このパラダイムで使用される信号は、あり得る (またはそうあるべき) ものと比較して絶望的に弱いということです。 信号の飽和を増やすことができない場合 (信号が本質的に弱いか、低レベルの反応性を伴うため)、おそらく ES など、十分に並列化されたトレーニング方法を選択する方がよいでしょう。

ニューラルネットワークのより充実したトレーニング

常に予測を行うのに忙しい哺乳類の脳に固有の高度な神経活動の原理に基づいて、強化学習が最近進歩し、そのような予測の重要性が考慮されるようになりました。 似たような作品をすぐに XNUMX つお勧めします。

• 未来を予測して行動することを学ぶ
• 教師なし補助タスクによる強化学習

これらの論文の両方で、著者は、将来の環境の状態に関する予測結果を使用して、ニューラル ネットワークの典型的なデフォルト ポリシーを補足しています。 最初の記事では、さまざまな測定変数に予測を適用し、XNUMX 番目の記事では、環境の変化やエージェントの動作自体に予測を適用します。 どちらの場合も、正の強化に関連するまばらな信号はより豊富で情報量が多くなり、より迅速な学習とより複雑な動作の獲得の両方が可能になります。 このような改善は、勾配信号を使用する方法でのみ利用可能であり、ES などの「ブラック ボックス」原理で動作する方法では利用できません。

さらに、経験と勾配法から学ぶ方がはるかに効果的です。 ES 手法を使用すると、強化学習を使用するよりも速く特定の問題を研究できた場合でも、ES 戦略には RL よりも何倍も多くのデータが含まれるという事実により、利点が達成されました。 この場合、動物の学習原理を反映すると、他の誰かの例から学習した結果は何世代も経ってから現れますが、動物がその教訓を永遠に学ぶには、単独で経験した単一の出来事で十分な場合もあります。 みたいな感じで 例のないトレーニング 従来の勾配法には完全には適合しませんが、ES よりもはるかに理解しやすいです。 たとえば、次のようなアプローチがあります。 神経エピソード制御ここで Q 値はトレーニング プロセス中に保存され、その後プログラムはアクションを実行する前にそれらをチェックします。 その結果、以前よりもはるかに速く問題の解決方法を学習できる勾配法が誕生しました。 神経エピソード制御に関する記事の中で、著者らはヒトの海馬について言及している。海馬は一度の経験の後でも出来事に関する情報を保持することができ、したがって、 重要な役割 思い出していく過程で。 このようなメカニズムにはエージェントの内部組織へのアクセスが必要ですが、これも定義上、ES パラダイムでは不可能です。

では、それらを組み合わせてみてはいかがでしょうか?

この記事の大部分は、私が RL 手法を提唱しているという印象を与える可能性があります。 しかし、実際には、長期的には、両方の方法を組み合わせて、それぞれが最適な状況で使用されることが最善の解決策であると考えています。 明らかに、多くの事後対応ポリシーの場合、または正の強化の信号が非常にまばらな状況では、特に大規模な並列トレーニングを実行できる自由に使えるコンピューティング能力がある場合は、ES が勝ちます。 一方、強化学習または教師あり学習を使用した勾配法は、広範なフィードバックにアクセスでき、より少ないデータで問題を迅速に解決する方法を学ぶ必要がある場合に役立ちます。

自然に目を向けると、最初の方法が本質的に XNUMX 番目の方法の基礎を築くことがわかります。 これが、哺乳類が進化の過程で、環境から来る複雑な信号から非常に効率的に学習できる脳を発達させてきた理由です。 したがって、質問は未解決のままです。 おそらく進化戦略は、勾配学習法にも役立つ効果的な学習アーキテクチャを発明するのに役立つでしょう。 結局のところ、自然が見つけた解決策は実際に非常に成功しています。

出所： habr.com