NeurIPS 2019: 今後 XNUMX 年間に続く ML のトレンド

NeuroIPS (ニューラル情報処理システム）は、機械学習と人工知能に関する世界最大規模のカンファレンスであり、ディープラーニング界の主要イベントです。

私たちDSエンジニアは、次の10年で生物学、言語学、心理学も習得できるのでしょうか？レビューでその答えをお伝えします。

今年のカンファレンスには、カナダのバンクーバーに13500カ国から80人以上が集まりました。ズベルバンクはここ数年、ロシア代表としてこのカンファレンスに参加しており、DSチームは銀行業務プロセスにおけるMLの導入、MLコンペティション、そしてズベルバンクDSプラットフォームの機能について講演しました。2019年のMLコミュニティにおける主なトレンドは何だったのでしょうか？カンファレンス参加者の意見を以下にまとめました。 アンドレイ・チェルトク и タチアナ・シャヴリナ.

今年、NeurIPS は、アルゴリズム、新しいモデル、新しいデータへの新しいアプリケーションなど、1400 件を超える論文を受け入れました。 すべての資料へのリンク

内容：

• トレンド
• • モデルの解釈可能性
  • 学際性
  • 推論
  • RL
  • GAN
• 主な招待講演
• • 「ソーシャル インテリジェンス」、ブレイズ アゲラ イ アルカス (Google)
  • 「Veridical Data Science」、ビン・ユー（バークレー）
  • 「機械学習による人間行動モデリング：機会と課題」、ヌリア・M・オリバー、アルバート・アリ・サラー
  • 「システム1からシステム2へのディープラーニング」ヨシュア・ベンジオ

2019年のトレンド

1. モデルの解釈可能性と新しいML手法

会議の主な議題は、特定の結果が得られる理由の解釈と証明でした。「ブラックボックス」を解釈することの哲学的な重要性についてはいくらでも語ることができますが、この分野ではより現実的な手法や技術的な進歩が見られました。

モデルの再現性とそこからの知識抽出の方法論は、科学における新たなツールキットです。モデルは新たな知識の獲得とその検証のためのツールとして機能するため、モデルの前処理、学習、適用の各段階は再現可能でなければなりません。
出版物のかなりの割合は、モデルやツールの構築ではなく、結果のセキュリティ、透明性、検証可能性の確保といった問題に焦点を当てています。特に、モデルへの攻撃（敵対的攻撃）に関する独立した研究分野が出現し、学習攻撃と応用攻撃の両方が検討されています。

記事：

• ベリディカルデータサイエンス モデル検証の方法論に関するプログラム的な記事です。モデルを解釈するための最新ツール、特にアテンションの使用と、線形モデルを用いてニューラルネットワークを「蒸留」することによる特徴量の重要度の取得について概説しています。
• 解釈可能な画像認識のためのディープラーニング チャオファン・チェン、オスカー・リー、ダニエル・タオ、アリーナ・バーネット、シンシア・ルーディン、ジョナサン・K・スー
• ディープニューラルネットワークにおける解釈可能性手法のベンチマーク サラ・フッカー、ドゥミトル・エルハン、ピーター＝ヤン・キンダーマンス、ビーン・キム
• 注意拡張エージェントを用いた解釈可能な強化学習に向けて アレクサンダー・モット、ダニエル・ゾラン、マイク・チャノフスキー、ダーン・ヴィアストラ、ダニーロ・ヒメネス・レゼンデ
• ランダムフォレストのためのバイアス除去されたMDI特徴重要度尺度 シャオ・リー、ユー・ワン、スマンタ・バス、カール・クンビア、ビン・ユー
• 観測可能なデータがない場合の知識抽出 ユ・ジェミン、チョ・ミニョン、キム・テボム、ユ・ガン
• 独立再現可能な機械学習研究の定量化に向けた一歩 エドワード・ラフ

ExBert.netはテキスト処理タスクのモデルの解釈を示しています

2. 学際性

信頼性の高い検証を確保し、知識の検証と補充のためのメカニズムを構築するには、機械学習と専門分野（医学、言語学、神経生物学、教育学など）の両方の能力を同時に備えた関連分野の専門家が必要です。特に注目すべきは、神経科学と認知科学に関する著作や発表が顕著に見られることです。専門家の融合とアイデアの借用が見られます。

この収束に加えて、テキストと写真、テキストとゲーム、グラフ データベース + テキストと写真など、さまざまなソースからの情報の共同処理において学際性が生まれています。

記事：

• 神経科学 + 機械学習 — 自然言語処理（脳内）による自然言語処理（機械内）の解釈と改善
• ビジュアルQA — 抽象化による学習：ニューラルステートマシン
• RL + NLP — 自然言語指示の生成とそれに従う階層的意思決定

RLとNLPに基づく戦略家と実行者の2つのモデルがオンライン戦略をプレイします

3.推論

人工知能の強化とは、自己学習システム、つまり「意識」を持ち、推論と議論（推論）を行うシステムへの動きです。特に、因果推論と常識推論が発展しています。いくつかの報告書は、メタ学習（学習方法を学ぶ方法）やDL技術と1階および2階論理の組み合わせに焦点を当てており、人工知能（AGI）という用語が講演でよく使われるようになっています。

記事：

• 視覚的常識推論のための異種グラフ学習 ウェイジャン・ユー、ジンウェン・チョウ、ウェイハオ・ユー、シャオダン・リャン、ノン・シャオ
• アブダクション学習による機械学習と論理的推論の橋渡し Wang-Zhou Dai、Qiuling Xu、Yang Yu、Zhi-Hua Zhou
• 第一階論理で推論することを暗黙的に学習する ヴァイシャック・ベル、ブレンダン・ジュバ
• PHYRE: 物理的推論の新たなベンチマーク アントン・バクチン、ローレンス・ファン・デル・マーテン、ジャスティン・ジョンソン、ローラ・グスタフソン、ロス・ガーシック
• 推論のための知識の量子埋め込み ディネシュ ガルグ、シャジス イクバル、サントシュ K. スリヴァスタヴァ、ハリット ヴィシュワカルマ、ヒマ カラナム、L ヴェンカタ スブラマニアム

4.強化学習

作業の大部分は、DOTA2、Starcraft、コンピューター ビジョン、NLP、グラフ データベースとアーキテクチャを組み合わせた、従来の RL 方向の開発を継続しています。

カンファレンスの別の日は RL ワークショップに充てられ、これまでのものすべて、特に Soft Actor Critic を上回る Optimistic Actor Critic Model アーキテクチャが発表されました。

記事：

• 楽観的な俳優批評によるより良い探索;カミル・チョセク、クアン・ヴオン、ロバート・ロフティン、カチャ・ホフマン
• ChainerRL: 深層強化学習ライブラリ; 藤田康宏（Preferred Networks株式会社）*; 片岡俊樹（Preferred Networks株式会社）; Prabhat Nagarajan（Preferred Networks）; 石川隆宏（東京大学）[外部pdfリンク]。
• 夢をコントロールする：潜在的想像力による学習行動; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (トロント大学); Mohammad Norouzi (Google Brain)
• ワークショップ資料

スタークラフトのプレイヤーがアルファスター（ディープマインド）モデルと戦う

5. ガン

生成ネットワークは依然として注目を集めており、多くの論文で、数学的な証明にバニラ GAN が使用されているほか、新しい珍しい方法 (グラフ生成モデル、シリーズの操作、データ内の因果関係への適用など) で生成ネットワークが適用されています。

記事：

• 条件付きGANのためのGOLDサンプルのマイニング モ・サンウ、キム・チホン、キム・ソンウン、チョ・ミンス、シン・ジヌ
• GANの漸進的拡張 ダン・チャン、アンナ・コレヴァ
• 条件付きGANを使用した表形式データのモデリング レイ・シュー、マリア・スクーラリドゥ、アルフレド・クエスタ＝インファンテ、カリヤン・ヴィーラマチャネニ
• papers.nips.cc/paper/9377-ドメインに依存しないモニタリングと評価のためのGANSの測定

100点以上の作品が採用されたため 1400 以下では最も重要なパフォーマンスについてお話します。

招待講演

「ソーシャル インテリジェンス」、ブレイズ アゲラ イ アルカス (Google)

リンク
スライドとビデオ
この講演では、機械学習の一般的な方法論と、現在業界に変革をもたらしている展望についてお話しします。私たちはどのような岐路に立たされているのでしょうか？脳と進化はどのように機能するのでしょうか？そして、なぜ私たちは自然システムの発達について既に知られている知識をほとんど活用していないのでしょうか？

ML の産業的発展は、Google の開発マイルストーンとほぼ一致しており、Google は NeurIPS に関する研究を毎年公開しています。

• 1997年 – 検索機能、最初のサーバー、小規模な計算能力の導入
• 2010年 - ジェフ・ディーンがGoogle Brainを立ち上げ、ニューラルネットワークブームが始まった。
• 2015年 - ニューラルネットワークの産業実装、ローカルデバイス上で直接高速顔認識、テンソルコンピューティング向けにカスタマイズされた低レベルプロセッサ（TPU）。Googleは、実験セットアップでニューラルネットワークを実装するためのミニコンピュータであるRaspberry Piの類似品であるCoral AIをリリースしました。
• 2017年 - GoogleはAndroid上で分散学習の開発を開始し、異なるデバイスからのニューラルネットワークの学習結果をXNUMXつのモデルに統合しました。

現在、業界全体がデータのセキュリティ、統合、ローカルデバイスでの学習結果の再現という問題に取り組んでいます。

連合学習 – 機械学習の方向性の一つで、個々のモデルを互いに独立してトレーニングし、その後、稀なイベント、異常、パーソナライゼーションなどを調整して、単一のモデルに組み合わせます（ソースデータを一元化せずに）。 Android 基本的には、Google専用の単一のスーパーコンピュータである。

Googleによると、連合学習に基づく生成モデルは将来有望な方向性であり、「指数関数的成長の初期段階にある」とのことです。講師によると、GANは生物集団の集団行動や思考アルゴリズムを再現する学習能力を備えています。

2つのシンプルなGANアーキテクチャを用いて、最適化経路の探索が円環を描いていること、つまり最適化そのものが起こっていないことを示しています。同時に、これらのモデルは生物学者が細菌集団に対して行う実験を非常にうまくシミュレートし、細菌に食物探索行動のための新たな戦略を学習させることに成功しています。生命は最適化関数とは異なる仕組みで機能しているという結論に至ります。

さまようGAN最適化

現在、機械学習で行っていることはすべて、範囲が狭く、高度に形式化されたタスクですが、これらの形式化は一般化が不十分で、神経生理学や生物学などの分野における主題知識に対応していません。

近い将来、神経生理学の分野から借りる価値が本当にあるのは、新しいニューロン アーキテクチャと、エラーのバックプロパゲーションのメカニズムのわずかな改訂です。

人間の脳自体はニューラルネットワークのように学習するわけではありません。

• 彼には、感覚を通して、また幼少期に受け継がれたものも含め、ランダムな一次情報がありません。
• 彼には本能的な発達の方向性があらかじめ決まっている（幼児の言語学習の欲求、直立歩行）

個々の脳を学習することは低レベルのタスクであるため、急速に変化する個体が互いに知識を伝え合い、集団進化のメカニズムを再現する「コロニー」を検討する必要があるかもしれません。

現在すでに ML アルゴリズムに採用できるもの:

• 集団には学習を提供するが、個体には短い寿命（「個体脳」）をもたらす細胞系統モデルを適用する
• 少数の例での少数ショット学習
• より複雑なニューロン構造、わずかに異なる活性化関数
• 「ゲノム」を次世代に伝える - バックプロパゲーションアルゴリズム
• 神経生理学とニューラルネットワークを組み合わせると、多くのコンポーネントから多機能な脳を構築する方法を学ぶことができます。

この観点から見ると、SOTA ソリューションの実践は有害であり、共通タスク (ベンチマーク) の開発を優先して修正する必要があります。

「Veridical Data Science」、ビン・ユー（バークレー）

ビデオとスライド
このレポートは、機械学習モデルの解釈の問題と、それらの直接的な検証および妥当性確認の方法論に焦点を当てています。学習済みのMLモデルは、そこから抽出すべき知識源として捉えることができます。

多くの分野、特に医療においては、この隠れた知識を抽出し、モデルの結果を解釈しなければ、モデルの応用は不可能です。そうでなければ、結果が安定的で、ランダム性がなく、信頼性が高く、患者を死に至らしめることがないという確信が持てません。研究方法論の方向性全体が、ディープラーニングのパラダイム内において発展しつつあり、それをさらに超えるもの、すなわち「真のデータサイエンス」へと発展しています。それは何でしょうか？

私たちは、次のような科学出版物の品質とモデルの再現性を実現したいと考えています。

1. 予測可能な
2. 計算可能
3. 安定した

これら3つの原則が、新しい方法論の基礎を形成しています。機械学習モデルがこれらの基準を満たしているかどうかをどのように確認すればよいでしょうか？最も簡単な方法は、すぐに解釈可能なモデル（回帰モデル、決定木モデル）を構築することです。しかし、ディープラーニングの直接的なメリットも享受したいと考えています。

この問題に対処する方法はいくつか存在します。

1. モデルを解釈する。
2. 注意ベースの方法を使用する。
3. トレーニングではアルゴリズムのアンサンブルを使用し、線形モデルの機能を解釈することで、線形解釈可能なモデルがニューラル ネットワークと同じ応答を予測することを学習できるようにします。
4. トレーニング用のデータを変更および拡張します。これには、ノイズ、干渉、データ拡張の追加が含まれます。
5. モデルの結果がランダムではなく、小さな不要なノイズ（敵対的攻撃）に依存しないことを保証するあらゆる方法。
6. トレーニング後に事後的にモデルを解釈する。
7. さまざまな方法で特徴の重みを研究する。
8. すべての仮説の確率、クラスの分布を調べます。

敵対的攻撃 豚の上

モデリングのエラーは誰にとってもコストがかかります。その顕著な例はラインハートとロゴフの研究です。債務を抱えながらの成長「多くのヨーロッパ諸国の経済政策に影響を与え、緊縮財政政策を推し進めざるを得なくなったが、数年後にデータを慎重に再検討し、処理した結果、逆の結果が示された！」

あらゆるML技術は、実装ごとに独自のライフサイクルを持ちます。新しい方法論の目的は、モデルのライフサイクルの各段階で3つの主要原則を確認することです。

結果：

• 機械学習モデルの信頼性向上を支援するプロジェクトがいくつか進行中です。例えば、deeptune（リンク： github.com/ChrisCummins/paper-end2end-dl);
• この方法論をさらに発展させるには、ML 分野の出版物の品質を大幅に向上させる必要があります。
• 機械学習には、技術分野と人文科学分野の両方で多岐にわたる背景と専門知識を持つリーダーが必要です。

「機械学習による人間行動モデリング：機会と課題」ヌリア・M・オリバー、アルバート・アリ・サラー

人間の行動のモデリング、その技術的基礎、および応用の展望に焦点を当てた講義。

人間の行動のモデリングは次のように分けられます。

• 個人の行動
• 少人数の集団の行動
• 集団行動

これらのタイプはそれぞれ機械学習を用いてモデル化できますが、入力情報と特徴は全く異なります。また、それぞれのタイプには、各プロジェクトが直面する独自の倫理的問題があります。

• 個人の行動 - 個人情報の盗難、ディープフェイク
• 集団の行動 - 匿名性の解除、移動や電話の通話などに関する情報の取得。

個人の行動

これは、コンピュータービジョン、つまり人間の感情とその反応の認識というテーマに大きく関係しています。これは、文脈、時間、あるいは感情の変動性の相対的な尺度に基づいてのみ可能です。スライドは、地中海地域の女性の感情スペクトルの文脈を用いて、モナ・リザの感情を認識した例です。結果は、喜びの笑顔でありながら、軽蔑と嫌悪感も感じられます。その理由は、おそらく「ニュートラル」な感情を判別する技術的な方法にあると考えられます。

少数の集団の行動

これまでのところ、最も悪いモデリングは情報不足によるものです。例えば、2018年から2019年の作品は、数十人の人物と数十本の動画（100万以上の画像データセットを参照）で表現されていました。このタスクの枠組みの中で最良のモデリングを行うには、マルチモーダル情報、できれば体表高度計、温度計、マイク録音などのセンサーからの情報が必要です。

集団行動

顧客が国連と多くの国々であるため、最も発展している分野です。監視カメラ、電話塔のデータ（課金、SMS、通話、国境間の移動データ）など、これらすべてが人々の移動や社会不安に関する非常に信頼性の高い情報を提供します。この技術の潜在的な応用分野は、緊急時における救助活動の最適化、支援の提供、そして住民のタイムリーな避難です。使用されているモデルは、LSTMや畳み込みネットワークといった様々なモデルが用いられていますが、今のところほとんどが十分に解釈されていません。国連が、欧州の企業に対し、あらゆる研究に必要な匿名データの共有を義務付ける新しい法律の制定を働きかけているという短い発言がありました。

「システム1からシステム2へのディープラーニング」ヨシュア・ベンジオ

スライド
Yoshua Bengio 氏の講義では、目標設定のレベルでディープラーニングと神経科学が融合します。
ベンジオは、ノーベル賞受賞者のダニエル・カーネマンの方法論（著書「ゆっくり考えて早く決める"）
タイプ 1 - システム 1、「自動的に」行う無意識のアクション (古代の脳): よく知っている場所での車の運転、歩行、顔の認識など。
タイプ 2 - システム 2、意識的なアクション (大脳皮質)、目標設定、分析、思考、複合タスク。

AI は今のところ、最初のタイプのタスクにおいてのみ十分なレベルに達していますが、私たちの課題は AI を 2 番目のタイプにまで引き上げ、多分野にわたる操作を実行し、論理と高度な認知スキルで動作するように AI を教育することです。

この目標を達成するために、次のことが提案されています。

1. NLPタスクでは、思考をモデル化するための重要なメカニズムとして注意を使用する
2. メタ学習と表現学習を使用して、意識とその局在に影響を与える特徴をより適切にモデル化し、それに基づいてより高レベルの概念の操作に進みます。

最後に、招待講演の記録を残します。Bengio 氏は、最適化問題、SOTA、新しいアーキテクチャを超えて ML の分野を拡大しようとしている多くの科学者の 1 人です。
意識の問題、思考に対する言語の影響、神経生物学、アルゴリズムの組み合わせが、将来私たちを待ち受けているものであり、人間のように「考える」機械への移行を可能にするものなのかという疑問は依然として残っています。

ありがとうございます！

出所： habr.com