NeurIPS 2019: 今後 XNUMX 年間続く ML トレンド

NeuroIPS (ニューラル情報処理システム）は、機械学習と人工知能に関する世界最大のカンファレンスであり、ディープラーニングの世界のメインイベントです。

私たち DS エンジニアも、新しい XNUMX 年で生物学、言語学、心理学を習得できるでしょうか? レビューでお知らせします。

今年の会議には、13500 か国から 80 人以上がカナダのバンクーバーに集まりました。 ズベルバンクがロシアを代表してカンファレンスに参加するのは今年が初めてではない。DS チームは銀行業務プロセスにおける ML の導入、ML コンテスト、ズベルバンク DS プラットフォームの機能について話した。 ML コミュニティにおける 2019 年の主なトレンドは何でしたか? カンファレンスの参加者はこう言います。 アンドレイ・チェルトク и タチアナ・シャヴリナ.

今年、NeurIPS は、アルゴリズム、新しいモデル、新しいデータの新しいアプリケーションなど、1400 件を超える論文を受け入れました。 すべての資料へのリンク

内容：

• トレンド
• • モデルの解釈可能性
  • 学際性
  • 推論
  • RL
  • GAN
• 基本的な招待講演
• • 「ソーシャル インテリジェンス」、ブレイズ アゲラ イ アルカス (Google)
  • 「Veridical Data Science」、Bin Yu (バークレー)
  • 「機械学習による人間の行動モデリング: 機会と課題」、ヌリア・M・オリバー、アルバート・アリ・サラー
  • 「システム 1 からシステム 2 ディープラーニングへ」、ヨシュア ベンジオ

トレンド2019 of the year

1. モデルの解釈可能性と新しい ML 手法

カンファレンスの主なテーマは、なぜ特定の結果が得られるのかの解釈と証拠です。 「ブラックボックス」解釈の哲学的重要性については長い間語られてきましたが、この分野ではもっと現実的な方法と技術開発がありました。

モデルを複製し、そこから知識を抽出する方法論は、科学のための新しいツールキットです。 モデルは、新しい知識を取得し、それをテストするためのツールとして機能します。モデルの前処理、トレーニング、および適用の各段階は再現可能である必要があります。
出版物のかなりの部分は、モデルやツールの構築ではなく、結果のセキュリティ、透明性、検証可能性の確保の問題に当てられています。 特に、モデルに対する攻撃 (敵対的攻撃) については別のストリームが登場し、トレーニングに対する攻撃とアプリケーションに対する攻撃の両方のオプションが検討されています。

記事：

• 検証データ科学 — モデル検証の方法論に関するプログラムに関する記事。 モデルを解釈するための最新ツールの概要、特に注意の使用と、線形モデルを使用してニューラル ネットワークを「蒸留」することによって特徴の重要性を取得する方法の概要が含まれています。
• こんな感じ: 解釈可能な画像認識のための深層学習 チャオファン・チェン、オスカー・リー、ダニエル・タオ、アリーナ・バーネット、シンシア・ルーディン、ジョナサン・K・スー
• ディープ ニューラル ネットワークにおける解釈可能性メソッドのベンチマーク サラ・フッカー、ドゥミトル・エルハン、ピーター＝ヤン・キンダーマンス、ビーン・キム
• 注意拡張エージェントを使用した解釈可能な強化学習に向けて アレクサンダー・モット、ダニエル・ゾラン、マイク・チャノフスキー、ダーン・ヴィアストラ、ダニーロ・ヒメネス・レゼンデ
• ランダム フォレストに対する偏りのない MDI 機能重要度の測定 シャオ・リー、ユー・ワン、スマンタ・バス、カール・クンビア、ビン・ユー
• 観察可能なデータがない場合の知識の抽出 ユ・ジェミン、チョ・ミニョン、キム・テボム、ユ・ガン
• 独立して再現可能な機械学習研究の定量化に向けた一歩 エドワード・ラフ

ExBert.net はテキスト処理タスクのモデル解釈を示しています

2. 学際性

信頼性の高い検証を確保し、知識を検証および拡張するためのメカニズムを開発するには、ML と対象分野 (医学、言語学、神経生物学、教育など) の能力を同時に備えた関連分野の専門家が必要です。 特に、神経科学と認知科学における著作や講演の存在感がより顕著であることは注目に値します。専門家の接近やアイデアの借用が見られます。

この接近に加えて、テキストと写真、テキストとゲーム、グラフデータベース + テキストと写真など、さまざまなソースからの情報の共同処理において学際性が生まれています。

記事：

• 神経科学 + ML — 自然言語処理（脳内）による自然言語処理（機械内）の解釈と改善
• VisualQA - 抽象化による学習: ニューラル ステート マシン
• RL + NLP - 自然言語命令の生成とそれに従うことによる階層的な意思決定

RL および NLP プレイ オンライン戦略に基づく XNUMX つのモデル - ストラテジストとエグゼクティブ -

3.推論

人工知能の強化は、自己学習システム、「意識」、推論、推論への動きです。 特に、因果推論と常識推論が発達しています。 レポートの中には、メタ学習 (学習方法について) や、DL テクノロジーと 1 次および 2 次ロジックの組み合わせに特化したものもあります。一般人工知能 (AGI) という用語は、講演者の講演でよく使われる用語になりつつあります。

記事：

• 視覚的常識推論のための異種グラフ学習 ウェイジャン・ユー、ジンウェン・チョウ、ウェイハオ・ユー、シャオダン・リャン、ノン・シャオ
• アブダクティブ学習による機械学習と論理的推論の橋渡し Wang-Zhou Dai、Qiuling Xu、Yang Yu、Zhi-Hua Zhou
• 一階論理で推論することを暗黙的に学習する ヴァイシャック・ベル、ブレンダン・ジュバ
• PHYRE: 物理的推論の新しいベンチマーク アントン・バクチン、ローレンス・ファン・デル・マーテン、ジャスティン・ジョンソン、ローラ・グスタフソン、ロス・ガーシック
• 推論のための知識の量子埋め込み ディネシュ ガーグ、シャジス イクバル、サントシュ K. スリヴァスタヴァ、ハリット ヴィシュワカルマ、ヒマ カラナム、L ヴェンカタ スブラマニアム

4.強化学習

作業のほとんどは、アーキテクチャとコンピュータ ビジョン、NLP、グラフ データベースを組み合わせた RL - DOTA2、Starcraft などの従来の領域の開発を継続しています。

カンファレンスの別の日は RL ワークショップに当てられ、そこではこれまでのすべてのモデル、特にソフト アクター クリティカルよりも優れたオプティミスティック アクター クリティカル モデル アーキテクチャが発表されました。

記事：

• 楽観的な俳優評論家によるより良い探索; カミル・チョセク、クアン・ヴオン、ロバート・ロフティン、カチャ・ホフマン
• ChainerRL: 深層強化学習ライブラリ; 藤田 康裕 (Preferred Networks, Inc.)*; 片岡 俊樹 (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); 石川貴裕 (東京大学) [外部 PDF リンク]。
• コントロールする夢: 潜在的な想像力による学習行動; ダニハル・ハフナー (Google)*; ティモシー・リリックラップ (ディープマインド); ジミー・バ (トロント大学); モハマド・ノルージ (Google Brain)
• ワークショップの資料

StarCraft プレイヤーは Alphastar モデルと戦います (DeepMind)

5.ガン

生成ネットワークは依然として注目を集めています。多くの作品では、数学的証明にバニラ GAN が使用されており、また、新しく珍しい方法 (グラフ生成モデル、系列の操作、データ内の因果関係への適用など) にも応用されています。

記事：

• 条件付き GAN 用の GOLD サンプルのマイニング モ・サンウ、キム・チホン、キム・ソンウン、チョ・ミンス、シン・ジヌ
• GAN の漸進的な拡張 ダン・チャン、アンナ・コレヴァ
• 条件付き GAN を使用した表形式データのモデリング レイ・シュー、マリア・スクーラリドゥ、アルフレド・クエスタ＝インファンテ、カリヤン・ヴィーラマチャネニ
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

より多くのお仕事を受け入れていただいたので、 1400 以下では、最も重要なスピーチについて説明します。

招待講演

「ソーシャル インテリジェンス」、ブレイズ アゲラ イ アルカス (Google)

リンク
スライドとビデオ
講演では、機械学習の一般的な方法論と、現在業界を変える見通し、つまり私たちが直面している岐路に焦点を当てます。 脳と進化はどのように機能するのでしょうか?また、なぜ私たちは自然システムの発達についてすでに知っていることをほとんど活用していないのでしょうか?

ML の産業発展は、NeurIPS に関する研究を毎年発表している Google の発展のマイルストーンとほぼ一致しています。

• 1997 – 検索機能、最初のサーバー、小規模なコンピューティング能力の立ち上げ
• 2010 – ジェフ ディーンが Google Brain プロジェクトを立ち上げ、ニューラル ネットワークのブームが始まりました
• 2015 – ニューラル ネットワークの産業実装、ローカル デバイスでの直接の高速顔認識、テンソル コンピューティング用に調整された低レベル プロセッサ - TPU。 Google、実験施設にニューラルネットワークを導入するためのミニコンピューター、ラズベリーパイの類似品であるCoral aiを発売
• 2017 – Google は Android 上で分散トレーニングの開発を開始し、さまざまなデバイスからのニューラル ネットワーク トレーニングの結果を XNUMX つのモデルに結合します。

現在、業界全体がデータのセキュリティ、集約、ローカル デバイスでの学習結果の複製に注力しています。

連合学習 – 個々のモデルが互いに独立して学習し、（ソース データを一元化することなく）単一のモデルに結合され、まれなイベント、異常、パーソナライゼーションなどに合わせて調整される ML の方向性。 すべての Android デバイスは、本質的に Google にとって単一のコンピューティング スーパーコンピューターです。

Google によれば、フェデレーテッド ラーニングに基づく生成モデルは将来有望な方向性であり、「指数関数的な成長の初期段階にある」とのことです。 講師によると、GAN は生物集団の集団行動と思考アルゴリズムを再現する方法を学習することができます。

XNUMX つの単純な GAN アーキテクチャの例を使用すると、最適化パスの検索が円を描くようにさまよっていることがわかります。これは、最適化自体が発生しないことを意味します。 同時に、これらのモデルは、生物学者が細菌集団に対して行う実験をシミュレートするのに非常に成功し、食物を探す際の新しい行動戦略の学習を細菌に強制します。 人生は最適化関数とは異なる働きをすると結論付けることができます。

ウォーキング GAN の最適化

現在、機械学習の枠組みで私たちが行っていることはすべて、狭くて非常に形式化されたタスクですが、これらの形式主義は一般化が不十分であり、神経生理学や生物学などの分野における主題の知識に対応していません。

近い将来、神経生理学分野から本当に借りる価値のあるものは、新しいニューロンのアーキテクチャと、誤差の逆伝播メカニズムのわずかな改訂です。

人間の脳自体はニューラル ネットワークのように学習するわけではありません。

• 彼には、感覚や幼少期に与えられたものなど、ランダムな一次入力がありません。
• 彼は本能的発達の固有の方向性を持っています（幼児から言語を学びたい、直立して歩きたいという願望）

個々の脳を訓練することは低レベルのタスクであり、集団進化のメカニズムを再現するために、急速に変化する個体が互いに知識を伝達する「コロニー」を考慮する必要があるかもしれません。

現在 ML アルゴリズムに導入できるものは次のとおりです。

• 集団の学習を確実にするが、個人 (「個人の脳」) の寿命は短い細胞系統モデルを適用します。
• 少数の例を使用した少数ショット学習
• より複雑なニューロン構造、わずかに異なる活性化関数
• 「ゲノム」を次世代に伝える - バックプロパゲーションアルゴリズム
• 神経生理学とニューラルネットワークを結びつけると、多くのコンポーネントから多機能な脳を構築する方法がわかるようになります。

この観点から見ると、SOTA ソリューションの実践は有害であり、共通のタスク (ベンチマーク) を開発するために見直される必要があります。

「Veridical Data Science」、Bin Yu (バークレー)

ビデオとスライド
このレポートは、機械学習モデルの解釈の問題と、その直接的なテストと検証の方法論に焦点を当てています。 トレーニングされた ML モデルは、そこから抽出する必要がある知識のソースとして認識できます。

多くの分野、特に医学では、この隠された知識を抽出し、モデルの結果を解釈することなしにモデルを使用することは不可能です。そうでないと、結果が安定しており、ランダムではなく、信頼性があり、患者を殺さないという確信が持てなくなります。忍耐強い。 作業方法論の全体的な方向性はディープラーニングパラダイム内で発展しており、その境界を超えています - 検証的なデータサイエンスです。 それは何ですか？

私たちは、次のような科学出版物の品質とモデルの再現性を達成したいと考えています。

1. 予測可能な
2. 計算可能な
3. 安定した

これら XNUMX つの原則が新しい方法論の基礎を形成します。 ML モデルをこれらの基準に照らしてチェックするにはどうすればよいでしょうか? 最も簡単な方法は、すぐに解釈できるモデル (回帰、決定木) を構築することです。 ただし、ディープラーニングのメリットをすぐに得たいとも考えています。

この問題に対処する既存の方法はいくつかあります。

1. モデルを解釈する。
2. 注意に基づいた方法を使用する。
3. トレーニング時にアルゴリズムのアンサンブルを使用し、線形解釈可能なモデルが線形モデルの特徴を解釈してニューラル ネットワークと同じ答えを予測することを確実に学習します。
4. トレーニング データを変更および強化します。 これには、ノイズ、干渉、データ拡張の追加が含まれます。
5. モデルの結果がランダムではなく、軽度の望ましくない干渉 (敵対的攻撃) に依存しないことを保証するためのあらゆる方法。
6. トレーニング後に、事後的にモデルを解釈します。
7. さまざまな方法で特徴の重みを研究します。
8. すべての仮説の確率、クラス分布を研究します。

敵対的攻撃 豚のために

モデリングのエラーは誰にとっても代償を伴います。その代表的な例がラインハルトとロゴフの研究です。」借金時代の成長」は、多くのヨーロッパ諸国の経済政策に影響を与え、緊縮政策の推進を余儀なくさせましたが、数年後にデータとその処理を注意深く再チェックしたところ、反対の結果が示されました。

どの ML テクノロジーにも、実装から実装までの独自のライフサイクルがあります。 新しい方法論の目標は、モデルの寿命の各段階で XNUMX つの基本原則をチェックすることです。

結果：

• ML モデルの信頼性を高めるために、いくつかのプロジェクトが開発されています。 これは、たとえば、deeptune (リンク先: github.com/ChrisCummins/paper-end2end-dl);
• この方法論をさらに発展させるには、ML 分野の出版物の品質を大幅に向上させる必要があります。
• 機械学習には、技術分野と人文科学分野の両方で学際的なトレーニングと専門知識を持つリーダーが必要です。

「機械学習による人間の行動モデリング: 機会と課題」ヌリア・M・オリバー、アルバート・アリ・サラー

人間の行動のモデル化、その技術的基盤、応用の展望に特化した講義。

人間の行動モデリングは次のように分類できます。

• 個人の行動
• 少人数のグループの行動
• 集団行動

これらのタイプはそれぞれ、ML を使用してモデル化できますが、入力情報と特徴はまったく異なります。 各タイプには、各プロジェクトが通過する独自の倫理的問題もあります。

• 個人の行動 - 個人情報の盗難、ディープフェイク。
• 人々のグループの行動 - 匿名化の解除、移動、電話などに関する情報の取得。

個人の行動

主に、人間の感情と反応の認識であるコンピューター ビジョンのトピックに関連しています。 おそらく、文脈や時間、あるいは彼自身の感情の変動の相対的な尺度によってのみだろう。 このスライドは、地中海女性の感情スペクトルの文脈を使用してモナ リザの感情を認識することを示しています。 結果は、喜びの笑みですが、軽蔑と嫌悪感を伴いました。 その理由はおそらく、「中立的な」感情を定義する技術的な方法にあります。

少人数のグループの行動

これまでのところ最悪のモデルは情報不足によるものです。 例として2018年から2019年の作品を展示しました。 数十人 X 数十のビデオ (100k++ 画像データセットを参照)。 このタスクを最適にモデル化するには、できれば高度計、温度計、マイク録音などのセンサーからのマルチモーダル情報が必要です。

集団行動

顧客が国連と多くの州であるため、最も発展した分野です。 屋外監視カメラ、電話塔からのデータ（請求書、SMS、通話、州境間の移動に関するデータ）これらすべてが、人々の移動と社会的不安定性についての非常に信頼性の高い画像を提供します。 この技術の潜在的な用途: 緊急時の救助活動、援助、住民のタイムリーな避難の最適化。 使用されるモデルは主にまだ十分に解釈されていません。これらはさまざまな LSTM と畳み込みネットワークです。 国連が欧州企業に研究に必要な匿名化データの共有を義務付ける新法の制定を求めてロビー活動を行っているとの短い発言もあった。

「システム 1 からシステム 2 ディープラーニングへ」、ヨシュア ベンジオ

スライド
ジョシュア・ベンジオ氏の講義では、ディープラーニングと神経科学が目標設定のレベルで出会います。
ベンジオ氏は、ノーベル賞受賞者ダニエル・カーネマン氏の方法論に従って、XNUMXつの主要なタイプの問題を特定しています（著書「ゆっくり考えて早く決める"）
タイプ 1 - システム 1、私たちが「自動的に」行う無意識の行動 (古代の脳): 馴染みのある場所で車を運転する、歩く、顔を認識する。
タイプ 2 - システム 2、意識的な行動 (大脳皮質)、目標設定、分析、思考、複合タスク。

AI はこれまでのところ、最初のタイプのタスクでのみ十分な高みに到達していますが、私たちの課題は、AI を XNUMX 番目のタイプのタスクに引き上げ、学際的な操作を実行し、論理と高度な認知スキルで動作するように教えることです。

この目標を達成するために、次のことが提案されています。

1. NLP タスクでは、思考をモデル化するための重要なメカニズムとして注意を使用します。
2. メタ学習と表現学習を使用して、意識とその位置に影響を与える特徴をより適切にモデル化し、それらに基づいてより高いレベルの概念での操作に進みます。

結論の代わりに、ここで招待講演を紹介します。Bengio は、最適化問題、SOTA、新しいアーキテクチャを超えて ML の分野を拡大しようとしている多くの科学者の XNUMX 人です。
意識の問題、思考への言語の影響、神経生物学、アルゴリズムがどの程度組み合わさって、将来私たちを待っており、人間と同じように「考える」機械への移行を可能にするのかという疑問はまだ残っていない。

ありがとうございます！

出所： habr.com