機械学習バブルは崩壊したのか、それとも新たな夜明けの始まりなのか?

最近リリースされた 記事これは、近年の機械学習の良い傾向を示しています。 つまり、機械学習スタートアップの数は過去 XNUMX 年間で激減したということです。

良い。 「バブルは崩壊したかどうか」、「どうやって生きていくか」を見て、そもそもこの波線がどこから来るのかについて話しましょう。

まず、この曲線を促進した要因について話しましょう。 彼女はどこから来たのですか? 彼らはおそらくすべてを覚えているでしょう 勝利 2012 年の ImageNet コンペティションでの機械学習。 何と言っても、これは初めての世界規模のイベントです。 しかし実際にはそうではありません。 そして、曲線の成長は少し早く始まります。 いくつかのポイントに分けて説明します。

1. 2008 年には「ビッグデータ」という用語が登場しました。 本格的な商品がスタートしました 現れる 2010年以来。 ビッグデータは機械学習に直接関係しています。 ビッグデータがなければ、当時存在していたアルゴリズムの安定した動作は不可能です。 そして、これらはニューラルネットワークではありません。 2012 年まで、ニューラル ネットワークはごく一部の人々の所有物でした。 しかしその後、何年も、あるいは何十年も存在していたまったく異なるアルゴリズムが機能し始めました。 SVM(1963,1993)、 ランダムフォレスト （1995） アダブースト (2003)、... 当時のスタートアップは主に、レジ、ユーザー、広告などの構造化データの自動処理に関連していました。

   この最初の波から派生したのが、XGBoost、CatBoost、LightGBM などの一連のフレームワークです。

2. 2011 年から 2012 年にかけて 畳み込みニューラル ネットワーク 数々の画像認識コンテストで優勝。 実際の使用は若干遅れました。 非常に意味のあるスタートアップやソリューションが 2014 年に登場し始めたと言えます。 ニューロンがまだ機能していることを理解し、適切な時間内にインストールおよび起動できる便利なフレームワークを作成し、安定して収束時間を短縮する方法を開発するのに XNUMX 年かかりました。

   畳み込みネットワークにより、画像と画像内のオブジェクトの分類、オブジェクトの検出、オブジェクトと人物の認識、画像の改善など、コンピューター ビジョンの問題を解決できるようになりました。

3. 2015年から2017年。 リカレント ネットワークまたはその類似物 (LSTM、GRU、TransformerNet など) に基づくアルゴリズムとプロジェクトのブーム。 適切に機能する音声テキスト変換アルゴリズムと機械翻訳システムが登場しました。 これらは、基本的な特徴を抽出するために部分的に畳み込みネットワークに基づいています。 これは部分的には、私たちが本当に大規模で優れたデータセットを収集する方法を学んだという事実によるものです。

「バブルは弾けたのか？ 誇大広告が過熱しすぎていませんか？ 彼らはブロックチェーンとして消滅したのか？」
さもないと！ 明日にはSiriがあなたの携帯電話で機能しなくなり、明後日にはテスラは方向転換とカンガルーの違いが分からなくなるでしょう。

ニューラルネットワークはすでに機能しています。 それらは数十のデバイスにあります。 彼らは本当にお金を稼ぎ、市場とあなたの周りの世界を変えることを可能にします。 誇大宣伝は少し違って見えます:

ただ、ニューラル ネットワークはもはや新しいものではありません。 はい、多くの人が大きな期待を抱いています。 しかし、多くの企業がニューロンを使用し、それに基づいて製品を製造する方法を学びました。 ニューロンは新しい機能を提供し、ジョブを削減し、サービスの価格を下げることができます。

• 製造会社は、生産ラインの欠陥を分析するためのアルゴリズムを統合しています。
• 畜産場は牛を管理するシステムを購入します。
• 自動コンバイン。
• 自動化されたコールセンター。
• SnapChat のフィルター。 （まあ、少なくとも何か役に立つことはあるでしょう！）

しかし、最も明白ではない重要なことは、「新しいアイデアはもう存在しない、さもなければ即座に資本をもたらさない」ということだ。 ニューラル ネットワークは数多くの問題を解決してきました。 そして彼らはさらに多くのことを決定するでしょう。 存在するすべての明白なアイデアが、多くのスタートアップを生み出しました。 しかし、地上にあったものはすべてすでに回収されていました。 過去 XNUMX 年間、私はニューラル ネットワークの使用に関する新しいアイデアを XNUMX つも見つけていません。 新しいアプローチは XNUMX つもありません (そうですね、GAN にはいくつかの問題があります)。

そして、その後の起動はそれぞれますます複雑になります。 オープンデータを使用してニューロンをトレーニングする XNUMX 人はもう必要ありません。 プログラマー、サーバー、マーカーのチーム、複雑なサポートなどが必要です。

その結果、スタートアップの数は減少します。 しかし、さらに多くの生産があります。 ナンバープレート認識を追加する必要がありますか? 市場には関連する経験を持つ何百もの専門家がいます。 誰かを雇えば、数か月以内にその従業員がシステムを作成します。 もしくは既製品を購入してください。 しかし、新たなスタートアップを行うのですか?. クレイジーです!

訪問者追跡システムを作成する必要があります。3 ～ 4 か月で独自のシステムを作成でき、ビジネスに合わせて強化できるのに、大量のライセンスにお金を払う必要はありません。

現在、ニューラル ネットワークは、他の数十のテクノロジーが通過してきたのと同じ道をたどっています。

1995 年以来、「ウェブサイト開発者」という概念がどのように変化したかを覚えていますか? 市場はまだ専門家で飽和していません。 専門家はほとんどいません。 しかし、5 ～ 10 年後には、Java プログラマーとニューラル ネットワーク開発者の間に大きな違いはなくなると私は確信しています。 市場には両方の専門家が十分に存在するでしょう。

ニューロンによって解決できる問題のクラスが存在するだけです。 タスクが発生しました - 専門家を雇ってください。

"次は何ですか？ 約束された人工知能はどこにあるの？」

しかし、ここに小さいながらも興味深い誤解があります:)

現在存在するテクノロジーの積み重ねは、明らかに私たちを人工知能に導くものではありません。 アイデアとその斬新さはほとんど使い果たされています。 現在の開発レベルを維持しているものについて話しましょう。

制限

まずは自動運転車から始めましょう。 今日の技術を使えば完全自動運転車を作ることが可能であることは明らかです。 しかし、それが何年後に起こるかは明らかではありません。 テスラはこれが数年以内に起こると信じている -

他にもたくさんあります 専門家、5〜10年と見積もっています。

私の考えでは、おそらく 15 年後には都市のインフラ自体が変化し、自動運転車の登場は避けられず、その継続となるでしょう。 しかし、これは知性とは言えません。 最新の Tesla は、データのフィルタリング、検索、再トレーニングのための非常に複雑なパイプラインです。 これらはルール-ルール-ルール、データ収集とそれらに対するフィルターです (ここにあります) ここで これについてはもう少し詳しく書きました。または、からご覧ください この マーク）。

最初の問題

そして、これが私たちが見るところです 最初の根本的な問題。 ビッグデータ。 これはまさに、現在のニューラル ネットワークと機械学習の波を生み出したものです。 現在、何か複雑で自動化された処理を行うには、大量のデータが必要になります。 ただたくさんではなく、とても、とてもたくさんです。 それらの収集、マーキング、使用には自動化されたアルゴリズムが必要です。 車から太陽に向かってトラックが見えるようにしたいのですが、まず十分な数のトラックを収集する必要があります。 トランクに自転車をボルトで固定した状態で車がおかしくならないようにしたいのですが、サンプルをもっと増やしてください。

さらに、一例では十分ではありません。 何百も？ 何千人？

第二の問題

第二の問題 — ニューラルネットワークが理解した内容の視覚化。 これは非常に簡単な作業です。 これまで、これを視覚化する方法を理解している人はほとんどいませんでした。 これらの記事はごく最近のものであり、遠いものではあるものの、ほんの数例にすぎません。
可視化 質感へのこだわり。 これは、ニューロンが何に固執する傾向があるのか​​、また何を開始情報として認識するのかをよく示しています。

可視化 ご注意ください 翻訳。 実際、魅力は、そのようなネットワーク反応を引き起こした原因を示すために正確に使用できることがよくあります。 デバッグと製品ソリューションの両方でそのようなことを見てきました。 このトピックに関する記事はたくさんあります。 しかし、データが複雑になればなるほど、堅牢な視覚化を実現する方法を理解することが難しくなります。

そうです、古き良き「メッシュの中にあるものを見てください」というセットです。 フィルター」 これらの写真は 3 ～ 4 年前に流行しましたが、写真は美しいものの、あまり意味がないことに誰もがすぐに気づきました。

他にも数多くのガジェット、手法、ハック、ネットワークの内部を表示する方法に関する研究については触れませんでした。 これらのツールは機能しますか? これらは、問題が何であるかを迅速に理解し、ネットワークをデバッグするのに役立ちますか?...最後のパーセントを取得しますか? まあ、それはほぼ同じです:

Kaggle であらゆるコンテストを視聴できます。 そして人々がどのように最終決定を下すかについての説明。 100-500-800 ユニットのモデルを積み重ねたところ、うまくいきました。

もちろん誇張しています。 しかし、これらのアプローチでは、迅速かつ直接的な答えは得られません。

十分な経験があり、さまざまなオプションを試してみたので、システムがなぜそのような決定を下したかについて判断を下すことができます。 しかし、システムの動作を修正するのは困難です。 松葉杖を設置し、しきい値を移動し、データセットを追加し、別のバックエンド ネットワークを使用します。

XNUMX番目の問題

第三の基本的な問題 — グリッドは論理ではなく統計を教えます。 統計的にはこれ 顔:

論理的には、あまり似ていません。 ニューラル ネットワークは、強制されない限り、複雑なことは学習しません。 彼らは常に可能な限り単純な兆候を教えます。 目、鼻、頭はありますか？ ということで、この顔です！ あるいは、目が顔のことを意味しない例を挙げてください。 そして再び - 何百万もの例。

底部には十分なスペースがあります

現在、ニューラル ネットワークと機械学習の開発を制限しているのは、これら XNUMX つの世界的な問題であると言えます。 そして、これらの問題がそれを制限しない場合には、それはすでに積極的に使用されています。

これで終わりだ？ ニューラルネットワークは稼働していますか?

未知。 しかし、もちろん、誰もがそうならないことを望んでいます。

上で強調した根本的な問題を解決するには、多くのアプローチと方向性があります。 しかし、これまでのところ、これらのアプローチのどれも、根本的に新しいこと、つまりまだ解決されていないことを解決することを可能にするものではありません。 これまでのところ、すべての基本的なプロジェクトは安定したアプローチに基づいて行われているか (Tesla)、研究機関や企業のテスト プロジェクトにとどまっています (Google Brain、OpenAI)。

大まかに言えば、主な方向性は、入力データの高レベル表現を作成することです。 ある意味「記憶」。 記憶の最も単純な例は、さまざまな「埋め込み」、つまり画像表現です。 たとえば、すべての顔認識システムです。 ネットワークは、回転、照明、解像度に依存しない安定した表現を顔から取得することを学習します。 基本的に、ネットワークは「異なる顔が遠い」および「同じ顔が近い」という指標を最小限に抑えます。

このようなトレーニングには、何万、何十万ものサンプルが必要です。 しかし、その結果には「ワンショット学習」の初歩がいくつか含まれています。 今では、人を思い出すのに何百もの顔を必要としません。 たった XNUMX つの顔、それが私たちのすべてです 確認してみましょう!
問題が XNUMX つだけあります。グリッドはかなり単純なオブジェクトしか学習できません。 顔ではなく、例えば「服装で人」を区別したいとき（タスク） 再識別) - 品質は何桁も低下します。 そして、ネットワークは角度の明らかな変化を学習できなくなります。

そして、何百万もの例から学ぶことも一種の楽しみです。

選挙を大幅に削減する取り組みが行われている。 たとえば、最初の作品の XNUMX つをすぐに思い出すことができます。 ワンショット学習 Googleから:

そういった作品はたくさんありますが、例えば 1 または 2 または 3.

マイナス点が XNUMX つあります。通常、トレーニングはいくつかの単純な「MNIST」サンプルでうまく機能します。 そして、複雑なタスクに進むときは、大規模なデータベース、オブジェクトのモデル、またはある種の魔法が必要になります。
一般に、ワンショット トレーニングへの取り組みは非常に興味深いトピックです。 たくさんのアイデアが見つかります。 しかし、ほとんどの場合、私が列挙した XNUMX つの問題 (巨大なデータセットでの事前トレーニング / 複雑なデータでの不安定性) が学習を大きく妨げます。

一方、敵対的生成ネットワークである GAN は、埋め込みというテーマにアプローチします。 おそらく、このトピックに関するハブレに関する記事をたくさん読んだことがあるでしょう。 (1, 2,3)
GAN の機能は、画像を描画できるようにする何らかの内部状態空間 (本質的には同じ埋め込み) を形成することです。 かもね 顔、することができます アクション.

GAN の問題は、生成されるオブジェクトが複雑になるほど、それを「ジェネレーター - ディスクリミネーター」ロジックで記述するのが難しくなることです。 その結果、聞いたことがある GAN の実際のアプリケーションは、やはり顔の表現を操作する DeepFake だけです (これには膨大な基盤があります)。

他に便利な使い方はほとんど見たことがありません。 通常、絵の描画を仕上げることに関するある種のトリック。

そしてまた。 これによって私たちがどのように明るい未来に進むことができるのか、誰にもわかりません。 ニューラルネットワークで論理や空間を表現するのは良いことです。 しかし、膨大な数の例が必要であり、ニューロン自体がこれをどのように表現するのかも理解できず、非常に複雑なアイデアをニューロンに記憶させる方法も理解できません。

強化学習 ――全く違う方向からのアプローチですね。 Google が Go でどのように他の人に勝ったかを覚えているでしょう。 Starcraft と Dota での最近の勝利。 しかし、ここではすべてがそれほどバラ色で有望なわけではありません。 彼は RL とその複雑さについて最もよく語っています この記事.

著者が書いたことを簡単に要約すると、次のようになります。

• ほとんどの場合、箱から出してすぐのモデルは適合しない/うまく動作しません
• 実際の問題は、他の方法で解決する方が簡単です。 Boston Dynamics は、その複雑さ、予測不可能性、計算の複雑さのため、RL を使用しません。
• RL が機能するには、複雑な関数が必要です。 作成/書くのが難しい場合が多い
• モデルをトレーニングするのが難しい。 ポンプアップしてローカルオプティマから抜け出すには多くの時間を費やす必要があります
• その結果、モデルを繰り返すことが難しく、わずかな変更でもモデルが不安定になります。
• 乱数生成器であっても、一部のランダム パターンをオーバーフィットすることがよくあります

重要な点は、RL が本番環境ではまだ機能しないということです。 Googleはいくつかの実験を行っています（ 1, 2 ）。 しかし、私は単一の製品システムを見たことがありません。

メモリ。 上記のすべての欠点は、構造が欠如していることです。 これらすべてを整理しようとするアプローチの XNUMX つは、ニューラル ネットワークに別のメモリへのアクセスを提供することです。 そこで彼女が自分の歩みの結果を記録し、書き直すことができるように。 次に、ニューラル ネットワークは現在のメモリ状態によって決定できます。 これは、従来のプロセッサやコンピュータと非常によく似ています。

最も有名で人気のある 記事 — ディープマインドより:

これが知能を理解する鍵となるようですね？ しかし、おそらくそうではありません。 このシステムは依然としてトレーニングのために大量のデータを必要とします。 また、主に構造化された表形式のデータを処理します。 また、フェイスブックのときは、 決めた 同様の問題が発生した場合、彼らは「記憶をねじ込み、ニューロンをより複雑にし、より多くの例を用意するだけで、自動的に学習する」という道を選択しました。

解きほぐし。 意味のある記憶を作成するもう XNUMX つの方法は、同じ埋め込みを使用しますが、トレーニング中に、その中の「意味」を強調表示できる追加の基準を導入することです。 たとえば、店内での人間の行動を区別できるようにニューラル ネットワークをトレーニングしたいとします。 標準的な方法に従った場合、十数のネットワークを作成する必要があります。 XNUMX つは人物を探していること、XNUMX つ目はその人が何をしているのかを判断すること、XNUMX つ目はその人の年齢、XNUMX つ目はその人の性別です。 別のロジックは、これを実行する/実行するようにトレーニングされるストアの部分を調べます。 XNUMX番目は軌道などを決定します。

あるいは、データが無限にある場合は、考えられるすべての結果に対して XNUMX つのネットワークをトレーニングすることが可能です (当然、そのような一連のデータを収集することはできません)。

もつれを解くアプローチは、ネットワーク自体が概念を区別できるようにネットワークをトレーニングしましょうということを教えてくれます。 そのため、ビデオに基づいて埋め込みを形成し、XNUMX つの領域でアクションを決定し、XNUMX つは時間内の床上の位置を決定し、XNUMX つは人の身長を決定し、XNUMX つは人の性別を決定します。 同時に、トレーニングの際には、そのような重要な概念をネットワークに提示することはほとんどせず、むしろ領域を強調してグループ化するようにしたいと考えています。 このような記事はたくさんあります（そのうちのいくつか） 1, 2, 3）そして一般に、それらは非常に理論的です。

しかし、この方向性は、少なくとも理論的には、冒頭に挙げた問題をカバーするはずです。

「壁の色/床の色/物体の形状/物体の色など」パラメータに応じた画像分解

「大きさ、眉、向き、肌の色など」のパラメータに従って顔を分解します。

他の

それほどグローバルではないものの、何らかの方法でデータベースを削減したり、より異種データを操作したりできる領域は他にもたくさんあります。

注目。 これを別の方法として分離するのはおそらく意味がありません。 他の人を強化するアプローチにすぎません。 多くの記事が彼に捧げられています（1,2,3）。 注意すべき点は、トレーニング中に特に重要なオブジェクトに対するネットワークの応答を強化することです。 多くの場合、ある種の外部ターゲットの指定、または小規模な外部ネットワークによって行われます。

3Dシミュレーション。 優れた 3D エンジンを作成すれば、多くの場合、トレーニング データの 90% をカバーできます (優れたエンジンによってデータのほぼ 99% がカバーされた例も見ました)。 3D エンジンでトレーニングされたネットワークを実際のデータを使用して機能させる方法 (微調整、スタイル転送など) については、多くのアイデアやハックがあります。 しかし、多くの場合、優れたエンジンを作成することは、データを収集することよりも数桁困難です。 エンジンが作られた例:
ロボットトレーニング（グーグル, ブレインガーデン)
トレーニング 認識 店内に商品を置いておきます (しかし、私たちが行った XNUMX つのプロジェクトでは、商品がなくても簡単にできました)。
テスラでのトレーニング (再度、上のビデオ)。

所見

この記事全体は、ある意味、結論です。 おそらく私が伝えたかった主なメッセージは、「景品は終わりました、ニューロンはもはや単純な解決策を提供しません」ということでした。 今、私たちは複雑な意思決定を下すために一生懸命働く必要があります。 あるいは、複雑な科学研究に一生懸命取り組むこともできます。

一般に、このテーマには議論の余地があります。 おそらく読者はもっと興味深い例を持っているでしょうか?

出所： habr.com