ニューラルネットワーク。 これは一体どこへ向かうのでしょうか？

この記事は XNUMX つの部分で構成されています。

1. 画像内のオブジェクト検出と画像セグメンテーションのためのいくつかのネットワーク アーキテクチャの簡単な説明と、私にとって最もわかりやすいリソースへのリンク。 私はビデオによる説明を選択し、できればロシア語で説明するようにしました。
2. XNUMX 番目の部分は、ニューラル ネットワーク アーキテクチャの開発の方向性を理解する試みです。 そしてそれらをベースにした技術。

図 1 – ニューラル ネットワーク アーキテクチャを理解するのは簡単ではありません

すべては、Android スマートフォン上でオブジェクトの分類と検出を行うための XNUMX つのデモ アプリケーションを作成することから始まりました。

• バックエンドのデモ、データがサーバー上で処理されて電話に送信されるとき。 茶色、黒、テディベアの XNUMX 種類のクマの画像分類。
• フロントエンドのデモデータが電話機自体で処理されるとき。 ヘーゼルナッツ、イチジク、ナツメヤシの XNUMX 種類のオブジェクトの検出 (オブジェクト検出)。

画像分類、画像内のオブジェクト検出、および画像内のオブジェクト検出のタスクには違いがあります。 画像のセグメンテーション。 したがって、どのニューラル ネットワーク アーキテクチャが画像内のオブジェクトを検出し、どのニューラル ネットワーク アーキテクチャがセグメント化できるかを調べる必要がありました。 私にとってリソースへの最もわかりやすいリンクを備えた次のアーキテクチャの例を見つけました。

• R-CNN に基づく一連のアーキテクチャ (Rのある地域 Cオンボリューション Nユーロラル Nネットワーク機能): R-CNN、Fast R-CNN、 より高速なR-CNN, マスクR-CNN。 画像内のオブジェクトを検出するには、Region Proposal Network (RPN) メカニズムを使用して境界ボックスが割り当てられます。 当初は、RPN の代わりに、低速の選択検索メカニズムが使用されていました。 次に、選択された限定された領域が、分類のために従来のニューラル ネットワークの入力に供給されます。 R-CNN アーキテクチャには、限られた領域にわたる明示的な「for」ループがあり、AlexNet 内部ネットワークを通じて合計最大 2000 回実行されます。 明示的な「for」ループは画像処理速度を低下させます。 内部ニューラル ネットワークを介して実行される明示的なループの数は、アーキテクチャの新しいバージョンごとに減少し、速度を向上させ、オブジェクト検出のタスクをマスク R-CNN のオブジェクト セグメンテーションに置き換えるために、その他にも数十の変更が加えられています。
• YOLO (You Oネリー LOOK Once) は、モバイル デバイス上でオブジェクトをリアルタイムで認識した最初のニューラル ネットワークです。 特徴的な機能: XNUMX 回の実行でオブジェクトを識別します (一度見るだけ)。 つまり、YOLO アーキテクチャには明示的な「for」ループがないため、ネットワークは高速に動作します。 たとえば、このアナロジー: NumPy では、行列を使用した演算を実行する場合、明示的な "for" ループもありませんが、NumPy では、C プログラミング言語を通じてアーキテクチャの下位レベルで実装されます。YOLO では、事前定義されたウィンドウのグリッドが使用されます。 同じオブジェクトが複数回定義されるのを防ぐために、ウィンドウ オーバーラップ係数 (IoU) が使用されます。 Iインターセクション o版 Uニオン）。 このアーキテクチャは広範囲で動作し、高い性能を備えています。 堅牢性: モデルは写真でトレーニングできますが、手描きの絵画でも良好なパフォーマンスを発揮します。
• SSD (S一口 Sホットマルチボックス Detector) – YOLO アーキテクチャの最も成功した「ハック」が使用され (たとえば、非最大抑制)、ニューラル ネットワークがより高速かつ正確に動作するように新しいハックが追加されています。 特徴的な機能: 画像ピラミッド上の特定のウィンドウ グリッド (デフォルト ボックス) を使用して、XNUMX 回の実行でオブジェクトを区別します。 画像ピラミッドは、連続した畳み込みおよびプーリング操作を通じて畳み込みテンソルでエンコードされます (最大プーリング操作では、空間次元が減少します)。 このようにして、大きなオブジェクトと小さなオブジェクトの両方が XNUMX 回のネットワーク実行で決定されます。
• モバイルSSD (モバイルNetV2+ SSD) は XNUMX つのニューラル ネットワーク アーキテクチャを組み合わせたものです。 最初のネットワーク モバイルネットV2 素早く動作し、認識精度が向上します。 MobileNetV2 は、元々使用されていた VGG-16 の代わりに使用されます。 原著。 XNUMX 番目の SSD ネットワークは、画像内のオブジェクトの位置を決定します。
• スクイーズネット – 非常に小さいが正確なニューラル ネットワーク。 それ自体では、物体検出の問題は解決されません。 ただし、異なるアーキテクチャを組み合わせて使用​​することもできます。 そしてモバイルデバイスでも使用されます。 特徴的な特徴は、データが最初に 1 つの 1×1 畳み込みフィルターに圧縮され、次に 1 つの 3×3 畳み込みフィルターと XNUMX つの XNUMX×XNUMX 畳み込みフィルターに拡張されることです。 このようなデータの圧縮と展開の反復の XNUMX つは、「Fire モジュール」と呼ばれます。
• ディープラボ (深い畳み込みネットを使用したセマンティック画像セグメンテーション) – 画像内のオブジェクトのセグメンテーション。 このアーキテクチャの特徴的な機能は、空間解像度を維持する拡張畳み込みです。 続いて、グラフィカル確率モデル (条件付きランダム フィールド) を使用した結果の後処理段階が続きます。これにより、セグメンテーション内の小さなノイズを除去し、セグメント化された画像の品質を向上させることができます。 「グラフィカル確率モデル」という恐るべき名前の背後には、XNUMX つのポイントで近似される従来のガウス フィルターが隠されています。
• デバイスを調べてみた リファインデット （シングルショット リファインオブジェクトのニューラル ネットワーク それはセクション）、しかし、あまり理解できませんでした。
• また、「注意」テクノロジーがどのように機能するかについても調べました。 ビデオ1, ビデオ2, ビデオ3。 「注目」アーキテクチャの特徴は、画像内で注目が高まっている領域 (RoI、 Regions of Interest)、アテンション ユニットと呼ばれるニューラル ネットワークを使用します。 注目度の高い領域は境界ボックスに似ていますが、境界ボックスとは異なり、画像内で固定されず、境界がぼやける場合があります。 次に、注目が高まった領域から兆候 (特徴) が分離され、アーキテクチャを備えたリカレント ニューラル ネットワークに「供給」されます。 LSDM、GRU、またはバニラ RNN。 リカレント ニューラル ネットワークは、シーケンス内の特徴の関係を分析できます。 リカレント ニューラル ネットワークは、当初はテキストを他の言語に翻訳するために使用されていましたが、現在は翻訳に使用されています。 画像をテキストに変換 и テキストから画像へ.

これらのアーキテクチャを調査すると、 自分が何も理解していないことに気づいた。 私のニューラルネットワークに注意のメカニズムに問題があるわけではありません。 これらすべてのアーキテクチャの作成は、作成者がハッキングで競う、ある種の大規模なハッカソンのようなものです。 ハックは、ソフトウェアの難しい問題に対する迅速な解決策です。 つまり、これらすべてのアーキテクチャ間には、目に見えて理解できる論理的な接続が存在しません。 彼らを結び付けるのは、互いに借用した最も成功したハックのセットと、全員に共通のハックだけです。 閉ループ畳み込み演算 (エラー逆伝播、逆伝播)。 いいえ システム思考！ 何を変更し、既存の成果をどのように最適化するかは明確ではありません。

ハック間には論理的なつながりがないため、覚えて実際に適用するのは非常に困難です。 これは断片的な知識です。 せいぜい、いくつかの興味深い予期せぬ瞬間が記憶に残っているだけですが、理解できることや理解できないことのほとんどは数日以内に記憶から消えてしまいます。 XNUMX週間以内に少なくともアーキテクチャの名前を覚えていれば良いでしょう。 しかし、記事を読んだりレビュービデオを見たりするのに、数時間、場合によっては数日の作業時間が費やされました。

図2 – ニューラル ネットワークの動物園

私の個人的な意見では、科学論文の著者のほとんどは、この断片的な知識さえも読者に理解されないようあらゆる手を尽くしています。 しかし、「何もないところから」取り出された数式を含む XNUMX 行文の分詞句については、別の記事のトピックです (問題 出版するか死ぬか).

このため、ニューラル ネットワークを使用して情報を体系化し、理解と記憶の質を高める必要があります。 したがって、人工ニューラル ネットワークの個々のテクノロジーとアーキテクチャの分析の主なトピックは、次のタスクでした。 すべてがどこへ向かうのかを見つける、個別に特定のニューラル ネットワークのデバイスではありません。

これは一体どこへ向かうのでしょうか？ 主な結果:

• 過去 XNUMX 年間の機械学習スタートアップの数 急落しました。 考えられる理由: 「ニューラル ネットワークはもはや新しいものではない」
• 簡単な問題を解決するために機能するニューラル ネットワークを誰でも作成できます。 これを行うには、「モデル動物園」から既製のモデルを取得し、ニューラル ネットワークの最後の層をトレーニングします (転移学習) からの既製のデータ Googleデータセット検索 またはから 25 の Kaggle データセット 無料で クラウド ジュピター ノートブック.
• ニューラル ネットワークの大手メーカーは、 「模型動物園」 （模型動物園）。 これらを使用すると、商用アプリケーションをすばやく作成できます。 TFハブ TensorFlow の場合、 MM検出 PyTorchの場合、 ディテクトロン Caffe2の場合、 チェイナーモデルズー チェイナーと 他人.
• ニューラルネットワークが動作する リアルタイム (リアルタイム) モバイルデバイス上で。 10 秒あたり 50 ～ XNUMX フレーム。
• 電話機 (TF Lite)、ブラウザー (TF.js)、および 家庭用品 (IoT、 Internet of Tヒンジ）。 特にハードウェア レベル (ニューラル アクセラレータ) でニューラル ネットワークをすでにサポートしている携帯電話ではなおさらです。
• 「あらゆるデバイス、衣料品、そしておそらく食品さえも、 IP-v6アドレス そしてお互いにコミュニケーションを取り合います」 - セバスチャン・スラン.
• 機械学習に関する出版物の数が増え始めている ムーアの法則を超える 2015 年以来 (XNUMX 年ごとに XNUMX 倍) 明らかに、記事を分析するにはニューラル ネットワークが必要です。
• 次のテクノロジーが人気を集めています。
  • パイトーチ – 人気は急速に高まっており、TensorFlow を追い越しているようです。
  • ハイパーパラメータの自動選択 AutoML – 人気は順調に伸びています。
  • 精度は徐々に低下し、計算速度は向上します。 ファジーロジック、アルゴリズム ブースト、不正確な（近似的な）計算、量子化（ニューラル ネットワークの重みが整数に変換されて量子化される場合）、ニューラル アクセラレータ。
  • 翻訳 画像をテキストに変換 и テキストから画像へ.
  • 創造 ビデオからの XNUMXD オブジェクト、リアルタイムになりました。
  • DL の最大の特徴は、データが大量に存在することですが、それを収集してラベルを付けるのは簡単ではないということです。 したがって、マークアップ自動化が開発されています (自動注釈) ニューラル ネットワークを使用したニューラル ネットワークの場合。
• ニューラル ネットワークにより、コンピューター サイエンスは突然、 実験科学 そして起きた 再現性の危機.
• コンピューティングが市場価値を持つようになったとき、IT マネーとニューラル ネットワークの人気が同時に現れました。 経済は金と通貨の経済から、 金通貨計算。 私の記事を参照してください 経済物理学 そしてITマネー登場の理由。

徐々に新しいのが出てきます ML/DL プログラミング方法論 (機械学習と深層学習)、これはプログラムをトレーニングされたニューラル ネットワーク モデルのセットとして表現することに基づいています。

図 3 – 新しいプログラミング方法論としての ML/DL

しかし、それは決して現れませんでした 「ニューラルネットワーク理論」、その中で体系的に考えて取り組むことができます。 現在「理論」と呼ばれているものは、実際には実験的なヒューリスティックなアルゴリズムです。

私および他のリソースへのリンク:

• データサイエンスのニュースレター。 主に画像処理を行っております。 受け取りたい方は、電子メール (foobar167<gaf-gaf>gmail<dot>com) を送信してください。 資料が蓄積されたら、記事やビデオへのリンクを送信します。
• 一般 コースと記事のリスト私はどれを通過しました、そして私はどれを通過したいと思っています。
• 初心者向けのコースとビデオ, ここからニューラル ネットワークの学習を開始する必要があります。 プラスパンフレット 「機械学習と人工ニューラルネットワークの概要」.
• 便利なツール、誰もが自分にとって興味深いものを見つけることができます。
• 非常に便利だと思いました。 科学論文を分析するためのビデオ チャンネル データサイエンス著。 見つけて購読し、あなたの同僚や私にもリンクを渡してください。 例:
  • XNUMX分の論文
  • ヘンリー AI ラボ
  • ヤニック・キルチャー
  • コードエンポリアム
  • ブログ 張成偉 別名 Tony607 段階的な説明とオープンソースが含まれています。

ありがとうございました！

出所： habr.com