畳み込みネットワークを削減するための Jedi テクニック - 枝刈り

再びオブジェクトを検出する作業が始まります。 優先事項は、許容可能な精度での動作速度です。 YOLOv3 アーキテクチャを取得して、さらにトレーニングします。 精度(mAp75)は0.95以上です。 しかし、稼働率はまだ低いです。 くだらない。

今日は量子化をバイパスします。 そしてカットの下で見てみましょう モデルの枝刈り — ネットワークの冗長な部分をトリミングして、精度を損なうことなく推論を高速化します。 どこを、どのくらい、どのようにカットするかが明確です。 これを手動で行う方法と、どこで自動化できるかを考えてみましょう。 最後にkeras上のリポジトリがあります。

導入

以前の職場、ペルミの Macroscop では、アルゴリズムの実行時間を常に監視するという XNUMX つの習慣を身につけました。 そして、適切性フィルターを通じてネットワークのランタイムを常にチェックしてください。 通常、本番環境の最先端のものはこのフィルターを通過しません。そのため、私はプルーニングに行き着きました。

剪定は、で議論された古いトピックです。 スタンフォード講義 2017年に。 主なアイデアは、さまざまなノードを削除することで、精度を損なうことなく、トレーニング済みネットワークのサイズを縮小することです。 クールに聞こえますが、その使用法についてはほとんど聞きません。 おそらく、十分な実装がないか、ロシア語の記事がないか、単に誰もがそれを剪定ノウハウと考えて沈黙しているだけです。
でも、分解してみましょう

生物学を垣間見る

私はディープラーニングが生物学から生まれたアイデアを考察するのが大好きです。 進化と同様に、それらは信頼できます (ReLU は 脳内のニューロン活性化の機能?)

モデルの枝刈りプロセスも生物学に近いものです。 ここでのネットワークの応答は、脳の可塑性にたとえることができます。 この本には興味深い例がいくつかあります。 ノーマン・ドッジ:

1. 半分しか持っていない女性の脳は、欠けている半分の機能を実行するように自身を再プログラムしました。
2. 男は視覚を司る脳の部分を撃ち落とした。 時間が経つにつれて、脳の他の部分がこれらの機能を引き継ぎました。 (繰り返すつもりはありません)

同様に、モデルから弱い畳み込みの一部を切り取ることができます。 最後の手段として、残りのバンドルをカットしたバンドルと置き換えるのに役立ちます。

転移学習が好きですか、それともゼロから学習していますか?

オプションその XNUMX。 Yolov3 で転移学習を使用します。 Retina、Mask-RCNN、または U-Net。 しかし、ほとんどの場合、COCO のように 80 個のオブジェクト クラスを認識する必要はありません。 私の練習では、すべてはグレード 1 ～ 2 に限定されます。 ここでは、80 クラスのアーキテクチャが冗長であると考える人もいるかもしれません。 これは、アーキテクチャをより小さくする必要があることを示唆しています。 さらに、既存の事前トレーニング済みの重みを失わずにこれを実行したいと考えています。

オプション番号XNUMX。 おそらく、大量のデータとコンピューティング リソースがあるか、あるいはスーパーカスタム アーキテクチャが必要なだけかもしれません。 関係ない。 ただし、ネットワークをゼロから学習することになります。 通常の手順は、データ構造を調べ、過剰な能力を持つアーキテクチャを選択し、脱落者を再トレーニングから追い出すことです。 0.6 人の脱落者を見ました、カール。

どちらの場合も、ネットワークを削減できます。 やる気が出る。 それでは、割礼剪定とはどのようなものかを見てみましょう

一般的なアルゴリズム

私たちはバンドルを削除してもよいと判断しました。 とてもシンプルに見えます:

畳み込みを除去するとネットワークにストレスがかかり、通常はエラーが多少増加します。 一方で、この誤差の増加は、たたみ込みをどの程度正しく除去できているかを示す指標となります (たとえば、大幅な増加は、何か間違ったことを行っていることを示します)。 ただし、わずかな増加はまったく許容でき、その後の小さな LR による軽い追加トレーニングによって解消されることがよくあります。 追加のトレーニング ステップを追加します。

次に、学習<->枝刈りループをいつ停止するかを判断する必要があります。 ネットワークを特定のサイズと速度に削減する必要がある場合 (モバイル デバイスなど)、珍しいオプションが存在する可能性があります。 ただし、最も一般的なオプションは、誤差が許容範囲を超えるまでサイクルを継続することです。 条件を追加します。

したがって、アルゴリズムが明らかになります。 削除された畳み込みを決定する方法を理解する必要があります。

削除されたバンドルを検索する

いくつかの畳み込みを取り除く必要があります。 先を急いで誰かを「撃つ」ことは、うまくいきますが、悪い考えです。 しかし、あなたには頭があるので、削除する「弱い」畳み込みを考えて選択することができます。 いくつかのオプションがあります。

1. 最小の L1 メジャーまたは low_magnitude_pruning。 重みの小さい畳み込みは最終的な決定にほとんど寄与しないという考え
2. 平均と標準偏差を考慮した最小の L1 測定値。 分布の性質の評価を補足します。
3. 畳み込みをマスキングし、最終的な精度に最も影響を与えない畳み込みを除外する。 重要ではない畳み込みをより正確に判断できますが、非常に時間とリソースが消費されます。
4. 他人

各オプションには生存権と独自の実装機能があります。 ここでは、L1 測定値が最小のオプションを検討します。

YOLOv3 の手動プロセス

元のアーキテクチャには残留ブロックが含まれています。 しかし、ディープネットワークにとってどれほど優れたものであっても、多少の妨げにはなります。 問題は、次のレイヤーでは異なるインデックスを持つ調整を削除できないことです。

したがって、調整を自由に削除できるレイヤーを選択しましょう。

次に、作業サイクルを構築しましょう。

1. アクティベーションのアップロード
2. どれくらいカットするかを考える
3. いい加減にして
4. LR=10e-1 で 4 エポックを学習
5. テスト

畳み込みのアンロードは、特定のステップでどれだけの部分を削除できるかを見積もるのに役立ちます。 アンロードの例:

ほぼどこでも、畳み込みの 5% の L1 ノルムが非常に低く、それらを削除できることがわかります。 各ステップで、この降ろしを繰り返し、どの層を何層切り出すことができるかを評価しました。

プロセス全体は 4 つのステップで完了しました (RTX 2060 Super の場合は、ここと随所に数字が表示されます)。

手順	マップ75	パラメータの数、百万	ネットワークサイズ、メガバイト	初期値から%	実行時間、ミリ秒	割礼の状態
0	0.9656	60	241	100	180	-
1	0.9622	55	218	91	175	全体の5%
2	0.9625	50	197	83	168	全体の5%
3	0.9633	39	155	64	155	15 以上の畳み込みを含むレイヤーの場合は 400%
4	0.9555	31	124	51	146	10 以上の畳み込みを含むレイヤーの場合は 100%

ステップ 2 には、バッチ サイズ 4 がメモリに収まるというプラスの効果が XNUMX つ追加され、追加のトレーニングのプロセスが大幅に加速されました。
ステップ 4 で、プロセスが停止されました。 長期にわたる追加トレーニングでも、mAp75 は古い値まで上昇しませんでした。
その結果、次のようにして推論を高速化することができました。 視聴者の３８%が、サイズを小さくします 視聴者の３８%が そして正確には負けません。

より単純なアーキテクチャのための自動化

より単純なネットワーク アーキテクチャ (条件付き加算、連結ブロック、残差ブロックなし) の場合、すべての畳み込み層の処理に集中し、畳み込みを除去するプロセスを自動化することがかなり可能です。

このオプションを実装しました ここで.
それは簡単です。必要なのは損失関数、オプティマイザー、バッチ ジェネレーターだけです。

import pruning
from keras.optimizers import Adam
from keras.utils import Sequence

train_batch_generator = BatchGenerator...
score_batch_generator = BatchGenerator...

opt = Adam(lr=1e-4)
pruner = pruning.Pruner("config.json", "categorical_crossentropy", opt)

pruner.prune(train_batch, valid_batch)

必要に応じて、構成パラメータを変更できます。

{
    "input_model_path": "model.h5",
    "output_model_path": "model_pruned.h5",
    "finetuning_epochs": 10, # the number of epochs for train between pruning steps
    "stop_loss": 0.1, # loss for stopping process
    "pruning_percent_step": 0.05, # part of convs for delete on every pruning step
    "pruning_standart_deviation_part": 0.2 # shift for limit pruning part
}

さらに、標準偏差に基づく制限が実装されます。 目標は、すでに「十分な」L1 測度を持つ畳み込みを除外し、削除される部分を制限することです。

したがって、右側の分布に類似した分布からは弱い畳み込みのみを削除し、左側の分布に類似した分布からの除去には影響を与えないようにすることができます。

分布が正規に近づくと、pruning_standart_deviation_part 係数は次から選択できます。

2 シグマの仮定をお勧めします。 または、この機能を無視して、値を 1.0 未満のままにすることもできます。

出力は、テスト全体のネットワーク サイズ、損失、ネットワーク ランタイムを 1.0 に正規化したグラフです。 たとえば、ここでは、品質を損なうことなくネットワーク サイズがほぼ 2 倍に削減されました (重み 100k の小規模な畳み込みネットワーク)。

走行速度は通常変動しますが、実質的には変化しません。 これについては次のような説明があります。

1. 畳み込み数は、ビデオ カードにとって便利な (32、64、128) から、最も不便な (27、51 など) まで変化します。 ここで私は間違っている可能性がありますが、おそらく影響はあります。
2. アーキテクチャは広範囲ではありませんが、一貫しています。 幅を小さくしても奥行きには影響しません。 したがって、負荷は軽減されますが、速度は変わりません。

したがって、改善は実行中の CUDA 負荷の 20 ～ 30% の減少として表されますが、実行時間の短縮としては表されません。

結果

反省しましょう。 プルーニングには、YOLOv2 (手を使って作業する必要がある場合) と、より単純なアーキテクチャのネットワークの 3 つのオプションを検討しました。 どちらの場合でも、精度を損なうことなくネットワーク サイズの削減と高速化を達成できることがわかります。 結果：

• サイズを小さくする
• 加速走行
• CUDA負荷の軽減
• その結果、環境に優しい（将来のコンピューティングリソースの使用を最適化します。どこかで幸せになります） グレタ・タンバーグ)

付録

• 枝刈りステップの後、量子化を追加できます (たとえば、TensorRT を使用)
• Tensorflow は以下の機能を提供します low_magnitude_pruning。 動作します。
• リポジトリ 開発したいので喜んでお手伝いします

出所： habr.com