Raspberry Pi 上の Cloud Object Detector のビデオ

プロローグ

テスラの自動操縦装置が道路をどのように認識しているかを示すビデオが現在、インターネット上で広まっている。

私は長い間、検出器を使って強化されたビデオをリアルタイムで配信したくてうずうずしていました。

問題は、Raspberry からビデオをブロードキャストしたいのですが、Raspberry 上のニューラル ネットワーク検出器のパフォーマンスにはまだ改善の余地があるということです。

インテル ニューラル コンピューター スティック

さまざまな解決策を検討しました。

В 前の記事 Intel Neural Computer Stickを試してみました。 ハードウェアは強力ですが、独自のネットワーク形式が必要です。

Intel は主要なフレームワーク用のコンバータを提供していますが、落とし穴がいくつかあります。

たとえば、必要なネットワークの形式に互換性がない可能性があり、互換性がある場合でも、一部のレイヤーがデバイスでサポートされていない可能性があり、サポートされている場合でも、変換プロセス中にエラーが発生する可能性があります。出力で奇妙なことがいくつか得られます。

一般に、ある種の任意のニューラル ネットワークが必要な場合、NCS では機能しない可能性があります。 したがって、私は最も普及していてアクセスしやすいツールを使用して問題を解決しようと試みることにしました。

クラウド

ローカル ハードウェア ソリューションに代わる明白な選択肢は、クラウドを使用することです。

既製のオプション - 私の目は興奮します。

すべてのリーダー:

• マイクロソフト
• グーグル
• アマゾン

...その他、あまり知られていないものも多数あります。

この品種の中から選ぶのは決して簡単ではありません。

そして私は選択せず、OpenCV 上の古き良き機能スキームを Docker でラップし、クラウドで実行することにしました。

このアプローチの利点は柔軟性と制御です。一般に、ニューラル ネットワーク、ホスティング、サーバーを気まぐれに変更できます。

Сервер

ローカルプロトタイプから始めましょう。

私は伝統的に、REST API、OpenCV、MobileSSD ネットワークに Flask を使用しています。

Docker に現在のバージョンをインストールしたところ、OpenCV 4.1.2 が Mobile SSD v1_coco_2018_01_28 では動作しないことがわかり、実証済みの 11/06_2017 にロールバックする必要がありました。

サービスの開始時に、クラス名とネットワークをロードします。

def init():
    tf_labels.initLabels(dnn_conf.DNN_LABELS_PATH)
    return cv.dnn.readNetFromTensorflow(dnn_conf.DNN_PATH, dnn_conf.DNN_TXT_PATH)

ローカル Docker (それほど若いラップトップではない) では 0.3 秒かかりますが、Raspberry では 3.5 秒かかります。

計算を始めましょう:

def inference(img):
    net.setInput(cv.dnn.blobFromImage(img, 1.0/127.5, (300, 300), (127.5, 127.5, 127.5), swapRB=True, crop=False))
    return net.forward()

Docker - 0.2 秒、Raspberry - 1.7 秒。

tensor の出力を読み取り可能な json に変換します。

def build_detection(data, thr, rows, cols):
    ret = []
    for detection in data[0,0,:,:]:
        score = float(detection[2])
        if score > thr:
            cls = int(detection[1])
            a = {"class" : cls, "name" : tf_labels.getLabel(cls),  "score" : score}
            a["x"] = int(detection[3] * cols)
            a["y"] = int(detection[4] * rows)
            a["w"] = int(detection[5] * cols ) - a["x"]
            a["h"] = int(detection[6] * rows) - a["y"]
            ret.append(a)
    return ret

さらに この操作を Flask 経由でエクスポートする(入力は画像、出力は json 形式の検出器の結果です)。

代替オプションでは、より多くの作業がサーバーに移されます。サーバー自体が、見つかったオブジェクトを丸めて、完成したイメージを返します。

このオプションは、opencv をサーバーにドラッグしたくない場合に適しています。

ドッカー

画像を集めております。

コードは精査されて投稿されます ギットハブ、docker はそこから直接それを取得します。

プラットフォームとして、Raspberry と同じ Debian Stretch を採用します。実証済みの技術スタックから逸​​脱することはありません。

flask、protobuf、requests、opencv_python をインストールし、Mobile SSD、Github からサーバー コードをダウンロードして、サーバーを起動する必要があります。

FROM python:3.7-stretch

RUN pip3 install flask
RUN pip3 install protobuf
RUN pip3 install requests
RUN pip3 install opencv_python

ADD http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_coco_11_06_2017.tar.gz /
RUN tar -xvf /ssd_mobilenet_v1_coco_11_06_2017.tar.gz

ADD https://github.com/tprlab/docker-detect/archive/master.zip /
RUN unzip /master.zip

EXPOSE 80

CMD ["python3", "/docker-detect-master/detect-app/app.py"]

シンプル 検出器クライアント リクエストに基づいて。

Docker Hub への公開

Docker レジストリは、クラウド ディテクタと同じくらいのスピードで増加しています。

迷惑にならないように、控えめに通過します ドッカーハブ.

1. 登録
2. ログイン：
   ドッカーログイン
3. 意味のある名前を考えてみましょう。
   docker タグ opencv-detect tprlab/opencv-detect-ssd
4. 画像をサーバーにアップロードします。
   ドッカープッシュ tprlab/opencv-detect-ssd

クラウドで起動します

コンテナーを実行する場所の選択も非常に幅広いです。

すべての大手企業 (Google、Microsoft、Amazon) は、マイクロインスタンスを初年度無料で提供しています。
Microsoft Azure と Google Cloud を試した後、後者がより早く普及するため、後者に落ち着きました。

この部分は選択したプロバイダーに非常に固有であるため、ここでは手順を書きませんでした。

さまざまなハードウェアオプションを試しましたが、
低レベル (共有および専用) - 0.4 ～ 0.5 秒。
より強力な車 - 0.25 - 0.3。
まあ、最悪のシナリオでも賞金は XNUMX 倍なので、試してみることもできます。

ビデオ

Raspberry 上でシンプルな OpenCV ビデオ ストリーマーを起動し、Google Cloud を通じて検出します。
実験には、ランダムな交差点で撮影されたビデオ ファイルが使用されました。

def handle_frame(frame):
    return detect.detect_draw_img(frame)
       
def generate():
    while True:
        rc, frame = vs.read()
        outFrame = handle_frame(frame)
        if outFrame is None:
            (rc, outFrame) = cv.imencode(".jpg", frame)
        yield(b'--framern' b'Content-Type: image/jpegrnrn' + bytearray(outFrame) + b'rn')

@app.route("/stream")
def video_feed():
    return Response(generate(), mimetype = "multipart/x-mixed-replace; boundary=frame")

検出器を使用すると、XNUMX 秒あたり XNUMX フレームしか取得できず、すべてが非常に遅くなります。
強力なマシンを GCloud に導入すると、4 秒あたり 5 ～ XNUMX フレームを検出できますが、その違いは目にはほとんど見えず、それでも遅いです。

クラウドや輸送コストは関係なく、検出器は通常のハードウェア上で動作し、非常に高速に動作します。

ニューラルコンピュータースティック

我慢できずに NCS でベンチマークを実行してみました。

検出器の速度は 0.1 秒よりわずかに遅く、いずれにしても、弱いマシン上の雲よりも 2 ～ 3 倍速かった、つまり 8 秒あたり 9 ～ XNUMX フレームでした。

結果の違いは、NCS が Mobile SSD バージョン 2018_01_28 を実行していたことによって説明されます。

PS さらに、実験では、I7 プロセッサを搭載したかなり強力なデスクトップ マシンがわずかに良い結果を示し、10 秒あたり XNUMX フレームを圧縮できることが判明しました。

集まる

実験はさらに進んで、Google Kubernetes の XNUMX つのノードに検出器をインストールしました。
ポッド自体が弱く、各ポッドは 2 秒あたり XNUMX フレームを超える処理ができませんでした。
ただし、N ノードでクラスターを実行し、N スレッドでフレームを解析する場合、十分な数のノード (5 つ) があれば、望ましい 10 フレーム/秒を達成できます。

def generate():
    while True:
        rc, frame = vs.read()
        if frame is not None:
            future = executor.submit(handle_frame, (frame.copy()))
            Q.append(future)

        keep_polling = len(Q) > 0
        while(keep_polling):            
            top = Q[0]
            if top.done():
                outFrame = top.result()
                Q.popleft()
                if outFrame:
                    yield(b'--framern' b'Content-Type: image/jpegrnrn' + bytearray(outFrame) + b'rn')
                keep_polling = len(Q) > 0
            else:
                keep_polling = len(Q) >= M

ここでは何が起こったのだ：

NCS よりも速度は少し劣りますが、XNUMX つのストリームよりも活発です。

もちろん、ゲインは線形ではありません。opencv イメージの同期とディープ コピーのためのオーバーレイが存在します。

まとめ

全体として、この実験により、試してみれば単純なクラウドで問題を解決できると結論付けることができました。

ただし、強力なデスクトップまたはローカル ハードウェアを使用すると、特別なトリックを必要とせずに、より良い結果を達成できます。

リファレンス

• Github 上のコード
• DockerHub の Docker イメージ
• OpenCV と Python 上のビデオ サーバー

出所： habr.com