Raspberry Pi의 Cloud Object Detector 동영상

프롤로그

Tesla의 자동 조종 장치가 도로를 어떻게 보는지 보여주는 비디오가 현재 인터넷에 유포되고 있습니다.

탐지기로 강화된 영상을 실시간으로 방송하고 싶은 마음이 오랫동안 간절했습니다.

문제는 라즈베리에서 비디오를 방송하고 싶은데, 그에 대한 신경망 탐지기의 성능이 아쉬운 점이 많다는 것입니다.

인텔 신경 컴퓨터 스틱

나는 다른 해결책을 고려했습니다.

В 마지막 기사 Intel Neural Computer Stick을 사용하여 실험했습니다. 하드웨어는 강력하지만 자체 네트워크 형식이 필요합니다.

Intel이 주요 프레임워크용 변환기를 제공하더라도 여러 가지 함정이 있습니다.

예를 들어 필요한 네트워크의 형식이 호환되지 않을 수 있으며 호환되는 경우 일부 레이어가 장치에서 지원되지 않을 수 있으며 지원되는 경우 변환 프로세스 중에 오류가 발생할 수 있으며 그 결과 출력에서 이상한 일이 발생합니다.

일반적으로 임의의 신경망을 원하는 경우 NCS에서는 작동하지 않을 수 있습니다. 따라서 저는 가장 광범위하고 접근하기 쉬운 도구를 사용하여 문제를 해결하기로 결정했습니다.

구름

로컬 하드웨어 솔루션에 대한 확실한 대안은 클라우드로 이동하는 것입니다.

기성품 옵션 - 내 눈이 거칠게 움직입니다.

모든 지도자:

• 마이크로소프트
• 구글
• 아마존

... 그리고 덜 알려진 것들도 수십 개 있습니다.

이 다양성 중에서 선택하는 것은 결코 쉬운 일이 아닙니다.

그리고 저는 선택하지 않고 OpenCV의 기존 작업 방식을 Docker로 래핑하여 클라우드에서 실행하기로 결정했습니다.

이 접근 방식의 장점은 유연성과 제어입니다. 신경망, 호스팅, 서버 등 일반적으로 원하는 대로 변경할 수 있습니다.

서버

로컬 프로토타입부터 시작해 보겠습니다.

전통적으로 저는 REST API, OpenCV 및 MobileSSD 네트워크에 Flask를 사용합니다.

Docker에 최신 버전을 설치한 후 OpenCV 4.1.2가 모바일 SSD v1_coco_2018_01_28에서 작동하지 않는다는 사실을 발견하고 검증된 11/06_2017로 롤백해야 했습니다.

서비스 시작 시 클래스 이름과 네트워크를 로드합니다.

def init():
    tf_labels.initLabels(dnn_conf.DNN_LABELS_PATH)
    return cv.dnn.readNetFromTensorflow(dnn_conf.DNN_PATH, dnn_conf.DNN_TXT_PATH)

로컬 도커(아주 어리지 않은 노트북)에서는 0.3초, 라즈베리에서는 3.5초가 걸립니다.

계산을 시작해 보겠습니다.

def inference(img):
    net.setInput(cv.dnn.blobFromImage(img, 1.0/127.5, (300, 300), (127.5, 127.5, 127.5), swapRB=True, crop=False))
    return net.forward()

도커 - 0.2초, 라즈베리 - 1.7.

텐서 소진을 읽을 수 있는 JSON으로 변환:

def build_detection(data, thr, rows, cols):
    ret = []
    for detection in data[0,0,:,:]:
        score = float(detection[2])
        if score > thr:
            cls = int(detection[1])
            a = {"class" : cls, "name" : tf_labels.getLabel(cls),  "score" : score}
            a["x"] = int(detection[3] * cols)
            a["y"] = int(detection[4] * rows)
            a["w"] = int(detection[5] * cols ) - a["x"]
            a["h"] = int(detection[6] * rows) - a["y"]
            ret.append(a)
    return ret

더 나아가서 Flask를 통해 이 작업 내보내기(입력은 그림이고 출력은 json의 감지기 결과입니다).

더 많은 작업이 서버로 이동되는 대체 옵션입니다. 자체적으로 발견된 개체를 순환시키고 완성된 이미지를 반환합니다.

이 옵션은 opencv를 서버로 드래그하고 싶지 않은 경우에 유용합니다.

도커

우리는 이미지를 수집합니다.

코드는 빗질되어 게시됩니다. Github, docker가 거기에서 직접 가져옵니다.

플랫폼으로서 우리는 Raspberry에서와 동일한 Debian Stretch를 사용할 것입니다. 우리는 입증된 기술 스택에서 벗어나지 않을 것입니다.

플라스크, protobuf, 요청, opencv_python을 설치하고 Github에서 모바일 SSD, 서버 코드를 다운로드하고 서버를 시작해야 합니다.

FROM python:3.7-stretch

RUN pip3 install flask
RUN pip3 install protobuf
RUN pip3 install requests
RUN pip3 install opencv_python

ADD http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_coco_11_06_2017.tar.gz /
RUN tar -xvf /ssd_mobilenet_v1_coco_11_06_2017.tar.gz

ADD https://github.com/tprlab/docker-detect/archive/master.zip /
RUN unzip /master.zip

EXPOSE 80

CMD ["python3", "/docker-detect-master/detect-app/app.py"]

단순한 탐지기 클라이언트 요청에 따라.

Docker Hub에 게시

Docker 레지스트리는 클라우드 감지기보다 빠른 속도로 증가하고 있습니다.

방해가 되지 않도록 보수적으로 진행하겠습니다. 도커허브.

1. 등록하다
2. 로그인:
   도커 로그인
3. 의미있는 이름을 생각해 봅시다.
   도커 태그 opencv-검출 tprlab/opencv-검출-ssd
4. 이미지를 서버에 업로드합니다.
   도커 푸시 tprlab/opencv-Detect-ssd

우리는 클라우드에서 시작합니다

컨테이너를 실행할 위치의 선택도 상당히 넓습니다.

모든 대형 플레이어(Google, Microsoft, Amazon)는 첫해에 마이크로 인스턴스를 무료로 제공합니다.
Microsoft Azure와 Google Cloud를 실험한 후 더 빨리 성공하는 후자를 선택했습니다.

이 부분은 선택한 공급자에 따라 매우 다르기 때문에 여기에 지침을 작성하지 않았습니다.

다양한 하드웨어 옵션을 시도했지만,
낮은 수준(공유 및 전용) - 0.4 - 0.5초.
더 강력한 자동차 - 0.25 - 0.3.
글쎄요, 최악의 경우에도 승리는 세 배입니다. 시도해 볼 수 있습니다.

비디오

Google Cloud를 통해 감지하여 Raspberry에서 간단한 OpenCV 비디오 스트리머를 시작합니다.
실험에는 임의의 교차로에서 XNUMX회 촬영된 동영상 파일이 사용되었습니다.

def handle_frame(frame):
    return detect.detect_draw_img(frame)
       
def generate():
    while True:
        rc, frame = vs.read()
        outFrame = handle_frame(frame)
        if outFrame is None:
            (rc, outFrame) = cv.imencode(".jpg", frame)
        yield(b'--framern' b'Content-Type: image/jpegrnrn' + bytearray(outFrame) + b'rn')

@app.route("/stream")
def video_feed():
    return Response(generate(), mimetype = "multipart/x-mixed-replace; boundary=frame")

탐지기를 사용하면 초당 XNUMX개 이상의 프레임을 얻을 수 없으며 모든 것이 매우 느리게 진행됩니다.
강력한 머신을 GCloud로 가져오면 초당 4~5프레임을 감지할 수 있지만 그 차이는 눈에 거의 보이지 않고 여전히 느립니다.

클라우드 및 운송 비용은 그것과 아무 관련이 없습니다. 감지기는 일반 하드웨어에서 실행되며 이러한 속도로 작동합니다.

신경 컴퓨터 스틱

나는 참을 수 없었고 NCS에서 벤치마크를 실행했습니다.

감지기의 속도는 0.1초보다 약간 느렸으며, 어쨌든 약한 시스템의 클라우드보다 2~3배 빠릅니다. 즉, 초당 8~9프레임입니다.

결과의 차이는 NCS가 모바일 SSD 버전 2018_01_28을 실행하고 있다는 사실로 설명됩니다.

추신: 또한 실험에 따르면 I7 프로세서를 탑재한 상당히 강력한 데스크톱 컴퓨터는 약간 더 나은 결과를 보여주며 초당 10프레임을 짜낼 수 있는 것으로 나타났습니다.

클러스터

실험은 더 진행되어 Google Kubernetes의 XNUMX개 노드에 감지기를 설치했습니다.
포드 자체는 약했고 각각 초당 2프레임 이상을 처리할 수 없었습니다.
그러나 N개의 노드가 있는 클러스터를 실행하고 N개의 스레드에서 프레임을 구문 분석하는 경우 충분한 수의 노드(5)를 사용하면 원하는 초당 10프레임을 달성할 수 있습니다.

def generate():
    while True:
        rc, frame = vs.read()
        if frame is not None:
            future = executor.submit(handle_frame, (frame.copy()))
            Q.append(future)

        keep_polling = len(Q) > 0
        while(keep_polling):            
            top = Q[0]
            if top.done():
                outFrame = top.result()
                Q.popleft()
                if outFrame:
                    yield(b'--framern' b'Content-Type: image/jpegrnrn' + bytearray(outFrame) + b'rn')
                keep_polling = len(Q) > 0
            else:
                keep_polling = len(Q) >= M

다음은 일어난 일입니다.

NCS보다 속도는 약간 느리지만 단일 스트림보다 활발합니다.

물론 이득은 선형적이지 않습니다. opencv 이미지의 동기화 및 심층 복사를 위한 오버레이가 있습니다.

결론

전반적으로 실험을 통해 우리는 시도한다면 간단한 클라우드만으로도 문제를 해결할 수 있다는 결론을 내릴 수 있습니다.

그러나 강력한 데스크톱이나 로컬 하드웨어를 사용하면 아무런 트릭 없이도 더 나은 결과를 얻을 수 있습니다.

참조

• Github의 코드
• DockerHub의 Docker 이미지
• OpenCV 및 Python의 비디오 서버

출처 : habr.com