🥇 Raspberry Pi मा क्लाउड वस्तु डिटेक्टरको साथ भिडियो

प्रस्तावना

टेस्लाको अटोपायलटले सडक कसरी हेर्छ भनेर देखाउने भिडियो अहिले इन्टरनेटमा घुमिरहेको छ।

मलाई डिटेक्टरसँग समृद्ध भिडियो प्रसारण गर्न लामो समयदेखि खुजली भइरहेको छ, र वास्तविक समयमा।

समस्या यो हो कि म Raspberry बाट भिडियो प्रसारण गर्न चाहन्छु, र यसमा न्यूरल नेटवर्क डिटेक्टरको प्रदर्शनले चाहिने धेरै छोड्छ।

इंटेल न्यूरल कम्प्युटर स्टिक

मैले विभिन्न उपायहरू विचार गरें।

В अन्तिम लेख Intel Neural Computer Stick को साथ प्रयोग गरियो। हार्डवेयर शक्तिशाली छ, तर यसको आफ्नै नेटवर्क ढाँचा आवश्यक छ।

यद्यपि इंटेलले प्रमुख फ्रेमवर्कहरूको लागि कन्भर्टरहरू प्रदान गर्दछ, त्यहाँ धेरै समस्याहरू छन्।

उदाहरणका लागि, आवश्यक नेटवर्कको ढाँचा असंगत हुन सक्छ, र यदि यो उपयुक्त छ भने, त्यसपछि केही तहहरू उपकरणमा समर्थित नहुन सक्छ, र यदि तिनीहरू समर्थित छन् भने, त्यसपछि त्रुटिहरू रूपान्तरण प्रक्रियाको क्रममा हुन सक्छ, जसको परिणाम स्वरूप। हामीले आउटपुटमा केहि अनौठो चीजहरू पाउँछौं।

सामान्यतया, यदि तपाइँ कुनै प्रकारको मनमानी तंत्रिका नेटवर्क चाहनुहुन्छ भने, त्यसपछि यो NCS सँग काम नगर्न सक्छ। त्यसैले, मैले सबैभन्दा व्यापक र पहुँचयोग्य उपकरणहरू प्रयोग गरेर समस्या समाधान गर्ने प्रयास गर्ने निर्णय गरें।

क्लाउड

स्थानीय हार्डवेयर समाधानको स्पष्ट विकल्प क्लाउडमा जानु हो।

तयार विकल्पहरू - मेरो आँखा जंगली दौडन्छ।

सबै नेताहरु:

... र दर्जनौं कम ज्ञात व्यक्तिहरू।

यो विविधता बीच छनोट सबै सजिलो छैन।

र मैले छनौट नगर्ने निर्णय गरें, तर राम्रो पुरानो कार्य योजनालाई ओपनसीभीमा डकरमा बेर्नुहोस् र क्लाउडमा चलाउनुहोस्।

यस दृष्टिकोणको फाइदा लचिलोपन र नियन्त्रण हो - तपाइँ तंत्रिका नेटवर्क, होस्टिंग, सर्भर - सामान्यतया, कुनै पनि सनक परिवर्तन गर्न सक्नुहुन्छ।

सर्भर

स्थानीय प्रोटोटाइपको साथ सुरु गरौं।

परम्परागत रूपमा म REST API, OpenCV र MobileSSD नेटवर्कको लागि फ्लास्क प्रयोग गर्छु।

डकरमा हालको संस्करणहरू स्थापना गरिसकेपछि, मैले पत्ता लगाएँ कि OpenCV 4.1.2 ले मोबाइल SSD v1_coco_2018_01_28 सँग काम गर्दैन, र मैले प्रमाणित 11/06_2017 मा रोल फिर्ता गर्नुपर्‍यो।

सेवाको सुरुमा, हामी कक्षाको नाम र नेटवर्क लोड गर्छौं:

def init():
    tf_labels.initLabels(dnn_conf.DNN_LABELS_PATH)
    return cv.dnn.readNetFromTensorflow(dnn_conf.DNN_PATH, dnn_conf.DNN_TXT_PATH)

स्थानीय डकरमा (धेरै जवान ल्यापटपमा) यसले ०.३ सेकेन्ड लिन्छ, रास्पबेरीमा - ३.५।

गणना सुरु गरौं:

def inference(img):
    net.setInput(cv.dnn.blobFromImage(img, 1.0/127.5, (300, 300), (127.5, 127.5, 127.5), swapRB=True, crop=False))
    return net.forward()

डकर - ०.२ सेकेन्ड, रास्पबेरी - १.७।

टेन्सर निकासलाई पढ्न योग्य json मा परिणत गर्दै:

def build_detection(data, thr, rows, cols):
    ret = []
    for detection in data[0,0,:,:]:
        score = float(detection[2])
        if score > thr:
            cls = int(detection[1])
            a = {"class" : cls, "name" : tf_labels.getLabel(cls),  "score" : score}
            a["x"] = int(detection[3] * cols)
            a["y"] = int(detection[4] * rows)
            a["w"] = int(detection[5] * cols ) - a["x"]
            a["h"] = int(detection[6] * rows) - a["y"]
            ret.append(a)
    return ret

थप फ्लास्क मार्फत यो कार्य निर्यात गर्नुहोस्(इनपुट तस्विर हो, आउटपुट जेसनमा डिटेक्टरको नतिजा हो)।

एक वैकल्पिक विकल्प, जसमा थप काम सर्भरमा सारिएको छ: यो आफैले फेला परेका वस्तुहरूलाई घेरा हाल्छ र समाप्त छवि फर्काउँछ।

यो विकल्प राम्रो छ जहाँ हामी opencv लाई सर्भरमा ड्र्याग गर्न चाहँदैनौं।

डकर

हामी छवि सङ्कलन।

कोड कम्बेड र पोस्ट गरिएको छ Github, डकरले त्यहाँबाट सिधै लिनेछ।

प्लेटफर्मको रूपमा, हामी रास्पबेरीमा जस्तै डेबियन स्ट्रेच लिनेछौं - हामी प्रमाणित टेक स्ट्याकबाट विचलित हुने छैनौं।

तपाईंले फ्लास्क, प्रोटोबफ, अनुरोधहरू, opencv_python स्थापना गर्न आवश्यक छ, मोबाइल SSD डाउनलोड गर्नुहोस्, Github बाट सर्भर कोड र सर्भर सुरु गर्नुहोस्।

FROM python:3.7-stretch

RUN pip3 install flask
RUN pip3 install protobuf
RUN pip3 install requests
RUN pip3 install opencv_python

ADD http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_coco_11_06_2017.tar.gz /
RUN tar -xvf /ssd_mobilenet_v1_coco_11_06_2017.tar.gz

ADD https://github.com/tprlab/docker-detect/archive/master.zip /
RUN unzip /master.zip

EXPOSE 80

CMD ["python3", "/docker-detect-master/detect-app/app.py"]

Простой डिटेक्टर ग्राहक अनुरोधहरूमा आधारित।

डकर हबमा प्रकाशन गर्दै

डकर रेजिस्ट्रीहरू क्लाउड डिटेक्टरहरू भन्दा कम गतिमा गुणा गर्दैछन्।

चिन्ता नगर्नको लागि, हामी रूढिवादी रूपमा जानेछौं डकरहब.

दर्ता गर्नुहोस्
लग - इन:
डकर लगइन
सार्थक नाम लिएर आउनुहोस्:
डकर ट्याग opencv-detect tprlab/opencv-detect-ssd
सर्भरमा छवि अपलोड गर्नुहोस्:
डकर पुश tprlab/opencv-detect-ssd

हामी क्लाउडमा सुरु गर्छौं

कन्टेनर कहाँ चलाउने छनौट पनि धेरै फराकिलो छ।

सबै ठूला खेलाडीहरू (गुगल, माइक्रोसफ्ट, अमेजन) पहिलो वर्षको लागि नि: शुल्क माइक्रो-इन्स्ट्यान्स प्रस्ताव गर्छन्।
Microsoft Azure र गुगल क्लाउडको साथ प्रयोग गरिसकेपछि, म पछिल्लोमा बसेँ किनभने यो छिटो बन्द भयो।

मैले यहाँ निर्देशनहरू लेखेको छैन, किनकि यो भाग चयन गरिएको प्रदायकको लागि धेरै विशिष्ट छ।

मैले विभिन्न हार्डवेयर विकल्पहरू प्रयास गरें,
निम्न स्तरहरू (साझा र समर्पित) - ०.४ - ०.५ सेकेन्ड।
अधिक शक्तिशाली कारहरू - 0.25 - 0.3।
ठीक छ, सबैभन्दा खराब अवस्थामा पनि, जीतहरू तीन पटक छन्, तपाईं प्रयास गर्न सक्नुहुन्छ।

भिडियो

हामीले रास्पबेरीमा एउटा साधारण OpenCV भिडियो स्ट्रिमर सुरु गर्छौं, Google Cloud मार्फत पत्ता लगाउँदै।
प्रयोगको लागि, एक भिडियो फाइल प्रयोग गरिएको थियो जुन एक पटक अनियमित चौराहेमा फिलिम गरिएको थियो।


def handle_frame(frame):
    return detect.detect_draw_img(frame)
       
def generate():
    while True:
        rc, frame = vs.read()
        outFrame = handle_frame(frame)
        if outFrame is None:
            (rc, outFrame) = cv.imencode(".jpg", frame)
        yield(b'--framern' b'Content-Type: image/jpegrnrn' + bytearray(outFrame) + b'rn')

@app.route("/stream")
def video_feed():
    return Response(generate(), mimetype = "multipart/x-mixed-replace; boundary=frame")

डिटेक्टरको साथ हामी प्रति सेकेन्ड तीन फ्रेम भन्दा बढी प्राप्त गर्दैनौं, सबै कुरा धेरै बिस्तारै जान्छ।
यदि तपाईंले GCloud मा शक्तिशाली मेसिन लिनुभयो भने, तपाईंले प्रति सेकेन्ड 4-5 फ्रेमहरू पत्ता लगाउन सक्नुहुन्छ, तर फरक आँखामा लगभग अदृश्य छ, यो अझै ढिलो छ।

क्लाउड र यातायात लागतसँग यसको कुनै सरोकार छैन; डिटेक्टर नियमित हार्डवेयरमा चल्छ र त्यो गतिमा काम गर्दछ।

न्यूरल कम्प्युटर स्टिक

मैले प्रतिरोध गर्न सकिन र NCS मा बेन्चमार्क दौडें।

डिटेक्टरको गति ०.१ सेकेन्ड भन्दा थोरै ढिलो थियो, कुनै पनि अवस्थामा कमजोर मेसिनमा क्लाउड भन्दा २-३ गुणा छिटो, अर्थात् ८-९ फ्रेम प्रति सेकेन्ड।

NCS ले मोबाइल SSD संस्करण 2018_01_28 चलिरहेको थियो भन्ने तथ्यले नतिजाहरूमा भएको भिन्नतालाई व्याख्या गरेको छ।

P.S. थप रूपमा, प्रयोगहरूले देखाएको छ कि I7 प्रोसेसरको साथ एकदम शक्तिशाली डेस्कटप मेसिनले थोरै राम्रो परिणामहरू देखाउँदछ र यो प्रति सेकेन्ड 10 फ्रेमहरू निचोड गर्न सम्भव भयो।

क्लस्टर

प्रयोग अगाडि बढ्यो र मैले Google Kubernetes मा पाँच नोडहरूमा डिटेक्टर स्थापना गरें।
पोडहरू आफैं कमजोर थिए र तिनीहरूमध्ये प्रत्येकले प्रति सेकेन्ड 2 फ्रेम भन्दा बढी प्रक्रिया गर्न सक्दैन।
तर यदि तपाईंले N नोडहरू र N थ्रेडहरूमा पार्स फ्रेमहरूको साथ क्लस्टर चलाउनुभयो भने, पर्याप्त संख्यामा नोडहरू (5) सँग तपाईंले प्रति सेकेन्डमा चाहिएको 10 फ्रेमहरू प्राप्त गर्न सक्नुहुन्छ।

def generate():
    while True:
        rc, frame = vs.read()
        if frame is not None:
            future = executor.submit(handle_frame, (frame.copy()))
            Q.append(future)

        keep_polling = len(Q) > 0
        while(keep_polling):            
            top = Q[0]
            if top.done():
                outFrame = top.result()
                Q.popleft()
                if outFrame:
                    yield(b'--framern' b'Content-Type: image/jpegrnrn' + bytearray(outFrame) + b'rn')
                keep_polling = len(Q) > 0
            else:
                keep_polling = len(Q) >= M

यहाँ के भयो:

NCS को तुलनामा थोरै कम छिटो, तर एक स्ट्रिमको तुलनामा धेरै बलियो।

लाभ, निस्सन्देह, रैखिक छैन - त्यहाँ ओपनसीभी छविहरूको सिङ्क्रोनाइजेसन र गहिरो प्रतिलिपिको लागि ओभरलेहरू छन्।

निष्कर्षमा

समग्रमा, प्रयोगले हामीलाई यो निष्कर्षमा पुग्न अनुमति दिन्छ कि यदि तपाईंले प्रयास गर्नुभयो भने, तपाईं साधारण क्लाउडबाट टाढा जान सक्नुहुन्छ।

तर एक शक्तिशाली डेस्कटप वा स्थानीय हार्डवेयरले तपाईंलाई राम्रो परिणामहरू प्राप्त गर्न अनुमति दिन्छ, र कुनै चाल बिना।

सन्दर्भ

स्रोत: www.habr.com

रास्पबेरी पाईमा क्लाउड वस्तु डिटेक्टरको भिडियो