রাস্পবেরি পাইতে ক্লাউড অবজেক্ট ডিটেক্টরের ভিডিও

প্রস্তাবনা

টেসলার অটোপাইলট কীভাবে রাস্তা দেখেন তা দেখানো একটি ভিডিও এখন ইন্টারনেটে প্রচারিত হচ্ছে।

আমি একটি ডিটেক্টর দিয়ে সমৃদ্ধ ভিডিও সম্প্রচার করতে অনেক দিন ধরে চুলকাচ্ছি, এবং বাস্তব সময়ে।

সমস্যা হল যে আমি রাস্পবেরি থেকে ভিডিও সম্প্রচার করতে চাই, এবং এতে নিউরাল নেটওয়ার্ক ডিটেক্টরের কার্যকারিতা পছন্দের অনেক কিছু ছেড়ে দেয়।

ইন্টেল নিউরাল কম্পিউটার স্টিক

আমি বিভিন্ন সমাধান বিবেচনা করেছি।

В শেষ প্রবন্ধ ইন্টেল নিউরাল কম্পিউটার স্টিক দিয়ে পরীক্ষা করা হয়েছে। হার্ডওয়্যার শক্তিশালী, কিন্তু এর নিজস্ব নেটওয়ার্ক বিন্যাস প্রয়োজন।

যদিও ইন্টেল প্রধান ফ্রেমওয়ার্কের জন্য রূপান্তরকারী সরবরাহ করে, সেখানে অনেকগুলি ত্রুটি রয়েছে।

উদাহরণস্বরূপ, প্রয়োজনীয় নেটওয়ার্কের বিন্যাসটি বেমানান হতে পারে, এবং যদি এটি সামঞ্জস্যপূর্ণ হয়, তবে কিছু স্তর ডিভাইসে সমর্থিত নাও হতে পারে, এবং যদি সেগুলি সমর্থিত হয়, তাহলে রূপান্তর প্রক্রিয়া চলাকালীন ত্রুটি ঘটতে পারে, যার ফলস্বরূপ আমরা আউটপুটে কিছু অদ্ভুত জিনিস পেতে.

সাধারণভাবে, আপনি যদি কিছু ধরণের নির্বিচারে নিউরাল নেটওয়ার্ক চান তবে এটি NCS এর সাথে কাজ নাও করতে পারে। অতএব, আমি সবচেয়ে বিস্তৃত এবং অ্যাক্সেসযোগ্য সরঞ্জামগুলি ব্যবহার করে সমস্যাটি সমাধান করার চেষ্টা করার সিদ্ধান্ত নিয়েছি।

মেঘ

একটি স্থানীয় হার্ডওয়্যার সমাধানের সুস্পষ্ট বিকল্প হল ক্লাউডে যাওয়া।

প্রস্তুত বিকল্প - আমার চোখ বন্য রান.

সকল নেতা:

• মাইক্রোসফট
• গুগল
• আমাজন

... এবং কয়েক ডজন কম পরিচিত বেশী.

এই বৈচিত্র্যের মধ্যে নির্বাচন করা মোটেও সহজ নয়।

এবং আমি বেছে না নেওয়ার সিদ্ধান্ত নিয়েছি, তবে ডকারে ওপেনসিভিতে ভাল পুরানো কাজের স্কিমটি মোড়ানো এবং ক্লাউডে চালানোর সিদ্ধান্ত নিয়েছি।

এই পদ্ধতির সুবিধা হ'ল নমনীয়তা এবং নিয়ন্ত্রণ - আপনি নিউরাল নেটওয়ার্ক, হোস্টিং, সার্ভার পরিবর্তন করতে পারেন - সাধারণভাবে, যে কোনও বাতিক।

সার্ভার

একটি স্থানীয় প্রোটোটাইপ দিয়ে শুরু করা যাক।

ঐতিহ্যগতভাবে আমি REST API, OpenCV এবং MobileSSD নেটওয়ার্কের জন্য ফ্লাস্ক ব্যবহার করি।

ডকারে বর্তমান সংস্করণগুলি ইনস্টল করার পরে, আমি আবিষ্কার করেছি যে OpenCV 4.1.2 মোবাইল SSD v1_coco_2018_01_28 এর সাথে কাজ করে না এবং আমাকে প্রমাণিত 11/06_2017-এ ফিরে যেতে হয়েছিল।

পরিষেবার শুরুতে, আমরা ক্লাসের নাম এবং নেটওয়ার্ক লোড করি:

def init():
    tf_labels.initLabels(dnn_conf.DNN_LABELS_PATH)
    return cv.dnn.readNetFromTensorflow(dnn_conf.DNN_PATH, dnn_conf.DNN_TXT_PATH)

একটি স্থানীয় ডকারে (খুব কম বয়সী ল্যাপটপে) এটি 0.3 সেকেন্ড সময় নেয়, রাস্পবেরিতে - 3.5।

আসুন গণনা শুরু করা যাক:

def inference(img):
    net.setInput(cv.dnn.blobFromImage(img, 1.0/127.5, (300, 300), (127.5, 127.5, 127.5), swapRB=True, crop=False))
    return net.forward()

ডকার - 0.2 সেকেন্ড, রাস্পবেরি - 1.7।

টেনসর নিষ্কাশনকে পাঠযোগ্য json-এ পরিণত করা:

def build_detection(data, thr, rows, cols):
    ret = []
    for detection in data[0,0,:,:]:
        score = float(detection[2])
        if score > thr:
            cls = int(detection[1])
            a = {"class" : cls, "name" : tf_labels.getLabel(cls),  "score" : score}
            a["x"] = int(detection[3] * cols)
            a["y"] = int(detection[4] * rows)
            a["w"] = int(detection[5] * cols ) - a["x"]
            a["h"] = int(detection[6] * rows) - a["y"]
            ret.append(a)
    return ret

অধিকতর ফ্লাস্কের মাধ্যমে এই অপারেশনটি রপ্তানি করুন(ইনপুট হল একটি ছবি, আউটপুট হল json-এ ডিটেক্টরের ফলাফল)।

একটি বিকল্প বিকল্প, যেখানে আরও কাজ সার্ভারে স্থানান্তরিত হয়: এটি নিজেই পাওয়া বস্তুগুলিকে বৃত্ত করে এবং সমাপ্ত চিত্রটি ফেরত দেয়।

এই বিকল্পটি ভাল যেখানে আমরা সার্ভারে opencv টেনে আনতে চাই না।

ডকার

আমরা ছবিটি সংগ্রহ করি।

কোড combed এবং পোস্ট করা হয় গিথুব, ডকার সেখান থেকে সরাসরি নিয়ে যাবে।

একটি প্ল্যাটফর্ম হিসাবে, আমরা রাস্পবেরির মতো একই ডেবিয়ান স্ট্রেচ নেব - আমরা প্রমাণিত প্রযুক্তি স্ট্যাক থেকে বিচ্যুত হব না।

আপনাকে ফ্লাস্ক, প্রোটোবাফ, রিকোয়েস্ট, opencv_python ইনস্টল করতে হবে, Github থেকে মোবাইল SSD, সার্ভার কোড ডাউনলোড করতে হবে এবং সার্ভার চালু করতে হবে।

FROM python:3.7-stretch

RUN pip3 install flask
RUN pip3 install protobuf
RUN pip3 install requests
RUN pip3 install opencv_python

ADD http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_coco_11_06_2017.tar.gz /
RUN tar -xvf /ssd_mobilenet_v1_coco_11_06_2017.tar.gz

ADD https://github.com/tprlab/docker-detect/archive/master.zip /
RUN unzip /master.zip

EXPOSE 80

CMD ["python3", "/docker-detect-master/detect-app/app.py"]

সহজ আবিষ্কারক ক্লায়েন্ট অনুরোধের উপর ভিত্তি করে।

ডকার হাবে প্রকাশ করা হচ্ছে

ডকার রেজিস্ট্রিগুলি ক্লাউড ডিটেক্টরের চেয়ে কম গতিতে সংখ্যাবৃদ্ধি করছে।

যাতে বিরক্ত না হয়, আমরা রক্ষণশীলভাবে মাধ্যমে যেতে হবে ডকারহাব.

1. নিবন্ধন
2. প্রবেশ করুন:
   ডকার লগইন
3. আসুন একটি অর্থপূর্ণ নাম নিয়ে আসা যাক:
   ডকার ট্যাগ opencv-detect tprlab/opencv-detect-ssd
4. সার্ভারে ছবিটি আপলোড করুন:
   ডকার পুশ tprlab/opencv-detect-ssd

আমরা মেঘে লঞ্চ করি

কন্টেইনার কোথায় চালাবেন তার পছন্দও বেশ প্রশস্ত।

সমস্ত বড় প্লেয়ার (গুগল, মাইক্রোসফ্ট, অ্যামাজন) প্রথম বছরের জন্য বিনামূল্যে একটি মাইক্রো-ইনস্ট্যান্স অফার করে।
মাইক্রোসফ্ট Azure এবং Google ক্লাউডের সাথে পরীক্ষা করার পরে, আমি পরবর্তীতে স্থির হয়েছি কারণ এটি দ্রুত বন্ধ হয়ে গেছে।

আমি এখানে নির্দেশাবলী লিখিনি, যেহেতু এই অংশটি নির্বাচিত প্রদানকারীর জন্য খুব নির্দিষ্ট।

আমি বিভিন্ন হার্ডওয়্যার বিকল্প চেষ্টা করেছি,
নিম্ন স্তর (ভাগ করা এবং উত্সর্গীকৃত) - 0.4 - 0.5 সেকেন্ড।
আরও শক্তিশালী গাড়ি - 0.25 - 0.3।
ঠিক আছে, এমনকি সবচেয়ে খারাপ পরিস্থিতিতেও, জয় তিনবার, আপনি চেষ্টা করতে পারেন।

ভিডিও

আমরা রাস্পবেরিতে একটি সাধারণ OpenCV ভিডিও স্ট্রীমার লঞ্চ করি, Google ক্লাউডের মাধ্যমে সনাক্ত করে৷
পরীক্ষার জন্য, একটি ভিডিও ফাইল ব্যবহার করা হয়েছিল যা একবার র্যান্ডম ছেদ এ চিত্রায়িত হয়েছিল।

def handle_frame(frame):
    return detect.detect_draw_img(frame)
       
def generate():
    while True:
        rc, frame = vs.read()
        outFrame = handle_frame(frame)
        if outFrame is None:
            (rc, outFrame) = cv.imencode(".jpg", frame)
        yield(b'--framern' b'Content-Type: image/jpegrnrn' + bytearray(outFrame) + b'rn')

@app.route("/stream")
def video_feed():
    return Response(generate(), mimetype = "multipart/x-mixed-replace; boundary=frame")

ডিটেক্টরের সাহায্যে আমরা প্রতি সেকেন্ডে তিনটি ফ্রেমের বেশি পাই না, সবকিছু খুব ধীরে ধীরে যায়।
আপনি যদি জিক্লাউডে একটি শক্তিশালী মেশিন নিয়ে যান, আপনি প্রতি সেকেন্ডে 4-5 ফ্রেম সনাক্ত করতে পারেন, তবে পার্থক্যটি চোখের কাছে প্রায় অদৃশ্য, এটি এখনও ধীর।

ক্লাউড এবং পরিবহন খরচ এর সাথে কিছুই করার নেই; ডিটেক্টর সাধারণ হার্ডওয়্যারে চলে এবং এইরকম গতিতে কাজ করে।

নিউরাল কম্পিউটার স্টিক

আমি প্রতিরোধ করতে পারিনি এবং এনসিএস-এ বেঞ্চমার্ক চালাতে পারিনি।

ডিটেক্টরের গতি 0.1 সেকেন্ডের চেয়ে কিছুটা ধীর, যে কোনও ক্ষেত্রে একটি দুর্বল মেশিনে মেঘের চেয়ে 2-3 গুণ দ্রুত, অর্থাৎ প্রতি সেকেন্ডে 8-9 ফ্রেম।

ফলাফলের পার্থক্য এই সত্য দ্বারা ব্যাখ্যা করা হয়েছে যে NCS মোবাইল SSD সংস্করণ 2018_01_28 চলছিল।

পুনশ্চ. এছাড়াও, পরীক্ষাগুলি দেখিয়েছে যে একটি I7 প্রসেসর সহ একটি মোটামুটি শক্তিশালী ডেস্কটপ মেশিন কিছুটা ভাল ফলাফল দেখায় এবং এটি প্রতি সেকেন্ডে 10 ফ্রেম আউট করা সম্ভব বলে প্রমাণিত হয়েছে।

গুচ্ছ

পরীক্ষাটি আরও এগিয়ে গেল এবং আমি Google Kubernetes-এ পাঁচটি নোডে ডিটেক্টর ইনস্টল করেছি।
পডগুলি নিজেরাই দুর্বল ছিল এবং তাদের প্রত্যেকটি প্রতি সেকেন্ডে 2 ফ্রেমের বেশি প্রক্রিয়া করতে পারেনি।
কিন্তু আপনি যদি N নোড সহ একটি ক্লাস্টার চালান এবং N থ্রেডে পার্স ফ্রেম করেন, তাহলে পর্যাপ্ত সংখ্যক নোড (5) দিয়ে আপনি প্রতি সেকেন্ডে কাঙ্খিত 10টি ফ্রেম অর্জন করতে পারেন।

def generate():
    while True:
        rc, frame = vs.read()
        if frame is not None:
            future = executor.submit(handle_frame, (frame.copy()))
            Q.append(future)

        keep_polling = len(Q) > 0
        while(keep_polling):            
            top = Q[0]
            if top.done():
                outFrame = top.result()
                Q.popleft()
                if outFrame:
                    yield(b'--framern' b'Content-Type: image/jpegrnrn' + bytearray(outFrame) + b'rn')
                keep_polling = len(Q) > 0
            else:
                keep_polling = len(Q) >= M

এখানে কি ঘটেছে:

NCS-এর তুলনায় একটু কম দ্রুত, কিন্তু একটি স্ট্রিমের তুলনায় আরও জোরালো৷

লাভ, অবশ্যই, রৈখিক নয় - ওপেনসিভি ইমেজগুলির সিঙ্ক্রোনাইজেশন এবং গভীর অনুলিপি করার জন্য ওভারলে রয়েছে।

উপসংহার

সামগ্রিকভাবে, পরীক্ষাটি আমাদের এই উপসংহারে পৌঁছানোর অনুমতি দেয় যে আপনি যদি চেষ্টা করেন তবে আপনি একটি সাধারণ মেঘের সাথে দূরে যেতে পারেন।

কিন্তু একটি শক্তিশালী ডেস্কটপ বা স্থানীয় হার্ডওয়্যার আপনাকে আরও ভাল ফলাফল অর্জন করতে দেয় এবং কোনো কৌশল ছাড়াই।

রেফারেন্স

• Github-এ কোড
• ডকারহাবে ডকার ইমেজ
• OpenCV এবং Python-এ ভিডিও সার্ভার

উত্স: www.habr.com