ওপেনভিনো হ্যাকাথন: রাস্পবেরি পাই-তে ভয়েস এবং আবেগ সনাক্তকরণ

30 নভেম্বর - 1 ডিসেম্বর নিজনি নভগোরোডে অনুষ্ঠিত হয়েছিল ওপেনভিনো হ্যাকাথন. অংশগ্রহণকারীদের ইন্টেল ওপেনভিনো টুলকিট ব্যবহার করে একটি পণ্য সমাধানের একটি প্রোটোটাইপ তৈরি করতে বলা হয়েছিল। আয়োজকরা আনুমানিক বিষয়গুলির একটি তালিকা প্রস্তাব করেছিলেন যা একটি টাস্ক বেছে নেওয়ার সময় নির্দেশিত হতে পারে, তবে চূড়ান্ত সিদ্ধান্তটি দলের সাথেই ছিল। এছাড়াও, পণ্যের অন্তর্ভুক্ত নয় এমন মডেলগুলির ব্যবহারকে উত্সাহিত করা হয়েছিল।

এই নিবন্ধে আমরা আপনাকে বলব যে আমরা কীভাবে আমাদের পণ্যটির প্রোটোটাইপ তৈরি করেছি, যার সাহায্যে আমরা শেষ পর্যন্ত প্রথম স্থান অধিকার করেছি।

হ্যাকাথনে ১০টির বেশি দল অংশ নেয়। এটা ভাল যে তাদের মধ্যে কিছু অন্যান্য অঞ্চল থেকে এসেছেন. হ্যাকাথনের ভেন্যু ছিল "ক্রেমলিনস্কি অন পোচেইন" কমপ্লেক্স, যেখানে নিঝনি নভগোরোডের প্রাচীন ফটোগ্রাফগুলি একটি দলে ঝুলিয়ে রাখা হয়েছিল! (আমি আপনাকে মনে করিয়ে দিচ্ছি যে এই মুহুর্তে ইন্টেলের কেন্দ্রীয় অফিস নিঝনি নোভগোরোডে অবস্থিত)। অংশগ্রহণকারীদের কোড লিখতে 10 ঘন্টা সময় দেওয়া হয়েছিল এবং শেষে তাদের সমাধান উপস্থাপন করতে হয়েছিল। একটি পৃথক সুবিধা ছিল একটি ডেমো সেশনের উপস্থিতি নিশ্চিত করতে যে পরিকল্পনা করা সমস্ত কিছু বাস্তবে বাস্তবায়িত হয়েছিল এবং উপস্থাপনায় ধারণাগুলি থেকে যায় না। পণ্যদ্রব্য, জলখাবার, খাবার, সবকিছুই ছিল সেখানে!

এছাড়াও, ইন্টেল ঐচ্ছিকভাবে ক্যামেরা, রাস্পবেরি পিআই, নিউরাল কম্পিউট স্টিক 2 প্রদান করেছে।

কার্য নির্বাচন

একটি ফ্রি-ফর্ম হ্যাকাথনের জন্য প্রস্তুতির সবচেয়ে কঠিন অংশগুলির মধ্যে একটি হল একটি চ্যালেঞ্জ বেছে নেওয়া। আমরা অবিলম্বে এমন কিছু নিয়ে আসার সিদ্ধান্ত নিয়েছি যা এখনও পণ্যটিতে ছিল না, যেহেতু ঘোষণাটি বলেছে যে এটি অত্যন্ত স্বাগত।

বিশ্লেষণ করে মডেল, যা বর্তমান রিলিজে পণ্যের মধ্যে অন্তর্ভুক্ত করা হয়েছে, আমরা এই উপসংহারে পৌঁছেছি যে তাদের বেশিরভাগই বিভিন্ন কম্পিউটার দৃষ্টি সমস্যার সমাধান করে। তদুপরি, কম্পিউটার দৃষ্টির ক্ষেত্রে এমন একটি সমস্যা নিয়ে আসা খুব কঠিন যা OpenVINO ব্যবহার করে সমাধান করা যায় না, এবং এমনকি যদি একটি উদ্ভাবন করা যায় তবে পাবলিক ডোমেনে প্রাক-প্রশিক্ষিত মডেলগুলি খুঁজে পাওয়া কঠিন। আমরা অন্য দিকে খনন করার সিদ্ধান্ত নিই - বক্তৃতা প্রক্রিয়াকরণ এবং বিশ্লেষণের দিকে। আসুন বক্তৃতা থেকে আবেগগুলি সনাক্ত করার একটি আকর্ষণীয় কাজ বিবেচনা করি। এটা অবশ্যই বলা উচিত যে OpenVINO এর ইতিমধ্যে একটি মডেল রয়েছে যা তাদের মুখের উপর ভিত্তি করে একজন ব্যক্তির আবেগ নির্ধারণ করে, কিন্তু:

• তাত্ত্বিকভাবে, একটি সম্মিলিত অ্যালগরিদম তৈরি করা সম্ভব যা শব্দ এবং চিত্র উভয় ক্ষেত্রেই কাজ করবে, যা সঠিকতা বৃদ্ধি করবে।
• ক্যামেরাগুলির সাধারণত একটি সংকীর্ণ দেখার কোণ থাকে; একটি বড় এলাকা কভার করার জন্য একাধিক ক্যামেরার প্রয়োজন হয়; শব্দের এমন সীমাবদ্ধতা নেই।

আসুন ধারণাটি বিকাশ করি: আসুন খুচরা বিভাগের ধারণাটিকে ভিত্তি হিসাবে গ্রহণ করি। আপনি দোকান চেকআউট এ গ্রাহক সন্তুষ্টি পরিমাপ করতে পারেন. যদি গ্রাহকদের মধ্যে একজন পরিষেবাতে অসন্তুষ্ট হন এবং তাদের স্বর বাড়াতে শুরু করেন, আপনি অবিলম্বে সাহায্যের জন্য প্রশাসককে কল করতে পারেন।
এই ক্ষেত্রে, আমাদের মানব ভয়েস স্বীকৃতি যোগ করতে হবে, এটি আমাদের গ্রাহকদের থেকে স্টোর কর্মচারীদের আলাদা করতে এবং প্রতিটি ব্যক্তির জন্য বিশ্লেষণ প্রদান করতে দেয়। ঠিক আছে, উপরন্তু, দোকান কর্মচারীদের নিজেদের আচরণ বিশ্লেষণ করা সম্ভব হবে, দলের পরিবেশ মূল্যায়ন, ভাল শোনাচ্ছে!

আমরা আমাদের সমাধানের জন্য প্রয়োজনীয়তা প্রণয়ন করি:

• লক্ষ্য ডিভাইসের ছোট আকার
• রিয়েল টাইম অপারেশন
• কম দাম
• সহজ মাপযোগ্যতা

ফলস্বরূপ, আমরা লক্ষ্য ডিভাইস হিসাবে রাস্পবেরি পাই 3 সি নির্বাচন করি ইন্টেল এনসিএস 2.

এখানে এনসিএস-এর একটি গুরুত্বপূর্ণ বৈশিষ্ট্য উল্লেখ করা গুরুত্বপূর্ণ - এটি স্ট্যান্ডার্ড সিএনএন আর্কিটেকচারের সাথে সবচেয়ে ভাল কাজ করে, তবে আপনার যদি এটিতে কাস্টম স্তর সহ একটি মডেল চালানোর প্রয়োজন হয় তবে নিম্ন-স্তরের অপ্টিমাইজেশন আশা করুন।

শুধুমাত্র একটি ছোট জিনিস করতে হবে: আপনাকে একটি মাইক্রোফোন পেতে হবে। একটি নিয়মিত ইউএসবি মাইক্রোফোন করবে, কিন্তু এটি আরপিআই-এর সাথে একসাথে ভাল দেখাবে না। তবে এখানেও সমাধানটি আক্ষরিক অর্থে "কাছেই রয়েছে।" ভয়েস রেকর্ড করতে, আমরা কিট থেকে ভয়েস বননেট বোর্ড ব্যবহার করার সিদ্ধান্ত নিই Google AIY ভয়েস কিট, যার উপরে একটি তারযুক্ত স্টেরিও মাইক্রোফোন রয়েছে।

থেকে রাস্পবিয়ান ডাউনলোড করুন AIY প্রকল্পের ভান্ডার এবং এটি একটি ফ্ল্যাশ ড্রাইভে আপলোড করুন, পরীক্ষা করুন যে মাইক্রোফোন নিম্নলিখিত কমান্ড ব্যবহার করে কাজ করে (এটি 5 সেকেন্ড দীর্ঘ অডিও রেকর্ড করবে এবং এটি একটি ফাইলে সংরক্ষণ করবে):

arecord -d 5 -r 16000 test.wav

আমার অবিলম্বে নোট করা উচিত যে মাইক্রোফোনটি খুব সংবেদনশীল এবং ভাল শব্দ তোলে। এটি ঠিক করতে, আসুন আলসামিক্সারে যাই, ক্যাপচার ডিভাইস নির্বাচন করুন এবং ইনপুট সিগন্যাল স্তর 50-60% কমিয়ে দিন।

আমরা একটি ফাইল দিয়ে বডি পরিবর্তন করি এবং সবকিছু ফিট করে, আপনি এমনকি একটি ঢাকনা দিয়ে এটি বন্ধ করতে পারেন

একটি সূচক বোতাম যোগ করা হচ্ছে

AIY ভয়েস কিটটি আলাদা করার সময়, আমরা মনে রাখি যে একটি RGB বোতাম রয়েছে, যার ব্যাকলাইট সফ্টওয়্যার দ্বারা নিয়ন্ত্রিত হতে পারে। আমরা "Google AIY Led" অনুসন্ধান করি এবং ডকুমেন্টেশন খুঁজে পাই: https://aiyprojects.readthedocs.io/en/latest/aiy.leds.html
কেন স্বীকৃত আবেগ প্রদর্শন করতে এই বোতামটি ব্যবহার করবেন না, আমাদের মাত্র 7 টি ক্লাস আছে, এবং বোতামটিতে 8 টি রঙ রয়েছে, যথেষ্ট!

আমরা GPIO এর মাধ্যমে ভয়েস বনেটের সাথে বোতামটি সংযুক্ত করি, প্রয়োজনীয় লাইব্রেরিগুলি লোড করি (এগুলি ইতিমধ্যেই AIY প্রকল্পগুলির বিতরণ কিটে ইনস্টল করা আছে)

from aiy.leds import Leds, Color
from aiy.leds import RgbLeds

আসুন একটি ডিক্ট তৈরি করি যেখানে প্রতিটি আবেগের একটি RGB Tuple আকারে একটি অনুরূপ রঙ থাকবে এবং aiy.leds.Leds ক্লাসের একটি বস্তু থাকবে, যার মাধ্যমে আমরা রঙটি আপডেট করব:

led_dict = {'neutral': (255, 255, 255), 'happy': (0, 255, 0), 'sad': (0, 255, 255), 'angry': (255, 0, 0), 'fearful': (0, 0, 0), 'disgusted':  (255, 0, 255), 'surprised':  (255, 255, 0)} 
leds = Leds()

এবং অবশেষে, একটি আবেগের প্রতিটি নতুন ভবিষ্যদ্বাণী করার পরে, আমরা এটির সাথে (কী দ্বারা) বোতামের রঙ আপডেট করব।

leds.update(Leds.rgb_on(led_dict.get(classes[prediction])))

বোতাম, বার্ন!

ভয়েস নিয়ে কাজ করা

আমরা মাইক্রোফোন থেকে স্ট্রীম ক্যাপচার করতে pyaudio ব্যবহার করব এবং শব্দ ফিল্টার করতে এবং ভয়েস সনাক্ত করতে webrtcvad ব্যবহার করব৷ উপরন্তু, আমরা একটি সারি তৈরি করব যেখানে আমরা অ্যাসিঙ্ক্রোনাসভাবে ভয়েস উদ্ধৃতিগুলি যুক্ত করব এবং সরিয়ে দেব।

যেহেতু সরবরাহকৃত খণ্ডের আকারের উপর webrtcvad-এর একটি সীমাবদ্ধতা রয়েছে - এটি অবশ্যই 10/20/30ms এর সমান হতে হবে, এবং আবেগগুলি সনাক্ত করার জন্য মডেলের প্রশিক্ষণ (যেমন আমরা পরে শিখব) একটি 48kHz ডেটাসেটে সম্পাদিত হয়েছিল, আমরা করব 48000×20ms/1000×1(মনো)=960 বাইট আকারের অংশগুলি ক্যাপচার করুন। Webrtcvad এই প্রতিটি খণ্ডের জন্য সত্য/মিথ্যা ফেরত দেবে, যা অংশে ভোটের উপস্থিতি বা অনুপস্থিতির সাথে মিলে যায়।

আসুন নিম্নলিখিত যুক্তি বাস্তবায়ন করা যাক:

• যেখানে ভোট আছে সেই খণ্ডগুলিকে আমরা তালিকায় যুক্ত করব; যদি ভোট না থাকে, তাহলে আমরা খালি খণ্ডের কাউন্টার বৃদ্ধি করব।
• যদি খালি খণ্ডের কাউন্টার হয় >=30 (600 ms), তাহলে আমরা জমে থাকা খণ্ডগুলির তালিকার আকার দেখি; যদি হয় >250, তাহলে আমরা এটিকে সারিতে যোগ করি; যদি না হয়, আমরা বিবেচনা করি যে দৈর্ঘ্য রেকর্ডের স্পিকার সনাক্ত করার জন্য মডেলের কাছে এটি খাওয়ানো যথেষ্ট নয়।
• যদি খালি খণ্ডগুলির কাউন্টার এখনও <30 থাকে, এবং জমে থাকা খণ্ডগুলির তালিকার আকার 300 ছাড়িয়ে যায়, তাহলে আমরা আরও সঠিক ভবিষ্যদ্বাণীর জন্য সারিতে খণ্ডটি যুক্ত করব। (কারণ সময়ের সাথে সাথে আবেগ পরিবর্তন হতে থাকে)

 def to_queue(frames):
    d = np.frombuffer(b''.join(frames), dtype=np.int16)
    return d

framesQueue = queue.Queue()
def framesThreadBody():
    CHUNK = 960
    FORMAT = pyaudio.paInt16
    CHANNELS = 1
    RATE = 48000

    p = pyaudio.PyAudio()
    vad = webrtcvad.Vad()
    vad.set_mode(2)
    stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
    false_counter = 0
    audio_frame = []
    while process:
        data = stream.read(CHUNK)
        if not vad.is_speech(data, RATE):
            false_counter += 1
            if false_counter >= 30:
                if len(audio_frame) > 250:              
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []
                    false_counter = 0

        if vad.is_speech(data, RATE):
            false_counter = 0
            audio_frame.append(data)
            if len(audio_frame) > 300:                
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []

এটি পাবলিক ডোমেনে প্রাক-প্রশিক্ষিত মডেলগুলি সন্ধান করার সময়, গিথুব, গুগলে যান, তবে মনে রাখবেন যে ব্যবহৃত আর্কিটেকচারে আমাদের একটি সীমাবদ্ধতা রয়েছে। এটি একটি বরং কঠিন অংশ, কারণ আপনাকে আপনার ইনপুট ডেটাতে মডেলগুলি পরীক্ষা করতে হবে এবং উপরন্তু, সেগুলিকে OpenVINO-এর অভ্যন্তরীণ বিন্যাসে রূপান্তর করুন - IR (ইন্টারমিডিয়েট রিপ্রেজেন্টেশন)। আমরা গিথুব থেকে প্রায় 5-7 টি ভিন্ন সমাধান চেষ্টা করেছি, এবং যদি আবেগগুলিকে স্বীকৃতি দেওয়ার মডেলটি অবিলম্বে কাজ করে, তবে ভয়েস স্বীকৃতির সাথে আমাদের আরও অপেক্ষা করতে হবে - তারা আরও জটিল আর্কিটেকচার ব্যবহার করে।

আমরা নিম্নলিখিত উপর ফোকাস:

• কণ্ঠ থেকে আবেগ- https://github.com/alexmuhr/Voice_Emotion
  এটি নিম্নলিখিত নীতি অনুসারে কাজ করে: অডিও একটি নির্দিষ্ট আকারের প্যাসেজে কাটা হয়, এই প্রতিটি প্যাসেজের জন্য আমরা নির্বাচন করি এমএফসিসি এবং তারপর CNN এ ইনপুট হিসাবে জমা দিন
• কণ্ঠস্বর স্বীকৃতি - https://github.com/linhdvu14/vggvox-speaker-identification
  এখানে, MFCC এর পরিবর্তে, আমরা একটি স্পেকট্রোগ্রামের সাথে কাজ করি, FFT এর পরে আমরা সিএনএনকে সিগন্যাল ফিড করি, যেখানে আউটপুটে আমরা ভয়েসের ভেক্টর উপস্থাপনা পাই।

পরবর্তীতে আমরা তত্ত্ব দিয়ে শুরু করে মডেল রূপান্তর সম্পর্কে কথা বলব। ওপেনভিনোতে বেশ কয়েকটি মডিউল রয়েছে:

• মডেল চিড়িয়াখানা খুলুন, যে মডেলগুলি থেকে আপনার পণ্য ব্যবহার এবং অন্তর্ভুক্ত করা যেতে পারে
• মডেল অপ্টিমজার, ধন্যবাদ যার জন্য আপনি বিভিন্ন ফ্রেমওয়ার্ক ফরম্যাট (টেনসরফ্লো, ONNX ইত্যাদি) থেকে একটি মডেলকে ইন্টারমিডিয়েট রিপ্রেজেন্টেশন ফরম্যাটে রূপান্তর করতে পারেন, যার সাথে আমরা আরও কাজ করব
• ইনফারেন্স ইঞ্জিন আপনাকে ইন্টেল প্রসেসর, অগণিত চিপস এবং নিউরাল কম্পিউট স্টিক অ্যাক্সিলারেটরে আইআর ফর্ম্যাটে মডেলগুলি চালানোর অনুমতি দেয়
• OpenCV এর সবচেয়ে কার্যকরী সংস্করণ (ইনফারেন্স ইঞ্জিন সমর্থন সহ)
  আইআর ফরম্যাটে প্রতিটি মডেল দুটি ফাইল দ্বারা বর্ণনা করা হয়েছে: .xml এবং .bin।
  মডেলগুলিকে মডেল অপ্টিমাইজারের মাধ্যমে IR বিন্যাসে রূপান্তরিত করা হয়:

  python /opt/intel/openvino/deployment_tools/model_optimizer/mo_tf.py --input_model speaker.hdf5.pb --data_type=FP16 --input_shape [1,512,1000,1]

  --data_type আপনাকে ডেটা বিন্যাস নির্বাচন করতে দেয় যার সাথে মডেলটি কাজ করবে। FP32, FP16, INT8 সমর্থিত। সর্বোত্তম ডেটা টাইপ নির্বাচন করা একটি ভাল কর্মক্ষমতা বুস্ট দিতে পারে।
  --input_shape ইনপুট ডেটার মাত্রা নির্দেশ করে। এটিকে গতিশীলভাবে পরিবর্তন করার ক্ষমতা C++ API-তে উপস্থিত বলে মনে হচ্ছে, কিন্তু আমরা এতদূর খনন করিনি এবং মডেলগুলির মধ্যে একটির জন্য এটিকে ঠিক করেছি।
  এর পরে, আসুন ইতিমধ্যে রূপান্তরিত মডেলটিকে IR বিন্যাসে DNN মডিউলের মাধ্যমে OpenCV-এ লোড করার চেষ্টা করি এবং এটিকে ফরোয়ার্ড করি।

  import cv2 as cv
  emotionsNet = cv.dnn.readNet('emotions_model.bin',
                            'emotions_model.xml')
  emotionsNet.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)

  এই ক্ষেত্রে শেষ লাইন আপনাকে নিউরাল কম্পিউট স্টিকে গণনা পুনঃনির্দেশ করতে দেয়, প্রসেসরে প্রাথমিক গণনা করা হয়, তবে রাস্পবেরি পাইয়ের ক্ষেত্রে এটি কাজ করবে না, আপনার একটি লাঠির প্রয়োজন হবে।

  এর পরে, যুক্তিটি নিম্নরূপ: আমরা আমাদের অডিওকে একটি নির্দিষ্ট আকারের উইন্ডোতে ভাগ করি (আমাদের জন্য এটি 0.4 সেকেন্ড), আমরা এই প্রতিটি উইন্ডোকে MFCC-তে রূপান্তর করি, যা আমরা তারপর গ্রিডে ফিড করি:

  emotionsNet.setInput(MFCC_from_window)
  result = emotionsNet.forward()

  এর পরে, সব উইন্ডোজের জন্য সবচেয়ে সাধারণ ক্লাস নেওয়া যাক। একটি সহজ সমাধান, কিন্তু একটি হ্যাকাথনের জন্য আপনাকে খুব অপ্রীতিকর কিছু নিয়ে আসতে হবে না, শুধুমাত্র যদি আপনার কাছে সময় থাকে। আমাদের এখনও অনেক কাজ বাকি আছে, তাই চলুন এগিয়ে যাই - আমরা ভয়েস রিকগনিশন নিয়ে কাজ করব। এমন কিছু ডাটাবেস তৈরি করা প্রয়োজন যাতে আগে থেকে রেকর্ড করা ভয়েসের স্পেকট্রোগ্রাম সংরক্ষণ করা হবে। যেহেতু খুব কম সময় বাকি আছে, আমরা যতটা সম্ভব এই সমস্যার সমাধান করব।

  যথা, আমরা একটি ভয়েস উদ্ধৃতি রেকর্ড করার জন্য একটি স্ক্রিপ্ট তৈরি করি (এটি উপরে বর্ণিত হিসাবে একইভাবে কাজ করে, শুধুমাত্র কীবোর্ড থেকে বাধা দিলে এটি একটি ফাইলে ভয়েস সংরক্ষণ করবে)।

  আসুন চেষ্টা করি:

  python3 voice_db/record_voice.py test.wav

  আমরা বেশ কয়েকজনের কণ্ঠস্বর রেকর্ড করি (আমাদের ক্ষেত্রে, তিনজন দলের সদস্য)
  এর পরে, প্রতিটি রেকর্ড করা ভয়েসের জন্য আমরা একটি দ্রুত ফোরিয়ার ট্রান্সফর্ম করি, একটি স্পেকট্রোগ্রাম পাই এবং এটি একটি নম্পি অ্যারে (.npy) হিসাবে সংরক্ষণ করি:

  for file in glob.glob("voice_db/*.wav"):
          spec = get_fft_spectrum(file)
          np.save(file[:-4] + '.npy', spec)

  ফাইলে আরো বিস্তারিত create_base.py
  ফলস্বরূপ, যখন আমরা মূল স্ক্রিপ্টটি চালাই, তখন আমরা এই স্পেকট্রোগ্রামগুলি থেকে একেবারে শুরুতে এম্বেডিংগুলি পাব:

  for file in glob.glob("voice_db/*.npy"):
      spec = np.load(file)
      spec = spec.astype('float32')
      spec_reshaped = spec.reshape(1, 1, spec.shape[0], spec.shape[1])
      srNet.setInput(spec_reshaped)
      pred = srNet.forward()
      emb = np.squeeze(pred)

  সাউন্ডেড সেগমেন্ট থেকে এমবেডিং পাওয়ার পর, আমরা প্যাসেজ থেকে ডাটাবেসের সমস্ত ভয়েসের কোসাইন দূরত্ব (যত ছোট, বেশি সম্ভব) নিয়ে এটি কার অন্তর্গত তা নির্ধারণ করতে সক্ষম হব - ডেমোর জন্য আমরা থ্রেশহোল্ড সেট করি থেকে 0.3):

          dist_list = cdist(emb, enroll_embs, metric="cosine")
          distances = pd.DataFrame(dist_list, columns = df.speaker)

  শেষ পর্যন্ত, আমি লক্ষ্য করতে চাই যে অনুমানের গতি দ্রুত ছিল এবং এটি আরও 1-2টি মডেল যুক্ত করা সম্ভব করেছে (7 সেকেন্ড দীর্ঘ একটি নমুনার জন্য অনুমানের জন্য 2.5 লেগেছিল)। আমাদের আর নতুন মডেল যোগ করার সময় ছিল না এবং ওয়েব অ্যাপ্লিকেশনের একটি প্রোটোটাইপ লেখার দিকে মনোনিবেশ করেছি।

  ওয়েব অ্যাপ্লিকেশন

  একটি গুরুত্বপূর্ণ বিষয়: আমরা বাড়ি থেকে আমাদের সাথে একটি রাউটার নিয়ে যাই এবং আমাদের স্থানীয় নেটওয়ার্ক সেট আপ করি, এটি নেটওয়ার্কের মাধ্যমে ডিভাইস এবং ল্যাপটপগুলিকে সংযুক্ত করতে সহায়তা করে।

  ব্যাকএন্ড হল ফ্রন্ট এবং রাস্পবেরি পাই এর মধ্যে একটি এন্ড-টু-এন্ড মেসেজ চ্যানেল, ওয়েবসকেট প্রযুক্তির উপর ভিত্তি করে (http ওভার tcp প্রোটোকল)।

  প্রথম পর্যায়ে রাস্পবেরি থেকে প্রক্রিয়াকৃত তথ্য গ্রহণ করা হয়, অর্থাৎ, json-এ প্যাক করা ভবিষ্যদ্বাণী, যা তাদের যাত্রার অর্ধেক পথ ডাটাবেসে সংরক্ষিত থাকে যাতে সময়ের জন্য ব্যবহারকারীর মানসিক পটভূমি সম্পর্কে পরিসংখ্যান তৈরি করা যায়। এই প্যাকেটটি তারপর ফ্রন্টএন্ডে পাঠানো হয়, যা সাবস্ক্রিপশন ব্যবহার করে এবং ওয়েবসকেট এন্ডপয়েন্ট থেকে প্যাকেট গ্রহণ করে। পুরো ব্যাকএন্ড মেকানিজম গোলং ভাষায় তৈরি করা হয়েছে; এটি বেছে নেওয়া হয়েছে কারণ এটি অ্যাসিঙ্ক্রোনাস কাজগুলির জন্য উপযুক্ত, যা গোরুটিনগুলি ভালভাবে পরিচালনা করে।
  এন্ডপয়েন্ট অ্যাক্সেস করার সময়, ব্যবহারকারী নিবন্ধিত হয় এবং কাঠামোতে প্রবেশ করে, তারপর তার বার্তা গৃহীত হয়। ব্যবহারকারী এবং বার্তা উভয়ই একটি সাধারণ হাবের মধ্যে প্রবেশ করা হয়েছে, যেখান থেকে বার্তাগুলি ইতিমধ্যেই আরও পাঠানো হয়েছে (সাবস্ক্রাইব করা সামনে), এবং যদি ব্যবহারকারী সংযোগটি বন্ধ করে দেয় (রাস্পবেরি বা সামনে), তবে তার সাবস্ক্রিপশন বাতিল করা হয় এবং তাকে সরিয়ে দেওয়া হয় কেমন মিথ্যাবাদী.

  
  আমরা পেছন থেকে একটি সংযোগের জন্য অপেক্ষা করছি

  ফ্রন্ট-এন্ড হল জাভাস্ক্রিপ্টে লেখা একটি ওয়েব অ্যাপ্লিকেশন যা রিঅ্যাক্ট লাইব্রেরি ব্যবহার করে ডেভেলপমেন্ট প্রক্রিয়াকে গতি বাড়ানো এবং সহজতর করে। এই অ্যাপ্লিকেশনটির উদ্দেশ্য হল ব্যাক-এন্ড সাইডে এবং সরাসরি রাস্পবেরি পাইতে চলমান অ্যালগরিদম ব্যবহার করে প্রাপ্ত ডেটা কল্পনা করা। পৃষ্ঠাটিতে বিভাগীয় রাউটিংটি প্রতিক্রিয়া-রাউটার ব্যবহার করে প্রয়োগ করা হয়েছে, তবে আগ্রহের মূল পৃষ্ঠাটি হল মূল পৃষ্ঠা, যেখানে ওয়েবসকেট প্রযুক্তি ব্যবহার করে সার্ভার থেকে রিয়েল টাইমে ডেটার একটি অবিচ্ছিন্ন প্রবাহ পাওয়া যায়। রাস্পবেরি পাই একটি ভয়েস সনাক্ত করে, এটি নিবন্ধিত ডাটাবেস থেকে একটি নির্দিষ্ট ব্যক্তির অন্তর্গত কিনা তা নির্ধারণ করে এবং ক্লায়েন্টকে একটি সম্ভাব্যতা তালিকা পাঠায়। ক্লায়েন্ট সর্বশেষ প্রাসঙ্গিক ডেটা প্রদর্শন করে, সেই ব্যক্তির অবতার প্রদর্শন করে যিনি সম্ভবত মাইক্রোফোনে কথা বলেছেন, সেইসাথে তিনি যে আবেগ দিয়ে শব্দগুলি উচ্চারণ করেন।

  
  হালনাগাদ পূর্বাভাস সহ হোম পেজ

  উপসংহার

  পরিকল্পনা অনুযায়ী সবকিছু সম্পন্ন করা সম্ভব ছিল না, আমাদের কাছে কেবল সময় ছিল না, তাই মূল আশা ছিল ডেমোতে, যে সবকিছু কাজ করবে। উপস্থাপনায় তারা কীভাবে সবকিছু কাজ করে, তারা কী মডেল নিয়েছিল, তারা কী সমস্যার সম্মুখীন হয়েছিল সে সম্পর্কে কথা বলেছিল। এরপরে ছিল ডেমো অংশ - বিশেষজ্ঞরা এলোমেলো ক্রমে রুমের চারপাশে হেঁটেছিলেন এবং প্রতিটি দলের সাথে কাজ করার প্রোটোটাইপটি দেখার জন্য যোগাযোগ করেছিলেন। তারা আমাদেরও প্রশ্ন জিজ্ঞাসা করেছিল, প্রত্যেকে তাদের অংশের উত্তর দিয়েছে, তারা ল্যাপটপে ওয়েব ছেড়ে গেছে, এবং সবকিছুই আশানুরূপ কাজ করেছে।

  আমাকে নোট করুন যে আমাদের সমাধানের মোট খরচ ছিল $150:

  • রাস্পবেরি পাই 3 ~ $35
  • Google AIY ভয়েস বননেট (আপনি একটি রিস্পিকার ফি নিতে পারেন) ~ 15$
  • ইন্টেল NCS 2 ~ 100$

  কীভাবে উন্নতি করবেন:

  • ক্লায়েন্ট থেকে নিবন্ধন ব্যবহার করুন - এলোমেলোভাবে তৈরি করা পাঠ্য পড়তে বলুন
  • আরও কয়েকটি মডেল যোগ করুন: আপনি ভয়েস দ্বারা লিঙ্গ এবং বয়স নির্ধারণ করতে পারেন
  • একই সাথে ধ্বনিত কণ্ঠস্বর আলাদা করুন (ডায়ারাইজেশন)

  সংগ্রহস্থল: https://github.com/vladimirwest/OpenEMO

  
  ক্লান্ত কিন্তু আমরা খুশি

  উপসংহারে, আমি আয়োজক এবং অংশগ্রহণকারীদের ধন্যবাদ জানাতে চাই। অন্যান্য দলের প্রকল্পগুলির মধ্যে, আমরা ব্যক্তিগতভাবে বিনামূল্যে পার্কিং স্থান নিরীক্ষণের জন্য সমাধান পছন্দ করেছি। আমাদের জন্য, এটি পণ্য এবং বিকাশে নিমজ্জিত হওয়ার একটি দুর্দান্ত অভিজ্ঞতা ছিল। আমি আশা করি যে এআই বিষয়গুলি সহ অঞ্চলগুলিতে আরও বেশি আকর্ষণীয় ইভেন্ট অনুষ্ঠিত হবে।

উত্স: www.habr.com