🥇OpenVINO hackathon: Raspberry Pi मा आवाज र भावनाहरू पहिचान गर्दै

नोभेम्बर 30 - डिसेम्बर 1 Nizhny Novgorod मा आयोजित भएको थियो OpenVINO hackathon। सहभागीहरूलाई Intel OpenVINO टूलकिट प्रयोग गरेर उत्पादन समाधानको प्रोटोटाइप सिर्जना गर्न भनियो। आयोजकहरूले अनुमानित विषयहरूको सूची प्रस्ताव गरे जुन कार्य छनौट गर्दा मार्गदर्शन गर्न सकिन्छ, तर अन्तिम निर्णय टोलीहरूमा रह्यो। थप रूपमा, उत्पादनमा समावेश नगरिएका मोडेलहरूको प्रयोगलाई प्रोत्साहित गरिएको थियो।

यस लेखमा हामी तपाईंलाई कसरी उत्पादनको हाम्रो प्रोटोटाइप सिर्जना गर्यौं भन्ने बारे बताउनेछौं, जसको साथ हामीले अन्ततः पहिलो स्थान लियौं।

ह्याकाथनमा १० भन्दा बढी टिमको सहभागिता रहेको थियो । यो राम्रो छ कि तिनीहरू मध्ये केही अन्य क्षेत्रहरूबाट आएका छन्। ह्याकाथनको लागि स्थान "पोचेनमा क्रेमलिंस्की" कम्प्लेक्स थियो, जहाँ निज्नी नोभगोरोडका पुरातन तस्बिरहरू भित्र, एक दलमा झुण्डिएका थिए! (म तपाईंलाई सम्झाउँछु कि यस समयमा Intel को केन्द्रीय कार्यालय Nizhny Novgorod मा स्थित छ)। सहभागीहरूलाई कोड लेख्नको लागि 10 घण्टा दिइएको थियो, र अन्त्यमा उनीहरूले आफ्नो समाधान प्रस्तुत गर्नुपर्ने थियो। एउटा छुट्टै फाइदा भनेको डेमो सत्रको उपस्थिति थियो कि योजना गरिएको सबै कुरा वास्तवमा कार्यान्वयन भएको थियो र प्रस्तुतीकरणमा विचारहरू रहेनन्। सामान, नास्ता, खाना, सबै कुरा त्यहाँ पनि थियो!

थप रूपमा, इंटेलले वैकल्पिक रूपमा क्यामेराहरू, रास्पबेरी PI, न्यूरल कम्प्युट स्टिक 2 प्रदान गर्‍यो।

कार्य चयन

फ्रि-फार्म ह्याकाथनको लागि तयारी गर्ने सबैभन्दा कठिन भागहरू मध्ये एक चुनौती छनोट गर्नु हो। हामीले तुरुन्तै उत्पादनमा नभएको कुरा ल्याउने निर्णय गर्‍यौं, किनभने घोषणाले यो अत्यन्त स्वागतयोग्य थियो।

विश्लेषण गरेर मोडेलहरू, जुन हालको रिलीजमा उत्पादनमा समावेश गरिएको छ, हामी निष्कर्षमा पुग्छौं कि तिनीहरूमध्ये धेरैले विभिन्न कम्प्युटर दृष्टि समस्याहरू समाधान गर्छन्। यसबाहेक, ओपनभिनो प्रयोग गरेर समाधान गर्न नसकिने कम्प्युटर दृष्टिको क्षेत्रमा समस्या आउन धेरै गाह्रो छ, र यदि आविष्कार गर्न सकिन्छ भने, सार्वजनिक डोमेनमा पूर्व-प्रशिक्षित मोडेलहरू फेला पार्न गाह्रो छ। हामी अर्को दिशामा खन्न निर्णय गर्छौं - भाषण प्रशोधन र विश्लेषण तिर। भाषणबाट भावनाहरू पहिचान गर्ने एक रोचक कार्यलाई विचार गरौं। यो भन्नु पर्छ कि OpenVINO सँग पहिले नै एउटा मोडेल छ जसले व्यक्तिको अनुहारमा आधारित भावनाहरू निर्धारण गर्दछ, तर:

सिद्धान्तमा, यो एक संयुक्त एल्गोरिथ्म सिर्जना गर्न सम्भव छ जसले ध्वनि र छवि दुवैमा काम गर्नेछ, जसले शुद्धतामा वृद्धि गर्नुपर्छ।
क्यामेराहरूमा सामान्यतया साँघुरो दृश्य कोण हुन्छ; ठूलो क्षेत्र ढाक्न एकभन्दा बढी क्यामेरा आवश्यक हुन्छ; ध्वनिमा त्यस्तो सीमा हुँदैन।

आइडियाको विकास गरौं: रिटेल खण्डको लागि विचारलाई आधारको रूपमा लिऔं। तपाईं स्टोर चेकआउट मा ग्राहक सन्तुष्टि मापन गर्न सक्नुहुन्छ। यदि ग्राहकहरु मध्ये एक सेवा संग असन्तुष्ट छ र आफ्नो टोन उठाउन थाल्छ, तपाईले तुरुन्तै प्रशासकलाई मद्दतको लागि कल गर्न सक्नुहुन्छ।
यस अवस्थामा, हामीले मानव आवाज पहिचान थप्न आवश्यक छ, यसले हामीलाई स्टोर कर्मचारीहरूलाई ग्राहकहरूबाट छुट्याउन र प्रत्येक व्यक्तिको लागि विश्लेषणहरू प्रदान गर्न अनुमति दिनेछ। ठिक छ, यसको अतिरिक्त, स्टोर कर्मचारीहरूको व्यवहार आफैं विश्लेषण गर्न सम्भव हुनेछ, टोलीमा वातावरण मूल्याङ्कन गर्नुहोस्, राम्रो लाग्दछ!

हामी हाम्रो समाधानको लागि आवश्यकताहरू तयार गर्छौं:

लक्ष्य उपकरणको सानो आकार
वास्तविक समय सञ्चालन
कम मूल्य
सजिलो स्केलेबिलिटी

नतिजाको रूपमा, हामीले लक्ष्य उपकरणको रूपमा रास्पबेरी Pi 3 c चयन गर्छौं Intel NCS 2.

यहाँ NCS को एउटा महत्त्वपूर्ण विशेषता नोट गर्न महत्त्वपूर्ण छ - यसले मानक CNN आर्किटेक्चरहरूसँग राम्रो काम गर्दछ, तर यदि तपाइँ यसमा अनुकूलन तहहरू भएको मोडेल चलाउन आवश्यक छ भने, त्यसपछि निम्न-स्तर अनुकूलनको अपेक्षा गर्नुहोस्।

त्यहाँ गर्नको लागि एउटा सानो कुरा छ: तपाईंले माइक्रोफोन प्राप्त गर्न आवश्यक छ। एक नियमित USB माइक्रोफोनले गर्नेछ, तर यो RPI सँग राम्रो देखिने छैन। तर यहाँ पनि समाधान शाब्दिक रूपमा "नजिकै छ।" आवाज रेकर्ड गर्न, हामीले किटबाट भ्वाइस बोनेट बोर्ड प्रयोग गर्ने निर्णय गर्छौं Google AIY भ्वाइस किट, जसमा एक तारयुक्त स्टेरियो माइक्रोफोन छ।

Raspbian बाट डाउनलोड गर्नुहोस् AIY परियोजना भण्डार र यसलाई फ्ल्यास ड्राइभमा अपलोड गर्नुहोस्, निम्न आदेश प्रयोग गरेर माइक्रोफोनले काम गर्छ भनेर परीक्षण गर्नुहोस् (यसले 5 सेकेन्ड लामो अडियो रेकर्ड गर्नेछ र फाइलमा बचत गर्नेछ):

arecord -d 5 -r 16000 test.wav

मैले तुरुन्तै ध्यान दिनुपर्छ कि माइक्रोफोन धेरै संवेदनशील छ र राम्रो आवाज उठाउँछ। यसलाई ठीक गर्न, alsamixer मा जानुहोस्, क्याप्चर उपकरणहरू चयन गर्नुहोस् र इनपुट संकेत स्तरलाई 50-60% मा घटाउनुहोस्।

हामी फाईलको साथ शरीरलाई परिमार्जन गर्छौं र सबै कुरा फिट हुन्छ, तपाइँ यसलाई ढक्कनले बन्द गर्न सक्नुहुन्छ

एक सूचक बटन थप्दै

AIY भ्वाइस किटलाई अलग राख्दा, हामीले याद गर्छौं कि त्यहाँ एउटा RGB बटन छ, जसको ब्याकलाइट सफ्टवेयरद्वारा नियन्त्रण गर्न सकिन्छ। हामी "Google AIY Led" खोज्छौं र कागजातहरू फेला पार्छौं: https://aiyprojects.readthedocs.io/en/latest/aiy.leds.html
मान्यता प्राप्त भावनाहरू प्रदर्शन गर्न यो बटन किन प्रयोग नगर्नुहोस्, हामीसँग केवल 7 कक्षाहरू छन्, र बटनमा 8 रंगहरू छन्, पर्याप्त!

हामी बटनलाई GPIO मार्फत भ्वाइस बोनेटमा जडान गर्छौं, आवश्यक पुस्तकालयहरू लोड गर्छौं (तिनीहरू पहिले नै AIY परियोजनाहरूबाट वितरण किटमा स्थापित छन्)

from aiy.leds import Leds, Color
from aiy.leds import RgbLeds

एउटा डिक्ट सिर्जना गरौं जसमा प्रत्येक भावनाको RGB Tuple को रूपमा र aiy.leds.Leds वर्गको वस्तुको रूपमा सम्बन्धित रंग हुनेछ, जसको माध्यमबाट हामी रंग अपडेट गर्नेछौं:

led_dict = {'neutral': (255, 255, 255), 'happy': (0, 255, 0), 'sad': (0, 255, 255), 'angry': (255, 0, 0), 'fearful': (0, 0, 0), 'disgusted':  (255, 0, 255), 'surprised':  (255, 255, 0)} 
leds = Leds()

र अन्तमा, भावनाको प्रत्येक नयाँ भविष्यवाणी पछि, हामी बटनको रंग (कुञ्जी द्वारा) अनुसार अपडेट गर्नेछौं।

leds.update(Leds.rgb_on(led_dict.get(classes[prediction])))

बटन, जलाउनुहोस्!

आवाज संग काम

हामी माइक्रोफोनबाट स्ट्रिम क्याप्चर गर्न paudio प्रयोग गर्नेछौं र आवाज फिल्टर गर्न र आवाज पत्ता लगाउन webrtcvad। थप रूपमा, हामी एउटा लाम सिर्जना गर्नेछौं जसमा हामी एसिन्क्रोनस रूपमा भ्वाइस अंशहरू थप्ने र हटाउनेछौं।

Webrtcvad को आपूर्ति गरिएको टुक्राको आकारमा सीमितता भएको हुनाले - यो 10/20/30ms बराबर हुनुपर्छ, र भावनाहरू पहिचान गर्न मोडेलको प्रशिक्षण (जसरी हामी पछि जान्छौं) 48kHz डाटासेटमा सञ्चालन गरिएको थियो, हामी गर्नेछौं। आकार 48000×20ms/1000×1(मोनो)=960 बाइट्सको भागहरू खिच्नुहोस्। Webrtcvad ले यी प्रत्येक टुक्राको लागि True/False फर्काउनेछ, जुन भागमा भोटको उपस्थिति वा अनुपस्थितिसँग मेल खान्छ।

निम्न तर्क लागू गरौं:

जहाँ भोट छ, त्यो टुक्रालाई हामी सूचीमा थप्नेछौँ, भोट नभएको खण्डमा खाली टुक्राको काउन्टर बढाउँछौँ ।
यदि खाली टुक्राहरूको काउन्टर >=30 (600 ms) हो भने, हामी संचित खण्डहरूको सूचीको आकार हेर्छौं; यदि यो > 250 छ भने, हामी यसलाई लाममा थप्छौं; यदि होइन भने, हामी लम्बाइलाई विचार गर्छौं। रेकर्डको स्पिकर पहिचान गर्न मोडेलमा फिड गर्न पर्याप्त छैन।
यदि खाली टुक्राहरूको काउन्टर अझै पनि <30 छ, र संचित खण्डहरूको सूचीको आकार 300 भन्दा बढी छ भने, हामी थप सटीक भविष्यवाणीको लागि लाममा टुक्रा थप्नेछौं। (किनकि भावनाहरु समय संगै परिवर्तन हुने गर्दछ)

 def to_queue(frames):
    d = np.frombuffer(b''.join(frames), dtype=np.int16)
    return d

framesQueue = queue.Queue()
def framesThreadBody():
    CHUNK = 960
    FORMAT = pyaudio.paInt16
    CHANNELS = 1
    RATE = 48000

    p = pyaudio.PyAudio()
    vad = webrtcvad.Vad()
    vad.set_mode(2)
    stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
    false_counter = 0
    audio_frame = []
    while process:
        data = stream.read(CHUNK)
        if not vad.is_speech(data, RATE):
            false_counter += 1
            if false_counter >= 30:
                if len(audio_frame) > 250:              
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []
                    false_counter = 0

        if vad.is_speech(data, RATE):
            false_counter = 0
            audio_frame.append(data)
            if len(audio_frame) > 300:                
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []

यो सार्वजनिक डोमेनमा पूर्व-प्रशिक्षित मोडेलहरू खोज्ने समय हो, github, Google मा जानुहोस्, तर सम्झनुहोस् कि हामीसँग प्रयोग गरिएको वास्तुकलामा सीमितता छ। यो एकदम गाह्रो भाग हो, किनकि तपाईंले आफ्नो इनपुट डेटामा मोडेलहरू परीक्षण गर्नुपर्दछ, र थप रूपमा, तिनीहरूलाई OpenVINO को आन्तरिक ढाँचामा रूपान्तरण गर्नुहोस् - IR (मध्यवर्ती प्रतिनिधित्व)। हामीले github बाट लगभग 5-7 फरक समाधानहरू प्रयास गर्यौं, र यदि भावनाहरू पहिचान गर्ने मोडेलले तुरुन्तै काम गर्यो भने, आवाज पहिचानको साथ हामीले लामो समय पर्खनुपर्‍यो - तिनीहरूले थप जटिल आर्किटेक्चरहरू प्रयोग गर्छन्।

हामी निम्नमा फोकस गर्छौं:

स्वरबाट निस्केका भावनाहरु - https://github.com/alexmuhr/Voice_Emotion
यो निम्न सिद्धान्त अनुसार काम गर्दछ: अडियो एक निश्चित साइजको परिच्छेदहरूमा काटिएको छ, यी प्रत्येक खण्डहरूका लागि हामीले चयन गर्छौं MFCC र त्यसपछि CNN मा इनपुटको रूपमा बुझाउनुहोस्
आवाज पहिचान - https://github.com/linhdvu14/vggvox-speaker-identification
यहाँ, MFCC को सट्टा, हामी स्पेक्ट्रोग्रामसँग काम गर्छौं, FFT पछि हामीले CNN लाई सिग्नल फिड गर्छौं, जहाँ आउटपुटमा हामीले आवाजको भेक्टर प्रतिनिधित्व पाउँछौं।

अर्को हामी सिद्धान्तबाट सुरु गरेर मोडेलहरू रूपान्तरण गर्ने बारे कुरा गर्नेछौं। OpenVINO मा धेरै मोड्युलहरू समावेश छन्:

मोडेल चिडियाखाना खोल्नुहोस्, जसबाट प्रयोग गर्न सकिन्छ र तपाईंको उत्पादनमा समावेश गर्न सकिन्छ
Model Optimzer, जसको लागि तपाईले विभिन्न फ्रेमवर्क ढाँचाहरू (Tensorflow, ONNX आदि) बाट मध्यवर्ती प्रतिनिधित्व ढाँचामा रूपान्तरण गर्न सक्नुहुन्छ, जसको साथ हामी थप काम गर्नेछौं।
इन्फरेन्स इन्जिनले तपाईंलाई Intel प्रोसेसर, Myriad चिप्स र Neural Compute Stick Accelerators मा IR ढाँचामा मोडेलहरू चलाउन अनुमति दिन्छ।
OpenCV को सबैभन्दा कुशल संस्करण (इन्फरन्स इन्जिन समर्थन संग)
IR ढाँचामा प्रत्येक मोडेल दुई फाइलहरू द्वारा वर्णन गरिएको छ: .xml र .bin।
मोडेलहरूलाई निम्नानुसार मोडेल अनुकूलक मार्फत IR ढाँचामा रूपान्तरण गरिन्छ:
```
python /opt/intel/openvino/deployment_tools/model_optimizer/mo_tf.py --input_model speaker.hdf5.pb --data_type=FP16 --input_shape [1,512,1000,1]
```
--data_type तपाईंलाई डेटा ढाँचा चयन गर्न अनुमति दिन्छ जुन मोडेलले काम गर्नेछ। FP32, FP16, INT8 समर्थित छन्। इष्टतम डेटा प्रकार छनोटले राम्रो प्रदर्शन बढाउन सक्छ।
--input_shape इनपुट डेटा को आयाम संकेत गर्दछ। यसलाई गतिशील रूपमा परिवर्तन गर्ने क्षमता C++ एपीआईमा रहेको देखिन्छ, तर हामीले त्यो टाढा खन्न सकेनौं र यसलाई एउटा मोडेलको लागि मात्र फिक्स गर्यौं।
अर्को, पहिले नै रूपान्तरित मोडेललाई IR ढाँचामा DNN मोड्युल मार्फत OpenCV मा लोड गर्ने प्रयास गरौं र यसलाई फर्वार्ड गरौं।
```
import cv2 as cv
emotionsNet = cv.dnn.readNet('emotions_model.bin',
                          'emotions_model.xml')
emotionsNet.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)
```
यस अवस्थामा अन्तिम रेखाले तपाईंलाई न्यूरल कम्प्युट स्टिकमा गणनाहरू पुन: निर्देशित गर्न अनुमति दिन्छ, आधारभूत गणनाहरू प्रोसेसरमा गरिन्छ, तर रास्पबेरी पाईको अवस्थामा यसले काम गर्दैन, तपाईंलाई स्टिक चाहिन्छ।

अर्को, तर्क निम्नानुसार छ: हामी हाम्रो अडियोलाई निश्चित आकारको विन्डोजमा विभाजन गर्छौं (हाम्रो लागि यो ०.४ सेकेन्ड हो), हामी यी प्रत्येक विन्डोजलाई MFCC मा रूपान्तरण गर्छौं, जसलाई हामी त्यसपछि ग्रिडमा फिड गर्छौं:
```
emotionsNet.setInput(MFCC_from_window)
result = emotionsNet.forward()
```
अर्को, सबै विन्डोजहरूको लागि सबैभन्दा सामान्य कक्षा लिऔं। एक सरल समाधान, तर ह्याकाथनको लागि तपाईले धेरै अप्रत्याशित कुराको साथ आउन आवश्यक पर्दैन, यदि तपाईसँग समय छ भने मात्र। हामीले अझै धेरै काम गर्न बाँकी छ, त्यसैले अगाडि बढौं - हामी आवाज पहिचानसँग सम्झौता गर्नेछौं। यो कुनै प्रकारको डाटाबेस बनाउन आवश्यक छ जसमा पूर्व-रेकर्ड गरिएका आवाजहरूको स्पेक्ट्रोग्रामहरू भण्डारण गरिनेछ। थोरै समय बाँकी रहेकोले हामी सकेसम्म यो समस्या समाधान गर्नेछौं।

अर्थात्, हामीले आवाजको अंश रेकर्ड गर्नको लागि स्क्रिप्ट सिर्जना गर्छौं (यसले माथि वर्णन गरिएझैं काम गर्छ, किबोर्डबाट बाधा आएमा मात्र यसले आवाजलाई फाइलमा बचत गर्नेछ)।

प्रयास गराैँ:
```
python3 voice_db/record_voice.py test.wav
```
हामी धेरै व्यक्तिहरूको आवाज रेकर्ड गर्छौं (हाम्रो अवस्थामा, तीन टोली सदस्यहरू)
अर्को, प्रत्येक रेकर्ड गरिएको आवाजको लागि हामी द्रुत फोरियर रूपान्तरण गर्छौं, स्पेक्ट्रोग्राम प्राप्त गर्छौं र यसलाई numpy array (.npy) को रूपमा बचत गर्छौं:
```
for file in glob.glob("voice_db/*.wav"):
        spec = get_fft_spectrum(file)
        np.save(file[:-4] + '.npy', spec)
```
फाइलमा थप विवरणहरू create_base.py
नतिजाको रूपमा, जब हामी मुख्य लिपि चलाउँछौं, हामीले सुरुमा यी स्पेक्ट्रोग्रामहरूबाट एम्बेडिङहरू प्राप्त गर्नेछौं:
```
for file in glob.glob("voice_db/*.npy"):
    spec = np.load(file)
    spec = spec.astype('float32')
    spec_reshaped = spec.reshape(1, 1, spec.shape[0], spec.shape[1])
    srNet.setInput(spec_reshaped)
    pred = srNet.forward()
    emb = np.squeeze(pred)
```
ध्वनि गरिएको खण्डबाट इम्बेडिङ प्राप्त गरेपछि, हामी डाटाबेसका सबै आवाजहरू (जति सानो, बढी सम्भावित) मा कोसाइन दूरी लिएर यो कसको हो भनेर निर्धारण गर्न सक्षम हुनेछौं - डेमोको लागि हामीले थ्रेसहोल्ड सेट गर्छौं। ०.३ सम्म):
```
        dist_list = cdist(emb, enroll_embs, metric="cosine")
        distances = pd.DataFrame(dist_list, columns = df.speaker)
```
अन्तमा, म नोट गर्न चाहन्छु कि अनुमान गति छिटो थियो र यसलाई 1-2 थप मोडेलहरू थप्न सम्भव बनायो (नमूना 7 सेकेन्ड लामो समयको लागि अनुमानको लागि 2.5 लाग्यो)। हामीसँग अब नयाँ मोडेलहरू थप्ने समय थिएन र वेब अनुप्रयोगको प्रोटोटाइप लेख्नमा केन्द्रित थियो।

वेब अनुप्रयोग

एउटा महत्त्वपूर्ण बिन्दु: हामी घरबाट राउटर लिन्छौं र हाम्रो स्थानीय नेटवर्क सेटअप गर्छौं, यसले नेटवर्कमा उपकरण र ल्यापटपहरू जडान गर्न मद्दत गर्दछ।

ब्याकइन्ड अगाडि र रास्पबेरी पाई बीचको अन्त-देखि-अन्त सन्देश च्यानल हो, वेबसकेट टेक्नोलोजीमा आधारित (http ओभर tcp प्रोटोकल)।

पहिलो चरण भनेको रास्पबेरीबाट प्रशोधित जानकारी प्राप्त गर्नु हो, अर्थात्, json मा प्याक गरिएका भविष्यवाणीकर्ताहरू, जुन तिनीहरूको यात्राको आधा बाटोमा डाटाबेसमा सुरक्षित हुन्छन् ताकि अवधिको लागि प्रयोगकर्ताको भावनात्मक पृष्ठभूमिको बारेमा तथ्याङ्कहरू उत्पन्न गर्न सकिन्छ। यो प्याकेट त्यसपछि फ्रन्टएन्डमा पठाइन्छ, जसले सदस्यता प्रयोग गर्दछ र वेबसकेट अन्त्य बिन्दुबाट प्याकेटहरू प्राप्त गर्दछ। सम्पूर्ण ब्याकएन्ड मेकानिजम गोलाङ भाषामा बनाइएको छ; यो छानिएको हो किनभने यो एसिन्क्रोनस कार्यहरूको लागि उपयुक्त छ, जुन गोराउटिनहरूले राम्रोसँग ह्यान्डल गर्दछ।
अन्तिम बिन्दु पहुँच गर्दा, प्रयोगकर्ता दर्ता र संरचना मा प्रवेश, त्यसपछि उनको सन्देश प्राप्त हुन्छ। प्रयोगकर्ता र सन्देश दुबै साझा हबमा प्रविष्ट गरिएको छ, जहाँबाट सन्देशहरू पहिले नै थप पठाइएका छन् (सदस्यता लिइएको अगाडि), र यदि प्रयोगकर्ताले जडान बन्द गर्दछ (रास्पबेरी वा अगाडि), त्यसपछि उसको सदस्यता रद्द गरिएको छ र उसलाई हटाइएको छ। हब।

हामी पछाडिबाट जडानको लागि पर्खिरहेका छौं

Front-end विकास प्रक्रियालाई गति दिन र सरल बनाउन प्रतिक्रिया पुस्तकालय प्रयोग गरेर JavaScript मा लेखिएको वेब अनुप्रयोग हो। यस अनुप्रयोगको उद्देश्य ब्याक-एन्ड साइडमा र सीधा रास्पबेरी पाईमा चलिरहेको एल्गोरिदमहरू प्रयोग गरेर प्राप्त डाटा कल्पना गर्नु हो। पृष्ठमा प्रतिक्रिया-राउटर प्रयोग गरी लागू गरिएको सेक्शनल राउटिङ छ, तर रुचिको मुख्य पृष्ठ मुख्य पृष्ठ हो, जहाँ वेबसकेट टेक्नोलोजी प्रयोग गरेर सर्भरबाट वास्तविक समयमा डेटाको निरन्तर प्रवाह प्राप्त हुन्छ। Raspberry Pi ले आवाज पत्ता लगाउँदछ, यो दर्ता गरिएको डाटाबेसबाट एक विशिष्ट व्यक्तिको हो कि होइन भनेर निर्धारण गर्दछ, र ग्राहकलाई सम्भाव्यता सूची पठाउँदछ। ग्राहकले भर्खरको सान्दर्भिक डेटा प्रदर्शन गर्दछ, व्यक्तिको अवतार प्रदर्शन गर्दछ जसले प्राय: माइक्रोफोनमा बोलेको थियो, साथसाथै उसले शब्दहरू उच्चारण गर्ने भावना।

अपडेट गरिएको भविष्यवाणीको साथ गृह पृष्ठ

निष्कर्षमा

योजना अनुसार सबै पूरा गर्न सम्भव थिएन, हामीसँग समय थिएन, त्यसैले मुख्य आशा डेमोमा थियो, कि सबै काम हुनेछ। प्रस्तुतीकरणमा उनीहरूले कसरी सबै काम गर्छ, उनीहरूले के मोडेलहरू लिएका थिए, उनीहरूले सामना गरेका समस्याहरू बारे कुरा गरे। अर्को डेमो भाग थियो - विशेषज्ञहरू अनियमित क्रममा कोठाको वरिपरि हिँडे र काम गर्ने प्रोटोटाइप हेर्न प्रत्येक टोलीमा पुगे। तिनीहरूले हामीलाई प्रश्नहरू पनि सोधे, सबैले आफ्नो भागको जवाफ दिए, तिनीहरूले ल्यापटपमा वेब छोडे, र सबै कुरा वास्तवमै अपेक्षित रूपमा काम गर्यो।

मलाई ध्यान दिनुहोस् कि हाम्रो समाधानको कुल लागत $ 150 थियो:
- रास्पबेरी पाई 3 ~ $ 35
- गुगल एआईवाई भ्वाइस बोनेट (तपाईँले रेस्पीकर शुल्क लिन सक्नुहुन्छ) ~ १५$
- Intel NCS 2 ~ 100$
कसरी सुधार गर्ने:
- ग्राहकबाट दर्ता प्रयोग गर्नुहोस् - अनियमित रूपमा उत्पन्न भएको पाठ पढ्न सोध्नुहोस्
- केही थप मोडेलहरू थप्नुहोस्: तपाईं आवाज द्वारा लिङ्ग र उमेर निर्धारण गर्न सक्नुहुन्छ
- एकै साथ आवाजहरू अलग गर्नुहोस् (डायराइजेशन)
भण्डार: https://github.com/vladimirwest/OpenEMO

थकित तर हामी खुसी छौं

अन्तमा, म आयोजक र सहभागीहरूलाई धन्यवाद भन्न चाहन्छु। अन्य टोलीहरूको परियोजनाहरू मध्ये, हामीले व्यक्तिगत रूपमा नि: शुल्क पार्किङ ठाउँहरूको निगरानीको लागि समाधान मन पराउनुभयो। हाम्रो लागि, यो उत्पादन र विकासमा डुबाउने एक जंगली रूपमा राम्रो अनुभव थियो। मलाई आशा छ कि एआई विषयहरू सहित क्षेत्रहरूमा थप र थप रोचक घटनाहरू आयोजित हुनेछन्।

स्रोत: www.habr.com

OpenVINO hackathon: Raspberry Pi मा आवाज र भावनाहरू पहिचान गर्दै

कार्य चयन

एक सूचक बटन थप्दै

आवाज संग काम

वेब अनुप्रयोग

निष्कर्षमा

एक टिप्पणी थप्न Отменить ответ