🥇OpenVINO hackathon: Raspberry Pi वर आवाज आणि भावना ओळखणे

30 नोव्हेंबर - 1 डिसेंबर निझनी नोव्हगोरोड येथे आयोजित करण्यात आला होता OpenVINO हॅकाथॉन. सहभागींना Intel OpenVINO टूलकिट वापरून उत्पादन सोल्यूशनचा प्रोटोटाइप तयार करण्यास सांगितले होते. आयोजकांनी अंदाजे विषयांची एक सूची प्रस्तावित केली ज्याद्वारे कार्य निवडताना मार्गदर्शन केले जाऊ शकते, परंतु अंतिम निर्णय संघांकडेच राहिला. याव्यतिरिक्त, उत्पादनामध्ये समाविष्ट नसलेल्या मॉडेल्सच्या वापरास प्रोत्साहन देण्यात आले.

या लेखात आम्ही तुम्हाला आमच्या उत्पादनाचा प्रोटोटाइप कसा तयार केला याबद्दल सांगू, ज्यासह आम्ही शेवटी प्रथम स्थान मिळवले.

हॅकाथॉनमध्ये 10 हून अधिक संघ सहभागी झाले होते. त्यांच्यापैकी काही इतर प्रदेशातून आले हे छान आहे. हॅकाथॉनचे ठिकाण होते “क्रेमलिंस्की ऑन पोचेन” कॉम्प्लेक्स, जिथे निझनी नोव्हगोरोडची प्राचीन छायाचित्रे आत टांगलेली होती. (मी तुम्हाला आठवण करून देतो की याक्षणी इंटेलचे केंद्रीय कार्यालय निझनी नोव्हगोरोड येथे आहे). सहभागींना कोड लिहिण्यासाठी 26 तासांचा अवधी देण्यात आला होता आणि शेवटी त्यांना त्यांचे समाधान सादर करायचे होते. नियोजित प्रत्येक गोष्ट प्रत्यक्षात अंमलात आणली गेली आणि सादरीकरणात कल्पना राहू नयेत याची खात्री करण्यासाठी डेमो सत्राची उपस्थिती हा वेगळा फायदा होता. व्यापारी, फराळ, अन्न, सर्व काही तिथेही होते!

याव्यतिरिक्त, इंटेलने वैकल्पिकरित्या कॅमेरे, रास्पबेरी पीआय, न्यूरल कॉम्प्यूट स्टिक 2 प्रदान केले.

कार्य निवड

फ्री-फॉर्म हॅकाथॉनची तयारी करण्याचा सर्वात कठीण भाग म्हणजे आव्हान निवडणे. आम्ही ताबडतोब असे काहीतरी आणण्याचे ठरवले जे अद्याप उत्पादनात नव्हते, कारण हे अत्यंत स्वागतार्ह असल्याचे घोषणेने म्हटले आहे.

विश्लेषण करून मॉडेल, जे सध्याच्या रिलीझमध्ये उत्पादनामध्ये समाविष्ट आहेत, आम्ही या निष्कर्षापर्यंत पोहोचलो की त्यापैकी बहुतेक संगणकाच्या दृष्टीच्या विविध समस्या सोडवतात. शिवाय, ओपनव्हीनो वापरून सोडवता येत नसलेल्या संगणकाच्या दृष्टीच्या क्षेत्रातील समस्या समोर येणे खूप अवघड आहे आणि जरी एखादा शोध लावला गेला तरी सार्वजनिक डोमेनमध्ये पूर्व-प्रशिक्षित मॉडेल्स शोधणे कठीण आहे. आम्ही दुसर्‍या दिशेने खोदण्याचे ठरवतो - भाषण प्रक्रिया आणि विश्लेषणाकडे. भाषणातून भावना ओळखण्याचे एक मनोरंजक कार्य पाहू या. असे म्हटले पाहिजे की OpenVINO मध्ये आधीपासूनच एक मॉडेल आहे जे एखाद्या व्यक्तीच्या चेहऱ्यावर आधारित भावना निर्धारित करते, परंतु:

सिद्धांतानुसार, एक एकत्रित अल्गोरिदम तयार करणे शक्य आहे जे ध्वनी आणि प्रतिमा दोन्हीवर कार्य करेल, ज्यामुळे अचूकता वाढेल.
कॅमेर्‍यांमध्ये सामान्यतः अरुंद पाहण्याचा कोन असतो; एक मोठे क्षेत्र कव्हर करण्यासाठी एकापेक्षा जास्त कॅमेरे आवश्यक असतात; आवाजाला अशी मर्यादा नसते.

चला कल्पना विकसित करूया: किरकोळ विभागाची कल्पना आधार म्हणून घेऊ. तुम्ही स्टोअर चेकआउटवर ग्राहकांचे समाधान मोजू शकता. जर ग्राहकांपैकी एक सेवेबद्दल असमाधानी असेल आणि त्याचा टोन वाढवू लागला, तर तुम्ही ताबडतोब मदतीसाठी प्रशासकाला कॉल करू शकता.
या प्रकरणात, आम्हाला मानवी आवाज ओळख जोडण्याची आवश्यकता आहे, हे आम्हाला स्टोअर कर्मचार्यांना ग्राहकांपासून वेगळे करण्यास आणि प्रत्येक व्यक्तीसाठी विश्लेषण प्रदान करण्यास अनुमती देईल. बरं, याव्यतिरिक्त, स्टोअर कर्मचार्‍यांच्या वर्तनाचे स्वतः विश्लेषण करणे, संघातील वातावरणाचे मूल्यांकन करणे शक्य होईल, चांगले वाटते!

आम्ही आमच्या समाधानासाठी आवश्यकता तयार करतो:

लक्ष्य साधन लहान आकार
रिअल टाइम ऑपरेशन
कमी किंमत
सुलभ स्केलेबिलिटी

परिणामी, आम्ही लक्ष्य उपकरण म्हणून रास्पबेरी Pi 3 c निवडतो इंटेल एनसीएस 2.

येथे NCS चे एक महत्त्वाचे वैशिष्ट्य लक्षात घेणे महत्त्वाचे आहे - ते मानक CNN आर्किटेक्चरसह सर्वोत्तम कार्य करते, परंतु जर तुम्हाला त्यावर सानुकूल स्तर असलेले मॉडेल चालवायचे असेल, तर निम्न-स्तरीय ऑप्टिमायझेशनची अपेक्षा करा.

फक्त एक छोटी गोष्ट करायची आहे: तुम्हाला मायक्रोफोन घेणे आवश्यक आहे. एक नियमित USB मायक्रोफोन करेल, परंतु तो RPI सह चांगला दिसणार नाही. परंतु येथेही समाधान अक्षरशः "जवळच आहे." आवाज रेकॉर्ड करण्यासाठी, आम्ही किटमधून व्हॉइस बोनेट बोर्ड वापरण्याचे ठरवतो Google AIY व्हॉइस किट, ज्यावर वायर्ड स्टिरिओ मायक्रोफोन आहे.

वरून Raspbian डाउनलोड करा AIY प्रकल्प भांडार आणि फ्लॅश ड्राइव्हवर अपलोड करा, खालील आदेश वापरून मायक्रोफोन कार्य करतो याची चाचणी घ्या (तो 5 सेकंदांचा ऑडिओ रेकॉर्ड करेल आणि फाइलमध्ये सेव्ह करेल):

arecord -d 5 -r 16000 test.wav

मी ताबडतोब लक्षात घेतले पाहिजे की मायक्रोफोन अतिशय संवेदनशील आहे आणि आवाज चांगला उचलतो. याचे निराकरण करण्यासाठी, alsamixer वर जाऊया, कॅप्चर डिव्हाइसेस निवडा आणि इनपुट सिग्नल पातळी 50-60% पर्यंत कमी करूया.

आम्ही फाईलसह शरीर सुधारित करतो आणि सर्वकाही फिट होते, आपण ते झाकणाने देखील बंद करू शकता

एक सूचक बटण जोडत आहे

AIY व्हॉईस किट वेगळे घेताना, आम्हाला लक्षात आहे की एक RGB बटण आहे, ज्याचा बॅकलाइट सॉफ्टवेअरद्वारे नियंत्रित केला जाऊ शकतो. आम्ही "Google AIY Led" शोधतो आणि कागदपत्रे शोधतो: https://aiyprojects.readthedocs.io/en/latest/aiy.leds.html
ओळखल्या जाणार्‍या भावना प्रदर्शित करण्यासाठी हे बटण का वापरू नये, आमच्याकडे फक्त 7 वर्ग आहेत आणि बटणाला 8 रंग आहेत, पुरेसे!

आम्ही GPIO द्वारे व्हॉईस बोनेटशी बटण कनेक्ट करतो, आवश्यक लायब्ररी लोड करतो (ते आधीच AIY प्रकल्पांच्या वितरण किटमध्ये स्थापित केले आहेत)

from aiy.leds import Leds, Color
from aiy.leds import RgbLeds

चला एक डिक्ट तयार करू ज्यामध्ये प्रत्येक भावनाला RGB Tuple च्या रूपात संबंधित रंग असेल आणि aiy.leds.Leds वर्गाच्या ऑब्जेक्टच्या रूपात, ज्याद्वारे आपण रंग अद्यतनित करू:

led_dict = {'neutral': (255, 255, 255), 'happy': (0, 255, 0), 'sad': (0, 255, 255), 'angry': (255, 0, 0), 'fearful': (0, 0, 0), 'disgusted':  (255, 0, 255), 'surprised':  (255, 255, 0)} 
leds = Leds()

आणि शेवटी, भावनांच्या प्रत्येक नवीन अंदाजानंतर, आम्ही बटणाचा रंग त्यानुसार (कीद्वारे) अद्यतनित करू.

leds.update(Leds.rgb_on(led_dict.get(classes[prediction])))

बटण, बर्न!

आवाजासह कार्य करणे

आम्ही मायक्रोफोनवरून प्रवाह कॅप्चर करण्यासाठी paudio चा वापर करू आणि आवाज फिल्टर करण्यासाठी आणि आवाज शोधण्यासाठी webrtcvad वापरू. या व्यतिरिक्त, आम्ही एक रांग तयार करू ज्यामध्ये आम्ही व्हॉइस उतारे अॅसिंक्रोनसपणे जोडू आणि काढू.

पुरवलेल्या तुकड्याच्या आकारावर webrtcvad ला मर्यादा असल्याने - ते 10/20/30ms च्या बरोबरीचे असले पाहिजे आणि भावना ओळखण्यासाठी मॉडेलचे प्रशिक्षण (जसे आपण नंतर शिकू) 48kHz डेटासेटवर चालवले गेले, आम्ही 48000×20ms/1000×1(मोनो)=960 बाइट आकाराचे भाग कॅप्चर करा. Webrtcvad या प्रत्येक भागासाठी सत्य/असत्य दर्शवेल, जे भागामध्ये मताची उपस्थिती किंवा अनुपस्थितीशी संबंधित आहे.

चला खालील तर्क लागू करूया:

जिथे मतदान असेल ते तुकडे आम्ही यादीत जोडू; जर मतदान नसेल तर आम्ही रिकाम्या तुकड्यांचा काउंटर वाढवू.
जर रिकाम्या तुकड्यांचा काउंटर >=30 (600 ms) असेल, तर आपण संचित भागांच्या सूचीचा आकार पाहतो; जर ते >250 असेल, तर आपण ते रांगेत जोडू; नसल्यास, आपण लांबी मानतो. स्पीकर ओळखण्यासाठी मॉडेलला ते फीड करण्यासाठी रेकॉर्डचे प्रमाण पुरेसे नाही.
जर रिकाम्या तुकड्यांचा काउंटर अजूनही <30 असेल आणि जमा झालेल्या भागांच्या सूचीचा आकार 300 पेक्षा जास्त असेल, तर आम्ही अधिक अचूक अंदाजासाठी रांगेत तुकडा जोडू. (कारण भावना काळानुसार बदलतात)

 def to_queue(frames):
    d = np.frombuffer(b''.join(frames), dtype=np.int16)
    return d

framesQueue = queue.Queue()
def framesThreadBody():
    CHUNK = 960
    FORMAT = pyaudio.paInt16
    CHANNELS = 1
    RATE = 48000

    p = pyaudio.PyAudio()
    vad = webrtcvad.Vad()
    vad.set_mode(2)
    stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
    false_counter = 0
    audio_frame = []
    while process:
        data = stream.read(CHUNK)
        if not vad.is_speech(data, RATE):
            false_counter += 1
            if false_counter >= 30:
                if len(audio_frame) > 250:              
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []
                    false_counter = 0

        if vad.is_speech(data, RATE):
            false_counter = 0
            audio_frame.append(data)
            if len(audio_frame) > 300:                
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []

सार्वजनिक डोमेनमध्ये पूर्व-प्रशिक्षित मॉडेल्स शोधण्याची वेळ आली आहे, गीथब, Google वर जा, परंतु लक्षात ठेवा की वापरलेल्या आर्किटेक्चरवर आम्हाला मर्यादा आहेत. हा एक कठीण भाग आहे, कारण तुम्हाला तुमच्या इनपुट डेटावरील मॉडेल्सची चाचणी घ्यावी लागेल आणि त्याव्यतिरिक्त, त्यांना OpenVINO च्या अंतर्गत स्वरूप - IR (इंटरमीडिएट रिप्रेझेंटेशन) मध्ये रूपांतरित करा. आम्ही गीथबमधून सुमारे 5-7 भिन्न निराकरणे वापरून पाहिली आणि जर भावना ओळखण्याचे मॉडेल त्वरित कार्य केले तर आवाज ओळखण्यासाठी आम्हाला जास्त वेळ थांबावे लागेल - ते अधिक जटिल आर्किटेक्चर वापरतात.

आम्ही खालील गोष्टींवर लक्ष केंद्रित करतो:

आवाजातील भावना - https://github.com/alexmuhr/Voice_Emotion
हे खालील तत्त्वानुसार कार्य करते: ऑडिओ एका विशिष्ट आकाराच्या परिच्छेदांमध्ये कापला जातो, या प्रत्येक परिच्छेदासाठी आम्ही निवडतो MFCC आणि नंतर CNN वर इनपुट म्हणून सबमिट करा
आवाज ओळख - https://github.com/linhdvu14/vggvox-speaker-identification
येथे, MFCC ऐवजी, आम्ही स्पेक्ट्रोग्रामसह कार्य करतो, FFT नंतर आम्ही CNN ला सिग्नल फीड करतो, जेथे आउटपुटवर आम्हाला व्हॉइसचे वेक्टर प्रतिनिधित्व मिळते.

पुढे आपण सिद्धांतापासून सुरुवात करून मॉडेल्सचे रूपांतर करण्याबद्दल बोलू. OpenVINO मध्ये अनेक मॉड्यूल समाविष्ट आहेत:

मॉडेल प्राणीसंग्रहालय उघडा, ज्या मॉडेल्समधून वापरले जाऊ शकते आणि आपल्या उत्पादनामध्ये समाविष्ट केले जाऊ शकते
मॉडेल ऑप्टिमझर, ज्यामुळे तुम्ही विविध फ्रेमवर्क फॉरमॅटमधून (टेन्सरफ्लो, ओएनएनएक्स इ.) मॉडेलचे इंटरमीडिएट रिप्रेझेंटेशन फॉरमॅटमध्ये रूपांतरित करू शकता, ज्यासह आम्ही पुढे काम करू.
Inference Engine तुम्हाला Intel प्रोसेसर, Myriad chips आणि Neural Compute Stick Accelerators वर IR फॉरमॅटमध्ये मॉडेल्स चालवण्याची परवानगी देते.
OpenCV ची सर्वात कार्यक्षम आवृत्ती (इन्फरन्स इंजिन सपोर्टसह)
IR फॉरमॅटमधील प्रत्येक मॉडेलचे वर्णन दोन फाइल्सद्वारे केले जाते: .xml आणि .bin.
खालीलप्रमाणे मॉडेल्स मॉडेल ऑप्टिमायझरद्वारे IR फॉरमॅटमध्ये रूपांतरित केले जातात:
```
python /opt/intel/openvino/deployment_tools/model_optimizer/mo_tf.py --input_model speaker.hdf5.pb --data_type=FP16 --input_shape [1,512,1000,1]
```
--data_type मॉडेल कार्य करेल ते डेटा स्वरूप निवडण्याची परवानगी देते. FP32, FP16, INT8 समर्थित आहेत. इष्टतम डेटा प्रकार निवडल्याने चांगली कामगिरी वाढू शकते.
--input_shape इनपुट डेटाचे परिमाण दर्शवते. ते डायनॅमिकली बदलण्याची क्षमता C++ API मध्ये उपस्थित असल्याचे दिसते, परंतु आम्ही इतके दूर खोदले नाही आणि मॉडेलपैकी एकासाठी ते निश्चित केले.
पुढे, डीएनएन मॉड्यूलद्वारे ओपनसीव्हीमध्ये IR फॉरमॅटमध्ये आधीच रूपांतरित मॉडेल लोड करण्याचा प्रयत्न करूया आणि त्यास फॉरवर्ड करू.
```
import cv2 as cv
emotionsNet = cv.dnn.readNet('emotions_model.bin',
                          'emotions_model.xml')
emotionsNet.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)
```
या प्रकरणातील शेवटची ओळ तुम्हाला न्यूरल कॉम्प्युट स्टिकवर गणना पुनर्निर्देशित करण्याची परवानगी देते, प्रोसेसरवर मूलभूत गणना केली जाते, परंतु रास्पबेरी पाईच्या बाबतीत हे कार्य करणार नाही, तुम्हाला स्टिकची आवश्यकता असेल.

पुढे, तर्कशास्त्र खालीलप्रमाणे आहे: आम्ही आमच्या ऑडिओला एका विशिष्ट आकाराच्या विंडोमध्ये विभाजित करतो (आमच्यासाठी ते 0.4 s आहे), आम्ही यापैकी प्रत्येक विंडोला MFCC मध्ये रूपांतरित करतो, ज्याला आम्ही नंतर ग्रीडमध्ये फीड करतो:
```
emotionsNet.setInput(MFCC_from_window)
result = emotionsNet.forward()
```
पुढे, सर्व विंडोसाठी सर्वात सामान्य वर्ग घेऊ. एक सोपा उपाय, परंतु हॅकाथॉनसाठी तुम्हाला काही फारसे अप्रस्तुत करण्याची गरज नाही, फक्त तुमच्याकडे वेळ असेल तरच. आम्हाला अजून बरेच काम करायचे आहे, तर चला पुढे जाऊ - आम्ही आवाज ओळख हाताळू. काही प्रकारचे डेटाबेस तयार करणे आवश्यक आहे ज्यामध्ये पूर्व-रेकॉर्ड केलेल्या आवाजांचे स्पेक्ट्रोग्राम संग्रहित केले जातील. थोडा वेळ शिल्लक असल्याने, आम्ही शक्य तितके या समस्येचे निराकरण करू.

अर्थात, आम्ही व्हॉइस उतारा रेकॉर्ड करण्यासाठी स्क्रिप्ट तयार करतो (हे वर वर्णन केल्याप्रमाणेच कार्य करते, कीबोर्डवरून व्यत्यय आणल्यावरच तो आवाज फाइलमध्ये सेव्ह करेल).

चला प्रयत्न करू:
```
python3 voice_db/record_voice.py test.wav
```
आम्ही अनेक लोकांचे आवाज रेकॉर्ड करतो (आमच्या बाबतीत, तीन टीम सदस्य)
पुढे, प्रत्येक रेकॉर्ड केलेल्या व्हॉईससाठी आम्ही वेगवान फोरियर ट्रान्सफॉर्म करतो, स्पेक्ट्रोग्राम मिळवतो आणि तो numpy अॅरे (.npy) म्हणून सेव्ह करतो:
```
for file in glob.glob("voice_db/*.wav"):
        spec = get_fft_spectrum(file)
        np.save(file[:-4] + '.npy', spec)
```
फाइलमध्ये अधिक तपशील create_base.py
परिणामी, जेव्हा आम्ही मुख्य स्क्रिप्ट चालवतो, तेव्हा आम्हाला या स्पेक्ट्रोग्राममधून अगदी सुरुवातीला एम्बेडिंग मिळेल:
```
for file in glob.glob("voice_db/*.npy"):
    spec = np.load(file)
    spec = spec.astype('float32')
    spec_reshaped = spec.reshape(1, 1, spec.shape[0], spec.shape[1])
    srNet.setInput(spec_reshaped)
    pred = srNet.forward()
    emb = np.squeeze(pred)
```
साउंडेड सेगमेंटमधून एम्बेडिंग प्राप्त केल्यानंतर, आम्ही पॅसेजपासून डेटाबेसमधील सर्व व्हॉईसपर्यंतचे कोसाइन अंतर घेऊन ते कोणाचे आहे हे निर्धारित करण्यात सक्षम होऊ (लहान, अधिक शक्यता) - डेमोसाठी आम्ही थ्रेशोल्ड सेट करतो ते ०.३):
```
        dist_list = cdist(emb, enroll_embs, metric="cosine")
        distances = pd.DataFrame(dist_list, columns = df.speaker)
```
सरतेशेवटी, मी हे लक्षात घेऊ इच्छितो की अनुमान वेग वेगवान होता आणि त्यामुळे आणखी 1-2 मॉडेल जोडणे शक्य झाले (7 सेकंदांच्या नमुन्यासाठी अनुमान काढण्यासाठी 2.5 लागले). आमच्याकडे यापुढे नवीन मॉडेल्स जोडण्यासाठी वेळ नव्हता आणि वेब ऍप्लिकेशनचा प्रोटोटाइप लिहिण्यावर लक्ष केंद्रित केले.

वेब अनुप्रयोग

एक महत्त्वाचा मुद्दा: आम्ही घरून आमच्यासोबत राउटर घेतो आणि आमचे स्थानिक नेटवर्क सेट करतो, ते नेटवर्कवर डिव्हाइस आणि लॅपटॉप कनेक्ट करण्यात मदत करते.

बॅकएंड हे वेबसॉकेट तंत्रज्ञानावर आधारित, समोर आणि रास्पबेरी पाई दरम्यान एंड-टू-एंड संदेश चॅनेल आहे (http ओव्हर tcp प्रोटोकॉल).

पहिला टप्पा म्हणजे रास्पबेरी कडून प्रक्रिया केलेली माहिती प्राप्त करणे, म्हणजे json मध्ये पॅक केलेले प्रेडिक्टर्स, जे त्यांच्या प्रवासादरम्यान डेटाबेसमध्ये सेव्ह केले जातात जेणेकरुन त्या कालावधीसाठी वापरकर्त्याच्या भावनिक पार्श्वभूमीबद्दल आकडेवारी तयार केली जाऊ शकते. हे पॅकेट नंतर फ्रंटएंडला पाठवले जाते, जे सबस्क्रिप्शन वापरते आणि वेबसॉकेट एंडपॉईंटवरून पॅकेट प्राप्त करते. संपूर्ण बॅकएंड यंत्रणा गोलंग भाषेत तयार केली गेली आहे; ती निवडली गेली कारण ती असिंक्रोनस कार्यांसाठी योग्य आहे, जी गोराउटिन्स चांगल्या प्रकारे हाताळतात.
एंडपॉइंटवर प्रवेश करताना, वापरकर्ता नोंदणीकृत होतो आणि संरचनेत प्रवेश केला जातो, त्यानंतर त्याचा संदेश प्राप्त होतो. वापरकर्ता आणि संदेश दोन्ही एका सामान्य हबमध्ये प्रविष्ट केले आहेत, ज्यामधून संदेश आधीच पुढे पाठवले जातात (सदस्यत्व घेतलेल्या समोर), आणि जर वापरकर्त्याने कनेक्शन (रास्पबेरी किंवा फ्रंट) बंद केले, तर त्याचे सदस्यता रद्द केले जाईल आणि त्याला काढून टाकले जाईल. केंद्र

आम्ही मागून कनेक्शनची वाट पाहत आहोत

फ्रंट-एंड हे जावास्क्रिप्टमध्‍ये लिहिलेले वेब अॅप्लिकेशन आहे जे विकास प्रक्रियेला गती देण्यासाठी आणि सुलभ करण्यासाठी प्रतिक्रिया लायब्ररीचा वापर करते. या ऍप्लिकेशनचा उद्देश बॅक-एंड बाजूला आणि थेट Raspberry Pi वर चालणारे अल्गोरिदम वापरून मिळवलेल्या डेटाची कल्पना करणे आहे. पृष्‍ठावर रिएक्‍ट-राउटर वापरून कार्यान्वित केलेले विभागीय राउटिंग आहे, परंतु स्वारस्य असलेले मुख्‍य पृष्‍ठ हे मुख्‍य पृष्‍ठ आहे, जेथे वेबसॉकेट तंत्रज्ञान वापरून सर्व्हरकडून रिअल टाइममध्‍ये डेटाचा सतत प्रवाह प्राप्त होतो. Raspberry Pi आवाज शोधते, तो नोंदणीकृत डेटाबेसमधून विशिष्ट व्यक्तीचा आहे की नाही हे निर्धारित करते आणि क्लायंटला संभाव्यता सूची पाठवते. क्लायंट नवीनतम संबंधित डेटा प्रदर्शित करतो, बहुधा मायक्रोफोनमध्ये बोललेल्या व्यक्तीचा अवतार तसेच तो शब्द उच्चारतो त्या भावना प्रदर्शित करतो.

अद्यतनित अंदाजांसह मुखपृष्ठ

निष्कर्ष

नियोजित प्रमाणे सर्वकाही पूर्ण करणे शक्य नव्हते, आमच्याकडे फक्त वेळ नव्हता, म्हणून मुख्य आशा डेमोमध्ये होती की सर्वकाही कार्य करेल. सादरीकरणात त्यांनी सर्वकाही कसे कार्य करते, त्यांनी कोणते मॉडेल घेतले, त्यांना कोणत्या समस्या आल्या याबद्दल बोलले. पुढे डेमो भाग होता - तज्ञ यादृच्छिक क्रमाने खोलीभोवती फिरले आणि कार्यरत प्रोटोटाइप पाहण्यासाठी प्रत्येक टीमशी संपर्क साधला. त्यांनी आम्हाला प्रश्न देखील विचारले, प्रत्येकाने त्यांच्या भागाची उत्तरे दिली, त्यांनी लॅपटॉपवर वेब सोडले आणि सर्वकाही खरोखर अपेक्षेप्रमाणे कार्य केले.

मला लक्षात घ्या की आमच्या सोल्यूशनची एकूण किंमत $150 होती:
- रास्पबेरी पाई 3 ~ $35
- Google AIY व्हॉइस बोनेट (तुम्ही रिस्पीकर फी घेऊ शकता) ~ 15$
- इंटेल NCS 2 ~ 100$
कसे सुधारायचे:
- क्लायंटकडून नोंदणी वापरा - यादृच्छिकपणे तयार केलेला मजकूर वाचण्यास सांगा
- आणखी काही मॉडेल्स जोडा: तुम्ही आवाजाद्वारे लिंग आणि वय निर्धारित करू शकता
- एकाच वेळी आवाज वेगळे करा (डायरायझेशन)
भांडार: https://github.com/vladimirwest/OpenEMO

थकलो पण आनंदी आहोत

शेवटी, मी आयोजक आणि सहभागींचे आभार मानू इच्छितो. इतर संघांच्या प्रकल्पांपैकी, आम्हाला वैयक्तिकरित्या विनामूल्य पार्किंगच्या जागेचे निरीक्षण करण्याचा उपाय आवडला. आमच्यासाठी, उत्पादन आणि विकासामध्ये विसर्जित करण्याचा हा एक अत्यंत थंड अनुभव होता. मला आशा आहे की एआय विषयांसह प्रदेशांमध्ये अधिकाधिक मनोरंजक कार्यक्रम आयोजित केले जातील.

स्त्रोत: www.habr.com

OpenVINO hackathon: Raspberry Pi वर आवाज आणि भावना ओळखणे

कार्य निवड

एक सूचक बटण जोडत आहे

आवाजासह कार्य करणे

वेब अनुप्रयोग

निष्कर्ष

एक टिप्पणी जोडा Отменить ответ