ഓപ്പൺവിനോ ഹാക്കത്തോൺ: റാസ്‌ബെറി പൈയിലെ ശബ്ദവും വികാരങ്ങളും തിരിച്ചറിയുന്നു

നവംബർ 30 - ഡിസംബർ 1 നിസ്നി നോവ്ഗൊറോഡിൽ നടന്നു ഓപ്പൺവിനോ ഹാക്കത്തോൺ. Intel OpenVINO ടൂൾകിറ്റ് ഉപയോഗിച്ച് ഒരു ഉൽപ്പന്ന പരിഹാരത്തിന്റെ ഒരു പ്രോട്ടോടൈപ്പ് സൃഷ്ടിക്കാൻ പങ്കാളികളോട് ആവശ്യപ്പെട്ടു. ഒരു ടാസ്‌ക് തിരഞ്ഞെടുക്കുമ്പോൾ നയിക്കാവുന്ന ഏകദേശ വിഷയങ്ങളുടെ ഒരു ലിസ്റ്റ് സംഘാടകർ നിർദ്ദേശിച്ചു, പക്ഷേ അന്തിമ തീരുമാനം ടീമുകളുടേതായിരുന്നു. കൂടാതെ, ഉൽപ്പന്നത്തിൽ ഉൾപ്പെടുത്താത്ത മോഡലുകളുടെ ഉപയോഗം പ്രോത്സാഹിപ്പിച്ചു.

ഈ ലേഖനത്തിൽ ഞങ്ങൾ ഉൽപ്പന്നത്തിന്റെ പ്രോട്ടോടൈപ്പ് എങ്ങനെ സൃഷ്ടിച്ചു എന്നതിനെക്കുറിച്ച് നിങ്ങളോട് പറയും, അതിലൂടെ ഞങ്ങൾ ഒടുവിൽ ഒന്നാം സ്ഥാനം നേടി.

പത്തിലധികം ടീമുകൾ ഹാക്കത്തണിൽ പങ്കെടുത്തു. അവരിൽ ചിലർ മറ്റ് പ്രദേശങ്ങളിൽ നിന്ന് വന്നവരാണെന്നത് സന്തോഷകരമാണ്. "ക്രെംലിൻസ്കി ഓൺ പോച്ചെയിൻ" സമുച്ചയമായിരുന്നു ഹാക്കത്തോണിന്റെ വേദി, അവിടെ നിസ്നി നോവ്ഗൊറോഡിന്റെ പുരാതന ഫോട്ടോഗ്രാഫുകൾ ഒരു പരിവാരത്തിൽ തൂക്കിയിട്ടിരുന്നു! (ഇപ്പോൾ ഇന്റലിന്റെ സെൻട്രൽ ഓഫീസ് നിസ്നി നോവ്ഗൊറോഡിലാണ് സ്ഥിതി ചെയ്യുന്നതെന്ന് ഞാൻ നിങ്ങളെ ഓർമ്മിപ്പിക്കുന്നു). പങ്കെടുക്കുന്നവർക്ക് കോഡ് എഴുതാൻ 10 മണിക്കൂർ സമയം നൽകി, അവസാനം അവർ അവരുടെ പരിഹാരം അവതരിപ്പിക്കേണ്ടതുണ്ട്. ആസൂത്രണം ചെയ്തതെല്ലാം യഥാർത്ഥത്തിൽ നടപ്പിലാക്കിയിട്ടുണ്ടെന്നും അവതരണത്തിൽ ആശയങ്ങൾ നിലനിൽക്കുന്നില്ലെന്നും ഉറപ്പാക്കാൻ ഒരു ഡെമോ സെഷന്റെ സാന്നിധ്യമായിരുന്നു ഒരു പ്രത്യേക നേട്ടം. കച്ചവടം, ലഘുഭക്ഷണം, ഭക്ഷണം, എല്ലാം അവിടെയും ഉണ്ടായിരുന്നു!

കൂടാതെ, ഇന്റൽ ഓപ്ഷണലായി ക്യാമറകൾ, റാസ്‌ബെറി പിഐ, ന്യൂറൽ കമ്പ്യൂട്ട് സ്റ്റിക്ക് 2 എന്നിവ നൽകി.

ടാസ്ക് തിരഞ്ഞെടുക്കൽ

ഒരു ഫ്രീ-ഫോം ഹാക്കത്തണിനായി തയ്യാറെടുക്കുന്നതിന്റെ ഏറ്റവും ബുദ്ധിമുട്ടുള്ള ഭാഗങ്ങളിലൊന്ന് ഒരു വെല്ലുവിളി തിരഞ്ഞെടുക്കുന്നതാണ്. ഇത് വളരെ സ്വാഗതാർഹമാണെന്ന് അറിയിപ്പ് പറഞ്ഞതിനാൽ, ഉൽപ്പന്നത്തിൽ ഇതുവരെ ഇല്ലാത്ത എന്തെങ്കിലും കൊണ്ടുവരാൻ ഞങ്ങൾ ഉടൻ തീരുമാനിച്ചു.

വിശകലനം ചെയ്തു മോഡലുകൾ, നിലവിലെ പതിപ്പിൽ ഉൽപ്പന്നത്തിൽ ഉൾപ്പെടുത്തിയിരിക്കുന്നവ, അവയിൽ മിക്കതും വിവിധ കമ്പ്യൂട്ടർ ദർശന പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നു എന്ന നിഗമനത്തിൽ ഞങ്ങൾ എത്തിച്ചേരുന്നു. മാത്രമല്ല, OpenVINO ഉപയോഗിച്ച് പരിഹരിക്കാനാകാത്ത കമ്പ്യൂട്ടർ ദർശന മേഖലയിൽ ഒരു പ്രശ്നം കൊണ്ടുവരുന്നത് വളരെ ബുദ്ധിമുട്ടാണ്, കൂടാതെ ഒന്ന് കണ്ടുപിടിക്കാൻ കഴിയുമെങ്കിലും, പൊതുസഞ്ചയത്തിൽ മുൻകൂട്ടി പരിശീലിപ്പിച്ച മോഡലുകൾ കണ്ടെത്തുന്നത് ബുദ്ധിമുട്ടാണ്. ഞങ്ങൾ മറ്റൊരു ദിശയിലേക്ക് കുഴിക്കാൻ തീരുമാനിക്കുന്നു - സംഭാഷണ പ്രോസസ്സിംഗിലേക്കും വിശകലനത്തിലേക്കും. സംസാരത്തിൽ നിന്ന് വികാരങ്ങൾ തിരിച്ചറിയുന്നതിനുള്ള രസകരമായ ഒരു ജോലി നമുക്ക് പരിഗണിക്കാം. ഒരു വ്യക്തിയുടെ മുഖത്തെ അടിസ്ഥാനമാക്കി അവന്റെ വികാരങ്ങൾ നിർണ്ണയിക്കുന്ന ഒരു മോഡൽ OpenVINO ന് ഇതിനകം ഉണ്ടെന്ന് പറയണം, പക്ഷേ:

• സിദ്ധാന്തത്തിൽ, ശബ്ദത്തിലും ചിത്രത്തിലും പ്രവർത്തിക്കുന്ന ഒരു സംയോജിത അൽഗോരിതം സൃഷ്ടിക്കാൻ കഴിയും, അത് കൃത്യത വർദ്ധിപ്പിക്കും.
• ക്യാമറകൾക്ക് സാധാരണയായി ഇടുങ്ങിയ വ്യൂവിംഗ് ആംഗിൾ ഉണ്ട്; ഒരു വലിയ പ്രദേശം മറയ്ക്കാൻ ഒന്നിലധികം ക്യാമറകൾ ആവശ്യമാണ്; ശബ്ദത്തിന് അത്തരം പരിമിതികളില്ല.

നമുക്ക് ആശയം വികസിപ്പിക്കാം: റീട്ടെയിൽ വിഭാഗത്തിനായുള്ള ആശയം അടിസ്ഥാനമായി എടുക്കാം. സ്റ്റോർ ചെക്ക്ഔട്ടുകളിൽ നിങ്ങൾക്ക് ഉപഭോക്തൃ സംതൃപ്തി അളക്കാൻ കഴിയും. കസ്റ്റമർമാരിൽ ഒരാൾ സേവനത്തിൽ അതൃപ്തനാകുകയും അവരുടെ ടോൺ ഉയർത്താൻ തുടങ്ങുകയും ചെയ്താൽ, സഹായത്തിനായി നിങ്ങൾക്ക് ഉടൻ അഡ്മിനിസ്ട്രേറ്ററെ വിളിക്കാം.
ഈ സാഹചര്യത്തിൽ, ഞങ്ങൾ മനുഷ്യ ശബ്‌ദ തിരിച്ചറിയൽ ചേർക്കേണ്ടതുണ്ട്, ഇത് സ്റ്റോർ ജീവനക്കാരെ ഉപഭോക്താക്കളിൽ നിന്ന് വേർതിരിച്ചറിയാനും ഓരോ വ്യക്തിക്കും അനലിറ്റിക്‌സ് നൽകാനും ഞങ്ങളെ അനുവദിക്കും. ശരി, കൂടാതെ, സ്റ്റോർ ജീവനക്കാരുടെ പെരുമാറ്റം സ്വയം വിശകലനം ചെയ്യാനും ടീമിലെ അന്തരീക്ഷം വിലയിരുത്താനും കഴിയും, നന്നായി തോന്നുന്നു!

ഞങ്ങളുടെ പരിഹാരത്തിനുള്ള ആവശ്യകതകൾ ഞങ്ങൾ രൂപപ്പെടുത്തുന്നു:

• ടാർഗെറ്റ് ഉപകരണത്തിന്റെ ചെറിയ വലിപ്പം
• തത്സമയ പ്രവർത്തനം
• കുറഞ്ഞ വില
• എളുപ്പമുള്ള സ്കേലബിളിറ്റി

തൽഫലമായി, ടാർഗെറ്റ് ഉപകരണമായി ഞങ്ങൾ Raspberry Pi 3 c തിരഞ്ഞെടുക്കുന്നു ഇന്റൽ എൻസിഎസ് 2.

ഇവിടെ NCS-ന്റെ ഒരു പ്രധാന സവിശേഷത ശ്രദ്ധിക്കേണ്ടത് പ്രധാനമാണ് - ഇത് സ്റ്റാൻഡേർഡ് CNN ആർക്കിടെക്ചറുകളിൽ മികച്ച രീതിയിൽ പ്രവർത്തിക്കുന്നു, എന്നാൽ നിങ്ങൾക്ക് ഇഷ്ടാനുസൃത ലെയറുകളുള്ള ഒരു മോഡൽ പ്രവർത്തിപ്പിക്കണമെങ്കിൽ, ലോ-ലെവൽ ഒപ്റ്റിമൈസേഷൻ പ്രതീക്ഷിക്കുക.

ഒരു ചെറിയ കാര്യം മാത്രമേ ചെയ്യാനുള്ളൂ: നിങ്ങൾക്ക് ഒരു മൈക്രോഫോൺ വേണം. ഒരു സാധാരണ USB മൈക്രോഫോൺ പ്രവർത്തിക്കും, എന്നാൽ RPI-യ്‌ക്കൊപ്പം ഇത് മികച്ചതായി കാണപ്പെടില്ല. എന്നാൽ ഇവിടെ പോലും പരിഹാരം അക്ഷരാർത്ഥത്തിൽ "അടുത്തായി കിടക്കുന്നു." ശബ്ദം റെക്കോർഡ് ചെയ്യാൻ, കിറ്റിൽ നിന്ന് വോയ്‌സ് ബോണറ്റ് ബോർഡ് ഉപയോഗിക്കാൻ ഞങ്ങൾ തീരുമാനിക്കുന്നു Google AIY വോയ്‌സ് കിറ്റ്, അതിൽ വയർഡ് സ്റ്റീരിയോ മൈക്രോഫോൺ ഉണ്ട്.

നിന്ന് Raspbian ഡൗൺലോഡ് ചെയ്യുക AIY പ്രോജക്ടുകളുടെ ശേഖരം ഒരു ഫ്ലാഷ് ഡ്രൈവിലേക്ക് അപ്‌ലോഡ് ചെയ്യുക, ഇനിപ്പറയുന്ന കമാൻഡ് ഉപയോഗിച്ച് മൈക്രോഫോൺ പ്രവർത്തിക്കുന്നുണ്ടോയെന്ന് പരിശോധിക്കുക (അത് 5 സെക്കൻഡ് ദൈർഘ്യമുള്ള ഓഡിയോ റെക്കോർഡ് ചെയ്യുകയും ഒരു ഫയലിലേക്ക് സംരക്ഷിക്കുകയും ചെയ്യും):

arecord -d 5 -r 16000 test.wav

മൈക്രോഫോൺ വളരെ സെൻസിറ്റീവ് ആണെന്നും ശബ്‌ദം നന്നായി എടുക്കുന്നുവെന്നും ഞാൻ ഉടനടി ശ്രദ്ധിക്കണം. ഇത് പരിഹരിക്കാൻ, നമുക്ക് alsamixer-ലേക്ക് പോകാം, ക്യാപ്ചർ ഉപകരണങ്ങൾ തിരഞ്ഞെടുത്ത് ഇൻപുട്ട് സിഗ്നൽ ലെവൽ 50-60% ആയി കുറയ്ക്കുക.

ഞങ്ങൾ ഒരു ഫയൽ ഉപയോഗിച്ച് ബോഡി പരിഷ്ക്കരിക്കുന്നു, എല്ലാം യോജിക്കുന്നു, നിങ്ങൾക്ക് അത് ഒരു ലിഡ് ഉപയോഗിച്ച് അടയ്ക്കാം

ഒരു ഇൻഡിക്കേറ്റർ ബട്ടൺ ചേർക്കുന്നു

AIY വോയ്‌സ് കിറ്റ് വേർതിരിക്കുമ്പോൾ, ഒരു RGB ബട്ടൺ ഉണ്ടെന്ന് ഞങ്ങൾ ഓർക്കുന്നു, അതിന്റെ ബാക്ക്‌ലൈറ്റ് സോഫ്റ്റ്‌വെയർ ഉപയോഗിച്ച് നിയന്ത്രിക്കാനാകും. ഞങ്ങൾ "Google AIY Led" എന്നതിനായി തിരയുകയും ഡോക്യുമെന്റേഷൻ കണ്ടെത്തുകയും ചെയ്യുന്നു: https://aiyprojects.readthedocs.io/en/latest/aiy.leds.html
അംഗീകൃത വികാരം പ്രദർശിപ്പിക്കാൻ ഈ ബട്ടൺ എന്തുകൊണ്ട് ഉപയോഗിക്കരുത്, ഞങ്ങൾക്ക് 7 ക്ലാസുകൾ മാത്രമേയുള്ളൂ, ബട്ടണിന് 8 നിറങ്ങളുണ്ട്, മതി!

ഞങ്ങൾ GPIO വഴി ബട്ടൺ വോയ്‌സ് ബോണറ്റിലേക്ക് ബന്ധിപ്പിക്കുന്നു, ആവശ്യമായ ലൈബ്രറികൾ ലോഡുചെയ്യുന്നു (അവ ഇതിനകം AIY പ്രോജക്റ്റുകളിൽ നിന്നുള്ള വിതരണ കിറ്റിൽ ഇൻസ്റ്റാൾ ചെയ്തിട്ടുണ്ട്)

from aiy.leds import Leds, Color
from aiy.leds import RgbLeds

ഓരോ വികാരത്തിനും ഒരു RGB Tuple രൂപത്തിലും aiy.leds.Leds എന്ന ക്ലാസിന്റെ ഒബ്‌ജക്റ്റിന്റെ രൂപത്തിലും അനുയോജ്യമായ ഒരു വർണ്ണം ഉണ്ടായിരിക്കുന്ന ഒരു ഡിക്‌റ്റ് സൃഷ്‌ടിക്കാം, അതിലൂടെ ഞങ്ങൾ നിറം അപ്‌ഡേറ്റ് ചെയ്യും:

led_dict = {'neutral': (255, 255, 255), 'happy': (0, 255, 0), 'sad': (0, 255, 255), 'angry': (255, 0, 0), 'fearful': (0, 0, 0), 'disgusted':  (255, 0, 255), 'surprised':  (255, 255, 0)} 
leds = Leds()

അവസാനമായി, ഒരു വികാരത്തിന്റെ ഓരോ പുതിയ പ്രവചനത്തിനും ശേഷം, ബട്ടണിന്റെ നിറം അതിനനുസരിച്ച് ഞങ്ങൾ അപ്‌ഡേറ്റ് ചെയ്യും (കീ പ്രകാരം).

leds.update(Leds.rgb_on(led_dict.get(classes[prediction])))

ബട്ടൺ, കത്തിക്കുക!

ശബ്ദത്തോടെ പ്രവർത്തിക്കുന്നു

ശബ്‌ദം ഫിൽട്ടർ ചെയ്യുന്നതിനും ശബ്‌ദം കണ്ടെത്തുന്നതിനും ഞങ്ങൾ മൈക്രോഫോണിൽ നിന്നും webrtcvad-ൽ നിന്നും സ്ട്രീം ക്യാപ്‌ചർ ചെയ്യാൻ pyaudio ഉപയോഗിക്കും. കൂടാതെ, ഞങ്ങൾ ഒരു ക്യൂ സൃഷ്ടിക്കും, അതിലേക്ക് ഞങ്ങൾ വോയ്‌സ് എക്‌സ്‌സെപ്റ്റുകൾ അസമന്വിതമായി ചേർക്കുകയും നീക്കം ചെയ്യുകയും ചെയ്യും.

വിതരണം ചെയ്ത ശകലത്തിന്റെ വലുപ്പത്തിൽ webrtcvad-ന് ഒരു പരിമിതി ഉള്ളതിനാൽ - അത് 10/20/30ms ന് തുല്യമായിരിക്കണം, കൂടാതെ വികാരങ്ങൾ തിരിച്ചറിയുന്നതിനുള്ള മോഡലിന്റെ പരിശീലനം (നമ്മൾ പിന്നീട് പഠിക്കും പോലെ) 48kHz ഡാറ്റാസെറ്റിലാണ് നടത്തിയത്, ഞങ്ങൾ 48000×20ms/1000×1(മോണോ)=960 ബൈറ്റുകൾ വലിപ്പമുള്ള ഭാഗങ്ങൾ ക്യാപ്‌ചർ ചെയ്യുക. Webrtcvad ഈ ഓരോ ഭാഗത്തിനും True/False നൽകും, ഇത് ചങ്കിലെ ഒരു വോട്ടിന്റെ സാന്നിധ്യം അല്ലെങ്കിൽ അഭാവവുമായി പൊരുത്തപ്പെടുന്നു.

നമുക്ക് ഇനിപ്പറയുന്ന യുക്തി നടപ്പിലാക്കാം:

• വോട്ട് ഉള്ള ഭാഗങ്ങൾ ഞങ്ങൾ പട്ടികയിൽ ചേർക്കും; വോട്ട് ഇല്ലെങ്കിൽ, ശൂന്യമായ ചങ്കുകളുടെ കൗണ്ടർ ഞങ്ങൾ വർദ്ധിപ്പിക്കും.
• ശൂന്യമായ ചങ്കുകളുടെ കൌണ്ടർ >=30 (600 ms) ആണെങ്കിൽ, ഞങ്ങൾ സഞ്ചിത ചങ്കുകളുടെ ലിസ്റ്റിന്റെ വലുപ്പം നോക്കുന്നു; അത് > 250 ആണെങ്കിൽ, ഞങ്ങൾ അത് ക്യൂവിൽ ചേർക്കുന്നു; ഇല്ലെങ്കിൽ, നീളം എന്ന് ഞങ്ങൾ കണക്കാക്കുന്നു. സ്‌പീക്കറെ തിരിച്ചറിയാൻ മോഡലിന് ഫീഡ് ചെയ്യാൻ റെക്കോർഡ് മതിയാകില്ല.
• ശൂന്യമായ ചങ്കുകളുടെ കൌണ്ടർ ഇപ്പോഴും < 30 ആണെങ്കിൽ, സഞ്ചിത ചങ്കുകളുടെ ലിസ്റ്റിന്റെ വലുപ്പം 300 കവിയുന്നുവെങ്കിൽ, കൂടുതൽ കൃത്യമായ പ്രവചനത്തിനായി ഞങ്ങൾ ശകലം ക്യൂവിൽ ചേർക്കും. (കാരണം വികാരങ്ങൾ കാലത്തിനനുസരിച്ച് മാറിക്കൊണ്ടിരിക്കും)

 def to_queue(frames):
    d = np.frombuffer(b''.join(frames), dtype=np.int16)
    return d

framesQueue = queue.Queue()
def framesThreadBody():
    CHUNK = 960
    FORMAT = pyaudio.paInt16
    CHANNELS = 1
    RATE = 48000

    p = pyaudio.PyAudio()
    vad = webrtcvad.Vad()
    vad.set_mode(2)
    stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
    false_counter = 0
    audio_frame = []
    while process:
        data = stream.read(CHUNK)
        if not vad.is_speech(data, RATE):
            false_counter += 1
            if false_counter >= 30:
                if len(audio_frame) > 250:              
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []
                    false_counter = 0

        if vad.is_speech(data, RATE):
            false_counter = 0
            audio_frame.append(data)
            if len(audio_frame) > 300:                
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []

പബ്ലിക് ഡൊമെയ്‌നിൽ മുൻകൂട്ടി പരിശീലിപ്പിച്ച മോഡലുകൾക്കായി തിരയേണ്ട സമയമാണിത്, ഗിത്തബ്, ഗൂഗിളിലേക്ക് പോകുക, എന്നാൽ ഉപയോഗിക്കുന്ന ആർക്കിടെക്ചറിൽ ഞങ്ങൾക്ക് ഒരു പരിമിതി ഉണ്ടെന്ന് ഓർക്കുക. ഇത് വളരെ ബുദ്ധിമുട്ടുള്ള ഒരു ഭാഗമാണ്, കാരണം നിങ്ങളുടെ ഇൻപുട്ട് ഡാറ്റയിലെ മോഡലുകൾ നിങ്ങൾ പരിശോധിക്കേണ്ടതുണ്ട്, കൂടാതെ, അവയെ OpenVINO- യുടെ ആന്തരിക ഫോർമാറ്റിലേക്ക് പരിവർത്തനം ചെയ്യുക - IR (ഇന്റർമീഡിയറ്റ് പ്രാതിനിധ്യം). ഗിത്തബിൽ നിന്ന് ഞങ്ങൾ ഏകദേശം 5-7 വ്യത്യസ്ത പരിഹാരങ്ങൾ പരീക്ഷിച്ചു, വികാരങ്ങൾ തിരിച്ചറിയുന്നതിനുള്ള മോഡൽ ഉടനടി പ്രവർത്തിച്ചാൽ, വോയ്‌സ് തിരിച്ചറിയൽ ഉപയോഗിച്ച് ഞങ്ങൾക്ക് കൂടുതൽ സമയം കാത്തിരിക്കേണ്ടി വരും - അവ കൂടുതൽ സങ്കീർണ്ണമായ ആർക്കിടെക്ചറുകൾ ഉപയോഗിക്കുന്നു.

ഇനിപ്പറയുന്നവയിൽ ഞങ്ങൾ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു:

• ശബ്ദത്തിൽ നിന്നുള്ള വികാരങ്ങൾ - https://github.com/alexmuhr/Voice_Emotion
  ഇത് ഇനിപ്പറയുന്ന തത്ത്വമനുസരിച്ച് പ്രവർത്തിക്കുന്നു: ഓഡിയോ ഒരു നിശ്ചിത വലുപ്പത്തിലുള്ള ഭാഗങ്ങളായി മുറിച്ചിരിക്കുന്നു, ഈ ഓരോ ഭാഗത്തിനും ഞങ്ങൾ തിരഞ്ഞെടുക്കുന്നു MFCC തുടർന്ന് അവ CNN-ലേക്ക് ഇൻപുട്ടായി സമർപ്പിക്കുക
• ശബ്ദം തിരിച്ചറിയൽ - https://github.com/linhdvu14/vggvox-speaker-identification
  ഇവിടെ, MFCC-ക്ക് പകരം, ഞങ്ങൾ ഒരു സ്പെക്ട്രോഗ്രാം ഉപയോഗിച്ചാണ് പ്രവർത്തിക്കുന്നത്, FFT-ന് ശേഷം ഞങ്ങൾ CNN-ലേക്ക് സിഗ്നൽ നൽകുന്നു, അവിടെ ഔട്ട്പുട്ടിൽ നമുക്ക് ശബ്ദത്തിന്റെ വെക്റ്റർ പ്രാതിനിധ്യം ലഭിക്കും.

അടുത്തതായി, സിദ്ധാന്തത്തിൽ നിന്ന് മോഡലുകളെ പരിവർത്തനം ചെയ്യുന്നതിനെക്കുറിച്ച് സംസാരിക്കും. OpenVINO നിരവധി മൊഡ്യൂളുകൾ ഉൾക്കൊള്ളുന്നു:

• മോഡൽ മൃഗശാല തുറക്കുക, നിങ്ങളുടെ ഉൽപ്പന്നത്തിൽ ഉപയോഗിക്കാനും ഉൾപ്പെടുത്താനും കഴിയുന്ന മോഡലുകൾ
• മോഡൽ ഒപ്റ്റിംസർ, നിങ്ങൾക്ക് വിവിധ ഫ്രെയിംവർക്ക് ഫോർമാറ്റുകളിൽ നിന്ന് (ടെൻസർഫ്ലോ, ഒഎൻഎൻഎക്സ് മുതലായവ) ഒരു മോഡൽ ഇന്റർമീഡിയറ്റ് റെപ്രസന്റേഷൻ ഫോർമാറ്റിലേക്ക് പരിവർത്തനം ചെയ്യാൻ കഴിയും, അതിലൂടെ ഞങ്ങൾ കൂടുതൽ പ്രവർത്തിക്കും.
• ഇന്റൽ പ്രോസസറുകൾ, എണ്ണമറ്റ ചിപ്പുകൾ, ന്യൂറൽ കമ്പ്യൂട്ട് സ്റ്റിക്ക് ആക്സിലറേറ്ററുകൾ എന്നിവയിൽ IR ഫോർമാറ്റിൽ മോഡലുകൾ പ്രവർത്തിപ്പിക്കാൻ അനുമാന എഞ്ചിൻ നിങ്ങളെ അനുവദിക്കുന്നു.
• OpenCV യുടെ ഏറ്റവും കാര്യക്ഷമമായ പതിപ്പ് (അനുമാനം എഞ്ചിൻ പിന്തുണയോടെ)
  IR ഫോർമാറ്റിലുള്ള ഓരോ മോഡലും രണ്ട് ഫയലുകളാൽ വിവരിച്ചിരിക്കുന്നു: .xml, .bin.
  ഇനിപ്പറയുന്ന രീതിയിൽ മോഡൽ ഒപ്റ്റിമൈസർ വഴി മോഡലുകൾ IR ഫോർമാറ്റിലേക്ക് പരിവർത്തനം ചെയ്യപ്പെടുന്നു:

  python /opt/intel/openvino/deployment_tools/model_optimizer/mo_tf.py --input_model speaker.hdf5.pb --data_type=FP16 --input_shape [1,512,1000,1]

  --data_type മോഡൽ പ്രവർത്തിക്കുന്ന ഡാറ്റ ഫോർമാറ്റ് തിരഞ്ഞെടുക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. FP32, FP16, INT8 പിന്തുണയ്ക്കുന്നു. ഒപ്റ്റിമൽ ഡാറ്റ തരം തിരഞ്ഞെടുക്കുന്നത് മികച്ച പ്രകടന ബൂസ്റ്റ് നൽകും.
  --input_shape ഇൻപുട്ട് ഡാറ്റയുടെ അളവ് സൂചിപ്പിക്കുന്നു. ഇത് ചലനാത്മകമായി മാറ്റാനുള്ള കഴിവ് C++ API-ൽ ഉണ്ടെന്ന് തോന്നുന്നു, പക്ഷേ ഞങ്ങൾ അത്രയധികം കുഴിച്ചെടുത്തില്ല, കൂടാതെ മോഡലുകളിലൊന്നിൽ അത് ശരിയാക്കി.
  അടുത്തതായി, ഡിഎൻഎൻ മൊഡ്യൂൾ വഴി ഐആർ ഫോർമാറ്റിൽ ഇതിനകം പരിവർത്തനം ചെയ്ത മോഡൽ ഓപ്പൺസിവിയിലേക്ക് ലോഡ് ചെയ്യാൻ ശ്രമിക്കാം.

  import cv2 as cv
  emotionsNet = cv.dnn.readNet('emotions_model.bin',
                            'emotions_model.xml')
  emotionsNet.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)

  ഈ കേസിലെ അവസാന വരി, ന്യൂറൽ കമ്പ്യൂട്ട് സ്റ്റിക്കിലേക്ക് കണക്കുകൂട്ടലുകൾ റീഡയറക്ട് ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു, അടിസ്ഥാന കണക്കുകൂട്ടലുകൾ പ്രോസസറിൽ നടത്തുന്നു, എന്നാൽ റാസ്ബെറി പൈയുടെ കാര്യത്തിൽ ഇത് പ്രവർത്തിക്കില്ല, നിങ്ങൾക്ക് ഒരു വടി ആവശ്യമാണ്.

  അടുത്തതായി, ലോജിക് ഇപ്രകാരമാണ്: ഞങ്ങൾ ഞങ്ങളുടെ ഓഡിയോയെ ഒരു നിശ്ചിത വലുപ്പത്തിലുള്ള വിൻഡോകളായി വിഭജിക്കുന്നു (ഞങ്ങൾക്ക് ഇത് 0.4 സെ), ഈ വിൻഡോകൾ ഓരോന്നും ഞങ്ങൾ MFCC ആയി പരിവർത്തനം ചെയ്യുന്നു, അത് ഞങ്ങൾ ഗ്രിഡിലേക്ക് ഫീഡ് ചെയ്യുന്നു:

  emotionsNet.setInput(MFCC_from_window)
  result = emotionsNet.forward()

  അടുത്തതായി, എല്ലാ വിൻഡോകൾക്കും ഏറ്റവും സാധാരണമായ ക്ലാസ് എടുക്കാം. ഒരു ലളിതമായ പരിഹാരം, എന്നാൽ ഒരു ഹാക്കത്തോണിന് നിങ്ങൾ വളരെ അമൂർത്തമായ എന്തെങ്കിലും കൊണ്ടുവരേണ്ടതില്ല, നിങ്ങൾക്ക് സമയമുണ്ടെങ്കിൽ മാത്രം. ഞങ്ങൾക്ക് ഇനിയും ഒരുപാട് ജോലികൾ ചെയ്യാനുണ്ട്, അതിനാൽ നമുക്ക് മുന്നോട്ട് പോകാം - ശബ്ദ തിരിച്ചറിയൽ ഞങ്ങൾ കൈകാര്യം ചെയ്യും. മുൻകൂട്ടി റെക്കോർഡ് ചെയ്ത ശബ്ദങ്ങളുടെ സ്പെക്ട്രോഗ്രാമുകൾ സംഭരിക്കുന്ന ഒരുതരം ഡാറ്റാബേസ് സൃഷ്ടിക്കേണ്ടത് ആവശ്യമാണ്. കുറച്ച് സമയമേ ബാക്കിയുള്ളൂ എന്നതിനാൽ, ഈ പ്രശ്നം ഞങ്ങൾ പരമാവധി പരിഹരിക്കും.

  അതായത്, ഒരു വോയ്‌സ് എക്‌സ്‌സെപ്റ്റ് റെക്കോർഡുചെയ്യുന്നതിന് ഞങ്ങൾ ഒരു സ്‌ക്രിപ്റ്റ് സൃഷ്‌ടിക്കുന്നു (മുകളിൽ വിവരിച്ചതുപോലെ ഇത് പ്രവർത്തിക്കുന്നു, കീബോർഡിൽ നിന്ന് തടസ്സപ്പെടുമ്പോൾ മാത്രമേ അത് ഒരു ഫയലിലേക്ക് ശബ്‌ദം സംരക്ഷിക്കുകയുള്ളൂ).

  നമുക്ക് ശ്രമിക്കാം:

  python3 voice_db/record_voice.py test.wav

  ഞങ്ങൾ നിരവധി ആളുകളുടെ ശബ്ദം രേഖപ്പെടുത്തുന്നു (ഞങ്ങളുടെ കാര്യത്തിൽ, മൂന്ന് ടീം അംഗങ്ങൾ)
  അടുത്തതായി, റെക്കോർഡ് ചെയ്‌ത ഓരോ ശബ്‌ദത്തിനും ഞങ്ങൾ ഫാസ്റ്റ് ഫോറിയർ പരിവർത്തനം നടത്തുകയും ഒരു സ്പെക്‌ട്രോഗ്രാം നേടുകയും അതിനെ ഒരു നമ്പി അറേ ആയി (.npy) സംരക്ഷിക്കുകയും ചെയ്യുന്നു:

  for file in glob.glob("voice_db/*.wav"):
          spec = get_fft_spectrum(file)
          np.save(file[:-4] + '.npy', spec)

  കൂടുതൽ വിശദാംശങ്ങൾ ഫയലിൽ create_base.py
  തൽഫലമായി, ഞങ്ങൾ പ്രധാന സ്ക്രിപ്റ്റ് പ്രവർത്തിപ്പിക്കുമ്പോൾ, തുടക്കത്തിൽ തന്നെ ഈ സ്പെക്ട്രോഗ്രാമുകളിൽ നിന്ന് നമുക്ക് എംബെഡിംഗുകൾ ലഭിക്കും:

  for file in glob.glob("voice_db/*.npy"):
      spec = np.load(file)
      spec = spec.astype('float32')
      spec_reshaped = spec.reshape(1, 1, spec.shape[0], spec.shape[1])
      srNet.setInput(spec_reshaped)
      pred = srNet.forward()
      emb = np.squeeze(pred)

  ശബ്‌ദമുള്ള സെഗ്‌മെന്റിൽ നിന്ന് ഉൾച്ചേർക്കൽ ലഭിച്ചതിന് ശേഷം, ഡാറ്റാബേസിലെ എല്ലാ ശബ്ദങ്ങളിലേക്കും (ചെറിയത്, കൂടുതൽ സാധ്യതയുള്ളത്) പാസേജിൽ നിന്ന് കോസൈൻ ദൂരം എടുത്ത് അത് ആരുടേതാണെന്ന് നിർണ്ണയിക്കാൻ ഞങ്ങൾക്ക് കഴിയും - ഡെമോയ്‌ക്കായി ഞങ്ങൾ പരിധി സജ്ജമാക്കുന്നു. 0.3 വരെ):

          dist_list = cdist(emb, enroll_embs, metric="cosine")
          distances = pd.DataFrame(dist_list, columns = df.speaker)

  അവസാനം, അനുമാന വേഗത വേഗത്തിലാണെന്നും 1-2 മോഡലുകൾ കൂടി ചേർക്കുന്നത് സാധ്യമാക്കിയെന്നും ഞാൻ ശ്രദ്ധിക്കാൻ ആഗ്രഹിക്കുന്നു (ഒരു സാമ്പിൾ 7 സെക്കൻഡ് ദൈർഘ്യമുള്ള അനുമാനത്തിന് 2.5 എടുത്തു). പുതിയ മോഡലുകൾ ചേർക്കാൻ ഞങ്ങൾക്ക് സമയമില്ല, കൂടാതെ വെബ് ആപ്ലിക്കേഷന്റെ ഒരു പ്രോട്ടോടൈപ്പ് എഴുതുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിച്ചു.

  വെബ് ആപ്ലിക്കേഷൻ

  ഒരു പ്രധാന കാര്യം: ഞങ്ങൾ വീട്ടിൽ നിന്ന് ഞങ്ങളോടൊപ്പം ഒരു റൂട്ടർ എടുത്ത് ഞങ്ങളുടെ പ്രാദേശിക നെറ്റ്‌വർക്ക് സജ്ജീകരിക്കുന്നു, ഇത് നെറ്റ്‌വർക്കിലൂടെ ഉപകരണവും ലാപ്‌ടോപ്പുകളും ബന്ധിപ്പിക്കാൻ സഹായിക്കുന്നു.

  വെബ്‌സോക്കറ്റ് സാങ്കേതികവിദ്യയെ അടിസ്ഥാനമാക്കിയുള്ള ഫ്രണ്ടിനും റാസ്‌ബെറി പൈയ്‌ക്കുമിടയിലുള്ള ഒരു എൻഡ്-ടു-എൻഡ് സന്ദേശ ചാനലാണ് ബാക്കെൻഡ് (http over tcp പ്രോട്ടോക്കോൾ).

  ആദ്യ ഘട്ടം റാസ്ബെറിയിൽ നിന്ന് പ്രോസസ്സ് ചെയ്ത വിവരങ്ങൾ സ്വീകരിക്കുക എന്നതാണ്, അതായത്, json-ൽ പായ്ക്ക് ചെയ്തിരിക്കുന്ന പ്രവചനങ്ങൾ, അവരുടെ യാത്രയുടെ പകുതിയിൽ ഡാറ്റാബേസിൽ സേവ് ചെയ്യപ്പെടുന്നു, അതുവഴി ഉപയോക്താവിന്റെ വൈകാരിക പശ്ചാത്തലത്തെക്കുറിച്ചുള്ള സ്ഥിതിവിവരക്കണക്കുകൾ സൃഷ്ടിക്കാൻ കഴിയും. ഈ പാക്കറ്റ് പിന്നീട് ഫ്രണ്ട്‌എൻഡിലേക്ക് അയയ്‌ക്കുന്നു, അത് സബ്‌സ്‌ക്രിപ്‌ഷൻ ഉപയോഗിക്കുകയും വെബ്‌സോക്കറ്റ് എൻഡ്‌പോയിന്റിൽ നിന്ന് പാക്കറ്റുകൾ സ്വീകരിക്കുകയും ചെയ്യുന്നു. മുഴുവൻ ബാക്കെൻഡ് മെക്കാനിസവും ഗോലാംഗ് ഭാഷയിലാണ് നിർമ്മിച്ചിരിക്കുന്നത്; ഗോറൂട്ടീനുകൾ നന്നായി കൈകാര്യം ചെയ്യുന്ന അസിൻക്രണസ് ടാസ്‌ക്കുകൾക്ക് ഇത് നന്നായി യോജിക്കുന്നതിനാലാണ് ഇത് തിരഞ്ഞെടുത്തത്.
  എൻഡ് പോയിന്റ് ആക്സസ് ചെയ്യുമ്പോൾ, ഉപയോക്താവ് രജിസ്റ്റർ ചെയ്യുകയും ഘടനയിൽ പ്രവേശിക്കുകയും ചെയ്യുന്നു, തുടർന്ന് അവന്റെ സന്ദേശം ലഭിക്കും. ഉപയോക്താവും സന്ദേശവും ഒരു പൊതു കേന്ദ്രത്തിലേക്ക് പ്രവേശിച്ചു, അതിൽ നിന്ന് സന്ദേശങ്ങൾ ഇതിനകം തന്നെ കൂടുതൽ അയച്ചിട്ടുണ്ട് (സബ്‌സ്‌ക്രൈബുചെയ്‌ത ഫ്രണ്ടിലേക്ക്), കൂടാതെ ഉപയോക്താവ് കണക്ഷൻ (റാസ്‌ബെറി അല്ലെങ്കിൽ ഫ്രണ്ട്) അടയ്ക്കുകയാണെങ്കിൽ, അവന്റെ സബ്‌സ്‌ക്രിപ്‌ഷൻ റദ്ദാക്കുകയും അവനെ അതിൽ നിന്ന് നീക്കം ചെയ്യുകയും ചെയ്യുന്നു. ഹബ്.

  
  ഞങ്ങൾ പിന്നിൽ നിന്ന് ഒരു കണക്ഷനായി കാത്തിരിക്കുകയാണ്

  വികസന പ്രക്രിയ വേഗത്തിലാക്കാനും ലളിതമാക്കാനും റിയാക്റ്റ് ലൈബ്രറി ഉപയോഗിച്ച് ജാവാസ്ക്രിപ്റ്റിൽ എഴുതിയ ഒരു വെബ് ആപ്ലിക്കേഷനാണ് ഫ്രണ്ട്-എൻഡ്. ബാക്ക്-എൻഡ് വശത്തും റാസ്‌ബെറി പൈയിലും പ്രവർത്തിക്കുന്ന അൽഗോരിതം ഉപയോഗിച്ച് ലഭിച്ച ഡാറ്റ ദൃശ്യവൽക്കരിക്കുക എന്നതാണ് ഈ ആപ്ലിക്കേഷന്റെ ഉദ്ദേശം. റിയാക്റ്റ്-റൂട്ടർ ഉപയോഗിച്ച് പേജിന് സെക്ഷണൽ റൂട്ടിംഗ് നടപ്പിലാക്കിയിട്ടുണ്ട്, എന്നാൽ വെബ്‌സോക്കറ്റ് സാങ്കേതികവിദ്യ ഉപയോഗിച്ച് സെർവറിൽ നിന്ന് തത്സമയം ഡാറ്റയുടെ തുടർച്ചയായ സ്ട്രീം ലഭിക്കുന്ന പ്രധാന പേജാണ് താൽപ്പര്യത്തിന്റെ പ്രധാന പേജ്. റാസ്‌ബെറി പൈ ഒരു ശബ്‌ദം കണ്ടെത്തുന്നു, അത് രജിസ്റ്റർ ചെയ്ത ഡാറ്റാബേസിൽ നിന്ന് ഒരു പ്രത്യേക വ്യക്തിയുടേതാണോ എന്ന് നിർണ്ണയിക്കുന്നു, കൂടാതെ ക്ലയന്റിലേക്ക് ഒരു പ്രോബബിലിറ്റി ലിസ്റ്റ് അയയ്‌ക്കുന്നു. ക്ലയന്റ് ഏറ്റവും പുതിയ പ്രസക്തമായ ഡാറ്റ പ്രദർശിപ്പിക്കുന്നു, മൈക്രോഫോണിൽ സംസാരിച്ച വ്യക്തിയുടെ അവതാർ പ്രദർശിപ്പിക്കുന്നു, അതുപോലെ തന്നെ അവൻ വാക്കുകൾ ഉച്ചരിക്കുന്ന വികാരവും.

  
  പുതുക്കിയ പ്രവചനങ്ങളുള്ള ഹോം പേജ്

  തീരുമാനം

  ആസൂത്രണം ചെയ്തതുപോലെ എല്ലാം പൂർത്തിയാക്കാൻ സാധ്യമല്ല, ഞങ്ങൾക്ക് സമയമില്ല, അതിനാൽ പ്രധാന പ്രതീക്ഷ ഡെമോയിലായിരുന്നു, എല്ലാം പ്രവർത്തിക്കും. അവതരണത്തിൽ, എല്ലാം എങ്ങനെ പ്രവർത്തിക്കുന്നു, ഏത് മോഡലുകളാണ് അവർ സ്വീകരിച്ചത്, അവർ നേരിട്ട പ്രശ്നങ്ങൾ എന്നിവയെക്കുറിച്ച് സംസാരിച്ചു. അടുത്തത് ഡെമോ ഭാഗമായിരുന്നു - വിദഗ്ധർ ക്രമരഹിതമായ ക്രമത്തിൽ മുറിയിൽ ചുറ്റിനടന്ന് പ്രവർത്തിക്കുന്ന പ്രോട്ടോടൈപ്പ് നോക്കാൻ ഓരോ ടീമിനെയും സമീപിച്ചു. അവർ ഞങ്ങളോടും ചോദ്യങ്ങൾ ചോദിച്ചു, എല്ലാവരും അവരവരുടെ ഭാഗത്തിന് ഉത്തരം നൽകി, അവർ ലാപ്‌ടോപ്പിൽ വെബ് ഉപേക്ഷിച്ചു, എല്ലാം ശരിക്കും പ്രതീക്ഷിച്ചതുപോലെ പ്രവർത്തിച്ചു.

  ഞങ്ങളുടെ പരിഹാരത്തിന്റെ ആകെ ചെലവ് $150 ആണെന്ന് ഞാൻ ശ്രദ്ധിക്കട്ടെ:

  • റാസ്‌ബെറി പൈ 3 ~ $35
  • Google AIY വോയ്‌സ് ബോണറ്റ് (നിങ്ങൾക്ക് ഒരു റെസ്‌പീക്കർ ഫീസ് എടുക്കാം) ~ 15$
  • ഇന്റൽ NCS 2 ~ 100$

  എങ്ങനെ മെച്ചപ്പെടുത്താം:

  • ക്ലയന്റിൽ നിന്നുള്ള രജിസ്ട്രേഷൻ ഉപയോഗിക്കുക - ക്രമരഹിതമായി ജനറേറ്റ് ചെയ്യുന്ന വാചകം വായിക്കാൻ ആവശ്യപ്പെടുക
  • കുറച്ച് മോഡലുകൾ കൂടി ചേർക്കുക: നിങ്ങൾക്ക് ശബ്ദത്തിലൂടെ ലിംഗഭേദവും പ്രായവും നിർണ്ണയിക്കാനാകും
  • ഒരേസമയം മുഴങ്ങുന്ന ശബ്ദങ്ങൾ വേർതിരിക്കുക (ഡയറൈസേഷൻ)

  സംഭരണിയാണ്: https://github.com/vladimirwest/OpenEMO

  
  ക്ഷീണിച്ചെങ്കിലും ഞങ്ങൾ സന്തോഷവാനാണ്

  ഉപസംഹാരമായി, സംഘാടകർക്കും പങ്കാളികൾക്കും നന്ദി പറയാൻ ഞാൻ ആഗ്രഹിക്കുന്നു. മറ്റ് ടീമുകളുടെ പ്രോജക്റ്റുകൾക്കിടയിൽ, സൗജന്യ പാർക്കിംഗ് സ്ഥലങ്ങൾ നിരീക്ഷിക്കുന്നതിനുള്ള പരിഹാരം ഞങ്ങൾ വ്യക്തിപരമായി ഇഷ്ടപ്പെട്ടു. ഞങ്ങളെ സംബന്ധിച്ചിടത്തോളം, ഉൽ‌പ്പന്നത്തിലും വികസനത്തിലും മുഴുകുന്നതിന്റെ വന്യമായ ഒരു അനുഭവമായിരുന്നു അത്. AI വിഷയങ്ങൾ ഉൾപ്പെടെ, കൂടുതൽ കൂടുതൽ രസകരമായ ഇവന്റുകൾ പ്രദേശങ്ങളിൽ നടക്കുമെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു.

അവലംബം: www.habr.com