OpenVINO хакатон: препознавање глас и емоции на Raspberry Pi

30 ноември - 1 декември во Нижни Новгород се одржа OpenVINO хакатон. Учесниците беа замолени да создадат прототип на решение за производ користејќи го комплетот алатки на Intel OpenVINO. Организаторите предложија листа на приближни теми по кои може да се води при изборот на задача, но конечната одлука остана на тимовите. Дополнително, беше охрабрена употребата на модели кои не се вклучени во производот.

Во оваа статија ќе ви кажеме како го создадовме нашиот прототип на производот, со кој на крајот го зазедовме првото место.

На хакатонот учествуваа повеќе од 10 екипи. Убаво е што некои од нив дојдоа од други региони. Местото на хакатонот беше комплексот „Кремлински на Почаин“, каде што беа обесени антички фотографии од Нижни Новгород, во придружба! (Ве потсетувам дека во моментов централната канцеларија на Интел се наоѓа во Нижни Новгород). Учесниците добија 26 часа да напишат код, а на крајот требаше да го претстават своето решение. Посебна предност беше присуството на демо сесија за да се увериме дека сè што е планирано е навистина имплементирано и дека нема да остане идеи во презентацијата. Стока, грицки, храна, сè имаше и таму!

Покрај тоа, Интел опционално обезбеди камери, Raspberry PI, Neural Compute Stick 2.

Избор на задача

Еден од најтешките делови од подготовката за хакатон во слободна форма е изборот на предизвик. Веднаш решивме да смислиме нешто што сè уште го нема во производот, бидејќи на огласот пишуваше дека ова е многу добредојдено.

Имајќи анализирано модели, кои се вклучени во производот во сегашното издание, доаѓаме до заклучок дека повеќето од нив решаваат различни проблеми со компјутерскиот вид. Згора на тоа, многу е тешко да се дојде до проблем во областа на компјутерската визија што не може да се реши со помош на OpenVINO, па дури и ако може да се измисли, тешко е да се најдат претходно обучени модели во јавниот домен. Одлучуваме да копаме во друга насока - кон обработка на говор и аналитика. Ајде да разгледаме интересна задача за препознавање на емоции од говорот. Мора да се каже дека OpenVINO веќе има модел кој ги одредува емоциите на една личност врз основа на нивното лице, но:

• Теоретски, можно е да се создаде комбиниран алгоритам кој ќе работи и на звук и на слика, што треба да даде зголемување на точноста.
• Камерите обично имаат тесен агол на гледање; потребна е повеќе од една камера за покривање на голема површина; звукот нема такво ограничување.

Да ја развиеме идејата: да ја земеме идејата за малопродажниот сегмент како основа. Можете да го измерите задоволството на клиентите на касите во продавницата. Ако некој од клиентите е незадоволен од услугата и почне да го крева својот тон, можете веднаш да го повикате администраторот за помош.
Во овој случај, треба да додадеме препознавање на човечки глас, ова ќе ни овозможи да ги разликуваме вработените во продавницата од клиентите и да обезбедиме аналитика за секој поединец. Па, дополнително, ќе може да се анализира однесувањето на самите вработени во продавницата, да се оцени атмосферата во тимот, звучи добро!

Ние ги формулираме барањата за нашето решение:

• Мала големина на целниот уред
• Операција во реално време
• Ниска цена
• Лесна приспособливост

Како резултат на тоа, го избираме Raspberry Pi 3 c како цел уред Интел NCS 2.

Овде е важно да се забележи една важна карактеристика на NCS - најдобро функционира со стандардните архитектури на CNN, но ако треба да извршите модел со сопствени слоеви на него, тогаш очекувајте оптимизација на ниско ниво.

Има само една мала работа: треба да земете микрофон. Обичен USB микрофон ќе биде добар, но нема да изгледа добро заедно со RPI. Но, дури и тука решението буквално „лежи во близина“. За снимање глас, одлучуваме да ја користиме таблата Voice Bonnet од комплетот Google AIY Voice Kit, на кој има жичен стерео микрофон.

Преземете Raspbian од AIY проекти складиште и прикачете го на флеш-уред, тестирајте дали микрофонот работи со помош на следнава команда (ќе снима аудио долго 5 секунди и ќе го зачува во датотека):

arecord -d 5 -r 16000 test.wav

Веднаш треба да забележам дека микрофонот е многу чувствителен и добро го зема шумот. За да го поправиме ова, одиме во alsamixer, изберете Capture devices и намалете го нивото на влезниот сигнал на 50-60%.

Телото го модифицираме со турпија и сè одговара, можете дури и да го затворите со капак

Додавање индикаторско копче

Додека го раздвојуваме AIY Voice Kit, се сеќаваме дека има копче RGB, чие задно осветлување може да се контролира со софтвер. Бараме „Google AIY Led“ и наоѓаме документација: https://aiyprojects.readthedocs.io/en/latest/aiy.leds.html
Зошто да не го користите ова копче за прикажување на препознаената емоција, имаме само 7 класи, а копчето има 8 бои, доволно!

Го поврзуваме копчето преку GPIO со Voice Bonnet, ги вчитуваме потребните библиотеки (тие се веќе инсталирани во комплетот за дистрибуција од AIY проекти)

from aiy.leds import Leds, Color
from aiy.leds import RgbLeds

Ајде да создадеме дикт во кој секоја емоција ќе има соодветна боја во форма на RGB Tuple и објект од класата aiy.leds.Led, преку кој ќе ја ажурираме бојата:

led_dict = {'neutral': (255, 255, 255), 'happy': (0, 255, 0), 'sad': (0, 255, 255), 'angry': (255, 0, 0), 'fearful': (0, 0, 0), 'disgusted':  (255, 0, 255), 'surprised':  (255, 255, 0)} 
leds = Leds()

И конечно, по секое ново предвидување на емоцијата, ќе ја ажурираме бојата на копчето во согласност со неа (со клуч).

leds.update(Leds.rgb_on(led_dict.get(classes[prediction])))

Копче, изгори!

Работа со глас

Ќе користиме pyaudio за снимање на преносот од микрофонот и webrtcvad за филтрирање на бучавата и откривање на гласот. Дополнително, ќе создадеме редица на која асинхроно ќе додаваме и отстрануваме гласовни извадоци.

Бидејќи webrtcvad има ограничување на големината на доставениот фрагмент - тој мора да биде еднаков на 10/20/30ms, а обуката на моделот за препознавање емоции (како што ќе дознаеме подоцна) беше спроведена на база на податоци од 48 kHz, ќе снимајте парчиња со големина 48000×20ms/1000×1(моно)=960 бајти. Webrtcvad ќе врати Точно/Неточно за секое од овие делови, што одговара на присуството или отсуството на глас во делот.

Да ја спроведеме следнава логика:

• Ќе ги додадеме на списокот оние парчиња каде што има гласање; ако нема глас, тогаш ќе го зголемиме бројачот на празни парчиња.
• Ако бројачот на празни парчиња е >=30 (600 ms), тогаш ја гледаме големината на списокот со акумулирани парчиња; ако е >250, тогаш го додаваме во редот; ако не, сметаме дека должината записот не е доволен за да го нахрани моделот за да го идентификува звучникот.
• Ако бројачот на празни парчиња сè уште е < 30, а големината на списокот со акумулирани парчиња надминува 300, тогаш ќе го додадеме фрагментот во редот за попрецизно предвидување. (бидејќи емоциите имаат тенденција да се менуваат со текот на времето)

 def to_queue(frames):
    d = np.frombuffer(b''.join(frames), dtype=np.int16)
    return d

framesQueue = queue.Queue()
def framesThreadBody():
    CHUNK = 960
    FORMAT = pyaudio.paInt16
    CHANNELS = 1
    RATE = 48000

    p = pyaudio.PyAudio()
    vad = webrtcvad.Vad()
    vad.set_mode(2)
    stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
    false_counter = 0
    audio_frame = []
    while process:
        data = stream.read(CHUNK)
        if not vad.is_speech(data, RATE):
            false_counter += 1
            if false_counter >= 30:
                if len(audio_frame) > 250:              
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []
                    false_counter = 0

        if vad.is_speech(data, RATE):
            false_counter = 0
            audio_frame.append(data)
            if len(audio_frame) > 300:                
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []

Време е да барате претходно обучени модели во јавниот домен, одете на github, Google, но запомнете дека имаме ограничување на архитектурата што се користи. Ова е прилично тежок дел, бидејќи треба да ги тестирате моделите на вашите влезни податоци, а дополнително, да ги конвертирате во внатрешниот формат на OpenVINO - IR (средно претставување). Пробавме околу 5-7 различни решенија од github и ако моделот за препознавање емоции проработи веднаш, тогаш со препознавањето глас требаше да чекаме подолго - користат посложени архитектури.

Се фокусираме на следново:

• Емоции од гласот - https://github.com/alexmuhr/Voice_Emotion
  Работи според следниот принцип: аудио се сече на пасуси со одредена големина, за секој од овие пасуси ние го избираме MFCC а потоа доставете ги како влезни информации до CNN
• Препознавање глас - https://github.com/linhdvu14/vggvox-speaker-identification
  Овде, наместо MFCC, работиме со спектрограм, по FFT го напојуваме сигналот до CNN, каде што на излезот добиваме векторска претстава на гласот.

Следно ќе зборуваме за конвертирање на модели, почнувајќи од теоријата. OpenVINO вклучува неколку модули:

• Отворете модел зоолошка градина, модели од кои може да се користат и вклучени во вашиот производ
• Model Optimzer, благодарение на кој можете да конвертирате модел од различни рамковни формати (Tensorflow, ONNX итн.) во формат за средно претставување, со кој понатаму ќе работиме
• Inference Engine ви овозможува да стартувате модели во IR формат на Intel процесори, огромен број чипови и Neural Compute Stick акцелератори
• Најефикасната верзија на OpenCV (со поддршка за Inference Engine)
  Секој модел во IR формат е опишан со две датотеки: .xml и .bin.
  Моделите се претвораат во IR формат преку Model Optimizer на следниов начин:

  python /opt/intel/openvino/deployment_tools/model_optimizer/mo_tf.py --input_model speaker.hdf5.pb --data_type=FP16 --input_shape [1,512,1000,1]

  --data_type ви овозможува да изберете формат на податоци со кој моделот ќе работи. Поддржани се FP32, FP16, INT8. Изборот на оптимален тип на податоци може да даде добар поттик за перформансите.
  --input_shape ја означува димензијата на влезните податоци. Способноста за динамичка промена се чини дека е присутна во C++ API, но ние не ископавме толку далеку и едноставно ја поправивме за еден од моделите.
  Следно, ајде да се обидеме да го вчитаме веќе конвертираниот модел во IR формат преку модулот DNN во OpenCV и да го проследиме до него.

  import cv2 as cv
  emotionsNet = cv.dnn.readNet('emotions_model.bin',
                            'emotions_model.xml')
  emotionsNet.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)

  Последната линија во овој случај ви овозможува да ги пренасочите пресметките на Neural Compute Stick, основните пресметки се вршат на процесорот, но во случајот со Raspberry Pi ова нема да работи, ќе ви треба стап.

  Следно, логиката е следна: го делиме нашето аудио на прозорци со одредена големина (за нас е 0.4 с), секој од овие прозорци го претвораме во MFCC, што потоа го внесуваме во мрежата:

  emotionsNet.setInput(MFCC_from_window)
  result = emotionsNet.forward()

  Следно, да ја земеме најчестата класа за сите прозорци. Едноставно решение, но за хакатон не треба да смислите нешто премногу абструктивно, само ако имате време. Имаме уште многу работа, па да продолжиме понатаму - ќе се занимаваме со препознавање глас. Потребно е да се создаде некаква база на податоци во која би се чувале спектрограми од претходно снимени гласови. Бидејќи останува малку време, ќе го решиме ова прашање најдобро што можеме.

  Имено, креираме скрипта за снимање гласовен извадок (работи на ист начин како што е опишано погоре, само кога е прекинат од тастатурата ќе го зачува гласот во датотека).

  Да пробаме:

  python3 voice_db/record_voice.py test.wav

  Ги снимаме гласовите на неколку луѓе (во нашиот случај, тројца членови на тимот)
  Следно, за секој снимен глас вршиме брза фуриерска трансформација, добиваме спектрограм и го зачувуваме како нумпирана низа (.npy):

  for file in glob.glob("voice_db/*.wav"):
          spec = get_fft_spectrum(file)
          np.save(file[:-4] + '.npy', spec)

  Повеќе детали во датотеката create_base.py
  Како резултат на тоа, кога ќе ја извршиме главната скрипта, ќе добиеме вградувања од овие спектрограми на самиот почеток:

  for file in glob.glob("voice_db/*.npy"):
      spec = np.load(file)
      spec = spec.astype('float32')
      spec_reshaped = spec.reshape(1, 1, spec.shape[0], spec.shape[1])
      srNet.setInput(spec_reshaped)
      pred = srNet.forward()
      emb = np.squeeze(pred)

  Откако ќе го добиеме вградувањето од звучниот сегмент, ќе можеме да одредиме кому му припаѓа со преземање на косинусното растојание од преминот до сите гласови во базата на податоци (колку е помало, толку е поверојатно) - за демо го поставивме прагот до 0.3):

          dist_list = cdist(emb, enroll_embs, metric="cosine")
          distances = pd.DataFrame(dist_list, columns = df.speaker)

  На крајот, би сакал да забележам дека брзината на заклучување беше голема и овозможи да се додадат уште 1-2 модели (за примерок долг 7 секунди беа потребни 2.5 за заклучок). Веќе немавме време да додаваме нови модели и се фокусиравме на пишување прототип на веб апликацијата.

  Веб апликација

  Важна точка: земаме рутер со нас од дома и ја поставуваме нашата локална мрежа, помага да се поврзат уредот и лаптопите преку мрежата.

  Заднината е канал за пораки од крај до крај помеѓу предниот дел и Raspberry Pi, базиран на технологијата на веб-сокет (http over tcp протокол).

  Првата фаза е да се добијат обработени информации од малина, односно предвидувачи спакувани во json, кои се зачувуваат во базата на податоци на половина пат од нивното патување за да може да се генерираат статистики за емоционалната позадина на корисникот за тој период. Овој пакет потоа се испраќа до предниот дел, кој користи претплата и прима пакети од крајната точка на веб-сокетот. Целиот механизам за заднина е изграден на јазикот голанг; тој е избран затоа што е добро прилагоден за асинхрони задачи, со кои горутините добро се справуваат.
  При пристап до крајната точка, корисникот се регистрира и се внесува во структурата, потоа се прима неговата порака. И корисникот и пораката се внесуваат во заеднички центар, од кој пораките веќе се испраќаат понатаму (до претплатениот фронт), а доколку корисникот ја затвори врската (малина или предна), тогаш неговата претплата се откажува и тој е отстранет од хабот.

  
  Чекаме врска од позади

  Front-end е веб-апликација напишана во JavaScript со помош на библиотеката React за да се забрза и поедностави процесот на развој. Целта на оваа апликација е да ги визуелизира податоците добиени со помош на алгоритми кои работат на задната страна и директно на Raspberry Pi. Страницата има секциско рутирање имплементирано со помош на реакт-рутер, но главната страница од интерес е главната страница, каде што континуиран проток на податоци се прима во реално време од серверот користејќи технологија WebSocket. Raspberry Pi детектира глас, одредува дали му припаѓа на одредена личност од регистрираната база на податоци и испраќа листа на веројатност до клиентот. Клиентот ги прикажува најновите релевантни податоци, го прикажува аватарот на личноста која најверојатно зборувала на микрофонот, како и емоцијата со која ги изговара зборовите.

  
  Почетна страница со ажурирани предвидувања

  Заклучок

  Не беше можно да се заврши сè како што беше планирано, едноставно немавме време, така што главната надеж беше во демото, дека сè ќе функционира. Во презентацијата зборуваа за тоа како функционира сè, какви модели земале, со какви проблеми наишле. Следен беше демо-делот - експертите шетаа низ просторијата по случаен редослед и му приоѓаа на секој тим за да го разгледаат работниот прототип. И нас ни поставуваа прашања, секој си одговараше, ја оставија мрежата на лаптопот и навистина сè функционираше како што се очекуваше.

  Дозволете ми да забележам дека вкупната цена на нашето решение беше 150 долари:

  • Raspberry Pi 3 ~ 35 долари
  • Google AIY Voice Bonnet (може да земете такса за говорник) ~ 15$
  • Intel NCS 2 ~ 100 $

  Како да се подобрите:

  • Користете регистрација од клиентот - побарајте да го прочитате текстот што се генерира по случаен избор
  • Додадете уште неколку модели: можете да одредите пол и возраст преку глас
  • Одделете ги истовремено звучните гласови (дијаризација)

  Репозиториум: https://github.com/vladimirwest/OpenEMO

  
  Уморни, но среќни сме

  Како заклучок, би сакал да им се заблагодарам на организаторите и учесниците. Меѓу проектите на другите тимови, лично ни се допадна решението за следење на слободните паркинг места. За нас, тоа беше многу кул искуство на потопување во производот и развојот. Се надевам дека се повеќе и повеќе интересни настани ќе се одржуваат во регионите, вклучително и на теми за вештачка интелигенција.

Извор: www.habr.com