OpenVINO 해커톤: Raspberry Pi에서 음성과 감정 인식

30월 1일부터 XNUMX월 XNUMX일까지 니즈니노브고로드에서 개최되었습니다. OpenVINO 해커톤. 참가자들은 Intel OpenVINO 툴킷을 사용하여 제품 솔루션의 프로토타입을 생성하라는 요청을 받았습니다. 주최측은 작업을 선택할 때 참고할 수 있는 대략적인 주제 목록을 제안했지만 최종 결정은 팀의 몫이었습니다. 또한, 제품에 포함되지 않은 모델의 사용을 장려했습니다.

이 기사에서는 우리가 어떻게 제품의 프로토타입을 만들었고 결국 XNUMX위를 차지했는지에 대해 설명합니다.

이번 해커톤에는 10개 이상의 팀이 참가했습니다. 그들 중 일부가 다른 지역에서 왔다는 것은 좋은 일입니다. 해커톤 장소는 니즈니노브고로드의 고대 사진이 내부에 걸려 있는 "Kremlinsky on Pochain" 단지였습니다! (현재 Intel의 중앙 사무실은 Nizhny Novgorod에 있음을 상기시켜드립니다.) 참가자들에게는 26시간 동안 코드를 작성하고 마지막에는 솔루션을 발표해야 했습니다. 별도의 장점은 계획된 모든 것이 실제로 구현되었으며 프레젠테이션에 아이디어가 남아 있지 않은지 확인하는 데모 세션이 있다는 것입니다. 상품, 간식, 음식 등 모든 것이 거기에 있었습니다!

또한 Intel은 선택적으로 카메라, Raspberry PI, Neural Compute Stick 2를 제공했습니다.

작업 선택

자유 형식 해커톤을 준비할 때 가장 어려운 부분 중 하나는 도전 과제를 선택하는 것입니다. 우리는 발표에서 이것이 매우 환영받는다고 말했기 때문에 아직 제품에 없는 것을 생각해내기로 즉시 결정했습니다.

분석하고 모델, 현재 릴리스의 제품에 포함되어 있는 내용을 보면 대부분이 다양한 컴퓨터 비전 문제를 해결한다는 결론에 도달했습니다. 게다가 OpenVINO를 사용하여 해결할 수 없는 컴퓨터 비전 분야의 문제를 제기하는 것은 매우 어렵고, 설사 그것이 발명될 수 있다고 하더라도 사전 훈련된 모델을 공개 도메인에서 찾기가 어렵습니다. 우리는 음성 처리 및 분석이라는 다른 방향을 탐구하기로 결정했습니다. 말에서 감정을 인식하는 흥미로운 작업을 고려해 보겠습니다. OpenVINO에는 이미 얼굴을 기반으로 사람의 감정을 결정하는 모델이 있지만 다음과 같습니다.

• 이론적으로는 소리와 이미지 모두에 작동하는 결합된 알고리즘을 만드는 것이 가능하므로 정확도가 높아집니다.
• 카메라는 일반적으로 시야각이 좁기 때문에 넓은 영역을 커버하려면 두 대 이상의 카메라가 필요합니다. 소리에는 이러한 제한이 없습니다.

아이디어를 발전시키자. 소매 부문에 대한 아이디어를 기초로 삼자. 매장 결제 시 고객 만족도를 측정할 수 있습니다. 고객 중 한 명이 서비스에 만족하지 못하고 목소리를 높이기 시작하면 즉시 관리자에게 도움을 요청할 수 있습니다.
이 경우 사람의 음성 인식을 추가해야 합니다. 이를 통해 매장 직원과 고객을 구별하고 각 개인에 대한 분석을 제공할 수 있습니다. 글쎄요, 매장 직원의 행동을 직접 분석하고 팀의 분위기를 평가할 수도 있습니다. 좋은 것 같습니다!

우리는 솔루션에 대한 요구 사항을 공식화합니다.

• 대상 장치의 작은 크기
• 실시간 운영
• 저렴한 가격
• 쉬운 확장성

결과적으로 우리는 Raspberry Pi 3 c를 대상 장치로 선택했습니다. 인텔 NCS 2.

여기에서 NCS의 중요한 기능 중 하나를 언급하는 것이 중요합니다. 이는 표준 CNN 아키텍처에서 가장 잘 작동하지만 사용자 정의 레이어가 있는 모델을 실행해야 하는 경우 낮은 수준의 최적화를 기대합니다.

해야 할 작은 일이 하나 있습니다. 마이크를 구해야 합니다. 일반 USB 마이크라면 괜찮지만 RPI와 함께 사용하면 보기에 좋지 않습니다. 그러나 여기서도 해결책은 문자 그대로 "가까운 곳에 있습니다." 음성을 녹음하기 위해 키트에 포함된 Voice Bonnet 보드를 사용하기로 결정했습니다. Google AIY 음성 키트, 유선 스테레오 마이크가 있습니다.

다음에서 Raspbian을 다운로드하세요. AIY 프로젝트 저장소 플래시 드라이브에 업로드하고 다음 명령을 사용하여 마이크가 작동하는지 테스트합니다. 5초 길이의 오디오를 녹음하고 파일에 저장합니다.

arecord -d 5 -r 16000 test.wav

마이크가 매우 민감하고 소음을 잘 포착한다는 점을 즉시 주목해야 합니다. 이 문제를 해결하려면 alsamixer로 이동하여 캡처 장치를 선택하고 입력 신호 레벨을 50-60%로 줄이세요.

파일로 본체를 수정하면 모든 것이 맞고 뚜껑으로 닫을 수도 있습니다.

표시기 버튼 추가

AIY Voice Kit를 분해하면서 소프트웨어로 백라이트를 제어할 수 있는 RGB 버튼이 있다는 것을 기억했습니다. "Google AIY Led"를 검색하고 문서를 찾습니다. https://aiyprojects.readthedocs.io/en/latest/aiy.leds.html
인식된 감정을 표시하기 위해 이 버튼을 사용하는 것은 어떨까요? 클래스는 7개뿐이고 버튼에는 8가지 색상이 있습니다. 딱 맞습니다!

GPIO를 통해 버튼을 Voice Bonnet에 연결하고 필요한 라이브러리를 로드합니다(AIY 프로젝트의 배포 키트에 이미 설치되어 있음).

from aiy.leds import Leds, Color
from aiy.leds import RgbLeds

각 감정이 RGB Tuple 형태의 해당 색상과 aiy.leds.Leds 클래스의 객체를 갖는 사전을 만들어 보겠습니다. 이를 통해 색상을 업데이트합니다.

led_dict = {'neutral': (255, 255, 255), 'happy': (0, 255, 0), 'sad': (0, 255, 255), 'angry': (255, 0, 0), 'fearful': (0, 0, 0), 'disgusted':  (255, 0, 255), 'surprised':  (255, 255, 0)} 
leds = Leds()

그리고 마지막으로 감정에 대한 각각의 새로운 예측 후에 그에 따라 (키별로) 버튼의 색상을 업데이트합니다.

leds.update(Leds.rgb_on(led_dict.get(classes[prediction])))

버튼, 불태워라!

음성 작업

pyaudio를 사용하여 마이크에서 스트림을 캡처하고 webrtcvad를 사용하여 소음을 필터링하고 음성을 감지합니다. 또한 음성 발췌를 비동기식으로 추가 및 제거할 대기열을 생성합니다.

webrtcvad에는 제공된 조각의 크기에 제한이 있으므로(10/20/30ms와 같아야 하며) 감정 인식 모델의 훈련(나중에 배우겠지만)은 48kHz 데이터세트에서 수행되었습니다. 48000×20ms/1000×1(모노)=960바이트 크기의 청크를 캡처합니다. Webrtcvad는 각 청크에 대해 True/False를 반환하며, 이는 청크에 투표가 있는지 여부에 해당합니다.

다음 논리를 구현해 보겠습니다.

• 투표가 있는 청크를 목록에 추가하고, 투표가 없으면 빈 청크의 카운터를 증가시킵니다.
• 빈 청크의 카운터가 30(600ms)보다 크면 누적된 청크 목록의 크기를 확인하고, 250보다 크면 큐에 추가하며, 그렇지 않으면 길이를 고려합니다. 기록의 양은 화자를 식별하기 위해 모델에 제공하기에 충분하지 않습니다.
• 빈 청크의 카운터가 여전히 < 30이고 누적 청크 목록의 크기가 300을 초과하는 경우 보다 정확한 예측을 위해 조각을 대기열에 추가합니다. (감정은 시간이 지남에 따라 변하는 경향이 있기 때문에)

 def to_queue(frames):
    d = np.frombuffer(b''.join(frames), dtype=np.int16)
    return d

framesQueue = queue.Queue()
def framesThreadBody():
    CHUNK = 960
    FORMAT = pyaudio.paInt16
    CHANNELS = 1
    RATE = 48000

    p = pyaudio.PyAudio()
    vad = webrtcvad.Vad()
    vad.set_mode(2)
    stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
    false_counter = 0
    audio_frame = []
    while process:
        data = stream.read(CHUNK)
        if not vad.is_speech(data, RATE):
            false_counter += 1
            if false_counter >= 30:
                if len(audio_frame) > 250:              
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []
                    false_counter = 0

        if vad.is_speech(data, RATE):
            false_counter = 0
            audio_frame.append(data)
            if len(audio_frame) > 300:                
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []

이제 공개 도메인에서 사전 훈련된 모델을 찾고, github, Google로 이동해야 할 때입니다. 하지만 사용되는 아키텍처에는 제한이 있다는 점을 기억하세요. 입력 데이터에 대한 모델을 테스트하고 추가로 OpenVINO의 내부 형식인 IR(Intermediate Representation)로 변환해야 하기 때문에 이는 다소 어려운 부분입니다. 우리는 github에서 약 5~7가지의 서로 다른 솔루션을 시도했고, 감정 인식 모델이 즉시 작동했다면 음성 인식의 경우 더 오래 기다려야 했습니다. 즉, 더 복잡한 아키텍처를 사용하기 때문입니다.

우리는 다음 사항에 중점을 둡니다.

• 목소리로 느끼는 감정 - https://github.com/alexmuhr/Voice_Emotion
  이는 다음 원리에 따라 작동합니다. 오디오는 특정 크기의 부분으로 잘려지며, 각 부분에 대해 우리가 선택합니다. MFCC 그런 다음 CNN에 입력으로 제출합니다.
• 음성 인식 - https://github.com/linhdvu14/vggvox-speaker-identification
  여기서는 MFCC 대신 스펙트로그램을 사용하고 FFT 후 신호를 CNN에 공급하고 출력에서 ​​음성의 벡터 표현을 얻습니다.

다음으로 이론부터 시작하여 모델 변환에 대해 이야기하겠습니다. OpenVINO에는 여러 모듈이 포함되어 있습니다.

• 귀하의 제품에 사용 및 포함될 수 있는 모델인 Open Model Zoo
• Model Optimzer 덕분에 다양한 프레임워크 형식(Tensorflow, ONNX 등)의 모델을 중간 표현 형식으로 변환할 수 있습니다.
• 추론 엔진을 사용하면 Intel 프로세서, Myriad 칩 및 Neural Compute Stick 가속기에서 IR 형식으로 모델을 실행할 수 있습니다.
• OpenCV의 가장 효율적인 버전(추론 엔진 지원 포함)
  IR 형식의 각 모델은 .xml 및 .bin이라는 두 파일로 설명됩니다.
  모델은 다음과 같이 Model Optimizer를 통해 IR 형식으로 변환됩니다.

  python /opt/intel/openvino/deployment_tools/model_optimizer/mo_tf.py --input_model speaker.hdf5.pb --data_type=FP16 --input_shape [1,512,1000,1]

  --data_type 모델이 작동할 데이터 형식을 선택할 수 있습니다. FP32, FP16, INT8이 지원됩니다. 최적의 데이터 유형을 선택하면 성능이 크게 향상될 수 있습니다.
  --input_shape 입력 데이터의 차원을 나타냅니다. 동적으로 변경하는 기능은 C++ API에 있는 것 같지만 우리는 그렇게까지 자세히 알아보지 않고 단순히 모델 중 하나에 대해 수정했습니다.
  다음으로 이미 변환된 IR 형식의 모델을 DNN 모듈을 통해 OpenCV에 로드하고 전달해 보겠습니다.

  import cv2 as cv
  emotionsNet = cv.dnn.readNet('emotions_model.bin',
                            'emotions_model.xml')
  emotionsNet.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)

  이 경우 마지막 줄을 사용하면 계산을 Neural Compute Stick으로 리디렉션할 수 있으며 기본 계산은 프로세서에서 수행되지만 Raspberry Pi의 경우 작동하지 않으므로 스틱이 필요합니다.

  다음으로 논리는 다음과 같습니다. 오디오를 특정 크기(0.4초)의 창으로 나누고 이러한 각 창을 MFCC로 변환한 다음 그리드에 공급합니다.

  emotionsNet.setInput(MFCC_from_window)
  result = emotionsNet.forward()

  다음으로 모든 창에 대해 가장 일반적인 클래스를 살펴보겠습니다. 간단한 해결책이지만 해커톤의 경우 시간이 있는 경우에만 너무 난해한 것을 생각해낼 필요가 없습니다. 아직 해야 할 일이 많으니 다음으로 넘어가서 음성 인식을 다루겠습니다. 미리 녹음된 음성의 스펙트로그램을 저장할 일종의 데이터베이스를 만드는 것이 필요합니다. 시간이 거의 남지 않았으므로 최선을 다해 이 문제를 해결하겠습니다.

  즉, 음성 발췌를 녹음하기 위한 스크립트를 만듭니다(위에서 설명한 것과 동일한 방식으로 작동하며 키보드에서 중단되는 경우에만 음성을 파일에 저장합니다).

  해보자:

  python3 voice_db/record_voice.py test.wav

  여러 사람의 목소리를 녹음합니다. (저희 경우에는 팀원 XNUMX명)
  다음으로, 녹음된 각 음성에 대해 빠른 푸리에 변환을 수행하고 스펙트로그램을 얻은 다음 이를 numpy 배열(.npy)로 저장합니다.

  for file in glob.glob("voice_db/*.wav"):
          spec = get_fft_spectrum(file)
          np.save(file[:-4] + '.npy', spec)

  자세한 내용은 파일에 create_base.py
  결과적으로 메인 스크립트를 실행하면 맨 처음부터 이러한 스펙트로그램에서 임베딩을 얻게 됩니다.

  for file in glob.glob("voice_db/*.npy"):
      spec = np.load(file)
      spec = spec.astype('float32')
      spec_reshaped = spec.reshape(1, 1, spec.shape[0], spec.shape[1])
      srNet.setInput(spec_reshaped)
      pred = srNet.forward()
      emb = np.squeeze(pred)

  소리가 나는 세그먼트에서 임베딩을 받은 후, 구절에서 데이터베이스의 모든 음성까지의 코사인 거리를 취하여(더 작을수록 가능성이 높음) 그것이 누구에 속하는지 결정할 수 있습니다. 데모에서는 임계값을 설정했습니다. 0.3으로):

          dist_list = cdist(emb, enroll_embs, metric="cosine")
          distances = pd.DataFrame(dist_list, columns = df.speaker)

  결국 추론 속도가 빨라서 모델을 1~2개 더 추가할 수 있게 되었다는 점을 지적하고 싶습니다. (샘플 7초의 경우 추론에 2.5가 걸렸습니다.) 우리는 더 이상 새로운 모델을 추가할 시간이 없었고 웹 애플리케이션의 프로토타입을 작성하는 데 집중했습니다.

  웹 애플리케이션

  중요한 점은 집에서 라우터를 가져가 로컬 네트워크를 설정하면 네트워크를 통해 장치와 노트북을 연결하는 데 도움이 된다는 것입니다.

  백엔드는 websocket 기술(http over tcp 프로토콜)을 기반으로 하는 프런트와 Raspberry Pi 간의 엔드투엔드 메시지 채널입니다.

  첫 번째 단계는 라즈베리로부터 가공된 정보를 받는 것입니다. 즉, json으로 포장된 예측자는 여정 중간에 데이터베이스에 저장되어 해당 기간 동안 사용자의 감정적 배경에 대한 통계를 생성할 수 있습니다. 그런 다음 이 패킷은 구독을 사용하고 websocket 끝점에서 패킷을 수신하는 프런트엔드로 전송됩니다. 전체 백엔드 메커니즘은 golang 언어로 구축되었으며, goroutine이 잘 처리하는 비동기 작업에 매우 적합하기 때문에 선택되었습니다.
  엔드포인트에 액세스하면 사용자가 등록되고 구조에 입력된 다음 해당 메시지가 수신됩니다. 사용자와 메시지는 모두 공통 허브에 입력되며, 여기에서 메시지는 이미 추가로(구독한 프런트로) 전송되고, 사용자가 연결(라즈베리 또는 프런트)을 닫으면 구독이 취소되고에서 제거됩니다. 허브.

  
  우리는 뒤에서 연결을 기다리고 있습니다

  프론트엔드는 개발 프로세스의 속도를 높이고 단순화하기 위해 React 라이브러리를 사용하여 JavaScript로 작성된 웹 애플리케이션입니다. 이 애플리케이션의 목적은 백엔드 측과 Raspberry Pi에서 직접 실행되는 알고리즘을 사용하여 얻은 데이터를 시각화하는 것입니다. 페이지에는 React-Router를 사용하여 섹션 라우팅이 구현되어 있지만 관심 있는 주요 페이지는 WebSocket 기술을 사용하여 서버에서 실시간으로 지속적인 데이터 스트림을 수신하는 메인 페이지입니다. 라즈베리파이는 음성을 감지하고 등록된 데이터베이스에서 특정인의 것인지 여부를 판단한 후 확률 목록을 클라이언트에 보냅니다. 클라이언트는 최신 관련 데이터를 표시하고, 마이크에 대고 말했을 가능성이 가장 높은 사람의 아바타와 그가 단어를 발음할 때의 감정을 표시합니다.

  
  업데이트된 예측이 포함된 홈페이지

  결론

  계획대로 모든 것을 완료하는 것은 불가능했고 시간도 없었습니다. 그래서 주된 희망은 모든 것이 작동하는 데모에 있었습니다. 프레젠테이션에서 그들은 모든 것이 어떻게 작동하는지, 어떤 모델을 사용하는지, 어떤 문제가 발생하는지에 대해 이야기했습니다. 다음은 데모 부분이었습니다. 전문가들은 무작위 순서로 방을 돌아다니며 각 팀에 접근하여 작동 중인 프로토타입을 살펴보았습니다. 그들은 우리에게도 질문을 했고, 모두가 자신의 역할에 답했으며, 노트북에 웹을 남겨두었고 모든 것이 실제로 예상대로 작동했습니다.

  우리 솔루션의 총 비용은 150달러였습니다.

  • 라즈베리 파이 3 ~ $35
  • Google AIY Voice Bonnet (재발언 비용 부담 가능) ~ 15$
  • 인텔 NCS 2 ~ 100$

  개선 방법:

  • 클라이언트에서 등록 사용 - 무작위로 생성된 텍스트를 읽도록 요청합니다.
  • 모델을 몇 개 더 추가하세요. 음성으로 성별과 나이를 확인할 수 있습니다.
  • 동시에 들리는 음성 분리(분할)

  저장소: https://github.com/vladimirwest/OpenEMO

  
  피곤하지만 행복해요 우리

  끝으로 주최측과 참가자분들께 감사 인사를 전하고 싶습니다. 다른 팀의 프로젝트 중에서 우리는 개인적으로 무료 주차 공간을 모니터링하는 솔루션을 좋아했습니다. 우리에게는 제품과 개발에 몰입하는 정말 멋진 경험이었습니다. AI 주제를 포함해 지역에서 점점 더 흥미로운 행사가 열리길 바랍니다.

출처 : habr.com