Google은 연결 품질이 좋지 않은 음성 전송을 위한 Lyra 오디오 코덱을 게시했습니다.

Google은 매우 느린 통신 채널을 사용하는 경우에도 최대 음성 품질을 달성하도록 최적화된 새로운 오디오 코덱인 Lyra를 출시했습니다. Lyra 구현 코드는 C++로 작성되었으며 Apache 2.0 라이센스에 따라 공개되지만 작동에 필요한 종속성 중에는 수학적 계산을 위한 커널 구현이 포함된 독점 라이브러리 libsparse_inference.so가 있습니다. 독점 라이브러리는 일시적이라는 점에 주목하세요. 앞으로 Google은 개방형 대체 라이브러리를 개발하고 다양한 플랫폼에 대한 지원을 제공할 것을 약속합니다.

저속으로 전송되는 음성 데이터의 품질 측면에서 Lyra는 디지털 신호 처리 방법을 사용하는 기존 코덱보다 훨씬 우수합니다. 제한된 양의 정보가 전송되는 조건에서 고품질 음성 전송을 달성하기 위해 Lyra는 기존의 오디오 압축 및 신호 변환 방법 외에도 기계 학습 시스템 기반 음성 모델을 사용합니다. 전형적인 말의 특징. 소리를 생성하는 데 사용된 모델은 70개 이상의 언어로 된 수천 시간의 음성 녹음을 사용하여 훈련되었습니다.

코덱에는 인코더와 디코더가 포함됩니다. 인코더의 알고리즘은 40밀리초마다 음성 데이터 매개변수를 추출하고 압축한 후 네트워크를 통해 수신자에게 전송하는 것으로 요약됩니다. 초당 3킬로비트 속도의 통신 채널이면 데이터 전송에 충분합니다. 추출된 오디오 매개변수에는 다양한 주파수 범위에서 음성의 에너지 특성을 고려하고 인간의 청각 인식 모델을 고려하여 준비된 로그 멜 스펙트로그램이 포함됩니다.

디코더는 전송된 오디오 매개변수를 기반으로 음성 신호를 재생성하는 생성 모델을 사용합니다. 계산의 복잡성을 줄이기 위해 순환 신경망을 기반으로 한 경량 모델이 사용되었습니다. 이는 낮은 샘플링 주파수를 사용하지만 서로 다른 주파수 범위에서 여러 신호를 병렬로 생성하는 WaveRNN 음성 합성 모델의 변형입니다. 그런 다음 결과 신호가 중첩되어 지정된 샘플링 속도에 해당하는 단일 출력 신호를 생성합니다.

64비트 ARM 프로세서에서 사용할 수 있는 특수 프로세서 명령어도 가속을 위해 사용됩니다. 결과적으로, 기계 학습을 사용함에도 불구하고 Lyra 코덱은 중급형 스마트폰에서 실시간 음성 인코딩 및 디코딩에 사용될 수 있으며, 90밀리초의 신호 전송 지연 시간을 보여줍니다.

출처 : opennet.ru