Google, Lyra V2 오픈 소스 오디오 코덱 출시

Google은 기계 학습 기술을 사용하여 매우 느린 통신 채널에서 최대 음성 품질을 달성하는 Lyra V2 오디오 코덱을 출시했습니다. 새 버전은 새로운 신경망 아키텍처로의 전환, 추가 플랫폼 지원, 확장된 비트 전송률 제어 기능, 향상된 성능 및 더 높은 오디오 품질을 제공합니다. 참조 코드 구현은 C++로 작성되었으며 Apache 2.0 라이센스에 따라 배포됩니다.

저속으로 전송되는 음성 데이터의 품질 측면에서 Lyra는 디지털 신호 처리 방법을 사용하는 기존 코덱보다 훨씬 우수합니다. 제한된 양의 정보가 전송되는 조건에서 고품질 음성 전송을 달성하기 위해 Lyra는 기존의 오디오 압축 및 신호 변환 방법 외에도 기계 학습 시스템 기반 음성 모델을 사용합니다. 전형적인 말의 특징.

코덱에는 인코더와 디코더가 포함됩니다. 인코더의 알고리즘은 20밀리초마다 음성 데이터 매개변수를 추출하고 이를 압축한 후 3.2kbps에서 9.2kbps의 비트 전송률로 네트워크를 통해 수신자에게 전송하는 것으로 요약됩니다. 수신기 측에서 디코더는 생성 모델을 사용하여 전송된 오디오 매개변수를 기반으로 원본 음성 신호를 재구성합니다. 여기에는 다양한 주파수 범위에서 음성의 에너지 특성을 고려하고 다음 모델을 고려하여 준비된 대수 분필 스펙트로그램이 포함됩니다. 인간의 청각 지각.

Lyra V2는 계산 요구 사항이 낮은 SoundStream 컨볼루셔널 신경망을 기반으로 하는 새로운 생성 모델을 사용하므로 저전력 시스템에서도 실시간 디코딩이 가능합니다. 소리를 생성하는 데 사용된 모델은 90개 이상의 언어로 된 수천 시간의 음성 녹음을 사용하여 훈련되었습니다. TensorFlow Lite는 모델을 실행하는 데 사용됩니다. 제안된 구현의 성능은 저렴한 가격대의 스마트폰에서 음성 인코딩 및 디코딩에 충분합니다.

다른 생성 모델을 사용하는 것 외에도 새 버전은 데이터를 전송하기 전에 송신자 측과 수신자 측에서 실행되는 RVQ(Residual Vector Quantizer) 양자화기와의 링크 코덱 아키텍처에 포함된 점도 주목할 만합니다. 데이터를 받은 후. 양자화기는 코덱에서 생성된 매개변수를 패킷 세트로 변환하여 선택한 비트 전송률과 관련된 정보를 인코딩합니다. 다양한 수준의 품질을 제공하기 위해 세 가지 비트 전송률(3.2kps, 6kbps 및 9.2kbps)에 대한 양자화기가 제공됩니다. 비트 전송률이 높을수록 품질은 좋아지지만 대역폭 요구 사항도 높아집니다.

새로운 아키텍처는 신호 전송 지연을 100밀리초에서 20밀리초로 줄였습니다. 비교를 위해 WebRTC용 Opus 코덱은 테스트된 비트 전송률에서 26.5ms, 46.5ms 및 66.5ms의 지연 시간을 보여주었습니다. 인코더와 디코더의 성능도 크게 향상되었습니다. 이전 버전에 비해 최대 5배 더 빨라졌습니다. 예를 들어 Pixel 6 Pro 스마트폰에서 새로운 코덱은 20ms 샘플을 0.57ms 내에 인코딩 및 디코딩합니다. 이는 실시간 전송에 필요한 것보다 35배 빠릅니다.

성능 외에도 사운드 복원 품질을 향상시키는 것도 가능했습니다. MUSHRA 스케일에 따르면 Lyra V3.2 코덱을 사용할 때 비트 전송률 6kbps, 9.2kbps 및 2kbps의 음성 품질은 비트 전송률 10kbps, 13에 해당합니다. Opus 코덱을 사용하는 경우 kbps 및 14kbps입니다.

출처 : opennet.ru