Facebook, 기계 학습을 사용하여 EnCodec 오디오 코덱 출시

Meta/Facebook(러시아 연방에서 금지됨)은 기계 학습 방법을 사용하여 품질 저하 없이 압축률을 높이는 새로운 오디오 코덱인 EnCodec을 출시했습니다. 코덱은 실시간으로 오디오를 스트리밍하고 나중에 파일에 저장하기 위해 인코딩하는 데 사용할 수 있습니다. EnCodec 참조 구현은 PyTorch 프레임워크를 사용하여 Python으로 작성되었으며 비상업적 용도로만 CC BY-NC 4.0(Creative Commons Attribution-NonCommercial) 라이선스에 따라 라이선스가 부여됩니다.

다운로드할 수 있는 두 가지 기성 모델이 제공됩니다.

• 24kHz 샘플링 속도를 사용하고 모노 오디오만 지원하며 다양한 오디오 데이터에 대해 훈련된 인과 모델(음성 코딩에 적합) 이 모델은 1.5, 3, 6, 12 및 24kbps의 비트 전송률로 전송하기 위해 오디오 데이터를 패키징하는 데 사용할 수 있습니다.
• 48kHz의 샘플링 속도를 사용하고 스테레오 오디오를 지원하며 음악에 대해서만 훈련된 비인과 모델입니다. 이 모델은 3, 6, 12 및 24kbps의 비트 전송률을 지원합니다.

각 모델마다 추가 언어 모델이 준비되어 있어 품질 저하 없이 압축률을 크게 높일 수 있습니다(최대 40%). 오디오 압축을 위해 기계 학습 방법을 사용하는 이전에 개발된 프로젝트와 달리 EnCodec은 음성 패키징뿐만 아니라 오디오 CD 수준에 해당하는 48kHz의 샘플링 속도로 음악 압축에도 사용할 수 있습니다. 새로운 코덱 개발자에 따르면 MP64 형식에 비해 3kbps의 비트 전송률로 전송할 때 동일한 품질을 유지하면서 오디오 압축 정도를 약 3배 높일 수 있었습니다(예: MP64, 6kbps의 대역폭이 필요합니다. EnCodec에서 동일한 품질로 전송하려면 XNUMXkbps이면 충분합니다.

코덱 아키텍처는 "변환기" 아키텍처를 갖춘 신경망을 기반으로 구축되었으며 인코더, 양자화기, 디코더 및 판별기의 4개 링크를 기반으로 합니다. 인코더는 음성 데이터의 매개변수를 추출하고 압축된 스트림을 더 낮은 프레임 속도로 변환합니다. 양자화기(RVQ, Residual Vector Quantizer)는 인코더의 스트림 출력을 패킷 세트로 변환하여 선택한 비트 전송률에 따라 정보를 압축합니다. 양자화기의 출력은 네트워크를 통한 전송이나 디스크 저장에 적합한 데이터의 압축 표현입니다.

디코더는 데이터의 압축된 표현을 디코딩하고 원래 음파를 재구성합니다. 판별자는 인간의 청각 인식 모델을 고려하여 생성된 샘플의 품질을 향상시킵니다. 품질 및 비트 전송률 수준에 관계없이 인코딩 및 디코딩에 사용되는 모델은 다소 적당한 리소스 요구 사항으로 구별됩니다(실시간 작업에 필요한 계산은 단일 CPU 코어에서 수행됨).

출처 : opennet.ru