Silero 음성 합성 시스템의 새로운 릴리스

Silero Text-to-Speech 신경망 음성 합성 시스템의 새로운 공개 릴리스를 사용할 수 있습니다. 이 프로젝트의 주요 목표는 기업의 상용 솔루션보다 열등하지 않고 값비싼 서버 장비를 사용하지 않고도 누구나 접근할 수 있는 현대적인 고품질 음성 합성 시스템을 만드는 것입니다.

모델은 GNU AGPL 라이센스에 따라 배포되지만 프로젝트를 개발하는 회사는 모델 교육 메커니즘을 공개하지 않습니다. 실행하려면 PyTorch와 ONNX 형식을 지원하는 프레임워크를 사용할 수 있습니다. Silero의 음성 합성은 심층적으로 수정된 최신 신경망 알고리즘과 디지털 신호 처리 방법의 사용을 기반으로 합니다.

음성 합성을 위한 최신 신경망 솔루션의 주요 문제점은 유료 클라우드 솔루션 내에서만 사용할 수 있는 경우가 많으며 공용 제품은 하드웨어 요구 사항이 높거나 품질이 낮거나 완전하지 않고 사용할 준비가 되어 있지 않다는 것입니다. 제품. 예를 들어, 널리 사용되는 새로운 엔드투엔드 합성 아키텍처 중 하나인 VITS를 합성 모드(즉, 모델 트레이닝용이 아님)에서 원활하게 실행하려면 16GB 이상의 VRAM을 갖춘 비디오 카드가 필요합니다.

현재 추세와는 달리 Silero 솔루션은 AVX1 지침이 있는 Intel 프로세서의 86 x2 스레드에서도 성공적으로 실행됩니다. 4개의 프로세서 스레드에서 합성을 사용하면 30kHz 합성 모드에서는 초당 60~8초, 24kHz 모드에서는 15~20초, 48kHz 모드에서는 약 10초 동안 합성할 수 있습니다.

새로운 Silero 릴리스의 주요 기능:

• 모델 크기가 2MB로 50배 감소했습니다.
• 모델은 일시 중지하는 방법을 알고 있습니다.
• 4개의 고품질 러시아어 음성을 사용할 수 있습니다(및 무한한 수의 임의 음성). 발음 예;
• 모델은 10배 더 빨라졌으며, 예를 들어 24kHz 모드에서는 20개의 프로세서 스레드에서 초당 최대 4초의 오디오를 합성할 수 있습니다.
• 한 언어에 대한 모든 음성 옵션이 하나의 모델에 패키지되어 있습니다.
• 모델은 텍스트의 전체 단락을 입력으로 받아들일 수 있으며 SSML 태그가 지원됩니다.
• 합성은 8, 24, 48kHz 중에서 선택할 수 있는 세 가지 샘플링 주파수에서 동시에 작동합니다.
• “아이들의 문제”가 해결되었습니다. 불안정성과 단어 누락;
• 악센트 자동 배치 및 문자 "е" 배치를 제어하는 ​​플래그를 추가했습니다.

현재 최신 버전의 합성에는 러시아어로 된 4개의 음성이 공개되어 있지만 가까운 시일 내에 다음 변경 사항이 포함된 다음 버전이 게시될 예정입니다.

• 합성 속도는 2-4배 더 증가합니다.
• CIS 언어에 대한 합성 모델이 업데이트됩니다: 칼미크어, 타타르어, 우즈베크어 및 우크라이나어;
• 유럽 ​​언어용 모델이 추가됩니다.
• 인도어 모델이 추가됩니다.
• 영어 모델이 추가됩니다.

Silero 합성에 내재된 시스템 고장 중 일부는 다음과 같습니다.

• RHVoice와 같은 기존 합성 솔루션과 달리 Silero 합성에는 SAPI 통합, 설치가 쉬운 클라이언트 또는 Windows 및 Android용 통합이 없습니다.
• 이러한 솔루션의 속도는 유례없이 높지만 고품질의 약한 프로세서에서 즉석 합성에는 충분하지 않을 수 있습니다.
• 자동 악센트 솔루션은 동형이의어(성 및 성 같은 단어)를 처리하지 않으며 여전히 실수를 범하지만 이는 향후 릴리스에서 수정될 예정입니다.
• 현재 버전의 합성은 모델 내부 모듈 중 하나가 양자화되어 있기 때문에 AVX2 명령이 없는 프로세서에서는 작동하지 않습니다(또는 특별히 PyTorch 설정을 변경해야 함).
• 현재 버전의 합성에는 기본적으로 단일 PyTorch 종속성이 있으며, 모든 내용은 모델과 JIT 패키지 내에 "하드와이어"되어 있습니다. 모델의 소스 코드는 게시되지 않으며, 다른 언어용 PyTorch 클라이언트에서 모델을 실행하기 위한 코드도 공개되지 않습니다.
• 모바일 플랫폼에서 사용할 수 있는 Libtorch는 ONNX 런타임보다 훨씬 더 부피가 크지만 모델의 ONNX 버전은 아직 사용할 수 없습니다.

출처 : opennet.ru