🥇Обявен е AI моделът за синтез на реч Zonos, поддържащ клониране на глас

Компания Zyphra публикува за лицензия Apache 2.0 първата бета-версия на AI модела за синтез на говор Zonos. Предоставеният заедно с модела инструментариум поддържа функция за клониране на глас, позволяваща синтезиране на реч с желан глас, за което е достатъчно да се предостави 30-секунди еталонна запис на говорещия. Поддържа се синтез на английски, японски, китайски, френски и немски езици.

Моделът обхваща 1.6 милиарда параметри и е обучен на 200 хиляди часа аудиозаписи. Поддържа се синтез на монотонна реч (както в аудиокниги) и емоционална реч (както в жив разговор), а също така синтез на база зададен префикс (предоставя се аудиозапис с началото на речта, на базата на който моделът синтезира продължение на указания текст, запазвайки характеристиките на оригиналната реч, например, продължавайки да говори на шепот).

На изхода се генерира звук с честота на дискретизация 44kHz. Поддържа се заместване на синтезираните вмъквания за симулиране на изказвания с няколко говорители или изграждане на интерактивни диалози, а също и добавяне на етикети за управление на скоростта на речта, тоналността и изразяването на емоции, като радост, страх, тъга и гняв.

Според разработчиците, по качеството на генерираната реч, моделът не отстъпва или надминава всички публично достъпни отворени и търговски системи за синтез (в тестовете се провежда сравнение с ElevenLabs, Cartesia и FishSpeech). Сред недостатъците се отбелязва по-висока концентрация на звукови артефакти, като кашляне, звук на дишане или скърцания, в началото или в края на генерирания звуков материал.

Zonos:
ElevenLabs:
Cartesia:
Fish Speech v1.5:

За използване на модела на своята система е подготвено готово за работа изображение за системата Docker, което включва уеб интерфейс за управление на синтеза, основан на платформата Gradio. За да започнете работа, е достатъчно да инсталирате изображението с командата „git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up“ и да отворите в браузъра страницата „http://localhost:7860“. Препоръчително е да разполагате с GPU NVIDIA поне от серия 3000 с 6 GB видеопамет. Производителността на системата с GPU RTX 4090 е два пъти по-висока от необходимите възможности за синтез в реално време.

Публикувана е AI-модел за синтез на реч Zonos, поддържащ клониране на глас

Източник: opennet.ru

Публикувана е AI-модел за синтез на реч Zonos, поддържащ клониране на глас