Обявена е AI-модел за синтез на глас Zonos, поддържащ клониране на глас

Компания Zyphra публикува за лицензия Apache 2.0 първия бета-релиз на AI модел за синтез на реч Zonos. Предоставеният заедно с модела инструментариум поддържа функция за клониране на глас, позволяваща синтез на реч с желания глас, за което на моделите е достатъчно да се предостави 30-секундна референтна записка на говора. Поддържа се синтез на английски, японски, китайски, френски и немски езици.

Моделът обхваща 1.6 млрд параметри и е обучен на 200 хиляди часа аудиозаписи. Поддържа се синтез на монотонна (като в аудиокниги) и емоционална реч (като в жив разговор), както и синтез на базата на зададен префикс (предоставя се аудиозапис с начало на речта, на базата на който моделът синтезира продължение на указан текст, възпроизвеждайки оригиналните характеристики на речта, например, продължавайки да говори шепнешком).

На изхода се генерира звук с честота на дискретизация 44kHz. Поддържа се поставяне на синтезирани вставки за симулация на представления с няколко говорещи или построяване на интерактивни диалози, както и добавяне на етикети за контрол на скоростта на речта, тоналност и изразяване на емоции, като радост, страх, тъга и гняв.

Според заявките на разработчиците, качеството на генерираната реч от модела не отстъпва или надминава всички публично достъпни отворени и търговски системи за синтез (в тестовете се предоставя сравнение с ElevenLabs, Cartesia и FishSpeech). Забелязва се, че недостатък е по-високата концентрация на звукови артефакти, като кашлица, звука от дишането или скърцането, в началото или края на генерирания звукоизход.

• Zonos:
• ElevenLabs:
• Cartesia:
• Fish Speech v1.5:

За използване на модела на своята система е подготвен работещ образ за система Docker, в който е включен уеб-интерфейс за управление на синтеза, основан на платформата Gradio. За да започнете работа, е достатъчно да инсталирате образа с командата „git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up“ и да отворите страницата „http://localhost:7860“ в браузъра. Препоръчително е да имате GPU NVIDIA най-малко от серия 3000 с 6 Гб видеопамет. Производителността на работа на система с GPU RTX 4090 е два пъти по-висока от необходимите възможности за синтез в реално време.

Източник: opennet.ru