Bola publikovaná AI-model syntézy reči Zonos, ktorý podporuje klonovanie hlasu.

Spoločnosť Zyphra uverejnila pod licenciou Apache 2.0 prvú beta verziu AI modelu na syntézu reči Zonos. K modelu priložený nástroj podporuje funkciu klonovania hlasu, ktorá umožňuje syntetizovať reč požadovaným hlasom. Na reprodukciu tohto hlasu stačí modelu poskytnúť 30-sekundový referenčný záznam reči. Syntéza podporuje angličtinu, japončinu, čínštinu, francúzštinu a nemčinu.

Model pokrýva 1,6 miliardy parametrov a bol vytrénovaný na 200 tisíc hodinách zvukových nahrávok. Podporuje syntézu monotónneho (ako v audioknihách) a emotívneho prejavu (ako v živej konverzácii), ako aj syntézu na základe zadaného prefixu (model syntetizuje pokračovanie textu na základe audioklipu, ktorý obsahuje začiatok reči, pričom zachováva charakteristiky pôvodnej reči, napríklad pokračovaním v šepote).

Na výstupe sa generuje zvuk s frekvenciou vzorkovania 44kHz. Podporuje substitúciu syntetizovaných vložení na simuláciu vystúpení s viacerými rečníkmi alebo na vytváranie interaktívnych dialógov, ako aj pridávanie značiek na ovládanie rýchlosti reči, tónu a vyjadrenia emócií, ako sú radosť, strach, smútok a hnev.

Podľa vyhlásení vývojárov je kvalita generovanej reči porovnateľná alebo prevyšuje všetky verejne dostupné otvorené a komerčné systémy syntézy (v testoch sa porovnáva s ElevenLabs, Cartesia a FishSpeech). Medzi nedostatkami sa spomína vyššia koncentrácia zvukových artefaktov, ako sú kašeľ, zvuk dýchania alebo škrípanie, na začiatku alebo na konci generovaného zvukového materiálu.

• Zonos:
• ElevenLabs:
• Cartesia:
• Fish Speech v1.5:

Na použitie modelu vo svojej systéme je pripravený funkčný obraz pre systém Docker, ktorý obsahuje webové rozhranie na ovládanie syntézy založené na platforme Gradio. Pre začatie práce stačí nainštalovať obraz príkazom „git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up“ a otvoriť stránku „http://localhost:7860“ v prehliadači. Odporúča sa mať GPU NVIDIA minimálne série 3000 s 6 GB videopamäti. Výkon na systéme s GPU RTX 4090 je dvakrát vyšší ako požiadavky potrebné na syntézu v reálnom čase.

Zdroj: opennet.ru