Byla vydána AI-model syntézy řeči Zonos s podporou klonování hlasu

Společnost Zyphra zveřejnila první beta verzi AI modelu pro syntézu řeči Zonos pod licencí Apache 2.0. Společně s modelem nabízí nástroje, které podporují funkci klonování hlasu, umožňující syntetizovat řeč požadovaným hlasem, přičemž k reprodukci stačí poskytnout 30 sekundový vzorový záznam řeči mluvčího. Podporována je syntéza v angličtině, japonštině, čínštině, francouzštině a němčině.

Model zahrnuje 1,6 miliardy parametrů a byl vyškolen na 200 tisících hodin audiozáznamů. Podporována je syntéza monotónní (jako v audioknihách) a emocionální řeči (jako v živém rozhovoru), stejně jako syntéza na základě zadaného prefixu (poskytnutý audiozáznam s začátkem řeči, na jehož základě model syntetizuje pokračování dle zadaného textu, přičemž reprodukuje původní charakteristiky řeči, například pokračuje tiše).

Na výstupu se generuje zvuk s vzorkovací frekvencí 44 kHz. Podporována je substituce syntetizovaných vložek pro simulaci vystoupení s několika mluvčími nebo pro vytváření interaktivních dialogů, stejně jako přidávání značek pro řízení rychlosti řeči, tonalitou a vyjadřováním emocí, jako je radost, strach, smutek a hněv.

Podle tvrzení vývojářů kvalita generované řeči modelu se vyrovná nebo překoná všechny veřejně dostupné otevřené a komerční systémy syntézy (v testech je uvedeno srovnání s ElevenLabs, Cartesia a FishSpeech). Mezi nedostatky je uvedena vyšší koncentrace zvukových artefaktů, jako jsou kašel, zvuk dýchání nebo skřípání, na začátku nebo na konci vytvářeného zvukového materiálu.

• Zonos:
• ElevenLabs:
• Cartesia:
• Fish Speech v1.5:

Pro použití modelu ve vaší soustavě je připraven funkční obraz pro systém Docker, který obsahuje webové rozhraní pro řízení syntézy, založené na platformě Gradio. Pro zahájení práce stačí nainstalovat obraz příkazem „git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up“ a otevřít v prohlížeči stránku „http://localhost:7860“. Doporučuje se mít GPU NVIDIA alespoň série 3000 s 6 GB grafické paměti. Výkon na systému s GPU RTX 4090 je dvakrát vyšší než požadované možnosti pro syntézu v reálném čase.

Zdroj: opennet.ru