A ChatTTS projekt közzétette a modellt és a hozzá kapcsolódó gépi tanulási eszközöket az érzelmi beszéd szintéziséhez. A ChatTTS projekt kifejezetten a párbeszédi rendszerek, például az interaktív asszisztensek számára van optimalizálva, és azzal a céllal készült, hogy az érzelmi kommunikáció természetes tulajdonságait reprodukálja. Támogatja a több beszélő közötti interakciót és az interaktív párbeszéd kiépítését. A prosodikus elemek, mint a nevetés, szünetek és interjekciók helyes nyomon követése és reprodukálása történik a szintézis során.
A modell tréningje során körülbelül 40 ezer órányi beszédfelvételt használtak (a nyilvános modell változatában 100 ezer órát). A fejlesztők állítása szerint a modell az intonációk létrehozásának képességei terén felülmúlja az eddig elérhető összes nyílt forráskódú beszédszintetizálási modellt. Az érzelmek szintézisének kezelésére egyelőre csak a tokenek behelyettesítése támogatott, például a „[laugh]” a nevetéshez. Egy 30 másodperces felvétel létrehozásához 4 GB memóriával rendelkező GPU szükséges. Az NVIDIA GeForce RTX 4090D GPU-n a generálási sebesség körülbelül 7 szemantikus tokent másodpercenként. Támogatott a női és férfi hang szintézise angol és kínai nyelveken (orosz nyelvre ajánlott a TTS keretrendszer és az XTTS-v2 modell, amelyek a szintézis mellett a rövid beszédfelvétel alapján a hangklónozást is támogatják, beleértve a más nyelven történő szintézist is).
A ChatTTS modellt a CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0) licenc alatt tették közzé, amely lehetővé teszi a szabad terjesztést a szerző megjelölésével, de tiltja a származékos munkák létrehozását és a kereskedelmi projektekben való felhasználást. Ezen kívül a modell családszerű és bűncselekmények elkövetésére való használatának megakadályozása érdekében a magas frekvenciájú zaj behelyettesítését alkalmazták a modell képzésekor, és maximális hang tömörítési szintet használtak MP3 formátumban.
Forrás: opennet.ru
