Projekt ChatTTS je objavil model in s njim povezano orodje za strojno učenje za sintezo čustvenega govora. Projekt ChatTTS je posebej optimiziran za uporabo v dialognih sistemih, kot so interaktivni pomočniki, in je usmerjen na ponavljanje lastnosti naravne čustvene komunikacije. Podprto je sodelovanje z več govorniki in oblikovanje interaktivnega dialoga. Pri sintezi se pravilno spremljajo in reproducirajo prosodični elementi, kot so smeh, pavze in medmeti.
Pri usposabljanju modela je bilo uporabljenih približno 40.000 ur govora (v ne javni različici modela — 100.000 ur). Po izjavi razvijalcev model glede zmožnosti oblikovanja intonacij presega vse prej dostopne odprtokodne modele sinteze govora. Za upravljanje s čustvi pri sintezi trenutno podpira le vstavljanje tokenov, na primer, „[laugh]“ za smeh. Za generacijo 30-sekundnega posnetka potrebujete GPU z 4 GB pomnilnika. Na GPU NVIDIA GeForce RTX 4090D je hitrost generacije približno 7 semantičnih tokenov na sekundo. Podprta je sinteza ženskega in moškega glasu v angleščini in kitajščini (za ruščino je priporočljiv okvir TTS in model XTTS-v2, ki poleg sinteze podpira tudi kloniranje glasu iz kratkega govora, vključno s sintezo v drugem jeziku).
Model ChatTTS je objavljen pod licenco CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0), ki omogoča prosto distribucijo ob navedbi avtorja, a prepoveduje ustvarjanje derivatnih del in uporabo v komercialnih projektih. Poleg tega, da zaščitijo model pred uporabo za nepravilne in kriminalne dejavnosti, je pri usposabljanju modela uporabljena vstavitev visoko frekvenčnega šuma in dosežen maksimalni nivo kompresije zvoka z uporabo formata MP3.
Izvor: opennet.ru
