Proiectul ChatTTS a publicat un model și un set de instrumente legate de învățarea automată pentru sinteza vorbirii emoționale. Proiectul ChatTTS este optimizat special pentru utilizarea în sisteme de dialog, cum ar fi asistenții interactivi, și are ca scop reproducerea caracteristicilor comunicării emoționale naturale. Este sprijinită interacțiunea cu mai mulți vorbitori și construirea de dialoguri interactive. Elementele prosodice, cum ar fi râsul, pauzele și interjecțiile, sunt corect urmărite și reproduse în timpul sintezei.
Pentru antrenarea modelului au fost folosite aproximativ 40 de mii de ore de înregistrări vocale (în varianta nepublică a modelului - 100 de mii de ore). Conform declarațiilor dezvoltatorilor, modelul depășește toate modelele de sinteză vocală deschise disponibile anterior în ceea ce privește capacitatea de a forma intonații. În prezent, pentru gestionarea emoțiilor în sinteză, este suportată doar înlocuirea token-urilor, de exemplu, „[laugh]” pentru râs. Pentru a genera o înregistrare de 30 de secunde, este necesar un GPU cu 4 GB de memorie. Pe GPU NVIDIA GeForce RTX 4090D, viteza de generare este de aproximativ 7 token-uri semantice pe secundă. Sinteza este disponibilă cu voce feminină și masculină în limbile engleză și chineză (pentru limba română se poate recomanda cadrul TTS și modelul XTTS-v2, care, pe lângă sinteză, sprijină clonarea vocii pe baza unei înregistrări scurte de vorbire, inclusiv pentru sinteză în altă limbă).
Modelul ChatTTS este publicat sub licența CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0), care permite distribuția liberă cu menționarea autorului, dar interzice crearea de lucrări derivate și utilizarea în proiecte comerciale. În plus, pentru a proteja modelul de utilizarea sa în activități frauduloase și criminale, la antrenarea modelului a fost folosită o înlocuire a zgomotului de înaltă frecvență și a fost utilizat nivelul maxim de compresie a sunetului, folosind formatul MP3.
Sursa: opennet.ro
