Projekt ChatTTS objavio je model i pripadajuće alate za strojno učenje za sintezu emocionalnog govora. Projekt ChatTTS posebno je optimiziran za korištenje u dijaloškim sustavima, poput interaktivnih pomoćnika, i usmjeren je na reproduciranje svojstava prirodne emocionalne komunikacije. Podržava interakciju s više govornika i izgradnju interaktivnog dijaloga. Prosodijski elementi, poput smijeha, pauza i uzvika, pravilno se prate i reproduciraju tijekom sinteze.
Tijekom obuke modela korišteno je oko 40 tisuća sati snimaka govora (u ne javnoj verziji modela — 100 tisuća sati). Prema tvrdnjama developera, prema svojim mogućnostima oblikovanja intonacija model nadmašuje sve ranije dostupne otvorene modele sinteze govora. Za upravljanje emocijama tijekom sinteze trenutno se podržava samo zamjena oznaka, primjerice, „[laugh]“ za smijeh. Za generiranje 30-sekundne snimke potrebno je GPU s 4 GB memorije. Na GPU NVIDIA GeForce RTX 4090D brzina generiranja iznosi otprilike 7 semantičkih oznaka u sekundi. Podržava sintezu ženskim i muškim glasom na engleskom i kineskom jeziku (za ruski jezik preporuča se okruženje TTS i model XTTS-v2, koji osim sinteze podržavaju kloniranje glasa prema kratkom snimku govora, uključujući za sintezu na drugom jeziku).
Model ChatTTS objavljen je pod licencom CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0), koja dopušta slobodno širenje uz navedenu autora, ali zabranjuje izradu derivata i korištenje u komercijalnim projektima. Osim toga, kako bi se zaštitio od korištenja modela za izvršenje prijevarnih i kriminalnih radnji, tijekom obuke modela korištena je zamjena visoko frekventnog šuma i angažirana je maksimalna razina kompresije zvuka, koristeći MP3 format.
Izvor: opennet.ru
