ChatTTS projekt on avaldanud emotsionaalse kõne sünteesimiseks mõeldud mudeli ja sellega seotud masinõppe tööriistad. ChatTTS projekt on spetsiaalselt optimeeritud kasutamiseks dialoogisüsteemides, nagu interaktiivsed assistendid, ja on suunatud loodusliku emotsionaalse suhtlemise omaduste jäljendamisele. Toetatakse mitme kõneleja interaktiivset dialooge. Sünteesi käigus jälgitakse ja reproduktsiooni täpselt prosodiaalsed elemendid, nagu naer, pause ja interjektsioonid.
Mudeli treenimisel on kasutatud umbes 40 000 tunni jagu kõne salvestusi (mitteavalikus mudelis — 100 000 tundi). Arendajate sõnul ületab mudel oma võimetelt intonatsioonide kujundamisel kõik varasemalt saadaval olnud avatud kõnesünteesi mudelid. Emotsioonide juhimiseks sünteesis toetatakse praegu vaid tokenite asendamist, näiteks "[laugh]" naeru jaoks. 30-sekundilise salvestuse genereerimiseks on vajalik 4 GB mäluga GPU. NVIDIA GeForce RTX 4090D GPU-l on genereerimise kiirus ligikaudu 7 semantilist tokenit sekundis. Toetatakse nii naise kui mehe häält inglise ja hiina keeles (vene keele jaoks võib soovitada TTS raamistikku ja XTTS-v2 mudelit, mis toetavad lisaks sünteesile ka hääle kloonimist lühikese kõnesalvestise alusel, sealhulgas teise keele sünteesi jaoks).
ChatTTS mudel on avaldatud litsentsi CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0) alusel, mis lubab autorit näidates vabalt levitada, kuid keelab tuletatud tööde loomise ja kasutamise kaubandusprojektides. Lisaks on mudeli jaoks, et vältida selle kasutamist pettuste ja kriminaliteedi tegemiseks, koolitusprotsessis kasutatud kõrgsagedusliku müra asendamist ning rakendatud maksimaalset helisurvet, kasutades MP3 formaati.
Allikas: opennet.ru
