Projekti ChatTTS publikoi një model dhe instrumente të lidhura për mësimin e automatizuar për sintezën e zërit emocional. Projekti ChatTTS është optimizuar posaçërisht për t'u përdorur në sistemet e dialogut, si ndihmësit interaktivë, dhe ka si qëllim riprodhimin e karakteristikave të komunikimit emocional natyror. Mbështetet ndërveprimi me disa folës dhe ndërtimi i një dialogu interaktiv. Elementet prosodike si qeshjet, ndalesat dhe ndërhyrjet ruhen dhe riprodhohen saktë gjatë sintezës.
Gjatë trajnimit të modelit janë përdorur rreth 40,000 orë regjistrimesh zëri (në versionin jo publik të modelit — 100,000 orë). Sipas zhvilluesve, për nga mundësitë e formimit të intonacioneve, modeli tejkalon të gjitha modelet e hapura të sintezës së zërit që ishin të disponueshme më parë. Aktualisht, për të menaxhuar emocionet gjatë sintezës, mbështetet vetëm vendosja e tokeneve, për shembull, '[laugh]' për qeshjen. Për të gjeneruar një regjistrim 30-sekondësh kërkohet një GPU me 4 GB memorie. Në GPU NVIDIA GeForce RTX 4090D, shpejtësia e gjenerimit është përafërsisht 7 tokene semantike në sekondë. Mbështetet sinteza me zë femëror dhe mashkullor në anglisht dhe në mandarin (për gjuhën ruse rekomandohet framework-u TTS dhe modeli XTTS-v2, i cili përveç sintezës mbështet klonimin e zërit bazuar në një regjistrim të shkurtër zëri, përfshirë për sintezën në një gjuhë tjetër).
Modeli ChatTTS është publikuar nën licencën CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0), e cila lejon shpërndarjen e lirë me caktimin e autorit, por ndalon krijimin e veprave të derivaura dhe përdorimin në projekte komerciale. Përveç kësaj, për të parandaluar përdorimin e modelit për veprime të mashtrimit dhe krimit, gjatë trajnimit të modelit është përdorur vendosja e zhurmës me frekuencë të lartë dhe është angazhuar niveli maksimal i kompresimit të zërit, duke përdorur formatin MP3.
Burimi: opennet.ru
