Het ChatTTS-project heeft een model en bijbehorende machine learning-tools voor de synthese van emotionele spraak gepubliceerd. Het ChatTTS-project is speciaal geoptimaliseerd voor gebruik in dialogsystemen, zoals interactieve assistenten, en is gericht op het nabootsen van de eigenschappen van natuurlijke emotionele communicatie. Het ondersteunt interactie met meerdere sprekers en de opbouw van een interactieve dialoog. Prosodische elementen zoals lachen, pauzes en interjecties worden correct gevolgd en gereproduceerd tijdens de synthese.
Bij het trainen van het model zijn ongeveer 40.000 uur spraakopnamen gebruikt (in de niet-publieke versie van het model - 100.000 uur). Volgens de ontwikkelaars overtreft het model in zijn mogelijkheden tot toonvorming alle eerder beschikbare open source spraaksynthetisatoren. Voor het beheren van emoties tijdens de synthese wordt momenteel alleen token-substitutie ondersteund, bijvoorbeeld "[laugh]" voor lachen. Voor de generatie van een opname van 30 seconden is een GPU met 4 GB geheugen vereist. Op de NVIDIA GeForce RTX 4090D bedraagt de generatiesnelheid ongeveer 7 semantische tokens per seconde. Synthese in vrouwelijke en mannelijke stemmen is beschikbaar in het Engels en het Chinees (voor de Russische taal kan het TTS-framework en het XTTS-v2-model worden aanbevolen, die naast synthese ook stemklonering ondersteunen op basis van korte spraakopnamen, inclusief synthese in een andere taal).
Het ChatTTS-model is gepubliceerd onder de CC BY-NC-ND 4.0-licentie (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0), die vrij verspreiden toestaat met vermelding van de auteur, maar het maken van afgeleide werken en gebruik in commerciƫle projecten verbiedt. Daarnaast is ter bescherming tegen gebruik van het model voor frauduleuze en criminele activiteiten, tijdens de training van het model gebruik gemaakt van hoogfrequente ruis en is het maximale niveau van geluidscompressie toegepast, met gebruik van het MP3-formaat.
Bron: opennet.ru
