Das ChatTTS-Projekt hat ein Modell und zugehörige Werkzeuge für maschinelles Lernen zur Synthese emotionaler Sprache veröffentlicht. Das ChatTTS-Projekt ist speziell für den Einsatz in Dialogsystemen wie interaktiven Helfern optimiert und zielt darauf ab, Eigenschaften natürlicher emotionaler Kommunikation nachzuahmen. Es unterstützt die Interaktion mit mehreren Sprechern und den Aufbau interaktiver Dialoge. Prosodische Elemente wie Lachen, Pausen und Zwischenrufe werden bei der Synthese korrekt verfolgt und wiedergegeben.
Beim Training des Modells wurden etwa 40.000 Stunden Sprachaufnahmen verwendet (im nicht öffentlichen Modell sogar 100.000 Stunden). Laut den Entwicklern übertrifft das Modell in seinen Möglichkeiten zur Intonationsbildung alle zuvor verfügbaren offenen Sprachsynthesemodelle. Derzeit wird für die Emotionserzeugung im Syntheseprozess nur die Token-Einsetzung unterstützt, wie zum Beispiel „[laugh]“ für Lachen. Um eine 30-sekündige Aufnahme zu generieren, ist eine GPU mit 4 GB Speicher erforderlich. Mit der NVIDIA GeForce RTX 4090D beträgt die Generierungsgeschwindigkeit etwa 7 semantische Token pro Sekunde. Es wird die Synthese mit weiblicher und männlicher Stimme in Englisch und Chinesisch unterstützt (für die russische Sprache kann das TTS-Framework und das Modell XTTS-v2 empfohlen werden, das neben der Synthese auch das Klonen von Stimmen aus kurzen Sprachaufnahmen unterstützt, einschließlich der Synthese in einer anderen Sprache).
Das ChatTTS-Modell wurde unter der Lizenz CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0) veröffentlicht, die eine kostenlose Verbreitung bei Nennung des Autors erlaubt, aber die Erstellung abgeleiteter Werke und die Nutzung in kommerziellen Projekten verbietet. Darüber hinaus wurde zur Verhinderung der Verwendung des Modells für betrügerische und kriminelle Aktivitäten bei der Modellschulung hochfrequentes Rauschen eingesetzt und der maximale Kompressionsgrad mithilfe des MP3-Formats aktiviert.
Quelle: opennet.ru
