Le projet ChatTTS a publié un modèle et des outils associés d'apprentissage automatique pour la synthèse de la parole émotionnelle. Le projet ChatTTS est spécialement optimisé pour être utilisé dans des systèmes dialogiques, tels que des assistants interactifs, et vise à reproduire les caractéristiques de la communication émotionnelle naturelle. L'interaction avec plusieurs locuteurs et la construction de dialogues interactifs sont prises en charge. Les éléments prosodiques, tels que le rire, les pauses et les interjections, sont correctement suivis et reproduits lors de la synthèse.
Entraînée sur environ 40 000 heures d'enregistrements vocaux (dans la version non publique du modèle — 100 000 heures), la modèle dépasse selon les développeurs toutes les précédents modèles de synthèse vocale disponibles. Pour contrôler les émotions lors de la synthèse, seule la substitution de jetons est actuellement supportée, par exemple, «[laugh]» pour le rire. Un GPU avec 4 Go de mémoire est requis pour générer un enregistrement de 30 secondes. Sur GPU NVIDIA GeForce RTX 4090D, la vitesse de génération est d'environ 7 jetons sémantiques par seconde. La synthèse est disponible avec une voix masculine et féminine en anglais et en chinois (pour le russe, le framework TTS et le modèle XTTS-v2 sont recommandés, qui, en plus de la synthèse, prennent en charge le clonage de voix à partir d'un court enregistrement vocal, y compris pour la synthèse dans une autre langue).
Le modèle ChatTTS est publié sous la licence CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0), permettant la distribution gratuite avec mention de l'auteur, mais interdisant la création d'œuvres dérivées et l'utilisation dans des projets commerciaux. De plus, pour prévenir l'utilisation du modèle à des fins frauduleuses et criminelles, un bruit de haute fréquence a été inséré pendant l'entraînement du modèle et le niveau maximal de compression sonore a été appliqué en utilisant le format MP3.
Source : opennet.ru
