Projekt ChatTTS opublikował model oraz związane z nim narzędzia do uczenia maszynowego do syntezy emocjonalnej mowy. Projekt ChatTTS został specjalnie zoptymalizowany do zastosowania w systemach dialogowych, takich jak interaktywne asystenty, i ma na celu odzwierciedlenie cech naturalnej emocjonalnej komunikacji. Wspierane jest współdziałanie z wieloma mówcami oraz budowanie interaktywnego dialogu. Przy syntezie prawidłowo śledzone i odwzorowywane są prozodyczne elementy, takie jak śmiech, przerwy i wstawki.
Podczas trenowania modelu wykorzystano około 40 tysięcy godzin nagrań mowy (w niepublicznej wersji modelu — 100 tysięcy godzin). Zdaniem twórców model ten w zakresie formowania intonacji przewyższa wszystkie wcześniej dostępne otwarte modele syntezy mowy. W tej chwili do kontrolowania emocji podczas syntezy wspierane jest jedynie wstawianie tokenów, na przykład „[laugh]” dla śmiechu. Do wygenerowania 30-sekundowego nagrania wymagany jest GPU z 4 GB pamięci. Na GPU NVIDIA GeForce RTX 4090D prędkość generacji wynosi około 7 semantycznych tokenów na sekundę. Wspierana jest synteza głosem damskim i męskim w języku angielskim oraz chińskim (dla języka rosyjskiego można polecić framework TTS oraz model XTTS-v2, które oprócz syntezy wspierają klonowanie głosu na podstawie krótkiego nagrania mowy, także do syntezy w innym języku).
Model ChatTTS został opublikowany na licencji CC BY-NC-ND 4.0 (Creative Commons Uznanie Autorstwa-Użycie Niekomercyjne-Bez Przeróbek 4.0), która zezwala na dowolne rozpowszechnianie z podaniem autora, ale zabrania tworzenia prac pochodnych oraz użycia w projektach komercyjnych. Ponadto, w celu ochrony przed użyciem modelu do oszukańczych i przestępczych działań w trakcie szkolenia użyto wstawiania szumów wysokoczęstotliwościowych oraz zastosowano maksymalny poziom kompresji dźwięku, korzystając z formatu MP3.
Źródło: opennet.ru
