Публикувана е AI моделът ChatTTS за синтез на реч.

Проект ChatTTS публикува модел и свързания с него инструментариум за машинно обучение за синтез на емоционална реч. Проектът ChatTTS е специално оптимизиран за използване в диалогови системи, като интерактивни помощници, и е насочен към възпроизвеждане на характеристиките на естественото емоционално общуване. Поддържа се взаимодействие с няколко говорещи и цикличен интерактивен диалог. Коректно се проследяват и възпроизвеждат при синтеза просодични елементи, като смях, паузи и междуметия.

При тренирането на модела са използвани около 40 хиляди часа речеви записи (в непубличния вариант на модела — 100 хиляди часа). Според разработчиците, по свои възможности за генериране на интонации, моделът надминава всички предишни налични отворени модели за синтез на реч. За управление на емоциите при синтез в момента се поддържа само замяна на токени, например, «[laugh]» за смях. За генериране на 30-секундна запись е необходим GPU с 4 GB памет. На GPU NVIDIA GeForce RTX 4090D скоростта на генериране е приблизително 7 семантични токена в секунда. Поддържа се синтез с женски и мъжки глас на английски и китайски езици (за руски език може да се препоръча фреймуърк TTS и модел XTTS-v2, които освен синтез подпомагат клонирането на глас по кратка речева запись, включително за синтез на друг език).

Моделът ChatTTS е публикуван под лицензия CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0), допускаща свободно разпространение при указване на автора, но забраняваща създаването на производни произведения и използването в търговски проекти. Освен това, за защита от използването на модела за извършване на измамни и криминални действия, при обучението на модела е използвана замяна на височестотен шум и е ангажиран максимален ниво на компресия на звука, използвайки формат MP3.

Източник: opennet.ru