Нова версия на системата за синтез на реч Silero

Налична е нова публична версия на системата за синтез на реч от невронна мрежа Silero Text-to-Speech. Проектът е насочен основно към създаване на модерна висококачествена система за синтез на реч, която не е по-ниска от търговските решения на корпорациите и е достъпна за всички без използването на скъпо сървърно оборудване.

Моделите се разпространяват под лиценза GNU AGPL, но компанията, разработваща проекта, не разкрива механизма за обучение на модели. За да стартирате, можете да използвате PyTorch и рамки, които поддържат формата ONNX. Синтезът на реч в Silero се основава на използването на дълбоко модифицирани съвременни алгоритми за невронни мрежи и методи за цифрова обработка на сигнали.

Отбелязва се, че основният проблем на съвременните решения за невронни мрежи за синтез на реч е, че те често са достъпни само като част от платени облачни решения, а публичните продукти имат високи хардуерни изисквания, по-ниско качество или не са завършени и готови за използване продукти . Например, за безпроблемно стартиране на една от новите популярни архитектури за синтез от край до край, VITS, в режим на синтез (тоест, не за обучение на модел), са необходими видеокарти с повече от 16 гигабайта VRAM.

Противно на текущата тенденция, решенията на Silero работят успешно дори на 1 x86 нишка на процесор Intel с инструкции AVX2. На 4 процесорни нишки синтезът ви позволява да синтезирате от 30 до 60 секунди в секунда в режим на синтез 8 kHz, в режим 24 kHz - 15-20 секунди и в режим 48 kHz - около 10 секунди.

Основни характеристики на новото издание на Silero:

• Размерът на модела е намален 2 пъти до 50 мегабайта;
• Моделите знаят как да правят пауза;
• Налични са 4 висококачествени гласа на руски (и безкраен брой произволни). Примери за произношение;
• Моделите са станали 10 пъти по-бързи и например в режим 24 kHz могат да синтезират до 20 секунди аудио в секунда на 4 процесорни нишки;
• Всички гласови опции за един език са пакетирани в един модел;
• Моделите могат да приемат цели параграфи от текст като вход, поддържат се SSML тагове;
• Синтезът работи веднага в три честоти на семплиране, от които можете да избирате - 8, 24 и 48 килохерца;
• Решени "детски проблеми": нестабилност и пропускане на думи;
• Добавени са флагове за управление на автоматично поставяне на ударения и поставяне на буквата "ё".

Сега за най-новата версия на синтеза, 4 гласа на руски са публично достъпни, но следващата версия ще бъде публикувана в близко бъдеще със следните промени:

• Скоростта на синтез ще се увеличи с още 2-4 пъти;
• Ще бъдат актуализирани моделите за синтез на езиците на ОНД: калмик, татар, узбек и украински;
• Ще бъдат добавени модели за европейски езици;
• Ще бъдат добавени модели за индийски езици;
• Ще бъдат добавени модели за английски език.

Някои от системните повреди, присъщи на синтеза на Silero, са:

• За разлика от по-традиционните решения за синтез като RHVoice, синтезът на Silero няма SAPI интеграция, лесни за инсталиране клиенти и интеграции с Windows и Android;
• Скоростта, макар и безпрецедентно висока за такова решение, може да не е достатъчна за синтез в движение на слаби процесори с високо качество;
• Автоматичното решение за подчертаване не обработва омографи (думи като замък и замък) и все още прави грешки, но този недостатък ще бъде коригиран в бъдещи версии;
• Текущата версия на синтеза не работи на процесори без AVX2 инструкции (или трябва специално да промените настройките на PyTorch), тъй като един от модулите в модела е квантован;
• Текущата версия на синтеза по същество има единствената зависимост от PyTorch, целият пълнеж е „свързан“ вътре в модела и JIT пакетите. Източниците на модела не се публикуват, както и кодът за стартиране на модели от PyTorch клиенти за други езици;
• Libtorch, достъпен за мобилни платформи, е много по-тромав от времето за изпълнение на ONNX, но ONNX версията на модела все още не е предоставена.

Източник: opennet.ru