Новият брой на системата за синтез на реч Silero

Наличен е нов публичен релиз на невронната система за синтез на реч Silero Text-to-Speech. Проектът е насочен основно към създаването на съвременна высококачествена система за синтез на реч, която не отстъпва на комерсиалните решения от корпорации и е достъпна за всички желаещи без необходимост от скъпо сървърно оборудване.

Моделите се разпространяват под лиценз GNU AGPL, но развиващата проекта компания не разкрива механизма за обучение на моделите. За стартиране можете да използвате PyTorch и фреймворкове, които поддържат формата ONNX. Синтезът на реч в Silero се основава на използването на дълбоко модифицирани съвременни невронни алгоритми и методи за цифрова обработка на сигнали.

Отбелязва се, че основният проблем на съвременните невронни решения за синтез на реч е, че често те са достъпни само в рамките на платени облачни решения, а публичните продукти имат високи изисквания към оборудването, по-ниско качество или не са завършени и готови за употреба продукти. Например, за безпроблемното стартиране на една от новите популярни архитектури за end-to-end синтез, VITS, в режим на синтез (т.е. не за обучение на моделите) са необходими видеокарти с повече от 16 гигабайта VRAM.

Въпреки утвърдилата се тенденция, решенията на Silero успешно работят дори на 1 поток x86 процесор Intel с инструкции AVX2. На 4 потока, синтезът позволява синтезиране на от 30 до 60 секунди в секунда в режим на синтез 8 kHz, в режим 24 kHz - 15-20 сек., а в режим 48 kHz - около 10 сек.

Основни характеристики на новия релиз на Silero:

• Размерът на модела е намален двойно до 50 мегабайта;
• Моделите умеят да правят паузи;
• Достъпни са 4 висококачествени гласа на руски език (и безкраен брой случайни). Примери за произношение;
• Моделите станаха 10 пъти по-бързи и, например, в режим 24 kHz позволяват синтезиране на до 20 секунди аудио в секунда на 4 потока процесор;
• Всички варианти на гласовете за един език са опаковани в един модел;
• Моделите могат да приемат цели параграфи текст на вход, поддържат се SSML тагове;
• Синтезът работи веднага в три честоти на дискретизация по избор - 8, 24 и 48 килохерца;
• Решени са „детските проблеми“: нестабилност и пропускане на думи;
• Добавени са флагове за контрол на автоматичното поставяне на ударения и поставянето на буквата „ё“.

Сега за най-новата версия на синтеза публично са налични 4 гласа на руски език, но в близко бъдеще ще бъде публикувана следващата версия със следните промени:

• Скоростта на синтеза ще нарасне с още 2-4 пъти;
• Ще бъдат актуализирани моделите за синтез на езици от ОНД: Калмикски, Татарски, Узбекски и Украински;
• Ще бъдат добавени модели за европейски езици;
• Ще бъдат добавени модели за индийски езици;
• Ще бъдат добавени модели за английския език.

Някои от системните пробиви, присъщи за синтеза Silero:

• В разлика от по-традиционните решения за синтез, като RHVoice, синтезът Silero няма интеграция с SAPI, лесно инсталирани клиенти и интеграции за Windows и Android;
• Скоростта, макар и безпрецедентно висока за такова решение, може да е недостатъчна за синтез в реално време на слаби процесори с високо качество;
• Решението за автоматично поставяне на ударения не обработва омографи (думи от типа зАмок и замОк) и все още прави грешки, но този недостатък ще бъде поправен в бъдещи версии;
• Текущата версия на синтеза не работи на процесори без инструкции AVX2 (или е необходимо специално да се променят настройките на PyTorch), тъй като един от модулите в модела е квантизован;
• Текущата версия на синтеза по същество има единствена зависимост PyTorch, всичката логика е "вградена" вътре в модела и JIT-пакетите. Изходниците на моделите не се публикуват, както и кодът за стартиране на моделите от клиенти на PyTorch за други езици;
• Libtorch, достъпен за мобилни платформи, е много по-тежък от ONNX runtime, но ONNX версията на модела все още не се предоставя.

Източник: opennet.ru