Достъпен е нов публичен вариант на невромрежовата система за синтез на говор Silero Text-to-Speech. Проектът е насочен предимно към създаването на съвременна висококачествена система за синтез на говор, която не отстъпва на търговските решения от корпорации и е достъпна за всички желаещи без необходимост от скъпо сървърно оборудване.
Моделите се разпространяват под лиценза GNU AGPL, но компанията, развиваща проекта, не разкрива механизма за обучение на моделите. За стартиране може да се използва PyTorch и рамки с поддръжка на формата ONNX. Синтезът на говор в Silero е основан на използването на дълбоко модифицирани съвременни невромрежови алгоритми и методи за цифрова обработка на сигнали.
Отбелязва се, че основният проблем на съвременните невромрежови решения за синтез на говор е, че често са достъпни само в рамките на платени облачни решения, докато публичните продукти имат високи изисквания към оборудването, по-ниско качество или не са завършени и готови за използване. Например, за безпроблемно стартиране на една от новите популярни архитектури end-to-end синтез, VITS, в режим на синтез (т.е. не за обучение на модели) са необходими видеокарти с повече от 16 гигабайта VRAM.
Въпреки установения тренд, решенията Silero успешно се стартират дори на 1 поток x86 процесор Intel с инструкции AVX2. На 4 потока процесор, синтезът позволява синтезиране от 30 до 60 секунди в секунда в режим 8 kHz, в режим 24 kHz — 15-20 сек., а в режим 48 kHz — около 10 сек.
Основни характеристики на новото издание на Silero:
- Размерът на модела е намален два пъти до 50 мегабайта;
- Моделите могат да правят паузи;
- Достъпни са 4 висококачествени гласа на руски език (и безкраен брой случайни). Примери за произношение;
- Моделите станаха 10 пъти по-бързи и, например, в режим 24 kHz позволяват синтезиране до 20 секунди аудио в секунда на 4 потока процесор;
- Всички варианти на гласовете за един език са опаковани в един модел;
- Моделите могат да приемат цели абзаци текст на входа, поддържат се SSML тагове;
- Синтезът работи веднага в три честоти на дискретизация по избор — 8, 24 и 48 килохерца;
- Решени са "детските проблеми": нестабилност и пропуски в думите;
- Добавени са флагове за контрол на автоматичното поставяне на ударения и за поставяне на буквата „ё“.
В момента за най-новата версия на синтеза публично са налични 4 гласа на руски език, но в скоро време ще бъде публикувана следваща версия с още промени:
- Скоростта на синтеза ще нарасне с 2-4 пъти;
- Моделите за синтез на езици от ОНД ще бъдат обновени: калмикски, татарски, узбекски и украински;
- Модели за европейски езици ще бъдат добавени;
- Модели за индийски езици ще бъдат добавени;
- Модели за английски език ще бъдат добавени.
Някои от системните проблеми, присъщи на синтеза Silero:
- В отличие от по-традиционните решения за синтез, като RHVoice, синтезът Silero не разполага с интеграция със SAPI, лесни за инсталиране клиенти и интеграции за Windows и Android;
- Скоростта, въпреки че е безпрецедентно висока за такова решение, може да е недостатъчна за синтез в реално време на слаби процесори при високо качество;
- Решението за автоматично поставяне на ударения не обработва омографи (думи като замОк и зАмок) и все още прави грешки, но този недостатък ще бъде коригиран в бъдещи версии;
- Настоящата версия на синтеза не работи на процесори без AVX2 инструкции (или е необходимо специално да се променят настройките на PyTorch), тъй като един от модулите в модела е квантизиран;
- Настоящата версия на синтеза по същество има единствена зависимост PyTorch, цялата информация е "вградена" вътре в модела и JIT пакети. Изходният код на моделите не се публикува, както и кодът за стартиране на модели от клиенти на PyTorch за други езици;
- Libtorch, наличен за мобилни платформи, е значително по-обемист от ONNX runtime, но ONNX версията на модела все още не е предоставена.
Източник: opennet.ru
