K dispozícii je nové verejné vydanie neurónového systému syntézy reči Silero Text-to-Speech. Projekt sa predovšetkým zameriava na vytvorenie modernej, vysoko kvalitnej syntézy reči, ktorá sa vyrovná komerčným riešeniam od korporácií a je prístupná pre všetkých bez potreby drahého serverového vybavenia.
Modely sú distribuované pod licenciou GNU AGPL, no rozvíjajúca sa spoločnosť neodhaľuje mechanizmus trénovania modelov. Na spustenie je možné použiť PyTorch a rámce so podporou formátu ONNX. Syntéza reči v Silero je založená na hlbokých modifikovaných moderných neurónových algoritmoch a metódach digitálneho spracovania signálov.
V súčasnosti je hlavným problémom moderných neurónových riešení pre syntézu reči to, že sú často k dispozícii iba v rámci platených cloudových riešení a verejné produkty majú vysoké nároky na hardvér, nižšiu kvalitu alebo nie sú dokončené a pripravené na použitie. Napríklad na bezproblémové spustenie jednej z nových populárnych architektúr end-to-end syntézy, VITS, v režime syntézy (to znamená, že nie je určená na trénovanie modelov), sú potrebné grafické karty s viac ako 16 gigabajtmi VRAM.
Napriek existujúcemu trendu sa riešenia Silero úspešne spúšťajú aj na 1 vlákne x86 procesora Intel s inštrukciami AVX2. Na 4 vláknach procesora syntéza umožňuje syntetizovať od 30 do 60 sekúnd za sekundu v režime syntézy 8 kHz, v režime 24 kHz - 15-20 sekúnd, a v režime 48 kHz - približne 10 sekúnd.
Hlavné funkcie nového vydania Silero:
- Veľkosť modelu bola znížená na polovicu, na 50 megabajtov;
- Modely dokážu robiť pauzy;
- K dispozícii sú 4 vysoko kvalitné hlasy v ruštine (a nekonečné množstvo náhodných). Príklady výslovnosti;
- Modely sa stali 10-krát rýchlejšie a napríklad v režime 24 kHz umožňujú syntetizovať až 20 sekúnd audia za sekundu na 4 vláknach procesora;
- Všetky varianty hlasov pre jeden jazyk sú zabalené do jedného modelu;
- Modely dokážu prijímať celé odseky textu ako vstup, podporujú sa SSML značky;
- Syntéza funguje súčasne na troch zvolených vzorkovacích frekvenciách - 8, 24 a 48 kilohertzov;
- Riešené boli "deti problémy": nestabilita a vynechávanie slov;
- Boli pridané vlajky na kontrolu automatického pridávania prízvukov a pridávania písmena "ё".
Pre najnovšiu verziu syntézy sú v súčasnosti verejne dostupné 4 hlasy v ruštine, ale čoskoro bude vydaná ďalšia verzia s nasledujúcimi zmenami:
- Rýchlosť syntézy sa zvýši ešte 2-4 krát;
- Budú aktualizované modely syntézy pre jazyky SNSh: Kalmucký, Tatar, Uzbecký a Ukrajinský;
- Budú pridané modely pre európske jazyky;
- Budú pridané modely pre indické jazyky;
- Budú pridané modely pre anglický jazyk.
Niektoré z problémov systému, ktoré sú vlastné syntéze Silero:
- Na rozdiel od tradičnejších riešení pre syntézu, ako je RHVoice, syntéza Silero nemá integráciu s SAPI, jednoducho inštalovateľných klientov a integrácií pre Windows a Android;
- Rýchlosť, aj keď je bezprecedentne vysoká pre takéto riešenie, môže byť nedostatočná pre syntézu v reálnom čase na slabých procesoroch vo vysokej kvalite;
- Riešenie pre automatické pridávanie prízvukov nezvláda homografy (slová ako zámok a zamok) a stále robí chyby, ale táto nedorobená časť bude opravená v budúcich vydaniach;
- Súčasná verzia syntézy nefunguje na procesoroch bez inštrukcií AVX2 (alebo je potrebné špecificky meniť nastavenia PyTorch), pretože jeden z modulov vnútri modelu je kvantizovaný;
- Súčasná verzia syntézy má v podstate jedinú závislosť PyTorch, celý obsah je "zabudovaný" vo vnútri modelu a JIT balíčkov. Zdrojové kódy modelov nie sú zverejnené, rovnako ako kód na spustenie modelov cez klientov PyTorch pre iné jazyky;
- Libtorch, dostupný pre mobilné platformy, je oveľa objemnejší než ONNX runtime, ale verzia modelu na ONNX zatiaľ nie je k dispozícii.
Zdroj: opennet.ru
