Je k dispozici nová veřejná verze systému syntezy řeči Silero Text-to-Speech. Projekt se primárně zaměřuje na vytvoření moderní, vysoce kvalitní syntezátorové technologie, která se vyrovná komerčním řešením od velkých korporací a bude dostupná všem bez nutnosti používat drahé serverové vybavení.
Modely jsou distribuovány pod licencí GNU AGPL, avšak společnost vyvíjející projekt nezveřejňuje mechanismus trénování modelů. Pro spuštění lze použít PyTorch a rámce s podporou formátu ONNX. Synteza řeči v Silero je založena na použití hluboce modifikovaných moderních algoritmů neuronových sítí a metod digitálního zpracování signálů.
Hlavním problémem současných řešení neuronových sítí pro syntézu řeči je, že jsou často dostupná pouze v rámci placených cloudových řešení, zatímco veřejné produkty mají vysoké požadavky na hardware, nižší kvalitu nebo nejsou dokončenými a hotovými produkty. Například pro bezproblémové spuštění jedné z nových populárních architektur end-to-end syntézy, VITS, v režimu syntézy (tj. ne pro trénink modelů) jsou potřebné grafické karty s více než 16 gigabajty VRAM.
Na rozdíl od stávajícího trendu lze řešení Silero úspěšně spustit i na jediném vláknu x86 procesoru Intel s instrukcemi AVX2. V režimu 8 kHz syntez umožňuje syntetizovat 30 až 60 sekund za sekundu na 4 vláknech procesoru, v režimu 24 kHz to je 15-20 sekund, a v režimu 48 kHz přibližně 10 sekund.
Hlavní rysy nové verze Silero:
- Velikost modelu byla snížena na polovinu na 50 megabajtů;
- Modely umí provádět pauzy;
- K dispozici jsou 4 vysoce kvalitní hlasy v ruštině (a nekonečné množství náhodných). Příklady výslovnosti;
- Modely jsou desetkrát rychlejší a například v režimu 24 kHz umožňují syntetizovat až 20 sekund audia za sekundu na 4 vláknech procesoru;
- Všechny varianty hlasů pro jeden jazyk jsou zabaleny do jednoho modelu;
- Modely mohou přijímat celé odstavce textu jako vstup, podporují se SSML značky;
- Syntezátor pracuje ve třech vysokých vzorkovacích frekvencích na výběr — 8, 24 a 48 kilohertz;
- Byly odstraněny 'dětské problémy': nestabilita a vynechávání slov;
- Byly přidány možnosti pro kontrolu automatického umisťování přízvuků a zařazení písmene 'ё'.
V současnosti jsou pro nejnovější verzi syntézy veřejně k dispozici 4 hlasy v ruštině, ale v blízké budoucnosti bude vydána další verze s následujícími změnami:
- Rychlost syntézy se zvýší ještě 2-4krát;
- Budou aktualizovány modely syntézy pro jazyky SNS: kalmycký, tatarský, uzbecký a ukrajinský;
- Budou přidány modely pro evropské jazyky;
- Budou přidány modely pro indické jazyky;
- Budou přidány modely pro anglický jazyk.
Některé z systémových problémů, které se týkají syntézy Silero:
- Na rozdíl od tradičnějších řešení pro syntézu, jako je RHVoice, syntéza Silero nemá integraci s SAPI, jednoduché klienty pro instalaci a integrace pro Windows a Android;
- Rychlost, ačkoli je bezprecedentně vysoká pro takové řešení, může být nedostatečná pro syntézu v reálném čase na slabých procesorech ve vysoké kvalitě;
- Řešení pro automatické umisťování přízvuků nezpracovává homografy (slova jako zámok a zamok) a stále dělá chyby, ale tato chyba bude napravena v budoucích verzích;
- Současná verze syntézy nefunguje na procesorech bez instrukcí AVX2 (nebo je nutné speciálně měnit nastavení PyTorch), protože jeden z modulů uvnitř modelu je kvantizován;
- Současná verze syntézy má v podstatě jedinou závislost PyTorch, veškeré komponenty jsou "zapečetěny" uvnitř modelu a JIT balíčků. Zdrojové kódy modelů nejsou publikovány, stejně jako kód pro spuštění modelů z klientů PyTorch pro jiné jazyky;
- Libtorch dostupný pro mobilní platformy je mnohem objemnější než ONNX runtime, ale ONNX verze modelu zatím není k dispozici.
Zdroj: opennet.ru
