Er is een nieuwe openbare versie van het neural netwerk spraak-synthesesysteem Silero Text-to-Speech beschikbaar. Het project is voornamelijk gericht op het creëren van een moderne hoge kwaliteit spraak-synthesesysteem dat niet onderdoet voor commerciële oplossingen van bedrijven en toegankelijk is voor iedereen zonder dure serverhardware.
De modellen worden verspreid onder de GNU AGPL-licentie, maar het ontwikkelende bedrijf maakt de trainingsmechanismen van de modellen niet openbaar. Je kunt PyTorch en frameworks die het ONNX-formaat ondersteunen gebruiken voor de uitvoering. De spraak synthese in Silero is gebaseerd op het gebruik van diepgaand gemodificeerde moderne neurale netwerkalgoritmen en methoden voor digitale signaalverwerking.
Het blijkt dat het belangrijkste probleem van moderne neurale netwerkoplossingen voor spraak synthese is dat ze vaak alleen beschikbaar zijn in het kader van betaalde cloudoplossingen, terwijl openbare producten hoge hardware-eisen hebben, lagere kwaliteit of niet volledig zijn en klaar voor gebruik. Bijvoorbeeld, voor een probleemloze uitvoering van een van de nieuwe populaire end-to-end synthese-architecturen, VITS, worden videokaarten vereist met meer dan 16 gigabyte VRAM.
Tegen de heersende trend in, worden Silero-oplossingen succesvol uitgevoerd, zelfs op 1 thread van een Intel x86-processor met AVX2-instructies. Op 4 threads stelt de synthese in staat om van 30 tot 60 seconden spraak per seconde te synthetiseren in de 8 kHz-modus, in de 24 kHz-modus 15-20 sec., en in de 48 kHz-modus ongeveer 10 sec.
Belangrijkste kenmerken van de nieuwe Silero-versie:
- Het modelformaat is verminderd tot de helft, tot 50 megabyte;
- De modellen zijn in staat om pauzes te maken;
- Er zijn 4 hoogwaardige stemmen beschikbaar in het Russisch (en een eindeloos aantal willekeurige). Voorbeelden van uitspraak;
- De modellen zijn 10 keer sneller geworden en kunnen bijvoorbeeld in de 24 kHz-modus tot 20 seconden audio per seconde synthetiseren op 4 threads van de processor;
- Alle varianten van stemmen voor één taal zijn verpakt in één model;
- De modellen kunnen hele tekstparagrafen als input accepteren, SSML-tags worden ondersteund;
- De synthese werkt onmiddellijk in drie gekozen samplefrequenties — 8, 24 en 48 kilohertz;
- De ‘kindproblemen’ zijn opgelost: instabiliteit en het overslaan van woorden;
- Vlaggen zijn toegevoegd voor de controle van automatische accentuering en voor het toevoegen van de letter ‘ё’.
Voor de nieuwste versie van de synthese zijn momenteel 4 stemmen in het Russisch publiekelijk beschikbaar, maar in de nabije toekomst zal de volgende versie worden uitgebracht met de volgende wijzigingen:
- De snelheid van de synthese zal met 2-4 keer toenemen;
- De synthese-modellen voor de landen van de GOS zullen worden bijgewerkt: Kalmykisch, Tatarisch, Oezbeeks en Oekraïens;
- Er worden modellen voor Europese talen toegevoegd;
- Er worden modellen voor Indiase talen toegevoegd;
- Er worden modellen voor de Engelse taal toegevoegd.
Enkele van de systeemfouten die inherent zijn aan de Silero-synthese:
- In tegenstelling tot meer traditionele synthese-oplossingen, zoals RHVoice, heeft de Silero-synthese geen integratie met SAPI, eenvoudig te installeren klanten en integraties voor Windows en Android;
- De snelheid, hoewel ongekend hoog voor een dergelijke oplossing, kan onvoldoende zijn voor on-the-fly synthese op zwakke processors in hoge kwaliteit;
- De oplossing voor automatische klemtoons is niet in staat om homografen (woorden zoals zAmok en zamOk) correct te verwerken en maakt nog steeds fouten, maar deze tekortkoming zal worden gecorrigeerd in toekomstige versies;
- De huidige versie van de synthese werkt niet op processors zonder AVX2-instructies (of het is noodzakelijk om PyTorch-instellingen speciaal aan te passen), omdat een van de modules binnen het model gekwantiseerd is;
- De huidige versie van de synthese heeft in wezen slechts één afhankelijkheid, namelijk PyTorch; alle componenten zijn 'ingebed' in het model en JIT-pakketten. De bronbestanden van de modellen worden niet gepubliceerd, net als de code om modellen van PyTorch-clienten voor andere talen uit te voeren;
- Libtorch, beschikbaar voor mobiele platforms, is veel omvangrijker dan de ONNX-runtime, maar de ONNX-versie van het model wordt voorlopig niet aangeboden.
Bron: opennet.ru
