{"id":103848,"date":"2022-04-22T15:36:52","date_gmt":"2022-04-22T13:36:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novyj-vypusk-sistemy-sinteza-rechi-silero"},"modified":"2022-04-22T15:36:52","modified_gmt":"2022-04-22T13:36:52","slug":"novyj-vypusk-sistemy-sinteza-rechi-silero","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/novyj-vypusk-sistemy-sinteza-rechi-silero","title":{"rendered":"Nieuwe release van het spraakgeneratiesysteem Silero","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Er is een nieuwe openbare versie van het neural netwerk spraak-synthesesysteem Silero Text-to-Speech beschikbaar. Het project is voornamelijk gericht op het cre\u00ebren van een moderne hoge kwaliteit spraak-synthesesysteem dat niet onderdoet voor commerci\u00eble oplossingen van bedrijven en toegankelijk is voor iedereen zonder dure serverhardware. <\/p>\n
De modellen worden verspreid onder de GNU AGPL-licentie, maar het ontwikkelende bedrijf maakt de trainingsmechanismen van de modellen niet openbaar. Je kunt PyTorch en frameworks die het ONNX-formaat ondersteunen gebruiken voor de uitvoering. De spraak synthese in Silero is gebaseerd op het gebruik van diepgaand gemodificeerde moderne neurale netwerkalgoritmen en methoden voor digitale signaalverwerking. <\/p>\n
Het blijkt dat het belangrijkste probleem van moderne neurale netwerkoplossingen voor spraak synthese is dat ze vaak alleen beschikbaar zijn in het kader van betaalde cloudoplossingen, terwijl openbare producten hoge hardware-eisen hebben, lagere kwaliteit of niet volledig zijn en klaar voor gebruik. Bijvoorbeeld, voor een probleemloze uitvoering van een van de nieuwe populaire end-to-end synthese-architecturen, VITS, worden videokaarten vereist met meer dan 16 gigabyte VRAM. <\/p>\n
Ondanks de heersende trend worden Silero-oplossingen succesvol uitgevoerd zelfs op een enkele thread van een Intel x86-processor met AVX2-instructies. Op vier threads maakt de synthese het mogelijk om 30 tot 60 seconden per seconde te synthetiseren in de 8 kHz-modus, 15-20 seconden in de 24 kHz-modus en ongeveer 10 seconden in de 48 kHz-modus. <\/p>\n
Belangrijkste kenmerken van de nieuwe Silero-versie: <\/p>\n
\n
Het modelformaat is verminderd tot de helft, tot 50 megabyte;\n
De modellen zijn in staat om pauzes te maken;\n
Er zijn 4 hoogwaardige stemmen beschikbaar in het Russisch (en een eindeloos aantal willekeurige). Voorbeelden van uitspraak;\n
De modellen zijn 10 keer sneller geworden en kunnen bijvoorbeeld in de 24 kHz-modus tot 20 seconden audio per seconde synthetiseren op 4 threads van de processor;\n
Alle varianten van stemmen voor \u00e9\u00e9n taal zijn verpakt in \u00e9\u00e9n model;\n
De modellen kunnen hele tekstparagrafen als input accepteren, SSML-tags worden ondersteund;\n
De synthese werkt direct in drie gekozen samplefrequenties \u2013 8, 24 en 48 kilohertz;\n
De 'kindproblemen' zijn opgelost: instabiliteit en het overslaan van woorden;\n
Vlaggen zijn toegevoegd voor de controle van automatische klemtoewijzing en het gebruik van de letter '\u0451'. <\/ul>\n
Voor de nieuwste versie van de synthese zijn momenteel 4 stemmen in het Russisch publiekelijk beschikbaar, maar in de nabije toekomst zal de volgende versie worden uitgebracht met de volgende wijzigingen: <\/p>\n
\n
De snelheid van de synthese zal met 2-4 keer toenemen;\n
De synthese-modellen voor de landen van de GOS zullen worden bijgewerkt: Kalmykisch, Tatarisch, Oezbeeks en Oekra\u00efens;\n
Er worden modellen voor Europese talen toegevoegd;\n
Er worden modellen voor Indiase talen toegevoegd;\n
Er worden modellen voor de Engelse taal toegevoegd. <\/ul>\n
Enkele van de systeemfouten die inherent zijn aan de Silero-synthese: <\/p>\n
\n
In tegenstelling tot meer traditionele synthese-oplossingen, zoals RHVoice, heeft de Silero-synthese geen integratie met SAPI, eenvoudig te installeren klanten en integraties voor Windows en Android;\n
De snelheid, hoewel ongekend hoog voor een dergelijke oplossing, kan onvoldoende zijn voor on-the-fly synthese op zwakke processors in hoge kwaliteit;\n
De oplossing voor automatische klemtoons is niet in staat om homografen (woorden zoals zAmok en zamOk) correct te verwerken en maakt nog steeds fouten, maar deze tekortkoming zal worden gecorrigeerd in toekomstige versies;\n
De huidige versie van de synthese werkt niet op processors zonder AVX2-instructies (of het is noodzakelijk om PyTorch-instellingen speciaal aan te passen), omdat een van de modules binnen het model gekwantiseerd is;\n
De huidige versie van de synthese heeft in wezen slechts \u00e9\u00e9n afhankelijkheid: PyTorch, waarbij de hele functionaliteit 'verpakt' is in het model en JIT-pakketten. De modelbronnen worden niet gepubliceerd, noch de code voor het uitvoeren van modellen vanuit PyTorch-clients voor andere talen;\n
Libtorch, beschikbaar voor mobiele platforms, is veel omvangrijker dan de ONNX-runtime, maar de ONNX-versie van het model wordt voorlopig niet aangeboden. <\/ul>\n