{"id":103848,"date":"2022-04-22T15:36:52","date_gmt":"2022-04-22T13:36:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novyj-vypusk-sistemy-sinteza-rechi-silero"},"modified":"2022-04-22T15:36:52","modified_gmt":"2022-04-22T13:36:52","slug":"novyj-vypusk-sistemy-sinteza-rechi-silero","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/novyj-vypusk-sistemy-sinteza-rechi-silero","title":{"rendered":"Neue Ver\u00f6ffentlichung des Sprachsynthesesystems Silero","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Eine neue \u00f6ffentliche Version des neuronalen Sprachsynthesesystems Silero Text-to-Speech ist verf\u00fcgbar. Das Projekt zielt in erster Linie darauf ab, ein modernes, hochwertiges Sprachsynthesesystem zu schaffen, das kommerziellen L\u00f6sungen von Unternehmen in Nichts nachsteht und f\u00fcr alle Interessierten ohne teure Serverhardware zug\u00e4nglich ist. <\/p>\n
Die Modelle werden unter der GNU AGPL-Lizenz ver\u00f6ffentlicht, aber die das Projekt entwickelnde Firma gibt keine Informationen \u00fcber den Trainingsmechanismus der Modelle preis. F\u00fcr den Betrieb k\u00f6nnen PyTorch und Frameworks, die das ONNX-Format unterst\u00fctzen, verwendet werden. Die Sprachsynthese in Silero basiert auf der Anwendung tief modifizierter moderner neuronaler Algorithmen und Methoden der digitalen Signalverarbeitung. <\/p>\n
Es wird festgestellt, dass das Hauptproblem moderner neuronaler L\u00f6sungen zur Sprachsynthese darin besteht, dass sie oft nur in kostenpflichtigen Cloud-L\u00f6sungen verf\u00fcgbar sind, w\u00e4hrend \u00f6ffentliche Produkte hohe Anforderungen an die Hardware stellen, eine geringere Qualit\u00e4t bieten oder nicht voll funktionsf\u00e4hig und bereit f\u00fcr die Nutzung sind. Zum Beispiel ben\u00f6tigen einige der neuen beliebten End-to-End-Synthese-Architekturen wie VITS im Synthesemodus (das hei\u00dft, nicht zum Trainieren der Modelle) Grafikkarten mit mehr als 16 Gigabyte VRAM f\u00fcr einen reibungslosen Betrieb. <\/p>\n
Entgegen dem geltenden Trend funktionieren die Silero-L\u00f6sungen erfolgreich sogar auf einem x86-Prozessor von Intel mit 1 Thread und AVX2-Instruktionen. Bei 4 Threads des Prozessors erm\u00f6glicht die Synthese 30 bis 60 Sekunden pro Sekunde im 8-kHz-Synthesemodus, im 24-kHz-Modus - 15-20 Sekunden, und im 48-kHz-Modus - etwa 10 Sekunden. <\/p>\n
Hauptmerkmale der neuen Version von Silero: <\/p>\n
\n
Die Modellgr\u00f6\u00dfe wurde um das Zweifache auf 50 Megabyte reduziert;\n
Die Modelle k\u00f6nnen Pausen machen;\n
Es stehen 4 hochwertige Stimmen in russischer Sprache zur Verf\u00fcgung (und eine unendliche Anzahl von zuf\u00e4lligen). Beispiele f\u00fcr die Aussprache;\n
Die Modelle sind zehnmal schneller geworden und erm\u00f6glichen beispielsweise im 24-kHz-Modus die Synthese von bis zu 20 Sekunden Audio pro Sekunde auf 4 Threads des Prozessors;\n
Alle Varianten der Stimmen f\u00fcr eine Sprache sind in einem Modell verpackt;\n
Die Modelle k\u00f6nnen ganze Abs\u00e4tze von Text als Eingabe akzeptieren und unterst\u00fctzen SSML-Tags;\n
Die Synthese funktioniert sofort in drei w\u00e4hlbaren Abtastraten - 8, 24 und 48 Kilohertz;\n
Die 'Kinderprobleme' wurden gel\u00f6st: Instabilit\u00e4t und Wortauslassungen;\n
Es wurden Flags zur Kontrolle der automatischen Betonung und der Verwendung des Buchstabens '\u0451' hinzugef\u00fcgt. <\/ul>\n
Derzeit sind f\u00fcr die neueste Version der Synthese 4 Stimmen in russischer Sprache \u00f6ffentlich verf\u00fcgbar, aber in naher Zukunft wird die n\u00e4chste Version mit folgenden \u00c4nderungen ver\u00f6ffentlicht: <\/p>\n
\n
Die Synthesegeschwindigkeit wird um das 2-4-Fache steigen;\n
Die Synthesemodelle f\u00fcr die Sprachen der GUS werden aktualisiert: Kalmykisch, Tatarisch, Usbekisch und Ukrainisch;\n
Es werden Modelle f\u00fcr europ\u00e4ische Sprachen hinzugef\u00fcgt;\n
Es werden Modelle f\u00fcr indische Sprachen hinzugef\u00fcgt;\n
Es werden Modelle f\u00fcr die englische Sprache hinzugef\u00fcgt. <\/ul>\n
Einige der systemischen Probleme, die der Synthese Silero eigen sind: <\/p>\n
\n
Im Gegensatz zu traditionelleren L\u00f6sungen f\u00fcr die Synthese, wie RHVoice, hat die Synthese Silero keine Integration mit SAPI, einfache Installationsclients und Integrationen f\u00fcr Windows und Android;\n
Die Geschwindigkeit, obwohl sie f\u00fcr eine solche L\u00f6sung beispiellos hoch ist, k\u00f6nnte f\u00fcr die Echtzeitsynthese auf schwachen Prozessoren in hoher Qualit\u00e4t unzureichend sein;\n
Die L\u00f6sung zur automatischen Betonungsplatzierung verarbeitet keine Homographen (W\u00f6rter wie zAmok und zamOk) und macht nach wie vor Fehler, aber dieses Manko wird in zuk\u00fcnftigen Versionen behoben werden;\n
Die aktuelle Version der Synthese funktioniert nicht auf Prozessoren ohne AVX2-Instruktionen (oder es m\u00fcssen spezielle Einstellungen in PyTorch ver\u00e4ndert werden), da eines der Module innerhalb des Modells quantisiert ist;\n
Die aktuelle Version der Synthese hat im Wesentlichen nur die Abh\u00e4ngigkeit von PyTorch, die gesamte Technik ist «versteckt» innerhalb des Modells und der JIT-Pakete. Die Quellcodes der Modelle werden nicht ver\u00f6ffentlicht, ebenso wie der Code zur Ausf\u00fchrung der Modelle unter Clients von PyTorch f\u00fcr andere Sprachen;\n
Libtorch, das f\u00fcr mobile Plattformen verf\u00fcgbar ist, ist viel schwerer als der ONNX-Laufzeit, aber die ONNX-Version des Modells wird derzeit nicht bereitgestellt. <\/ul>\n