{"id":103848,"date":"2022-04-22T15:36:52","date_gmt":"2022-04-22T13:36:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novyj-vypusk-sistemy-sinteza-rechi-silero"},"modified":"2022-04-22T15:36:52","modified_gmt":"2022-04-22T13:36:52","slug":"novyj-vypusk-sistemy-sinteza-rechi-silero","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/news\/novyj-vypusk-sistemy-sinteza-rechi-silero","title":{"rendered":"Nuovo rilascio del sistema di sintesi vocale Silero","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
\u00c8 disponibile una nuova versione pubblica del sistema di sintesi vocale basato su rete neurale Silero Text-to-Speech. Il progetto \u00e8 principalmente rivolto alla creazione di un sistema moderno di sintesi vocale di alta qualit\u00e0, competitivo con le soluzioni commerciali delle corporation e accessibile a tutti senza l'uso di costosi hardware server. <\/p>\n
I modelli sono distribuiti sotto licenza GNU AGPL, ma l'azienda che sviluppa il progetto non rivela il meccanismo di addestramento dei modelli. Per l'esecuzione, si possono utilizzare PyTorch e framework compatibili con il formato ONNX. La sintesi vocale in Silero si basa sull'uso di algoritmi avanzati di reti neurali modificati e metodi di elaborazione digitale dei segnali. <\/p>\n
Si segnala che il principale problema delle soluzioni moderne basate su reti neurali per la sintesi vocale \u00e8 che spesso sono disponibili solo attraverso soluzioni cloud a pagamento, mentre i prodotti pubblici hanno requisiti hardware elevati, qualit\u00e0 inferiore o non sono prodotti finiti e pronti all'uso. Ad esempio, per l'esecuzione senza problemi di una delle nuove architetture end-to-end di sintesi, VITS, in modalit\u00e0 di sintesi (cio\u00e8 non per l'addestramento dei modelli), sono necessarie schede grafiche con oltre 16 gigabyte di VRAM. <\/p>\n
Nonostante la tendenza attuale, le soluzioni Silero funzionano con successo anche su un singolo thread di un processore Intel x86 con istruzioni AVX2. Su quattro thread, il sintetizzatore consente di generare da 30 a 60 secondi al secondo in modalit\u00e0 di sintesi a 8 kHz, in modalit\u00e0 a 24 kHz sono circa 15-20 secondi, mentre in modalit\u00e0 a 48 kHz siamo intorno ai 10 secondi. <\/p>\n
Caratteristiche principali della nuova versione di Silero: <\/p>\n
\n
La dimensione del modello \u00e8 stata ridotta di 2 volte a 50 megabyte;\n
I modelli sono in grado di fare pause;\n
Disponibili 4 voci di alta qualit\u00e0 in lingua russa (e un numero infinito di casuali). Esempi di pronuncia;\n
I modelli sono diventati 10 volte pi\u00f9 veloci e, ad esempio, in modalit\u00e0 24 kHz consentono di generare fino a 20 secondi di audio al secondo su 4 thread di processore;\n
Tutte le varianti vocali per una lingua sono racchiuse in un unico modello;\n
I modelli possono accettare interi paragrafi di testo in ingresso, sono supportati i tag SSML;\n
La sintesi funziona immediatamente in tre frequenze di campionamento a scelta: 8, 24 e 48 kilohertz;\n
Sono state risolte le «problematiche infantili»: instabilit\u00e0 e omissione di parole;\n
Aggiunti flag per il controllo della messa in accentazione automatica e per l'aggiunta della lettera «\u0451». <\/ul>\n
Attualmente, per l'ultima versione del sintetizzatore, sono disponibili pubblicamente 4 voci in lingua russa, ma in un prossimo futuro verr\u00e0 rilasciata la nuova versione con le seguenti modifiche: <\/p>\n
\n
La velocit\u00e0 di sintesi aumenter\u00e0 di 2-4 volte;\n
Saranno aggiornati i modelli di sintesi per le lingue degli ex paesi sovietici: Calmucchia, Tataro, Uzbeko e Ucraino;\n
Saranno aggiunti modelli per le lingue europee;\n
Saranno aggiunti modelli per le lingue indiane;\n
Saranno aggiunti modelli per la lingua inglese. <\/ul>\n
Alcuni dei problemi sistemici insiti nella sintesi Silero: <\/p>\n
\n
A differenza delle soluzioni di sintesi pi\u00f9 tradizionali, come RHVoice, la sintesi Silero non ha integrazione con SAPI, client facili da installare e integrazioni per Windows e Android;\n
La velocit\u00e0, sebbene sia eccezionalmente alta per questa soluzione, potrebbe non essere sufficiente per la sintesi in tempo reale su processori pi\u00f9 deboli in alta qualit\u00e0;\n
La soluzione per la corretta accentuazione non gestisce gli omografi (parole come zAmok e zamOk) e commette ancora degli errori, ma questa mancanza verr\u00e0 corretta nei futuri rilasci;\n
L'attuale versione del sintetizzatore non funziona su processori privi di istruzioni AVX2 (o \u00e8 necessario modificare specificamente le impostazioni di PyTorch), poich\u00e9 uno dei moduli all'interno del modello \u00e8 quantizzato;\n
L'attuale versione della sintesi ha come unica dipendenza PyTorch, tutto l'insieme \u00e8 «saldato» all'interno del modello e dei pacchetti JIT. I sorgenti dei modelli non vengono pubblicati, cos\u00ec come il codice per l'esecuzione dei modelli da parte dei client PyTorch per altre lingue;\n
Libtorch, disponibile per piattaforme mobili, \u00e8 molto pi\u00f9 ingombrante rispetto all'ONNX runtime, ma la versione ONNX del modello non \u00e8 ancora disponibile. <\/ul>\n