L'azienda Zyphra ha pubblicato sotto licenza Apache 2.0 la prima versione beta del modello AI per la sintesi vocale Zonos. Insieme al modello, è fornito un toolkit che supporta la funzione di cloning della voce, consentendo di sintetizzare la voce desiderata; per riprodurla, il modello ha bisogno di un campione di registrazione di 30 secondi della voce dell'oratore. La sintesi è supportata in inglese, giapponese, cinese, francese e tedesco.
Il modello comprende 1,6 miliardi di parametri ed è stato addestrato su 200.000 ore di registrazioni audio. Supporta la sintesi di voce monotona (come nelle audiolibro) e di voce emozionale (come in una conversazione dal vivo), oltre alla sintesi basata su un prefisso fornito (viene fornita una registrazione audio con l'inizio del discorso, sulla base della quale il modello sintetizza la continuazione del testo indicato, riproducendo le caratteristiche originali della voce, ad esempio continuando a parlare sussurrando).
L'uscita genera suoni con una frequenza di campionamento di 44 kHz. È supportata la sostituzione di inserimenti sintetizzati per simulare performance con più oratori o costruire dialoghi interattivi, oltre all'aggiunta di etichette per controllare la velocità della parola, il tono e l'espressione di emozioni come gioia, paura, tristezza e rabbia.
Secondo quanto dichiarato dagli sviluppatori, la qualità della voce generata dal modello non è inferiore o supera tutti i sistemi di sintesi pubblicamente disponibili, sia open source che commerciali (nei test è incluso un confronto con ElevenLabs, Cartesia e FishSpeech). Tra gli svantaggi si segnala una maggiore concentrazione di artefatti sonori, come tosse, suoni di respiro o scricchiolii, all'inizio o alla fine del materiale sonoro generato.
- Zonos:
- ElevenLabs:
- Cartesia:
- Fish Speech v1.5:
- ElevenLabs:
Per utilizzare il modello sul proprio sistema, è disponibile un'immagine pronta all'uso per il sistema Docker, che include un'interfaccia web per gestire la sintesi, basata sulla piattaforma Gradio. Per iniziare, basta installare l'immagine con il comando «git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up» e aprire nel browser la pagina «http://localhost:7860». Si consiglia di avere una GPU NVIDIA di almeno serie 3000 con 6 GB di memoria video. Le prestazioni su un sistema con GPU RTX 4090 sono il doppio di quelle necessarie per la sintesi in tempo reale.
Fonte: opennet.ru
