Virksomheden Zyphra har offentliggjort den første beta-version af AI-modellen til talesyntese Zonos under Apache 2.0-licensen. Det medfølgende værktøj understøtter stemmekloningsfunktionen, som gør det muligt at syntetisere tale med en ønsket stemme, for hvilken modellen kun har brug for en 30-sekunders referenceoptagelse af taleren. Der supports syntese på engelsk, japansk, kinesisk, fransk og tysk.
Modellen dækker 1,6 milliarder parametre og er trænet på 200.000 timer af lydoptagelser. Der supports syntese af monoton tale (som i lydbøger) og følelsesmæssig tale (som i en samtale), samt syntese baseret på et angivet præfiks (en lydoptagelse med begyndelsen af talen gives, hvorefter modellen syntetiserer fortsættelsen baseret på den angivne tekst og reproducerer de oprindelige taleegenskaber, for eksempel ved at tale hviskende).
Udenfor genereres lyden med en samplingfrekvens på 44 kHz. Der supports indsættelse af syntetiserede segmenter til at simulere optrædener med flere talere eller skabe interaktive dialoger, samt tilføjelse af etiketter til kontrol af tales hastighed, tonehøjde og udtryk for følelser som glæde, frygt, sorg og vrede.
Ifølge udviklerne er kvaliteten af den genererede tale ikke ringere end eller overgår alle offentligt tilgængelige åbne og kommercielle syntesesystemer (i testene gives der sammenligning med ElevenLabs, Cartesia og FishSpeech). Ulemperne inkluderer en højere koncentration af lydartefakter, såsom hosten, åndedrætslyd eller knirkelyde, i begyndelsen eller slutningen af det genererede lydmateriale.
- Zonos:
- ElevenLabs:
- Cartesia:
- Fish Speech v1.5:
- ElevenLabs:
For at bruge modellen på sit system er der forberedt et klart arbejdsbillede til Docker-systemet, der inkluderer et webinterface til at styre syntesen, baseret på Gradio-platformen. For at komme i gang er det nok at installere billedet med kommandoen "git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up" og åbne siden "http://localhost:7860" i browseren. Det anbefales at have et NVIDIA GPU af minimum serie 3000 med 6 GB videohukommelse. Ydeevnen på et system med en GPU RTX 4090 er dobbelt så høj som de krav, der er nødvendige for syntese i realtid.
Kilde: opennet.ru
