Avalikustatud on Zonos'i kõnesüntesi AI mudel, mis toetab hääle kloonimist.

Zyphra ettevõte avaldas Apache 2.0 litsentsi all esimesed beetaversioonid Zonos kõnesünteesi AI mudeli. Koos mudeliga pakutav tööriistakomplekt toetab hääle kloonimise funktsiooni, mis võimaldab sünteesida kõnet soovitud häälega, milleks piisab mudelile 30-sekundilisest kõneproovist. Toetatakse sünteesi inglise, jaapani, hiina, prantsuse ja saksa keeles.

Mudeli parametrite arv ulatub 1.6 miljardini ja see on koolitatud 200 000 tunni jooksul salvestatud helifailide põhjal. Toetatakse monotoonset sünteesi (nagu audiaraamatutes) ja emotsionaalset kõnet (nagu elavas vestluses), samuti sünteesi antud prefiksi alusel (esitatakse helisalvestus kõne algusest, mille alusel mudel sünteesib jätku vastavalt esitatud tekstile, säilitades algse hääletuja omadused, näiteks vaikne rääkimine).

Väljundiks genereeritakse heli 44 kHz näidiseid. Toetatakse sünteesitavatesse lõikudesse sisestuste asendamist, et simuleerida esinemisi mitme esinejaga või luua interaktiivseid dialooge, samuti emotsioonide, nagu rõõm, hirm, kurbus ja viha, häältekontrolli kiirus ja toon.

Arendajate sõnul ei jää genereeritud kõne kvaliteedilt alla ega ületa kõiki avalikult kergesti kätte saadavaid avatud ja kommertssüsteeme (katsetes on toodud võrdlusi ElevenLabs'i, Cartesia ja FishSpeech'i vahel). Puudustena mainitakse heliraamides, nagu köha, hingamisheli või krigised, suuremat kontsentratsiooni genereeritud helimaterjali alguses või lõpus.

• Zonos:
• ElevenLabs:
• Cartesia:
• Fish Speech v1.5:

Mudeli kasutamiseks oma süsteemis on ette valmistatud töövalmis pilt Docker'i jaoks, mis sisaldab hallatav veebiliidest sünteesi juhtimiseks, mis põhineb platvormil Gradio. Töötamise alustamiseks piisab, kui käitada käsk «git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up» ja avada brauseris leht «http://localhost:7860». Soovitatav on, et süsteemis oleks vähemalt NVIDIA 3000 seeria GPU, millel on 6 GB videomälu. RTX 4090 GPU-ga süsteemis on jõudlus kaks korda kõrgem kui reaalajas sünteesi jaoks vajalikud võimalused.

Allikas: opennet.ru