Modeli AI për sintezën e zërit Zonos është publikuar, e cila përkrah klonimin e zërit

Kompania Zyphra publikoi versionin e saj të parë beta të modelit AI për sintezën e zërit Zonos nën licencën Apache 2.0. Vegla e ofruar me modelin mbështet funksionin e klonimit të zërit, duke lejuar që zëri të sintetizohet me zërin e dëshiruar, për të cilin mjafton të ofrohet një regjistrim xhest 30-sekondësh të zërit të folësit. Mbështetet sinteza në anglisht, japonezisht, kinezisht, francezisht dhe gjermanisht.

Modeli mbulon 1.6 miliard parametra dhe është trajnuar me 200 mijë orë regjistrimesh audio. Mbështetet sinteza e zërit monotonic (si në audiopërshtatje) dhe të zërit emocional (si në biseda të drejtpërdrejta), si dhe sinteza në bazë të një prefiksi të caktuar (ofrohet një regjistrim audio me fillimin e zërit, mbi të cilin modeli sintetizon vazhdimin sipas tekstit të caktuar, duke ruajtur karakteristikat origjinale të zërit, për shembull, duke vazhduar të flasë me zë të ulët).

Në daljen e saj, gjenerohet zë me frekuencë kampionimi 44kHz. Mbështetet zëvendësimi i inserteve të sintetizuara për të simuluar performanca me shumë folës ose për ta ndërtuar dialogje interaktive, si dhe shtimi i etiketave për të kontrolluar shpejtësinë e zërit, tonalitetin dhe shprehjen e emocioneve, si gëzim, frikë, trishtim dhe zemërim.

Sipas zhvilluesve, në cilësinë e zërit të gjeneruar, modeli nuk është më i dobët ose tejkalon të gjitha sistemet publike dhe komerciale të sintezës që janë në dispozicion (në testime ofrohet një krahasim me ElevenLabs, Cartesia dhe FishSpeech). Si disavantazh, shënohet një përqendrim më i lartë i artefakteve audio, si kollitjet, zhurma e frymëmarrjes ose zhurmat, në fillim ose në fund të materialeve tona audio.

• Zonos:
• ElevenLabs:
• Cartesia:
• Fish Speech v1.5:

Për të përdorur modelin në sistemin tuaj, është përgatitur një imazh i gatshëm për sistemin Docker, i cili përfshin një ndërfaqe web për menaxhimin e sintezës, e bazuar në platformën Gradio. Për të filluar punën, është e mjaftueshme të instaloni imazhin me komandën «git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up» dhe të hapni në shfletues faqen «http://localhost:7860». Për funksionimin e tij, rekomandohet që të keni një GPU NVIDIA, të paktën e serisë 3000 me 6 GB memorie grafike. Performanca e punës në një sistem me GPU RTX 4090 është dy herë më e lartë se kapacitetet e nevojshme për sintezën në kohë reale.

Burimi: opennet.ru