Modeli i sintetizimit të zërit Zonos, mbështetur nga klonimi i zërit, është publikuar

Kompania Zyphra publikoi versionin beta të modelit AI për sintezën e zërit Zonos, nën licencën Apache 2.0. Seti i mjeteve shoqëruese ofron funksionin e klonimit të zërit, i cili lejon sintezën e zërit të dëshiruar, për të cilin modeli kërkon vetëm një regjistrim referencë zëri 30 sekondash. Sinteza mbështetet në anglisht, japonezisht, kinezisht, frëngjisht dhe gjermanisht.

Modeli përfshin 1.6 miliard parametra dhe është trajnuar mbi 200 mijë orë regjistrimesh audio. Mbështetet sinteza e zërit monotone (si në audiobooks) dhe e emocionale (si në një bisedë të drejtpërdrejtë), si dhe sinteza e bazuar në një prefiks të caktuar (regjistrimi audio me fillimin e fjalimit, mbi të cilin modeli sintezë vazhdimin sipas tekstit të dhënë, duke ruajtur karakteristikat origjinale të zërit, për shembull duke vazhduar të flasë me zë të ulët).

Në dalje, gjenerohet një tingull me frekuencë mostrimi 44kHz. Mbështetet zëvendësimi i insertit të sintezës për të simuluar paraqitjet me disa folës ose për të ndërtuar biseda interaktive, si dhe shtimi i etiketave për të menaxhuar shpejtësinë e fjalës, tonalitetin dhe shprehjen e emocioneve si gëzim, frikë, trishtim dhe inat.

Sipas zhvilluesve, ndërsa cilësia e zërit të gjeneruar, modeli nuk është Inferior ose tejkalon të gjitha sistemet publike dhe komerciale të sintezës së zërit (në teste përfshihet krahasimi me ElevenLabs, Cartesia dhe FishSpeech). Si disavantazh, vërehet një përqendrim më i lartë i artefakteve të tingullit, si kollitje, zhurma e frymëmarrjes ose krekosje, në fillim ose në fund të materialit të formuar audio.

• Zonos:
• ElevenLabs:
• Cartesia:
• Fish Speech v1.5:

Për përdorimin e modelit në sistemin tuaj, është përgatitur një imazh gati për të punuar për sistemin Docker, i cili përmban një ndërfaqe web për menaxhimin e sintezës, të bazuar në platformën Gradio. Për të filluar, mjafton të instaloni imazhin me komandën "git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up" dhe të hapni në shfletues faqen "http://localhost:7860". Rekomandohet të keni një GPU NVIDIA, të paktën të serisë 3000 me 6 GB memorje grafike. Performanca në një sistem me GPU RTX 4090 është dy herë më e madhe se kapacitetet e nevojshme për sintezën në kohë reale.

Burimi: opennet.ru