Megjelent a Zonos AI hanggeneráló modell, amely támogatja a hangklónozást

A Zyphra közzétette az Apache 2.0 licenc alatt az Zonos beszédszintetizáló AI-modell első bétaverzióját. A modellel együtt biztosítottnak a hangklónozó eszköz támogatja a kívánt hangon való beszédszintézist, amelyhez a modellnek mindössze 30 másodperces referenciafelvételre van szüksége. Támogatott a szintézis angol, japán, kínai, francia és német nyelven.

A modell 1,6 milliárd paramétert ölel fel, és 200 ezer óra audiomásolatból tanult. Támogatja a monoton (mint az audiókönyvekben) és az érzelmi beszéd (mint a valódi beszélgetés) szintézisét, valamint a megadott prefix alapú szintézist (az eljárás során a beszéd nyitó részét hallgathatja, amely alapján a modell az adott szöveghez igazítva folytatja a beszédet, megőrizve az eredeti jellemzőket, például suttogva folytatva a beszédet).

A kimeneten 44 kHz-es mintavételi frekvenciájú hangot generálnak. Támogatja a szintetizált betétek beszúrását a több beszélővel való előadások vagy interaktív párbeszédek szimulálására, valamint címkék hozzáadását a beszéd sebességének, hangnemének és érzelmeinek, például örömnek, félelemnek, szomorúságnak és dühnek az irányítására.

A fejlesztők állítása szerint a generált beszéd minősége nem marad el vagy meghaladja az összes nyilvánosan elérhető, nyílt és kereskedelmi szintetizáló rendszert (a tesztekben összehasonlítják az ElevenLabs, Cartesia és FishSpeech modellekkel). Hátrányként említik meg a hangos műhelyek, például köhögés, légzés hangja vagy nyikorgás magasabb koncentrációját a képző hanganyag elején vagy végén.

• Zonos:
• ElevenLabs:
• Cartesia:
• Fish Speech v1.5:

A modell használatára a rendszerhez készen álló Docker kép készült, amely tartalmaz egy webes felületet a szintézis irányítására, amely a Gradio platformon alapul. A munka megkezdéséhez elegendő a képet telepíteni a következő parancs futtatásával: „git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up”, majd megnyitni a böngészőben a „http://localhost:7860” oldalt. A működéshez javasolt egy minimum 3000-es sorozatú NVIDIA GPU 6 GB videomemóriával. Az RTX 4090 GPU-val rendelkező rendszeren mért teljesítmény kétszerese a valós idejű szintézishez szükséges teljesítménynek.

Forrás: opennet.ru