AI-modellen för tal-syntes Zonos har offentliggjorts, som stödjer röstkloning

Företaget Zyphra har offentliggjort den första betaversionen av AI-modellen för talsyntes Zonos under Apache 2.0-licensen. Tillsammans med modellen erbjuds ett verktyg som stöder röstkloning, vilket gör det möjligt att syntetisera tal med önskad röst. För att återskapa denna röst behöver modellen bara en 30 sekunder lång referensinspelning av talaren. Syntes stöds på engelska, japanska, kinesiska, franska och tyska.

Modellen omfattar 1,6 miljarder parametrar och har tränats på 200 000 timmar ljudinspelningar. Den stöder syntes av monoton tal (som i ljudböcker) och emotionellt tal (som i ett samtal), samt syntes baserat på en angiven prefix (där en ljudinspelning med början av talet ges, vilket gör att modellen kan syntetisera fortsättningen utifrån den angivna texten och återskapa de ursprungliga talegenskaperna, till exempel att fortsätta tala viskande).

Utdata genereras med en samplingsfrekvens på 44 kHz. Syntes av inskjutna delar stöds för att simulera recensioner med flera talare eller bygga interaktiva dialoger, liksom tillägg av etiketter för att styra talhastighet, tonläge och uttryck för känslor som glädje, rädsla, sorg och ilska.

Enligt utvecklarna står den genererade talets kvalitet inte efter eller överträffar alla offentligt tillgängliga öppna och kommersiella syntessystem (i testerna görs en jämförelse med ElevenLabs, Cartesia och FishSpeech). Bland nackdelarna nämns en högre koncentration av ljudartefakter, såsom hosta, andningsljud eller knakningar, i början eller slutet av det genererade ljudmaterialet.

• Zonos:
• ElevenLabs:
• Cartesia:
• Fish Speech v1.5:

För att använda modellen på sitt system har en fullt fungerande bild för Docker förberetts, som inkluderar ett webgränssnitt för att hantera syntesen, baserat på Gradio-plattformen. För att komma igång räcker det att köra kommandot "git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up" och öppna sidan "http://localhost:7860" i webbläsaren. En NVIDIA GPU av minst serie 3000 med 6 GB videominne rekommenderas för driften. Prestanda på ett system med GPU RTX 4090 överstiger dubbelt så mycket som de krav som behövs för realtidsyntes.

Källa: opennet.ru