Ettevõte Zyphra avaldas Apache 2.0 litsentsi all esimese beetaversiooni Zonos'i häälesünteesi AI mudelist. Mudeliga koos pakutav tööriistakomplekt toetab hääle kloonimise funktsiooni, mis võimaldab sünteesida kõnet soovitud häälega; mudel vajab selleks vaid 30-sekundilist näite salvestust räägijalt. Toetatakse sünteesi inglise, jaapani, hiina, prantsuse ja saksa keeles.
Mudel hõlmab 1,6 miljardit parameetrit ja on koolitatud 200 000 tunni audiofailide peal. Toetatakse monofoonilise (nagu audioklassides) ja emotsionaalse kõne sünteesi (nagu elavas vestluses), samuti sünteesi ettemääratud prefiksite alusel (toodud on audio salvestus kõne algusest, mille põhjal mudel sünteesib jätku vastavalt antud tekstile, säilitades kõne algsed omadused, näiteks jätkates sosistamist).
Väljundis genereeritakse heli 44 kHz näidistestiga. Toetatakse sünteesitavate elementide asendamist, et simuleerida mitme kõneleja esinemisi või luua interaktiivseid dialooge, samuti siltide lisamine kõne kiirus, toon ja emotsioonide, nagu rõõm, hirm, kurbus ja viha, juhtimiseks.
Arendajate sõnul ei jää genereeritava kõne kvaliteet alla ega ületa kõiki avalikult saadaval olevaid avatud ja kaubanduslikke sünteesi süsteeme (testides tuuakse esile võrdlusi ElevenLabs'i, Cartesia ja FishSpeech'iga). Puudustena märgitakse suuremat helikunsti artefaktide esinemissagedust, nagu köha, hingamishäired või kriuke, genereeritud helimaterjali alguses või lõpus.
- Zonos:
- ElevenLabs:
- Cartesia:
- Fish Speech v1.5:
- ElevenLabs:
Kohalikus süsteemis mudeli kasutamiseks on valmis Docker'i pilt, mis sisaldab veebiliidest sünteesihalduseks, mis on loodud Gradio platvormil. Alustamiseks piisab, kui käivitada pilt käsuga „git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up” ja avada brauseris leht „http://localhost:7860”. Soovitatav on, et süsteemis oleks GPU NVIDIA vähemalt 3000 seeriast ja 6 GB videomälu. RTX 4090 GPU-ga töötamise jõudlus ületab kahekordselt reaalajas sünteesimiseks vajalikud võimalused.
Allikas: opennet.ru
