Zyphra ti tu itusilẹ beta akọkọ ti awoṣe isomọ ọrọ ọrọ Zonos rẹ labẹ iwe-aṣẹ Apache 2.0 kan. Ohun elo irinṣẹ ti a nṣe pẹlu awoṣe n ṣe atilẹyin iṣẹ ti oniye ohun, eyiti o fun laaye awoṣe lati ṣajọpọ ọrọ ni ohun ti o fẹ, fun eyiti o to lati pese igbasilẹ itọkasi 30-keji ti ọrọ agbọrọsọ. Atokọ ni Gẹẹsi, Japanese, Kannada, Faranse ati Jẹmánì jẹ atilẹyin.
Awoṣe naa ni wiwa awọn iṣiro 1.6 bilionu ati pe a ti kọ ẹkọ lori awọn wakati 200 ẹgbẹrun ti awọn gbigbasilẹ ohun. Isọpọ ti monotonous (bii ninu awọn iwe ohun ohun) ati ọrọ ẹdun (bii ninu ibaraẹnisọrọ laaye) ni atilẹyin, bakanna bi iṣelọpọ ti o da lori asọtẹlẹ ti a fun (igbasilẹ ohun pẹlu ibẹrẹ ọrọ ti pese, lori ipilẹ eyiti awoṣe ṣe akopọ itesiwaju ti ọrọ ti a sọ pato, tun ṣe awọn abuda atilẹba ti ọrọ, fun apẹẹrẹ, tẹsiwaju lati sọrọ ni whisper).
Ijade n ṣe agbejade ohun pẹlu igbohunsafẹfẹ iṣapẹẹrẹ ti 44kHz. Atilẹyin ni a pese fun fifi sii awọn ifibọ ti a ṣepọ lati ṣe afiwe awọn ọrọ agbohunsoke-pupọ tabi kọ awọn ibaraẹnisọrọ ibaraẹnisọrọ, bakannaa fifi awọn akole kun lati ṣakoso oṣuwọn ọrọ, ipolowo, ati ikosile ti awọn ẹdun gẹgẹbi ayọ, iberu, ibanujẹ, ati ibinu.
Gẹgẹbi awọn olupilẹṣẹ, didara ọrọ ti ipilẹṣẹ jẹ dọgba si tabi ga julọ si gbogbo ṣiṣi gbangba ti o wa ati awọn eto iṣelọpọ iṣowo (awọn idanwo naa pese lafiwe pẹlu ElevenLabs, Cartesia ati FishSpeech). Lara awọn aila-nfani, ifọkansi ti o ga julọ ti awọn ohun-ọṣọ ohun, gẹgẹbi iwúkọẹjẹ, awọn ohun mimi tabi creaking, ni a ṣe akiyesi ni ibẹrẹ tabi opin ohun elo ohun ti ipilẹṣẹ.
- Awọn agbegbe:
- Labs mọkanla:
- Cartesia:
- Ọrọ Ẹja v1.5:
Lati lo awoṣe lori ẹrọ rẹ, aworan ti o ṣetan lati lo fun eto Docker ti pese sile, eyiti o pẹlu wiwo wẹẹbu kan fun ṣiṣakoso iṣelọpọ, da lori pẹpẹ Gradio. Lati bẹrẹ, fi aworan naa sori ẹrọ ni lilo aṣẹ “git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker ṣajọ soke" ati ṣii oju-iwe "http://localhost:7860" ninu ẹrọ aṣawakiri. Fun išišẹ, o niyanju lati ni o kere kan NVIDIA GPU ti jara 3000 pẹlu 6 GB ti iranti fidio. RTX 4090 GPU ṣe ifijiṣẹ lẹmeji iṣẹ ṣiṣe ti o nilo fun iṣelọpọ akoko gidi.
orisun: opennet.ru
