Zyphra hefur gefið út fyrstu beta útgáfuna af Zonos talgervillu gervigreindargerð sinni undir Apache 2.0 leyfi. Verkfærakistan sem líkanið býður upp á styður raddklónunaraðgerðina, sem gerir líkaninu kleift að búa til tal í þeirri rödd sem óskað er eftir, en fyrir það nægir að útvega 30 sekúndna viðmiðunarupptöku af tali ræðumannsins. Samsetning á ensku, japönsku, kínversku, frönsku og þýsku er studd.
Líkanið nær yfir 1.6 milljarða breytur og var þjálfað á 200 þúsund klukkustundum af hljóðupptökum. Stuðningur er við myndun eintóns (eins og í hljóðbókum) og tilfinningaþrungnu tali (eins og í beinni samtali) sem og myndun byggða á tilteknu forskeytinu (hljóðupptaka með upphafi talsins er til staðar, á grundvelli þess myndar líkanið framhald tilgreinds texta, endurskapar upprunalegu einkenni talsins, til dæmis, heldur áfram að tala í hljóði).
Úttakið myndar hljóð með sýnatökutíðni 44kHz. Stuðningur er við að setja inn samsett innlegg til að líkja eftir ræðum með mörgum hátalara eða byggja upp gagnvirkar samræður, auk þess að bæta við merkjum til að stjórna talhraða, tónhæð og tjáningu tilfinninga eins og gleði, ótta, sorg og reiði.
Samkvæmt þróunaraðilum eru gæði myndaðs talsins jöfn eða betri en öll opinberlega tiltæk opin og viðskiptaleg efnafræðikerfi (prófin gefa samanburð við ElevenLabs, Cartesia og FishSpeech). Meðal ókostanna er meiri styrkur hljóðgripa, eins og hósti, öndunarhljóð eða brak, í upphafi eða lok hljóðefnisins sem myndast.
- Zonos:
- Eleven Labs:
- Cartesia:
- Fish Speech v1.5:
Til að nota líkanið á kerfinu þínu hefur verið útbúin tilbúin til notkunar mynd fyrir Docker kerfið, sem inniheldur vefviðmót til að stjórna myndun, byggt á Gradio pallinum. Til að byrja skaltu einfaldlega setja upp myndina með því að nota skipunina „git clone https://github.com/Zyphra/Zonos.git; geisladiskur Zonos; docker compose up" og opnaðu síðuna "http://localhost:7860" í vafranum. Til notkunar er mælt með að hafa að minnsta kosti NVIDIA GPU af 3000 seríunni með 6 GB af myndminni. RTX 4090 GPU skilar tvöföldum afköstum sem þarf fyrir rauntíma myndun.
Heimild: opennet.ru
