{"id":103848,"date":"2022-04-22T15:36:52","date_gmt":"2022-04-22T13:36:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novyj-vypusk-sistemy-sinteza-rechi-silero"},"modified":"2022-04-22T15:36:52","modified_gmt":"2022-04-22T13:36:52","slug":"novyj-vypusk-sistemy-sinteza-rechi-silero","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/news\/novyj-vypusk-sistemy-sinteza-rechi-silero","title":{"rendered":"A Silero besz\u00e9dszintetiz\u00e1l\u00f3 rendszer \u00faj kiad\u00e1sa","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
El\u00e9rhet\u0151 egy \u00faj nyilv\u00e1nos kiad\u00e1s a Silero Text-to-Speech neur\u00e1lis besz\u00e9dszintetiz\u00e1l\u00f3 rendszerb\u0151l. A projekt els\u0151dlegesen egy modern, kiv\u00e1l\u00f3 min\u0151s\u00e9g\u0171 besz\u00e9dszintetiz\u00e1l\u00f3 rendszer l\u00e9trehoz\u00e1s\u00e1ra \u00f6sszpontos\u00edt, amely nem marad el a v\u00e1llalatok kereskedelmi megold\u00e1sait\u00f3l, \u00e9s mindenki sz\u00e1m\u00e1ra el\u00e9rhet\u0151 dr\u00e1ga szerverhardver haszn\u00e1lata n\u00e9lk\u00fcl. <\/p>\n
A modellek a GNU AGPL licenc alatt terjednek, de a projektet fejleszt\u0151 t\u00e1rsas\u00e1g nem teszi k\u00f6zz\u00e9 a modellek oktat\u00e1si mechanizmus\u00e1t. A PyTorch \u00e9s az ONNX form\u00e1tumot t\u00e1mogat\u00f3 keretrendszerek haszn\u00e1lat\u00e1ra van lehet\u0151s\u00e9g. A Silero besz\u00e9dszint\u00e9zise m\u00e9lyen m\u00f3dos\u00edtott modern neur\u00e1lis algoritmusok \u00e9s digit\u00e1lis jelfeldolgoz\u00e1si m\u00f3dszerek haszn\u00e1lat\u00e1n alapul. <\/p>\n
Megjegyzik, hogy a modern neur\u00e1lis megold\u00e1sok besz\u00e9dszint\u00e9zishez kapcsol\u00f3d\u00f3 f\u0151 probl\u00e9m\u00e1ja az, hogy gyakran csak fizet\u0151s felh\u0151megold\u00e1sok keret\u00e9ben \u00e9rhet\u0151k el, m\u00edg a nyilv\u00e1nos term\u00e9kek magas hardverig\u00e9nnyel b\u00edrnak, alacsonyabb min\u0151s\u00e9g\u0171ek, vagy nem befejezett, haszn\u00e1latra k\u00e9sz term\u00e9kek. P\u00e9ld\u00e1ul egy n\u00e9pszer\u0171 \u00faj end-to-end szintetiz\u00e1l\u00f3 architekt\u00fara, a VITS z\u00f6kken\u0151mentes futtat\u00e1s\u00e1hoz (teh\u00e1t nem a modellek betan\u00edt\u00e1s\u00e1ra) olyan videok\u00e1rty\u00e1k sz\u00fcks\u00e9gesek, amelyek t\u00f6bb mint 16 gigab\u00e1jt VRAM-mal rendelkeznek. <\/p>\n
A Silero megold\u00e1sok 1 sz\u00e1las Intel x86 processzorokkal AVX2 utas\u00edt\u00e1sokkal is sikeresen futtathat\u00f3k, ellent\u00e9tben a megszokott trenddel. N\u00e9gy sz\u00e1lon a szint\u00e9zis lehet\u0151v\u00e9 teszi, hogy 30-60 m\u00e1sodpercnyi anyagot szintetiz\u00e1ljunk m\u00e1sodpercenk\u00e9nt 8 kHz-es \u00fczemm\u00f3dban, 24 kHz-en 15-20 m\u00e1sodperc, m\u00edg 48 kHz eset\u00e9n k\u00f6r\u00fclbel\u00fcl 10 m\u00e1sodperc alatt. <\/p>\n
A Silero \u00faj kiad\u00e1s\u00e1nak f\u0151bb jellemz\u0151i: <\/p>\n
\n
A modell m\u00e9rete 2 megab\u00e1jt, 50 megab\u00e1jtra cs\u00f6kkent.\n
A modellek k\u00e9pesek sz\u00fcneteket beiktatni.\n
4 magas min\u0151s\u00e9g\u0171 hang \u00e9rhet\u0151 el orosz nyelven (\u00e9s v\u00e9gtelen mennyis\u00e9g\u0171 esetleges hang is). P\u00e9ld\u00e1k a kiejt\u00e9sre:\n
Megoldott\u00e1k a \u201egyermekbetegs\u00e9geket\u201d: a stabilit\u00e1s \u00e9s a szavak kihagy\u00e1sa probl\u00e9m\u00e1it;\n
\u00dajdons\u00e1gk\u00e9nt bevezet\u00e9sre ker\u00fcltek a flagok, amelyek a hangs\u00faly automatikus be\u00e1ll\u00edt\u00e1s\u00e1t \u00e9s az \u201e\u0451\u201d bet\u0171s szavak \u00edr\u00e1s\u00e1t vez\u00e9rlik. <\/ul>\n
Jelenleg a leg\u00fajabb verzi\u00f3hoz n\u00e9gy orosz nyelv\u0171 hang \u00e9rhet\u0151 el nyilv\u00e1nosan, de a k\u00f6zelj\u00f6v\u0151ben megjelenik a k\u00f6vetkez\u0151 verzi\u00f3 a k\u00f6vetkez\u0151 m\u00f3dos\u00edt\u00e1sokkal: <\/p>\n
\n
A szint\u00e9zis sebess\u00e9ge 2-4-szeres\u00e9re n\u00f6vekszik;\n
Friss\u00edtve lesznek a KSG nyelvek szint\u00e9zis modelljei: Kalm\u00fck, Tatar, \u00dczbeg \u00e9s Ukr\u00e1n;\n
Modell hozz\u00e1ad\u00e1sra ker\u00fcl az eur\u00f3pai nyelvekhez;\n
Modell hozz\u00e1ad\u00e1sra ker\u00fcl az indiai nyelvekhez;\n
Modell hozz\u00e1ad\u00e1sra ker\u00fcl az angol nyelvhez. <\/ul>\n
A Silero szint\u00e9zishez kapcsol\u00f3d\u00f3 n\u00e9h\u00e1ny rendszerszint\u0171 probl\u00e9ma: <\/p>\n
\n
A Silero szint\u00e9zis, a hagyom\u00e1nyosabb szint\u00e9zis megold\u00e1sokkal, mint p\u00e9ld\u00e1ul a RHVoice, nem rendelkezik SAPI integr\u00e1ci\u00f3val, egyszer\u0171en telep\u00edthet\u0151 kliensekkel \u00e9s integr\u00e1ci\u00f3kkal Windows \u00e9s Android rendszerekhez;\n
B\u00e1r a sebess\u00e9g p\u00e9lda n\u00e9lk\u00fcli magas ezen megold\u00e1s eset\u00e9ben, lehet, hogy nem elegend\u0151 a gyenge processzorokon t\u00f6rt\u00e9n\u0151 val\u00f3s idej\u0171 szint\u00e9zishez magas min\u0151s\u00e9gben;\n
Az automatikus hangs\u00falyoz\u00e1sra szolg\u00e1l\u00f3 megold\u00e1s nem kezeli az omogr\u00e1fokat (olyan szavakat, mint a zAmok \u00e9s zamOk), \u00e9s tov\u00e1bbra is hib\u00e1kat v\u00e9gez, de ezt a hi\u00e1nyoss\u00e1got a j\u00f6v\u0151beni kiad\u00e1sokban jav\u00edtani fogj\u00e1k;\n
A jelenlegi szint\u00e9zis verzi\u00f3 nem m\u0171k\u00f6dik AVX2 ir\u00e1nyelvekkel nem rendelkez\u0151 processzorokon (vagy speci\u00e1lisan m\u00f3dos\u00edtani kell a PyTorch be\u00e1ll\u00edt\u00e1sokat), mivel a modell egyik modulja kvant\u00e1lva van;\n
A jelenlegi szint\u00e9zis verzi\u00f3j\u00e1nak gyakorlatilag egyed\u00fcli f\u00fcgg\u0151s\u00e9ge a PyTorch, mivel minden bels\u0151 elem \u201ebe van \u00e1gyazva\u201d a modellbe \u00e9s a JIT-csomagokba. A modellek forr\u00e1sk\u00f3dj\u00e1t nem publik\u00e1lj\u00e1k, ahogyan a PyTorch klienseket m\u00e1s nyelvekb\u0151l m\u0171k\u00f6dtet\u0151 k\u00f3dot sem;\n
A mobil platformokon el\u00e9rhet\u0151 Libtorch sokkal terjedelmesebb, mint az ONNX futtat\u00f3k\u00f6r, de az ONNX verzi\u00f3ja a modellnek egyel\u0151re nem \u00e9rhet\u0151 el. <\/ul>\n