Saadaval on uus avalik v\u00e4ljaanne Silero Text-to-Speech k\u00f5nes\u00fcnteesimise neuronaals\u00fcsteemist. Projekt on eelk\u00f5ige suunatud kaasaegse kvaliteetse k\u00f5nes\u00fcnteesi s\u00fcsteemi loomisele, mis ei j\u00e4\u00e4 alla suurkorporatsioonide kommertslahendustele ja on k\u00f5igile soovijatele kergesti k\u00e4ttesaadav ilma kallite serveritega. <\/p>\n
Mudeleid jagatakse GNU AGPL litsentsi alusel, kuid projekti arendav ettev\u00f5te ei avalikusta mudelite koolitamise mehhanismi. K\u00e4ivitamiseks v\u00f5ib kasutada PyTorch'i ja raamistikku, mis toetab ONNX formaati. Silero k\u00f5nes\u00fcntees p\u00f5hineb s\u00fcgavalt muudetud kaasaegsetel neuronaalsetel algoritmidel ja digitaalse signaalit\u00f6\u00f6tluse meetoditel. <\/p>\n
Tuleb m\u00e4rkida, et t\u00e4nap\u00e4eva neuronaalsete k\u00f5nes\u00fcnteesi lahenduste peamine probleem on see, et need on sageli saadaval ainult tasuliste pilvelahenduste raames, samas kui avalikud tooted omavad k\u00f5rgeid riistvaran\u00f5udeid, madalamat kvaliteeti v\u00f5i pole valminud ja valmis kasutamiseks. N\u00e4iteks, et probleemideta k\u00e4ivitada \u00fcks uus populaarne end-to-end k\u00f5nes\u00fcnteesi arhitektuur, VITS, s\u00fcnteesi re\u017eiimis (st mitte mudelite treenimiseks), on vajalikud graafikakaardid, millel on \u00fcle 16 gigabaiti VRAM-i. <\/p>\n
Hoolimata v\u00e4lja kujunenud trendist, k\u00e4ivituvad Silero lahendused edukalt isegi 1 voolu x86 Intel protsessoril, millel on AVX2 juhised. 4 vooluga protsessoris v\u00f5imaldab s\u00fcntees s\u00fcnteesida 30 kuni 60 sekundit sekundis 8 kHz re\u017eiimis, 15-20 sekundi ulatuses 24 kHz re\u017eiimis ja umbes 10 sekundit 48 kHz re\u017eiimis. <\/p>\n
Uue Silero v\u00e4ljaande peamised omadused: <\/p>\n
\n
Mudeli suurus on kahekordistunud 50 megabaidini;\n
Mudelid suudavad teha pause;\n
Saadaval on 4 k\u00f5rgekvaliteedilist h\u00e4\u00e4lt vene keeles (ja l\u00f5putu arv juhuslikke). H\u00e4\u00e4ldamise n\u00e4ited;\n
Mudelid on 10 korda kiiremaks muutunud ja n\u00e4iteks 24 kHz re\u017eiimis v\u00f5imaldavad kuni 20 sekundi audio s\u00fcnteesi sekundis 4 voolus;\n
K\u00f5ik h\u00e4\u00e4levariandid \u00fche keele jaoks on pakitud \u00fchte mudelisse;\n
Mudelid v\u00f5ivad vastu v\u00f5tta terveid tekstil\u00f5ike, toetatakse SSML-m\u00e4rke;\n
S\u00fcntees t\u00f6\u00f6tab kohe kolmes valikus diskreetsete sageduste vahel \u2014 8, 24 ja 48 kHz;\n
Lahendatud on 'laste probleemid': ebastabiilsus ja s\u00f5nade vahelej\u00e4tmine;\n
Lisatud on lipud automaatsete r\u00f5hkude ja t\u00e4he '\u0451' lisamise kontrollimiseks. <\/ul>\n
Praegu on uusima versiooni s\u00fcnteesiks avalikult saadaval 4 h\u00e4\u00e4lt vene keeles, kuid varsti avaldatakse j\u00e4rgmine versioon j\u00e4rgmiste muudatustega: <\/p>\n
\n
S\u00fcnteesi kiirus suureneb veel 2-4 korda;\n
S\u00fcnteesi mudelid KSG riikide jaoks, sealhulgas kalmuki, tatari, usbeki ja ukraina keele jaoks, uuendatakse;\n
Mudelite juurde lisatakse Euroopa keeltes;\n
Mudelite juurde lisatakse India keeltes;\n
Mudelite juurde lisatakse ka inglise keele jaoks. <\/ul>\n
M\u00f5ned s\u00fcsteemi probleemid, mis on seotud Silero s\u00fcnteesi: <\/p>\n
\n
Erinevalt traditsioonilisematest s\u00fcnteesi lahendustest, nagu RHVoice, ei ole Silero s\u00fcnteesi lahendusel SAPI integreerimist, lihtsaid paigaldatavaid kliente ja integreerimisi Windowsile ja Androidile;\n
Kuigi kiirus on selle lahenduse jaoks enneolematult k\u00f5rge, ei pruugi see n\u00f5rkadel protsessoritel k\u00f5rgema kvaliteediga reaalajas s\u00fcnteesi jaoks olla piisav;\n
Automaatse r\u00f5hu seadistamise lahendus ei k\u00e4sitle omograafe (s\u00f5nad nagu zAmok ja zamOk) ja teeb endiselt vigu, kuid see puudus parandatakse tulevastes v\u00e4ljaannetes;\n
Praegune s\u00fcnteesi versioon ei t\u00f6\u00f6ta protsessorites ilma AVX2 juhisteta (v\u00f5i on vajalik spetsiaalne PyTorchi seadistamine), kuna \u00fcks mudeli moodulitest on kvantitud;\n
Praegune s\u00fcnteesi versioon s\u00f5ltub p\u00f5him\u00f5tteliselt ainult PyTorchist, kogu sisu on 'sisse ehitatud' mudelisse ja JIT-pakettidesse. Mudelite l\u00e4htekood ei ole avaldatud, nagu ka kood mudelite k\u00e4ivitamiseks PyTorchi klientide alt teiste keelte jaoks;\n
Mobiiliplattformide jaoks saadaval oleval Libtorchil on palju suurem koormus kui ONNX runtime'il, kuid ONNX versioon mudelist ei ole veel saadaval. <\/ul>\n