ProHoster > Blog > Lajmet e internetit > Versioni e reja e sistemit të sintezës së zërit Silero

Versioni e reja e sistemit të sintezës së zërit Silero

Një version i ri publik i sistemit të sintezës së zërit Silero Text-to-Speech është në dispozicion. Projekti është fokusuar kryesisht në krijimin e një sistemi modern dhe me cilësi të lartë të sintezës së zërit, që nuk është më i dobët se zgjidhjet komerciale nga korporatat dhe e aksesueshme për të gjithë ata që duan, pa pasur nevojë për pajisje serveri të shtrenjta.

Modelet shpërndahen nën licencën GNU AGPL, por kompania që zhvillon projektin nuk zbulohet mekanizmi i trajnimit të modeleve. Për t'u ekzekutuar, mund të përdoret PyTorch dhe framework-e që mbështesin formatin ONNX. Sinteza e zërit në Silero është e bazuar në përdorimin e algorithemeve dhe metodave të procesimit të sinjalit, të modifikuara në thellësi dhe moderne të rrjeteve neurale.

Kjo është e vërejtur se problemi kryesor i zgjidhjeve moderne të rrjeteve neurale për sintezën e zërit është se shpesh ato nuk janë të aksesueshme përveçse në kuadrin e zgjidhjeve të paguara në cloud, ndonëse produktet publike kanë kërkesa të larta për pajisje, cilësi më të ulët ose nuk janë produkte të përfunduara dhe gati për përdorim. Për shembull, për të ekzekutuar pa probleme një nga arkitekturat e reja të njohura të sintezës end-to-end, VITS, në modin e sintezës (domethënë, jo për trajnim modelesh), kërkohen karta grafike me më shumë se 16 gigabajt VRAM.

MegjithĂ«se ka pĂ«rshtypjen se Ă«shtĂ« e komplikuar, zgjidhja Silero funksionon me sukses edhe nĂ« njĂ« nyje tĂ« procesorit x86 Intel me instruktionet AVX2. NĂ« 4 nyje tĂ« procesorit, sinteza lejon tĂ« sintesohet midis 30 dhe 60 sekondash nĂ« sekondĂ« nĂ« modin e sintezĂ«s 8 kHz, nĂ« modin 24 kHz – 15-20 sekonda, ndĂ«rsa nĂ« modin 48 kHz – rreth 10 sekonda.

Karakteristikat kryesore të versionit të ri të Silero:

  • MadhĂ«sia e modelit Ă«shtĂ« reduktuar nĂ« 2 herĂ« deri nĂ« 50 megabajt;
  • Modelet dinĂ« tĂ« bĂ«jnĂ« pauza;
  • JanĂ« nĂ« dispozicion 4 zĂ«ra tĂ« cilĂ«sisĂ« sĂ« lartĂ« nĂ« gjuhĂ«n ruse (dhe njĂ« numĂ«r tĂ« pafund tĂ« rasteve). Shembuj tĂ« shqiptimeve;
  • Modelet tani janĂ« 10 herĂ« mĂ« tĂ« shpejta dhe, pĂ«r shembull, nĂ« modin 24 kHz lejojnĂ« tĂ« sintesohet deri nĂ« 20 sekonda audio nĂ« sekondĂ« nĂ« 4 nyje tĂ« procesorit;
  • TĂ« gjitha variantet e zĂ«rit pĂ«r njĂ« gjuhĂ« janĂ« tĂ« paketuar nĂ« njĂ« model;
  • Modelet mund tĂ« pranojnĂ« paragrafĂ« tĂ« tĂ«rĂ« si hyrje, pĂ«rkrahjnĂ« etiketat SSML;
  • Sinteza funksionon menjĂ«herĂ« nĂ« tri frekuenca pĂ«rzgjedhjeje – 8, 24 dhe 48 kilohertz;
  • JanĂ« zgjidhur "problemet e vogla": paqĂ«ndrueshmĂ«ria dhe mungesa e fjalĂ«ve;
  • JanĂ« shtuar flamuj pĂ«r tĂ« kontrolluar vendosjen automatike tĂ« akcentĂ«ve dhe vendosjen e shkronjĂ«s «ё».

Aktualisht, për versionin më të fundit të sintezës janë të disponueshme publikisht 4 zëra në gjuhën ruse, por në të ardhmen e afërt do të publikohet versioni tjetër me këto ndryshime:

  • ShpejtĂ«sia e sintezĂ«s do tĂ« rritet edhe me 2-4 herĂ«;
  • Do tĂ« pĂ«rmirĂ«sohen modelet e sintezĂ«s pĂ«r gjuhĂ«t e vendeve tĂ« CIS: Kalmyk, Tatar, Uzbek dhe Ukrainase;
  • Do tĂ« shtohen modelet pĂ«r gjuhĂ«t evropiane;
  • Do tĂ« shtohen modelet pĂ«r gjuhĂ«t indiane;
  • Do tĂ« shtohen modelet pĂ«r gjuhĂ«n angleze.

Disa nga problemet sistematike, të pranishme në sintezën Silero:

  • Ndryshe nga zgjidhjet mĂ« tradicionale pĂ«r sintezĂ«, si RHVoice, sinteza Silero nuk ka integrim me SAPI, klientĂ« tĂ« lehtĂ« pĂ«r t'u instaluar dhe integrime pĂ«r Windows dhe Android;
  • ShpejtĂ«sia, megjithĂ«se Ă«shtĂ« jashtĂ«zakonisht e lartĂ« pĂ«r njĂ« zgjidhje tĂ« tillĂ«, mund tĂ« jetĂ« e pamjaftueshme pĂ«r sintezĂ«n nĂ« kohĂ« reale nĂ« procesorĂ« tĂ« dobĂ«t me cilĂ«si tĂ« lartĂ«;
  • Zgjidhja pĂ«r vendosjen automatike tĂ« akcentĂ«ve nuk trajton omografe (fjalĂ« si zAmok dhe zamOk) dhe prapĂ« bĂ«n gabime, por kjo papĂ«rfundimĂ«si do tĂ« korrigjohet nĂ« rishikimet e ardhshme;
  • Versioni aktual i sintezĂ«s nuk funksionon nĂ« procesorĂ«t pa udhĂ«zime AVX2 (ose nevojitet tĂ« ndryshoni veçmas cilĂ«simet e PyTorch), pasi njĂ« nga modulet brenda modelit Ă«shtĂ« kquantizuar;
  • Versioni aktual i sintezĂ«s nĂ« thelb ka si varĂ«si tĂ« vetme PyTorch, i gjithĂ« materiali "Ă«shtĂ« integruar" brenda modelit dhe paketave JIT. Burimet e modeleve nuk publikohen, ashtu si kodin pĂ«r tĂ« ekzekutuar modelet nga klientĂ«t e PyTorch pĂ«r gjuhĂ« tĂ« tjera;
  • Libtorch, i disponueshĂ«m pĂ«r platforma mobile, Ă«shtĂ« shumĂ« mĂ« i rĂ«ndĂ« se ONNX runtime, por versioni ONNX i modelit ende nuk ofrohet.

Burimi: opennet.ru

Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster