ProHoster > Blog > Lajmet e internetit > Lëshimi i ri i sistemit të sintezës së zërit Silero

Lëshimi i ri i sistemit të sintezës së zërit Silero

Një version i ri publik i sistemit të sintësisë së zërit Silero Text-to-Speech është tani në dispozicion. Projekti është kryesisht i fokusuar në krijimin e një sistemi modern të sintësisë së zërit me cilësi të lartë, i cili nuk i përtërit zgjidhjeve tregtare nga korporatat dhe është i aksesueshëm për të gjithë që dëshirojnë, pa përdorur pajisje serverike të shtrenjta.

Modelet shpërndahen nën licencën GNU AGPL, por kompania që zhvillon projektin nuk zbulon mekanizmat e stërvitjes së modeleve. Për ta drejtuar atë, mund të përdorni PyTorch dhe kuadrot me mbështetje për formatin ONNX. Sintesa e zërit në Silero bazohet në përdorimin e algoritmeve dhe metodave moderne të përpunimit të sinjalit të modifikuara thellësisht.

Vërehet se problemi kryesor i zgjidhjeve moderne të sintësisë së zërit është se shpesh ato janë në dispozicion vetëm brenda zgjidhjeve të kushtueshme cloud, ndërsa produktet publike kanë kërkesa të larta për pajisje, cilësi më të ulët ose nuk janë produkte të plota dhe të gatshme për përdorim. Për shembull, për të drejtuar pa probleme një nga arkitekturën e re popullore të sintësisë end-to-end, VITS, në modin e sintësisë (pra, jo për stërvitjen e modeleve) kërkohen karta grafike me më shumë se 16 gigabajt VRAM.

PĂ«rkundĂ«r trendit tĂ« vendosur, zgjidhjet Silero funksionojnĂ« me sukses edhe nĂ« njĂ« rrjedhĂ« tĂ« procesorit x86 Intel me instrukcione AVX2. NĂ« 4 rrjedha tĂ« procesorit, sintesa lejon tĂ« sintesohet nga 30 deri nĂ« 60 sekonda nĂ« sekondĂ« nĂ« modin e sintĂ«sisĂ« 8 kHz, nĂ« modin 24 kHz — 15-20 sekonda, dhe nĂ« modin 48 kHz — rreth 10 sekonda.

Karakteristikat kryesore të versionit të ri të Silero:

  • MadhĂ«sia e modelit Ă«shtĂ« zvogĂ«luar me 2 herĂ« nĂ« 50 megabajt;
  • Modelet janĂ« nĂ« gjendje tĂ« bĂ«jnĂ« pauza;
  • JanĂ« nĂ« dispozicion 4 zĂ«ra tĂ« cilĂ«sisĂ« sĂ« lartĂ« nĂ« gjuhĂ«n ruse (dhe njĂ«_numĂ«r tĂ« pafundme random). Shembuj tĂ« shqiptimit;
  • Modelet janĂ« bĂ«rĂ« 10 herĂ« mĂ« tĂ« shpejtĂ« dhe, pĂ«r shembull, nĂ« modin 24 kHz lejojnĂ« tĂ« sintetizojnĂ« deri nĂ« 20 sekonda audio nĂ« sekondĂ« nĂ« 4 rrjedha tĂ« procesorit;
  • TĂ« gjitha variantet e zĂ«rit pĂ«r njĂ« gjuhĂ« janĂ« tĂ« paketuar nĂ« njĂ« model;
  • Modelet mund tĂ« pranojnĂ« paragrafĂ« tĂ« tĂ«rĂ« teksti si input, mbĂ«shteten etiketat SSML;
  • Sintesa funksionon menjĂ«herĂ« nĂ« tre frekuenca tĂ« ndryshme; 8, 24 dhe 48 kilohertz;
  • Problemet "fĂ«mijĂ«" janĂ« zgjidhur: pasiguria dhe mungesa e fjalĂ«ve;
  • JanĂ« shtuar flamuj pĂ«r tĂ« kontrolluar vendosjen automatike tĂ« theksit dhe vendosjen e shkronjĂ«s "ё".

Aktualisht, për versionin më të ri të sintësisë janë në dispozicion publikisht 4 zëra në gjuhën ruse, por në të ardhmen e afërt do të publikohet një version tjetër me ndryshime të mëposhtme:

  • ShpejtĂ«sia e sintĂ«sisĂ« do tĂ« rritet me 2-4 herĂ« mĂ« shumĂ«;
  • Modelet e sintĂ«sisĂ« pĂ«r gjuhĂ«t e CIS do tĂ« pĂ«rmirĂ«sohen: Kalmyk, Tatar, Uzbek dhe Ukrainas;
  • Do tĂ« shtohen modelet pĂ«r gjuhĂ«t evropiane;
  • Do tĂ« shtohen modelet pĂ«r gjuhĂ«t indiane;
  • Do tĂ« shtohen modelet pĂ«r gjuhĂ«n angleze.

Disa nga problemet sistemike që i përkasin sintësisë Silero:

  • Ndryshe nga zgjidhjet mĂ« tradicionale pĂ«r sintĂ«sinĂ«, si RHVoice, sintesa Silero nuk ka integrim me SAPI, klientĂ« tĂ« lehtĂ« pĂ«r t'u instaluar dhe integrime pĂ«r Windows dhe Android;
  • ShpejtĂ«sia, edhe pse Ă«shtĂ« paprecedent e lartĂ« pĂ«r njĂ« zgjidhje tĂ« tillĂ«, mund tĂ« jetĂ« e pamjaftueshme pĂ«r sintesĂ«n nĂ« flakĂ« nĂ« procesorĂ« tĂ« dobĂ«t nĂ« cilĂ«si tĂ« lartĂ«;
  • Zgjidhja pĂ«r vendosjen automatike tĂ« theksit nuk i trajton omografĂ«t (fjalĂ« si zĐĐŒĐŸĐș dhe Đ·Đ°ĐŒĐžĐș) dhe ende bĂ«n gabime, por kjo papĂ«rsosmĂ«ri do tĂ« rregullohet nĂ« versionet e ardhshme;
  • Versioni aktual i sintĂ«sisĂ« nĂ« thelb ka si varĂ«si tĂ« vetme PyTorch, e gjithĂ« pĂ«rmbajtja Ă«shtĂ« "e shkruar" brenda modelit dhe paketave JIT. Burimet e modeleve nuk publikohen, as si kodi pĂ«r drejtuar modelet nga klientĂ« PyTorch pĂ«r gjuhĂ« tĂ« tjera;
  • Libtorch, i disponueshĂ«m pĂ«r platformat mobile, Ă«shtĂ« shumĂ« mĂ« i rĂ«ndĂ« se ONNX runtime, por versioni ONNX i modelit ende nuk ofrohet.
  • Libtorch, e cila pĂ«r pajisjet mobile, Ă«shtĂ« shumĂ« mĂ« i rĂ«ndĂ« se ONNX runtime, por versioni ONNX i modelit nuk Ă«shtĂ« akoma i disponueshĂ«m.

Burimi: opennet.ru

Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster