સિલેરો સ્પીચ સિન્થેસિસ સિસ્ટમનું નવું પ્રકાશન

સિલેરો ટેક્સ્ટ-ટુ-સ્પીચ ન્યુરલ નેટવર્ક સ્પીચ સિન્થેસિસ સિસ્ટમનું નવું જાહેર પ્રકાશન ઉપલબ્ધ છે. આ પ્રોજેક્ટ મુખ્યત્વે આધુનિક, ઉચ્ચ-ગુણવત્તાવાળી વાણી સંશ્લેષણ સિસ્ટમ બનાવવાનો છે જે કોર્પોરેશનોના વ્યવસાયિક ઉકેલોથી હલકી ગુણવત્તાવાળા નથી અને ખર્ચાળ સર્વર સાધનોનો ઉપયોગ કર્યા વિના દરેક માટે સુલભ છે.

મોડેલોનું વિતરણ GNU AGPL લાયસન્સ હેઠળ કરવામાં આવે છે, પરંતુ પ્રોજેક્ટ વિકસાવતી કંપની મોડેલોને તાલીમ આપવા માટેની પદ્ધતિ જાહેર કરતી નથી. ચલાવવા માટે, તમે PyTorch અને ફ્રેમવર્કનો ઉપયોગ કરી શકો છો જે ONNX ફોર્મેટને સપોર્ટ કરે છે. સિલેરોમાં સ્પીચ સિન્થેસિસ ઊંડે સંશોધિત આધુનિક ન્યુરલ નેટવર્ક અલ્ગોરિધમ્સ અને ડિજિટલ સિગ્નલ પ્રોસેસિંગ પદ્ધતિઓના ઉપયોગ પર આધારિત છે.

એ નોંધ્યું છે કે સ્પીચ સિન્થેસિસ માટે આધુનિક ન્યુરલ નેટવર્ક સોલ્યુશન્સની મુખ્ય સમસ્યા એ છે કે તે ઘણીવાર માત્ર પેઇડ ક્લાઉડ સોલ્યુશનમાં જ ઉપલબ્ધ હોય છે, અને સાર્વજનિક ઉત્પાદનોમાં ઉચ્ચ હાર્ડવેર આવશ્યકતાઓ હોય છે, નીચી ગુણવત્તા હોય છે અથવા તે સંપૂર્ણ અને ઉપયોગ માટે તૈયાર નથી. ઉત્પાદનો ઉદાહરણ તરીકે, એક નવા લોકપ્રિય એન્ડ-ટુ-એન્ડ સિન્થેસીસ આર્કિટેક્ચર, VITS, સરળતાથી સંશ્લેષણ મોડમાં ચલાવવા માટે (એટલે ​​​​કે, મોડેલ તાલીમ માટે નહીં), 16 ગીગાબાઇટ્સ VRAM કરતાં વધુ સાથેના વિડિયો કાર્ડ્સ જરૂરી છે.

વર્તમાન વલણથી વિપરીત, સિલેરો સોલ્યુશન્સ AVX1 સૂચનાઓ સાથે ઇન્ટેલ પ્રોસેસરના 86 x2 થ્રેડ પર પણ સફળતાપૂર્વક ચાલે છે. 4 પ્રોસેસર થ્રેડો પર, સંશ્લેષણ તમને 30 kHz સંશ્લેષણ મોડમાં 60 થી 8 સેકન્ડ પ્રતિ સેકન્ડ, 24 kHz મોડમાં - 15-20 સેકન્ડ, અને 48 kHz મોડમાં - લગભગ 10 સેકન્ડમાં સંશ્લેષણ કરવાની મંજૂરી આપે છે.

નવી સિલેરો રિલીઝની મુખ્ય લાક્ષણિકતાઓ:

• મોડેલનું કદ 2 ગણો ઘટાડીને 50 મેગાબાઇટ્સ કરવામાં આવ્યું છે;
• મોડલ જાણે છે કે કેવી રીતે વિરામ લેવો;
• રશિયનમાં 4 ઉચ્ચ-ગુણવત્તાવાળા અવાજો ઉપલબ્ધ છે (અને અનંત સંખ્યામાં રેન્ડમ). ઉચ્ચારણ ઉદાહરણો;
• મોડલ્સ 10 ગણા ઝડપી બન્યા છે અને, ઉદાહરણ તરીકે, 24 kHz મોડમાં તેઓ તમને 20 પ્રોસેસર થ્રેડો પર પ્રતિ સેકન્ડ 4 સેકન્ડ સુધી ઑડિઓનું સંશ્લેષણ કરવાની મંજૂરી આપે છે;
• એક ભાષા માટેના તમામ વૉઇસ વિકલ્પો એક મોડેલમાં પેક કરવામાં આવ્યા છે;
• મોડલ્સ ટેક્સ્ટના સમગ્ર ફકરાને ઇનપુટ તરીકે સ્વીકારી શકે છે, SSML ટૅગ્સ સપોર્ટેડ છે;
• 8, 24 અને 48 કિલોહર્ટ્ઝમાંથી પસંદ કરવા માટે ત્રણ સેમ્પલિંગ ફ્રીક્વન્સીમાં એકસાથે સિન્થેસિસ કામ કરે છે;
• "બાળકોની સમસ્યાઓ" હલ કરવામાં આવી છે: અસ્થિરતા અને ગુમ થયેલ શબ્દો;
• ઉચ્ચારોના સ્વચાલિત પ્લેસમેન્ટ અને અક્ષર "е" ના પ્લેસમેન્ટને નિયંત્રિત કરવા માટે ફ્લેગ્સ ઉમેર્યા.

હાલમાં, સંશ્લેષણના નવા સંસ્કરણ માટે, રશિયનમાં 4 અવાજો સાર્વજનિક રૂપે ઉપલબ્ધ છે, પરંતુ નજીકના ભવિષ્યમાં આગળનું સંસ્કરણ નીચેના ફેરફારો સાથે પ્રકાશિત કરવામાં આવશે:

• સંશ્લેષણ દર અન્ય 2-4 વખત વધશે;
• CIS ભાષાઓ માટે સંશ્લેષણ મોડલ અપડેટ કરવામાં આવશે: કાલ્મીક, તતાર, ઉઝબેક અને યુક્રેનિયન;
• યુરોપિયન ભાષાઓ માટે મોડેલો ઉમેરવામાં આવશે;
• ભારતીય ભાષાઓ માટે મોડલ ઉમેરવામાં આવશે;
• અંગ્રેજી માટેના મોડલ ઉમેરવામાં આવશે.

સિલેરો સંશ્લેષણમાં અંતર્ગત કેટલાક સિસ્ટમ બ્રેકડાઉન્સ:

• RHVoice જેવા વધુ પરંપરાગત સંશ્લેષણ ઉકેલોથી વિપરીત, સિલેરો સિન્થેસિસમાં SAPI એકીકરણ, સરળ-થી-ઇન્સ્ટોલ ક્લાયંટ અથવા Windows અને Android માટે એકીકરણ નથી;
• ઝડપ, જો કે આવા સોલ્યુશન માટે અભૂતપૂર્વ રીતે ઊંચી છે, તે ઉચ્ચ ગુણવત્તાવાળા નબળા પ્રોસેસરો પર ઑન-ધ-ફ્લાય સંશ્લેષણ માટે પૂરતી ન હોઈ શકે;
• ઓટો-એક્સેન્ટ સોલ્યુશન હોમોગ્રાફ્સ (કેસલ અને કેસલ જેવા શબ્દો) ને હેન્ડલ કરતું નથી અને હજુ પણ ભૂલો કરે છે, પરંતુ ભવિષ્યના પ્રકાશનોમાં આને સુધારવામાં આવશે;
• સંશ્લેષણનું વર્તમાન સંસ્કરણ AVX2 સૂચનાઓ વિના પ્રોસેસર્સ પર કામ કરતું નથી (અથવા તમારે ખાસ કરીને PyTorch સેટિંગ્સ બદલવાની જરૂર છે) કારણ કે મોડલની અંદરના મોડ્યુલમાંથી એક ક્વોન્ટાઇઝ્ડ છે;
• સંશ્લેષણના વર્તમાન સંસ્કરણમાં આવશ્યકપણે એક જ PyTorch નિર્ભરતા છે; મોડેલ અને JIT પેકેજોની અંદર તમામ સ્ટફિંગ "હાર્ડવાયર" છે. મોડેલોના સ્ત્રોત કોડ્સ પ્રકાશિત થયા નથી, તેમજ અન્ય ભાષાઓ માટે PyTorch ક્લાયન્ટ્સમાંથી મોડલ ચલાવવા માટેનો કોડ;
• મોબાઇલ પ્લેટફોર્મ માટે ઉપલબ્ધ Libtorch, ONNX રનટાઇમ કરતાં વધુ ભારે છે, પરંતુ મોડલનું ONNX સંસ્કરણ હજી ઉપલબ્ધ નથી.

સોર્સ: opennet.ru