Silero স্পিচ সংশ্লেষণ সিস্টেমের নতুন রিলিজ

সিলেরো টেক্সট-টু-স্পীচ নিউরাল নেটওয়ার্ক স্পিচ সংশ্লেষণ সিস্টেমের একটি নতুন পাবলিক রিলিজ উপলব্ধ। প্রকল্পটি প্রাথমিকভাবে একটি আধুনিক, উচ্চ-মানের বক্তৃতা সংশ্লেষণ সিস্টেম তৈরি করার লক্ষ্যে যা কর্পোরেশনের বাণিজ্যিক সমাধানগুলির থেকে নিকৃষ্ট নয় এবং ব্যয়বহুল সার্ভার সরঞ্জাম ব্যবহার ছাড়াই সবার কাছে অ্যাক্সেসযোগ্য।

মডেলগুলি GNU AGPL লাইসেন্সের অধীনে বিতরণ করা হয়, তবে প্রকল্পটি বিকাশকারী সংস্থা মডেলগুলিকে প্রশিক্ষণের ব্যবস্থা প্রকাশ করে না। চালানোর জন্য, আপনি PyTorch এবং ফ্রেমওয়ার্ক ব্যবহার করতে পারেন যা ONNX ফর্ম্যাট সমর্থন করে। সিলেরোতে বক্তৃতা সংশ্লেষণ গভীরভাবে পরিবর্তিত আধুনিক নিউরাল নেটওয়ার্ক অ্যালগরিদম এবং ডিজিটাল সংকেত প্রক্রিয়াকরণ পদ্ধতির ব্যবহারের উপর ভিত্তি করে।

এটি উল্লেখ করা হয়েছে যে স্পিচ সংশ্লেষণের জন্য আধুনিক নিউরাল নেটওয়ার্ক সমাধানগুলির প্রধান সমস্যা হল যে তারা প্রায়শই শুধুমাত্র অর্থ প্রদানের ক্লাউড সমাধানগুলির মধ্যে পাওয়া যায় এবং পাবলিক পণ্যগুলির উচ্চ হার্ডওয়্যার প্রয়োজনীয়তা থাকে, নিম্ন মানের হয় বা সম্পূর্ণ এবং ব্যবহারের জন্য প্রস্তুত নয়। পণ্য উদাহরণস্বরূপ, নতুন জনপ্রিয় এন্ড-টু-এন্ড সিন্থেসিস আর্কিটেকচার, VITS, মসৃণভাবে সংশ্লেষণ মোডে (অর্থাৎ মডেল প্রশিক্ষণের জন্য নয়) চালানোর জন্য 16 গিগাবাইটের বেশি VRAM সহ ভিডিও কার্ডের প্রয়োজন।

বর্তমান প্রবণতার বিপরীতে, Silero সমাধানগুলি AVX1 নির্দেশাবলী সহ একটি Intel প্রসেসরের 86 x2 থ্রেডেও সফলভাবে চলে। 4টি প্রসেসর থ্রেডে, সংশ্লেষণ আপনাকে 30 kHz সংশ্লেষণ মোডে প্রতি সেকেন্ডে 60 থেকে 8 সেকেন্ড, 24 kHz মোডে - 15-20 সেকেন্ড এবং 48 kHz মোডে - প্রায় 10 সেকেন্ডে সংশ্লেষণ করতে দেয়।

নতুন সিলেরো রিলিজের মূল বৈশিষ্ট্য:

• মডেলের আকার 2 গুণ কমিয়ে 50 মেগাবাইট করা হয়েছে;
• মডেলরা জানেন কিভাবে বিরতি দিতে হয়;
• রাশিয়ান ভাষায় 4টি উচ্চ-মানের ভয়েস উপলব্ধ (এবং অসীম সংখ্যক এলোমেলো)। উচ্চারণ উদাহরণ;
• মডেলগুলি 10 গুণ দ্রুত হয়ে উঠেছে এবং, উদাহরণস্বরূপ, 24 kHz মোডে তারা আপনাকে 20 প্রসেসর থ্রেডে প্রতি সেকেন্ডে 4 সেকেন্ড পর্যন্ত অডিও সংশ্লেষণ করতে দেয়;
• একটি ভাষার জন্য সমস্ত ভয়েস বিকল্প একটি মডেলে প্যাকেজ করা হয়;
• মডেলগুলি ইনপুট হিসাবে পাঠ্যের সম্পূর্ণ অনুচ্ছেদ গ্রহণ করতে পারে, SSML ট্যাগগুলি সমর্থিত;
• সংশ্লেষণটি একবারে তিনটি স্যাম্পলিং ফ্রিকোয়েন্সি থেকে বেছে নেওয়ার জন্য কাজ করে - 8, 24 এবং 48 কিলোহার্টজ;
• "শিশুদের সমস্যা" সমাধান করা হয়েছে: অস্থিরতা এবং অনুপস্থিত শব্দ;
• অ্যাকসেন্টের স্বয়ংক্রিয় বসানো এবং অক্ষর “е” বসানো নিয়ন্ত্রণ করতে পতাকা যুক্ত করা হয়েছে।

বর্তমানে, সংশ্লেষণের নতুন সংস্করণের জন্য, রাশিয়ান ভাষায় 4টি ভয়েস সর্বজনীনভাবে উপলব্ধ, তবে অদূর ভবিষ্যতে পরবর্তী সংস্করণটি নিম্নলিখিত পরিবর্তনগুলির সাথে প্রকাশিত হবে:

• সংশ্লেষণের হার আরও 2-4 বার বৃদ্ধি পাবে;
• সিআইএস ভাষার জন্য সংশ্লেষণ মডেল আপডেট করা হবে: কাল্মিক, তাতার, উজবেক এবং ইউক্রেনীয়;
• ইউরোপীয় ভাষার মডেল যোগ করা হবে;
• ভারতীয় ভাষার মডেল যোগ করা হবে;
• ইংরেজি জন্য মডেল যোগ করা হবে.

সিলেরো সংশ্লেষণের অন্তর্নিহিত কিছু সিস্টেম ব্রেকডাউন:

• RHVoice-এর মতো আরও ঐতিহ্যবাহী সংশ্লেষণ সমাধানের বিপরীতে, Silero সংশ্লেষণে SAPI ইন্টিগ্রেশন, সহজে ইনস্টল করা ক্লায়েন্ট বা Windows এবং Android-এর জন্য ইন্টিগ্রেশন নেই;
• গতি, যদিও এই জাতীয় সমাধানের জন্য অভূতপূর্ব উচ্চ, উচ্চ মানের দুর্বল প্রসেসরগুলিতে অন-দ্য-ফ্লাই সংশ্লেষণের জন্য যথেষ্ট নাও হতে পারে;
• স্বয়ংক্রিয় অ্যাকসেন্ট সমাধান হোমোগ্রাফগুলি পরিচালনা করে না (ক্যাসল এবং ক্যাসেলের মতো শব্দ) এবং এখনও ভুল করে, তবে এটি ভবিষ্যতের প্রকাশগুলিতে সংশোধন করা হবে;
• সংশ্লেষণের বর্তমান সংস্করণটি AVX2 নির্দেশাবলী ছাড়া প্রসেসরগুলিতে কাজ করে না (অথবা আপনাকে বিশেষভাবে PyTorch সেটিংস পরিবর্তন করতে হবে) কারণ মডেলের ভিতরের একটি মডিউল পরিমাপ করা হয়েছে;
• সংশ্লেষণের বর্তমান সংস্করণে মূলত একটি একক PyTorch নির্ভরতা রয়েছে; মডেলের সোর্স কোড প্রকাশ করা হয় না, সেইসাথে অন্যান্য ভাষার জন্য PyTorch ক্লায়েন্ট থেকে মডেল চালানোর কোড;
• Libtorch, মোবাইল প্ল্যাটফর্মের জন্য উপলব্ধ, ONNX রানটাইমের তুলনায় অনেক বেশি ভারী, কিন্তু মডেলটির একটি ONNX সংস্করণ এখনও উপলব্ধ নয়৷

উত্স: opennet.ru