মোজিলা ডিপস্পীচ 0.6 স্পিচ রিকগনিশন ইঞ্জিন উন্মোচন করেছে

জমাদানকারী Mozilla দ্বারা বিকশিত স্পিচ রিকগনিশন ইঞ্জিনের রিলিজ ডিপ স্পিচ 0.6, যা একই নামের স্পিচ রিকগনিশন আর্কিটেকচার প্রয়োগ করে, প্রস্তাবিত Baidu এর গবেষকদের দ্বারা। TensorFlow মেশিন লার্নিং প্ল্যাটফর্ম ব্যবহার করে বাস্তবায়নটি পাইথনে লেখা হয়েছে এবং দ্বারা বিতরণ বিনামূল্যের MPL 2.0 লাইসেন্সের অধীনে। কাজটি সমর্থিত হয় Linux, Android, macOS и Windowsইঞ্জিনটি LePotato, Raspberry Pi 3, এবং Raspberry Pi 4 বোর্ডে ব্যবহারের জন্য এর পারফরম্যান্স যথেষ্ট।

এছাড়াও সেট অন্তর্ভুক্ত দেওয়া প্রশিক্ষিত মডেল, উদাহরণ কমান্ড লাইন থেকে শব্দ ফাইল এবং স্বীকৃতি সরঞ্জাম। আপনার প্রোগ্রামগুলিতে স্পিচ রিকগনিশন ফাংশনকে একীভূত করতে, পাইথন, নোডজেএস, সি++ এবং .নেট-এর জন্য প্রস্তুত মডিউলগুলি অফার করা হয়েছে (তৃতীয়-পক্ষের বিকাশকারীরা আলাদাভাবে মডিউল প্রস্তুত করেছেন জং и Go) সমাপ্ত মডেল শুধুমাত্র ইংরেজি জন্য সরবরাহ করা হয়, কিন্তু দ্বারা অন্যান্য ভাষার জন্য সংযুক্ত নির্দেশাবলী আপনি নিজেই সিস্টেমটি ব্যবহার করে প্রশিক্ষণ দিতে পারেন ভয়েস ডেটা, কমন ভয়েস প্রকল্প দ্বারা সংগৃহীত।

DeepSpeech ঐতিহ্যগত সিস্টেমের তুলনায় অনেক সহজ এবং একই সময়ে বহিরাগত শব্দের উপস্থিতিতে উচ্চ মানের স্বীকৃতি প্রদান করে। এটি প্রথাগত অ্যাকোস্টিক মডেল এবং ফোনমের ধারণাকে বাইপাস করে, পরিবর্তে একটি অত্যন্ত অপ্টিমাইজ করা নিউরাল নেটওয়ার্ক-ভিত্তিক মেশিন লার্নিং সিস্টেম ব্যবহার করে যা বিভিন্ন অসঙ্গতি যেমন শব্দ, প্রতিধ্বনি এবং বক্তৃতা বৈশিষ্ট্যগুলির মডেল করার জন্য পৃথক উপাদানগুলি বিকাশের প্রয়োজনীয়তা দূর করে।

এই পদ্ধতির নেতিবাচক দিক হল যে একটি নিউরাল নেটওয়ার্কের উচ্চ-মানের স্বীকৃতি এবং প্রশিক্ষণ পাওয়ার জন্য, ডিপস্পীচ ইঞ্জিনের জন্য প্রচুর পরিমাণে ভিন্ন ভিন্ন তথ্যের প্রয়োজন হয়, যা বিভিন্ন কণ্ঠস্বর এবং প্রাকৃতিক শব্দের উপস্থিতিতে বাস্তব পরিস্থিতিতে নির্দেশিত হয়।
মজিলায় তৈরি একটি প্রকল্প এই ধরনের তথ্য সংগ্রহ করে। সাধারণ কণ্ঠস্বর, 780 ঘন্টা সহ একটি যাচাইকৃত ডেটাসেট প্রদান করে৷ ইংরেজি, জার্মান ভাষায় 325, ফরাসি ভাষায় 173 এবং রাশিয়ান ভাষায় 27 ঘন্টা।

কমন ভয়েস প্রকল্পের চূড়ান্ত লক্ষ্য হ'ল মানুষের বক্তৃতার সাধারণ বাক্যাংশগুলির বিভিন্ন উচ্চারণের 10 হাজার ঘন্টা রেকর্ডিং জমা করা, যা স্বীকৃতির ক্ষেত্রে একটি গ্রহণযোগ্য স্তরের ত্রুটিগুলি অর্জনের অনুমতি দেবে। এর বর্তমান আকারে, প্রকল্পের অংশগ্রহণকারীরা ইতিমধ্যে মোট 4.3 হাজার ঘন্টা নির্দেশ করেছে, যার মধ্যে 3.5 হাজার পরীক্ষা করা হয়েছে। ডিপস্পীচের জন্য চূড়ান্ত ইংরেজি ভাষার মডেল প্রশিক্ষণের সময়, লাইব্রিস্পিচ, ফিশার এবং সুইচবোর্ড প্রকল্পগুলি থেকে সাধারণ ভয়েস কভারিং ডেটা ছাড়াও 3816 ঘন্টা বক্তৃতা ব্যবহার করা হয়েছিল এবং প্রায় 1700 ঘন্টা ট্রান্সক্রিবড রেডিও শো রেকর্ডিং সহ।

ডাউনলোডের জন্য প্রস্তাবিত রেডিমেড ইংরেজি ভাষার মডেল ব্যবহার করার সময়, ডিপস্পীচ-এ স্বীকৃতি ত্রুটির হার 7.5% হয় যখন একটি পরীক্ষা সেটের সাথে মূল্যায়ন করা হয়। লিব্রি স্পিচ. তুলনা করার জন্য, মানুষের স্বীকৃতির জন্য ত্রুটির হার আনুমানিক 5.83% -এ।

DeepSpeech দুটি সাবসিস্টেম নিয়ে গঠিত - একটি অ্যাকোস্টিক মডেল এবং একটি ডিকোডার। অ্যাকোস্টিক মডেলটি ইনপুট সাউন্ডে নির্দিষ্ট অক্ষরের উপস্থিতির সম্ভাবনা গণনা করতে গভীর মেশিন লার্নিং পদ্ধতি ব্যবহার করে। ডিকোডার একটি টেক্সট উপস্থাপনা অক্ষর সম্ভাব্যতা তথ্য রূপান্তর করতে একটি রে অনুসন্ধান অ্যালগরিদম ব্যবহার করে।

প্রধান উদ্ভাবন DeepSpeech 0.6 (0.6 শাখা পূর্ববর্তী প্রকাশের সাথে সামঞ্জস্যপূর্ণ নয় এবং কোড এবং মডেল আপডেটের প্রয়োজন):

• একটি নতুন স্ট্রিমিং ডিকোডার প্রস্তাব করা হয়েছে যা উচ্চতর প্রতিক্রিয়াশীলতা প্রদান করে এবং প্রক্রিয়াকৃত অডিও ডেটার আকার থেকে স্বাধীন। ফলস্বরূপ, DeepSpeech-এর নতুন সংস্করণটি 260 ms-এ স্বীকৃতির জন্য লেটেন্সি কমিয়ে আনতে সক্ষম হয়েছে, যা আগের তুলনায় 73% দ্রুত এবং ডিপস্পীচকে স্পিচ রিকগনিশন সমাধানে ব্যবহার করার অনুমতি দেয়।
• এপিআই-তে পরিবর্তন করা হয়েছে এবং ফাংশনের নাম একত্রিত করার জন্য কাজ করা হয়েছে। সিঙ্ক্রোনাইজেশন সম্পর্কে অতিরিক্ত মেটাডেটা প্রাপ্ত করার জন্য ফাংশনগুলি যোগ করা হয়েছে, যা আপনাকে কেবল একটি আউটপুট হিসাবে একটি পাঠ্য উপস্থাপনা গ্রহণ করতে দেয় না, তবে অডিও স্ট্রীমে একটি অবস্থানে পৃথক অক্ষর এবং বাক্যগুলির বাঁধাই ট্র্যাক করতেও অনুমতি দেয়৷
• প্রশিক্ষণ মডিউলের জন্য টুলকিটে লাইব্রেরি ব্যবহারের জন্য সমর্থন যোগ করা হয়েছে সিউডিএনএন পৌনঃপুনিক নিউরাল নেটওয়ার্ক (RNN) এর সাথে কাজ অপ্টিমাইজ করার জন্য, যা মডেল প্রশিক্ষণ কর্মক্ষমতাতে একটি উল্লেখযোগ্য (প্রায় দ্বিগুণ) বৃদ্ধি অর্জন করা সম্ভব করেছে, কিন্তু পূর্বে প্রস্তুত মডেলগুলির সাথে সামঞ্জস্যতা লঙ্ঘনকারী কোডে পরিবর্তনের প্রয়োজন।
• ন্যূনতম TensorFlow সংস্করণের প্রয়োজনীয়তা 1.13.1 থেকে 1.14.0 করা হয়েছে৷ TensorFlow Lite-এর লাইটওয়েট সংস্করণের জন্য সমর্থন যোগ করা হয়েছে, যা DeepSpeech প্যাকেজের আকার 98 MB থেকে 3.7 MB পর্যন্ত কমিয়ে দেয়। এমবেডেড এবং মোবাইল ডিভাইসে ব্যবহারের জন্য, মডেলের সাথে প্যাক করা ফাইলের আকারও 188 MB থেকে 47 MB ​​করা হয়েছে (মডেল প্রশিক্ষণের পরে কম্প্রেশনের জন্য কোয়ান্টাইজেশন পদ্ধতি ব্যবহার করা হয়)।
• ভাষা মডেলটি একটি ভিন্ন ডেটা স্ট্রাকচার ফরম্যাটে অনুবাদ করা হয়েছে যা লোড করার সময় ফাইলগুলিকে মেমরিতে ম্যাপ করার অনুমতি দেয়। পুরানো বিন্যাসের জন্য সমর্থন বন্ধ করা হয়েছে।
• একটি ভাষা মডেলের সাথে একটি ফাইল লোড করার মোড পরিবর্তন করা হয়েছে, যা মেমরি খরচ হ্রাস করেছে এবং মডেল তৈরি করার পরে প্রথম অনুরোধটি প্রক্রিয়া করার সময় বিলম্ব হ্রাস করেছে। অপারেশন চলাকালীন, DeepSpeech এখন 22 গুণ কম মেমরি খরচ করে এবং 500 গুণ দ্রুত শুরু হয়।
  
• ভাষার মডেলে বিরল শব্দগুলি ফিল্টার করা হয়েছিল। মডেলকে প্রশিক্ষণের জন্য ব্যবহৃত পাঠ্যটিতে পাওয়া সর্বাধিক জনপ্রিয় শব্দগুলির মোট শব্দের সংখ্যা 500 হাজারে হ্রাস পেয়েছে। এই পরিচ্ছন্নতার ফলে ভাষা মডেলের আকার 1800MB থেকে 900MB-তে কমানো সম্ভব হয়েছে, কার্যত স্বীকৃতি ত্রুটির হারের উপর কোন প্রভাব পড়েনি।
• বিভিন্ন জন্য সমর্থন যোগ করা হয়েছে যন্ত্রবিৎ প্রশিক্ষণে ব্যবহৃত অডিও ডেটার অতিরিক্ত বৈচিত্র (বর্ধন) তৈরি করা (উদাহরণস্বরূপ, বিকল্পগুলির একটি সেটে বিকৃতি বা শব্দ যোগ করা)।
• .NET প্ল্যাটফর্মের উপর ভিত্তি করে অ্যাপ্লিকেশনগুলির সাথে একীকরণের জন্য বাইন্ডিং সহ একটি লাইব্রেরি যোগ করা হয়েছে৷
• ডকুমেন্টেশন পুনরায় কাজ করা হয়েছে এবং এখন একটি পৃথক ওয়েবসাইটে সংগ্রহ করা হয়েছে. deepspeech.readthedocs.io.

উত্স: opennet.ru