मोज़िला ने स्पीच रिकग्निशन इंजन डीपस्पीच 0.6 पेश किया

द्वारा प्रस्तुत मोज़िला द्वारा विकसित वाक् पहचान इंजन का विमोचन डीपस्पीच 0.6, जो इसी नाम की वाक् पहचान वास्तुकला को लागू करता है, प्रस्तावित Baidu के शोधकर्ताओं द्वारा। कार्यान्वयन TensorFlow मशीन लर्निंग प्लेटफॉर्म का उपयोग करके पायथन में लिखा गया है द्वारा वितरित मुफ़्त एमपीएल 2.0 लाइसेंस के तहत। Linux, Android, macOS और Windows पर काम करने का समर्थन करता है। प्रदर्शन LePotato, Raspberry Pi 3 और Raspberry Pi 4 बोर्डों पर इंजन का उपयोग करने के लिए पर्याप्त है।

सेट में भी शामिल है पेशकश कर रहे हैं प्रशिक्षित मॉडल, उदाहरण कमांड लाइन से ध्वनि फ़ाइलें और पहचान उपकरण। आपके कार्यक्रमों में वाक् पहचान फ़ंक्शन को एकीकृत करने के लिए, Python, NodeJS, C++ और .NET के लिए उपयोग में आसान मॉड्यूल पेश किए जाते हैं (तीसरे पक्ष के डेवलपर्स ने इसके लिए अलग से मॉड्यूल तैयार किए हैं) जंग и Go). तैयार मॉडल केवल अंग्रेजी के लिए, लेकिन अन्य भाषाओं के लिए आपूर्ति की जाती है जुड़ा हुआ निर्देश आप सिस्टम का उपयोग करके स्वयं को प्रशिक्षित कर सकते हैं आवाज डेटा, कॉमन वॉयस प्रोजेक्ट द्वारा एकत्र किया गया।

डीपस्पीच पारंपरिक प्रणालियों की तुलना में बहुत सरल है और साथ ही बाहरी शोर की उपस्थिति में उच्च गुणवत्ता वाली पहचान प्रदान करता है। यह पारंपरिक ध्वनिक मॉडल और फोनेम की अवधारणा को दरकिनार कर देता है, इसके बजाय एक अत्यधिक अनुकूलित तंत्रिका नेटवर्क-आधारित मशीन लर्निंग सिस्टम का उपयोग करता है जो शोर, गूंज और भाषण सुविधाओं जैसे विभिन्न विसंगतियों को मॉडल करने के लिए अलग-अलग घटकों को विकसित करने की आवश्यकता को समाप्त करता है।

इस दृष्टिकोण का नकारात्मक पक्ष यह है कि तंत्रिका नेटवर्क की उच्च गुणवत्ता वाली पहचान और प्रशिक्षण प्राप्त करने के लिए, डीपस्पीच इंजन को बड़ी मात्रा में विषम डेटा की आवश्यकता होती है, जो वास्तविक परिस्थितियों में विभिन्न आवाजों द्वारा और प्राकृतिक शोर की उपस्थिति में निर्धारित होता है।
मोज़िला में बनाया गया एक प्रोजेक्ट ऐसा डेटा एकत्र करता है। आम आवाज, 780 घंटों के साथ एक सत्यापित डेटासेट प्रदान करता है अंग्रेजी भाषा, जर्मन में 325, फ़्रेंच में 173 और रूसी में 27 घंटे।

कॉमन वॉयस प्रोजेक्ट का अंतिम लक्ष्य मानव भाषण के विशिष्ट वाक्यांशों के विभिन्न उच्चारणों की 10 हजार घंटे की रिकॉर्डिंग जमा करना है, जो पहचान में त्रुटियों के स्वीकार्य स्तर को प्राप्त करने की अनुमति देगा। अपने वर्तमान स्वरूप में, परियोजना प्रतिभागियों ने पहले ही कुल 4.3 हजार घंटे निर्धारित कर लिए हैं, जिनमें से 3.5 हजार का परीक्षण किया जा चुका है। डीपस्पीच के लिए अंतिम अंग्रेजी भाषा मॉडल का प्रशिक्षण करते समय, लिब्रीस्पीच, फिशर और स्विचबोर्ड परियोजनाओं से डेटा को कवर करने वाले कॉमन वॉयस के अलावा, 3816 घंटे के भाषण का उपयोग किया गया था, और इसमें लगभग 1700 घंटे की लिखित रेडियो शो रिकॉर्डिंग भी शामिल थी।

डाउनलोड के लिए पेश किए गए तैयार अंग्रेजी भाषा मॉडल का उपयोग करते समय, परीक्षण सेट के साथ मूल्यांकन करने पर डीपस्पीच में मान्यता त्रुटि दर 7.5% है लिबरीस्पीच. तुलना के लिए, मानव मान्यता के लिए त्रुटि दर अनुमानित 5.83% में।

डीपस्पीच में दो उपप्रणालियाँ शामिल हैं - एक ध्वनिक मॉडल और एक डिकोडर। ध्वनिक मॉडल इनपुट ध्वनि में मौजूद कुछ वर्णों की संभावना की गणना करने के लिए गहरी मशीन सीखने के तरीकों का उपयोग करता है। डिकोडर वर्ण संभाव्यता डेटा को टेक्स्ट प्रतिनिधित्व में परिवर्तित करने के लिए एक किरण खोज एल्गोरिदम का उपयोग करता है।

मुख्य नवाचारों डीपस्पीच 0.6 (0.6 शाखा पिछले रिलीज के साथ संगत नहीं है और कोड और मॉडल अपडेट की आवश्यकता है):

• एक नया स्ट्रीमिंग डिकोडर प्रस्तावित है जो उच्च प्रतिक्रिया प्रदान करता है और संसाधित ऑडियो डेटा के आकार से स्वतंत्र है। परिणामस्वरूप, डीपस्पीच का नया संस्करण पहचान के लिए विलंबता को 260 एमएस तक कम करने में कामयाब रहा, जो पहले की तुलना में 73% तेज है, और डीपस्पीच को तत्काल वाक् पहचान समाधानों में उपयोग करने की अनुमति देता है।
• एपीआई में बदलाव किए गए हैं और फ़ंक्शन नामों को एकीकृत करने का काम किया गया है। सिंक्रोनाइज़ेशन के बारे में अतिरिक्त मेटाडेटा प्राप्त करने के लिए फ़ंक्शंस जोड़े गए हैं, जिससे आप न केवल आउटपुट के रूप में टेक्स्ट प्रतिनिधित्व प्राप्त कर सकते हैं, बल्कि ऑडियो स्ट्रीम में किसी स्थिति में व्यक्तिगत वर्णों और वाक्यों के बंधन को भी ट्रैक कर सकते हैं।
• प्रशिक्षण मॉड्यूल के लिए टूलकिट में लाइब्रेरी का उपयोग करने के लिए समर्थन जोड़ा गया है CuDNN आवर्तक तंत्रिका नेटवर्क (आरएनएन) के साथ काम को अनुकूलित करने के लिए, जिससे मॉडल प्रशिक्षण प्रदर्शन में एक महत्वपूर्ण (लगभग दोगुनी) वृद्धि हासिल करना संभव हो गया, लेकिन पहले से तैयार मॉडल के साथ संगतता का उल्लंघन करने वाले कोड में बदलाव की आवश्यकता थी।
• न्यूनतम TensorFlow संस्करण आवश्यकताओं को 1.13.1 से बढ़ाकर 1.14.0 कर दिया गया है। TensorFlow Lite के हल्के संस्करण के लिए समर्थन जोड़ा गया, जो डीपस्पीच पैकेज का आकार 98 एमबी से घटाकर 3.7 एमबी कर देता है। एम्बेडेड और मोबाइल उपकरणों पर उपयोग के लिए, मॉडल के साथ पैक की गई फ़ाइल का आकार भी 188 एमबी से घटाकर 47 एमबी कर दिया गया है (मॉडल प्रशिक्षित होने के बाद संपीड़न के लिए क्वांटिज़ेशन विधि का उपयोग किया जाता है)।
• भाषा मॉडल को एक अलग डेटा संरचना प्रारूप में अनुवादित किया गया है जो लोड होने पर फ़ाइलों को मेमोरी में मैप करने की अनुमति देता है। पुराने प्रारूप के लिए समर्थन बंद कर दिया गया है।
• भाषा मॉडल के साथ फ़ाइल लोड करने का तरीका बदल दिया गया है, जिससे मॉडल बनाने के बाद पहले अनुरोध को संसाधित करते समय मेमोरी की खपत कम हो गई है और देरी कम हो गई है। ऑपरेशन के दौरान, डीपस्पीच अब 22 गुना कम मेमोरी की खपत करता है और 500 गुना तेजी से शुरू होता है।
  

• भाषा मॉडल में दुर्लभ शब्दों को फ़िल्टर किया गया। मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए पाठ में पाए जाने वाले सबसे लोकप्रिय शब्दों की कुल संख्या घटाकर 500 हजार कर दी गई। सफ़ाई से भाषा मॉडल का आकार 1800एमबी से घटाकर 900एमबी करना संभव हो गया, जिससे पहचान त्रुटि दर पर वस्तुतः कोई प्रभाव नहीं पड़ा।
• विभिन्न के लिए समर्थन जोड़ा गया तकनीशियन प्रशिक्षण में उपयोग किए जाने वाले ऑडियो डेटा में अतिरिक्त विविधताएं (संवर्द्धन) बनाना (उदाहरण के लिए, विकल्पों के एक सेट में विरूपण या शोर जोड़ना)।
• .NET प्लेटफ़ॉर्म पर आधारित अनुप्रयोगों के साथ एकीकरण के लिए बाइंडिंग के साथ एक लाइब्रेरी जोड़ी गई।
• दस्तावेज़ीकरण पर दोबारा काम किया गया है और अब इसे एक अलग वेबसाइट पर एकत्र किया गया है। Deepspeech.readthedocs.io.

स्रोत: opennet.ru