Google ले खुला स्रोत अडियो कोडेक Lyra V2 प्रकाशित गर्दछ

Google ले Lyra V2 अडियो कोडेक प्रस्तुत गरेको छ, जसले धेरै ढिलो सञ्चार च्यानलहरूमा अधिकतम आवाज गुणस्तर प्राप्त गर्न मेसिन लर्निङ प्रविधिहरू प्रयोग गर्दछ। नयाँ संस्करणले नयाँ न्यूरल नेटवर्क आर्किटेक्चरमा ट्रान्जिसन, थप प्लेटफर्महरूको लागि समर्थन, विस्तारित बिटरेट नियन्त्रण क्षमताहरू, सुधारिएको प्रदर्शन र उच्च अडियो गुणस्तरको सुविधा दिन्छ। सन्दर्भ कोड कार्यान्वयन C++ मा लेखिएको छ र Apache 2.0 लाइसेन्स अन्तर्गत वितरित छ।

कम गतिमा प्रसारण भ्वाइस डेटाको गुणस्तरको सन्दर्भमा, Lyra डिजिटल सिग्नल प्रशोधन विधिहरू प्रयोग गर्ने परम्परागत कोडेकहरू भन्दा उल्लेखनीय रूपमा उच्च छ। सीमित मात्रामा प्रेषित जानकारीको अवस्थाहरूमा उच्च गुणस्तरको आवाज प्रसारण प्राप्त गर्न, अडियो कम्प्रेसन र संकेत रूपान्तरणको परम्परागत विधिहरूको अतिरिक्त, Lyra ले मेशिन लर्निङ प्रणालीमा आधारित स्पीच मोडेल प्रयोग गर्दछ, जसले तपाईंलाई हराएको जानकारी पुन: सिर्जना गर्न अनुमति दिन्छ। विशिष्ट भाषण विशेषताहरु।

कोडेकले एन्कोडर र डिकोडर समावेश गर्दछ। इन्कोडरको एल्गोरिथ्म प्रत्येक २० मिलिसेकेन्डमा भ्वाइस डेटा प्यारामिटरहरू निकाल्न, तिनीहरूलाई कम्प्रेस गर्ने र 20kbps देखि 3.2kbps सम्मको बिटरेटको साथ नेटवर्कमा प्रापकमा पठाउन उबलिन्छ। रिसीभरको अन्त्यमा, डिकोडरले ट्रान्समिटेड अडियो प्यारामिटरहरूको आधारमा मौलिक स्पीच सिग्नललाई पुन: निर्माण गर्न उत्पादन मोडेल प्रयोग गर्दछ, जसमा विभिन्न फ्रिक्वेन्सी दायराहरूमा वाणीको ऊर्जा विशेषताहरूलाई ध्यानमा राख्ने लगरिथमिक चक स्पेक्ट्रोग्रामहरू समावेश हुन्छन्। मानव श्रवण धारणा।

Lyra V2 ले साउन्डस्ट्रीम कन्भोलुसनल न्यूरल नेटवर्कमा आधारित नयाँ जेनेरेटिभ मोडेल प्रयोग गर्दछ, जसमा कम कम्प्युटेशनल आवश्यकताहरू छन्, जसले कम पावर प्रणालीहरूमा पनि वास्तविक-समय डिकोडिङलाई अनुमति दिन्छ। ध्वनि उत्पन्न गर्न प्रयोग गरिएको मोडेललाई 90 भन्दा बढी भाषाहरूमा हजारौं घण्टा भ्वाइस रेकर्डिङ प्रयोग गरेर तालिम दिइएको थियो। TensorFlow Lite मोडेल कार्यान्वयन गर्न प्रयोग गरिन्छ। प्रस्तावित कार्यान्वयनको कार्यसम्पादन कम मूल्य दायरामा स्मार्टफोनहरूमा स्पीच एन्कोडिङ र डिकोडिङका लागि पर्याप्त छ।

फरक जेनेरेटिभ मोडेल प्रयोग गर्नुको अतिरिक्त, नयाँ संस्करण RVQ (अवशिष्ट भेक्टर क्वान्टाइजर) क्वान्टाइजरसँग लिंकहरूको कोडेक आर्किटेक्चरमा समावेश गर्नका लागि पनि उल्लेखनीय छ, जुन डेटा प्रसारण गर्नु अघि प्रेषकको पक्षमा र प्राप्तकर्ताको पक्षमा कार्यान्वयन गरिन्छ। डाटा प्राप्त पछि। क्वान्टाइजरले कोडेकद्वारा उत्पादित प्यारामिटरहरूलाई प्याकेटहरूको सेटमा रूपान्तरण गर्छ, चयन गरिएको बिटरेटको सम्बन्धमा इन्कोडिङ जानकारी। गुणस्तरको विभिन्न स्तरहरू प्रदान गर्न, क्वान्टाइजरहरू तीन बिटरेटहरू (3.2 kps, 6 kbps र 9.2 kbps) को लागि प्रदान गरिन्छ, बिटरेट जति उच्च हुन्छ, गुणस्तर राम्रो हुन्छ, तर ब्यान्डविथ आवश्यकताहरू उच्च हुन्छन्।

नयाँ वास्तुकलाले 100 देखि 20 मिलिसेकेन्डमा सिग्नल प्रसारण ढिलाइ घटाएको छ। तुलनाको लागि, WebRTC को लागि Opus कोडेकले परीक्षण गरिएका बिटरेटहरूमा 26.5ms, 46.5ms र 66.5ms को विलम्बताहरू प्रदर्शन गर्यो। एन्कोडर र डिकोडरको प्रदर्शन पनि उल्लेखनीय रूपमा बढेको छ - अघिल्लो संस्करणको तुलनामा 5 गुणा छिटो। उदाहरणका लागि, Pixel 6 Pro स्मार्टफोनमा, नयाँ कोडेकले 20 ms मा 0.57-ms नमूना इन्कोड र डिकोड गर्छ, जुन वास्तविक-समय प्रसारणको लागि आवश्यकभन्दा ३५ गुणा छिटो हुन्छ।

कार्यसम्पादनको अतिरिक्त, यो ध्वनि पुनर्स्थापनाको गुणस्तर सुधार गर्न पनि सम्भव थियो - MUSHRA स्केल अनुसार, Lyra V3.2 कोडेक प्रयोग गर्दा 6 kbps, 9.2 kbps र 2 kbps को बिटरेटहरूमा बोलीको गुणस्तर 10 kbps, 13 को बिटरेटहरूसँग मेल खान्छ। Opus कोडेक प्रयोग गर्दा केबीपीएस र 14 kbps।

स्रोत: opennet.ru