फेसबुकले मेसिन लर्निङ प्रयोग गरेर EnCodec अडियो कोडेक प्रकाशित गर्छ

Meta/Facebook (रूसी संघमा प्रतिबन्धित) ले एउटा नयाँ अडियो कोडेक, EnCodec प्रस्तुत गर्‍यो, जसले गुणस्तर नगुमाई कम्प्रेसन अनुपात बढाउन मेसिन लर्निङ विधिहरू प्रयोग गर्दछ। कोडेकलाई वास्तविक समयमा अडियो स्ट्रिमिङ गर्न र फाइलहरूमा पछि बचत गर्नको लागि एन्कोडिङका लागि दुवै प्रयोग गर्न सकिन्छ। EnCodec सन्दर्भ कार्यान्वयन PyTorch फ्रेमवर्क प्रयोग गरेर Python मा लेखिएको छ र गैर-व्यावसायिक प्रयोगको लागि मात्र CC BY-NC 4.0 (Creative Commons Attribution-Noncommercial) लाइसेन्स अन्तर्गत इजाजतपत्र दिइएको छ।

दुई तयार मोडेलहरू डाउनलोडको लागि प्रस्तावित छन्:

• 24 kHz नमूना दर प्रयोग गर्ने एक कारण मोडेल, केवल मोनोफोनिक अडियो समर्थन गर्दै, र विविध अडियो डेटामा प्रशिक्षित (वाक् कोडिङका लागि उपयुक्त)। मोडेललाई 1.5, 3, 6, 12 र 24 kbps को बिट दरहरूमा प्रसारणको लागि अडियो डेटा प्याकेज गर्न प्रयोग गर्न सकिन्छ।
• 48 kHz को नमूना दर प्रयोग गर्ने गैर-कारण मोडेल, स्टेरियो अडियो समर्थन गर्ने र संगीतमा मात्र प्रशिक्षित। मोडेलले 3, 6, 12 र 24 kbps को बिटरेटहरू समर्थन गर्दछ।

प्रत्येक मोडेलको लागि, एक अतिरिक्त भाषा मोडेल तयार गरिएको छ, जसले तपाईंलाई गुणस्तरको हानि बिना कम्प्रेसन अनुपात (40% सम्म) मा उल्लेखनीय वृद्धि हासिल गर्न अनुमति दिन्छ। अडियो कम्प्रेसनका लागि मेसिन लर्निङ विधिहरू प्रयोग गरेर अघिल्लो विकसित परियोजनाहरू विपरीत, EnCodec लाई स्पीच प्याकेजिङका लागि मात्र होइन, अडियो सीडीको स्तरसँग मिल्ने ४८ kHz को नमूना दरको साथ संगीत सङ्कुचनका लागि पनि प्रयोग गर्न सकिन्छ। नयाँ कोडेकका विकासकर्ताहरूका अनुसार, MP48 ढाँचाको तुलनामा 64 kbps को बिटरेटको साथ प्रसारण गर्दा, तिनीहरूले गुणस्तरको समान स्तर कायम राख्दै अडियो कम्प्रेसनको डिग्री लगभग दस गुणा बढाउन सक्षम थिए (उदाहरणका लागि, प्रयोग गर्दा MP3, 3 kbps को ब्यान्डविथ आवश्यक छ, त्यसको साथ प्रसारणको लागि EnCodec मा 64 kbps पर्याप्त छ)।

कोडेक आर्किटेक्चर "ट्रान्सफर्मर" आर्किटेक्चरको साथ एक न्यूरल नेटवर्कमा बनाइएको छ र चार लिङ्कहरूमा आधारित छ: एन्कोडर, क्वान्टाइजर, डिकोडर र भेदभाव। एन्कोडरले भ्वाइस डेटाको प्यारामिटरहरू निकाल्छ र यसलाई कम फ्रेम दरमा प्याक गरिएको स्ट्रिममा रूपान्तरण गर्छ। क्वान्टाइजर (RVQ, अवशिष्ट भेक्टर क्वान्टाइजर) एन्कोडरद्वारा स्ट्रिम आउटपुटलाई प्याकेटहरूको सेटमा रूपान्तरण गर्दछ, चयन गरिएको बिटरेटमा आधारित जानकारी कम्प्रेस गर्दै। क्वान्टाइजरको आउटपुट डाटाको संकुचित प्रतिनिधित्व हो, नेटवर्कमा प्रसारण वा डिस्कमा बचत गर्नको लागि उपयुक्त।

डिकोडरले डेटाको संकुचित प्रतिनिधित्वलाई डिकोड गर्दछ र मौलिक ध्वनि तरंगलाई पुन: निर्माण गर्दछ। भेदभावकर्ताले मानव श्रवण धारणाको मोडेललाई ध्यानमा राख्दै उत्पन्न नमूनाहरूको गुणस्तर सुधार गर्दछ। गुणस्तर र बिटरेटको स्तरको बावजुद, एन्कोडिङ र डिकोडिङका लागि प्रयोग गरिएका मोडेलहरू सामान्य स्रोत आवश्यकताहरू (वास्तविक-समय सञ्चालनको लागि आवश्यक गणनाहरू एकल CPU कोरमा प्रदर्शन गरिन्छ) द्वारा भिन्न हुन्छन्।

स्रोत: opennet.ru