Google Lyra V2 ওপেন সোর্স অডিও কোডেক প্রকাশ করেছে

Google Lyra V2 অডিও কোডেক চালু করেছে, যা খুব ধীরগতির যোগাযোগ চ্যানেলে সর্বাধিক ভয়েস গুণমান অর্জন করতে মেশিন লার্নিং কৌশল ব্যবহার করে। নতুন সংস্করণে একটি নতুন নিউরাল নেটওয়ার্ক আর্কিটেকচারে একটি রূপান্তর, অতিরিক্ত প্ল্যাটফর্মের জন্য সমর্থন, প্রসারিত বিটরেট নিয়ন্ত্রণ ক্ষমতা, উন্নত কর্মক্ষমতা এবং উচ্চতর অডিও গুণমান রয়েছে। রেফারেন্স কোড বাস্তবায়ন C++ এ লেখা এবং Apache 2.0 লাইসেন্সের অধীনে বিতরণ করা হয়েছে।

কম গতিতে প্রেরিত ভয়েস ডেটার মানের দিক থেকে, Lyra প্রথাগত কোডেকগুলির থেকে উল্লেখযোগ্যভাবে উচ্চতর যা ডিজিটাল সিগন্যাল প্রক্রিয়াকরণ পদ্ধতি ব্যবহার করে। অডিও কম্প্রেশন এবং সিগন্যাল রূপান্তরের প্রচলিত পদ্ধতির পাশাপাশি, সীমিত পরিমাণে প্রেরিত তথ্যের পরিস্থিতিতে উচ্চ মানের ভয়েস ট্রান্সমিশন অর্জন করতে, লাইরা একটি মেশিন লার্নিং সিস্টেমের উপর ভিত্তি করে একটি স্পিচ মডেল ব্যবহার করে, যা আপনাকে অনুপস্থিত তথ্যের উপর ভিত্তি করে পুনরায় তৈরি করতে দেয়। সাধারণ বক্তৃতা বৈশিষ্ট্য।

কোডেক একটি এনকোডার এবং একটি ডিকোডার অন্তর্ভুক্ত। এনকোডারের অ্যালগরিদম প্রতি 20 মিলিসেকেন্ডে ভয়েস ডেটা প্যারামিটার বের করে, সেগুলিকে সংকুচিত করে এবং 3.2kbps থেকে 9.2kbps পর্যন্ত বিটরেট সহ একটি নেটওয়ার্কের মাধ্যমে প্রাপকের কাছে প্রেরণ করে। রিসিভারের শেষে, ডিকোডারটি প্রেরিত অডিও প্যারামিটারের উপর ভিত্তি করে মূল স্পিচ সিগন্যাল পুনর্গঠনের জন্য একটি জেনারেটিভ মডেল ব্যবহার করে, যার মধ্যে লগারিদমিক চক স্পেকট্রোগ্রাম রয়েছে যা বিভিন্ন ফ্রিকোয়েন্সি রেঞ্জে বক্তৃতার শক্তি বৈশিষ্ট্যগুলিকে বিবেচনা করে এবং মডেলগুলি বিবেচনায় নিয়ে প্রস্তুত করা হয়। মানুষের শ্রবণ উপলব্ধি।

Lyra V2 সাউন্ডস্ট্রিম কনভোল্যুশনাল নিউরাল নেটওয়ার্কের উপর ভিত্তি করে একটি নতুন জেনারেটিভ মডেল ব্যবহার করে, যার কম কম্পিউটেশনাল প্রয়োজনীয়তা রয়েছে, এমনকি কম-পাওয়ার সিস্টেমেও রিয়েল-টাইম ডিকোডিং করার অনুমতি দেয়। শব্দ তৈরি করতে ব্যবহৃত মডেলটি 90 টিরও বেশি ভাষায় কয়েক হাজার ঘন্টা ভয়েস রেকর্ডিং ব্যবহার করে প্রশিক্ষিত হয়েছিল। টেনসরফ্লো লাইট মডেলটি কার্যকর করতে ব্যবহৃত হয়। প্রস্তাবিত বাস্তবায়নের কর্মক্ষমতা কম দামের পরিসরে স্মার্টফোনে স্পিচ এনকোডিং এবং ডিকোডিংয়ের জন্য যথেষ্ট।

একটি ভিন্ন জেনারেটিভ মডেল ব্যবহার করার পাশাপাশি, নতুন সংস্করণটি RVQ (রেসিডুয়াল ভেক্টর কোয়ান্টাইজার) কোয়ান্টাইজারের সাথে লিঙ্কের কোডেক আর্কিটেকচারে অন্তর্ভুক্তির জন্যও উল্লেখযোগ্য, যা ডেটা প্রেরণের আগে প্রেরকের পক্ষে এবং প্রাপকের পাশে কার্যকর করা হয়। তথ্য পাওয়ার পর। কোয়ান্টাইজার কোডেক দ্বারা উত্পাদিত পরামিতিগুলিকে প্যাকেটের সেটে রূপান্তর করে, নির্বাচিত বিটরেটের সাথে সম্পর্কিত তথ্য এনকোডিং করে। বিভিন্ন স্তরের মানের প্রদানের জন্য, তিনটি বিটরেটের (3.2 kps, 6 kbps এবং 9.2 kbps) জন্য কোয়ান্টাইজার প্রদান করা হয়, বিটরেট যত বেশি হবে, গুণমান তত ভালো হবে, কিন্তু ব্যান্ডউইথের প্রয়োজনীয়তা তত বেশি হবে।

নতুন আর্কিটেকচার সিগন্যাল ট্রান্সমিশন বিলম্ব 100 থেকে 20 মিলিসেকেন্ডে কমিয়েছে। তুলনা করার জন্য, WebRTC-এর জন্য Opus কোডেক পরীক্ষিত বিটরেটে 26.5ms, 46.5ms এবং 66.5ms দেরী প্রদর্শন করেছে। এনকোডার এবং ডিকোডারের কার্যকারিতাও উল্লেখযোগ্যভাবে বৃদ্ধি পেয়েছে - আগের সংস্করণের তুলনায় 5 গুণ দ্রুত। উদাহরণস্বরূপ, Pixel 6 Pro স্মার্টফোনে, নতুন কোডেক 20 ms-এ একটি 0.57-ms নমুনা এনকোড এবং ডিকোড করে, যা রিয়েল-টাইম ট্রান্সমিশনের জন্য প্রয়োজনের চেয়ে 35 গুণ দ্রুত।

কর্মক্ষমতা ছাড়াও, শব্দ পুনরুদ্ধারের গুণমান উন্নত করাও সম্ভব ছিল - মুশরা স্কেল অনুসারে, Lyra V3.2 কোডেক ব্যবহার করার সময় 6 kbps, 9.2 kbps এবং 2 kbps এর বিটরেটে বক্তৃতা গুণমান 10 kbps, 13 এর বিটরেটের সাথে মিলে যায়। ওপাস কোডেক ব্যবহার করার সময় কেবিপিএস এবং 14 kbps.

উত্স: opennet.ru