גוגל משחררת את Lyra V2 קוד פתוח לאודיו

גוגל הציגה את Codec השמע Lyra V2, המשתמש בטכניקות למידת מכונה כדי להשיג איכות קול מקסימלית בערוצי תקשורת איטיים מאוד. הגרסה החדשה כוללת מעבר לארכיטקטורת רשת עצבית חדשה, תמיכה בפלטפורמות נוספות, יכולות שליטה מורחבות בקצב סיביות, ביצועים משופרים ואיכות שמע גבוהה יותר. יישום קוד ההתייחסות נכתב ב-C++ ומופץ תחת רישיון Apache 2.0.

מבחינת איכות הנתונים הקוליים המועברים במהירויות נמוכות, Lyra עדיפה משמעותית על קודקים מסורתיים המשתמשים בשיטות עיבוד אותות דיגיטליים. כדי להשיג שידור קולי באיכות גבוהה בתנאים של כמות מוגבלת של מידע משודר, בנוסף לשיטות קונבנציונליות של דחיסת אודיו והמרת אותות, Lyra משתמשת במודל דיבור המבוסס על מערכת למידת מכונה, המאפשרת ליצור מחדש את המידע החסר על בסיס מאפייני דיבור אופייניים.

ה-Codec כולל מקודד ומפענח. האלגוריתם של המקודד מסתכם בחילוץ פרמטרים של נתוני קול כל 20 מילישניות, דחיסתם ושידורם לנמען דרך רשת עם קצב סיביות מ-3.2kbps ל-9.2kbps. בקצה המקלט, המפענח משתמש במודל מחולל כדי לשחזר את אות הדיבור המקורי בהתבסס על פרמטרי האודיו המועברים, הכוללים ספקטרוגרמות גיר לוגריתמיות הלוקחות בחשבון את מאפייני האנרגיה של דיבור בטווחי תדרים שונים ומוכנות תוך התחשבות במודלים של תפיסה שמיעתית אנושית.

Lyra V2 משתמשת במודל יצירתי חדש המבוסס על הרשת העצבית הקונבולוציונית SoundStream, בעלת דרישות חישוביות נמוכות, המאפשרות פענוח בזמן אמת גם במערכות בעלות הספק נמוך. המודל המשמש להפקת הסאונד הוכשר באמצעות כמה אלפי שעות של הקלטות קול ביותר מ-90 שפות. TensorFlow Lite משמש לביצוע המודל. הביצועים של היישום המוצע מספיקים עבור קידוד דיבור ופענוח בסמארטפונים בטווח המחירים הנמוך יותר.

בנוסף לשימוש במודל מחולל אחר, הגרסה החדשה בולטת גם בהכללה בארכיטקטורת ה-codec של קישורים עם מכונת ה-RVQ (Residual Vector Quantizer), שמתבצע בצד השולח לפני שידור הנתונים, ובצד המקלט. לאחר קבלת נתונים. ה-Quantizer ממיר את הפרמטרים המיוצרים על ידי ה-Codec לקבוצות של מנות, ומקודד מידע ביחס לקצב הסיביות שנבחר. כדי לספק רמות שונות של איכות, ניתנים קוונטייזרים עבור שלושה קצבי סיביות (3.2 kbps, 6 kbps ו-9.2 kbps), ככל שקצב הסיביות גבוה יותר, כך האיכות טובה יותר, אך ככל שדרישות רוחב הפס גבוהות יותר.

הארכיטקטורה החדשה צמצמה את עיכובי שידור האות מ-100 ל-20 מילישניות. לשם השוואה, ה-Codec Opus עבור WebRTC הדגים חבילות של 26.5ms, 46.5ms ו-66.5ms בקצבי הסיביות שנבדקו. גם ביצועי המקודד והמפענח עלו משמעותית - עד פי 5 מהר יותר בהשוואה לגרסה הקודמת. לדוגמה, בסמארטפון Pixel 6 Pro, ה-Codec החדש מקודד ומפענח דגימה של 20 אלפיות השנייה ב-0.57 אלפיות השנייה, שזה פי 35 מהיר יותר מהנדרש לשידור בזמן אמת.

בנוסף לביצועים, ניתן היה גם לשפר את איכות שחזור הסאונד - לפי סולם MUSHRA, איכות דיבור בקצבי סיביות של 3.2 kbps, 6 kbps ו-9.2 kbps בשימוש ב-Codec Lyra V2 מתאימה לקצבי סיביות של 10 kbps, 13 kbps ו-14 kbps בעת שימוש ב-Codec Opus.

מקור: OpenNet.ru