גוגל פרסמה את Codec השמע Lyra להעברת דיבור באיכות חיבור ירודה

גוגל הציגה קודק אודיו חדש, Lyra, מותאם להשגת איכות קול מקסימלית גם בעת שימוש בערוצי תקשורת איטיים מאוד. קוד המימוש של Lyra כתוב ב-C++ ופתוח תחת רישיון Apache 2.0, אך בין התלות הנדרשות לפעולה יש ספרייה קניינית libsparse_inference.so עם מימוש ליבה לחישובים מתמטיים. יצוין כי הספרייה הקניינית היא זמנית - בעתיד גוגל מבטיחה לפתח תחליף פתוח ולספק תמיכה לפלטפורמות שונות.

מבחינת איכות הנתונים הקוליים המועברים במהירויות נמוכות, Lyra עדיפה משמעותית על קודקים מסורתיים המשתמשים בשיטות עיבוד אותות דיגיטליים. כדי להשיג שידור קולי באיכות גבוהה בתנאים של כמות מוגבלת של מידע משודר, בנוסף לשיטות קונבנציונליות של דחיסת אודיו והמרת אותות, Lyra משתמשת במודל דיבור המבוסס על מערכת למידת מכונה, המאפשרת ליצור מחדש את המידע החסר על בסיס מאפייני דיבור אופייניים. הדגם ששימש ליצירת הסאונד הוכשר באמצעות כמה אלפי שעות של הקלטות קול ביותר מ-70 שפות.

ה-Codec כולל מקודד ומפענח. האלגוריתם של המקודד מסתכם בחילוץ פרמטרים של נתוני קול כל 40 מילישניות, דחיסתם והעברתם לנמען דרך הרשת. ערוץ תקשורת במהירות של 3 קילובייט לשנייה מספיק להעברת נתונים. פרמטרי האודיו שחולצו כוללים ספקטרוגרמות Mel לוגריתמיות הלוקחות בחשבון את מאפייני האנרגיה של דיבור בטווחי תדרים שונים ומוכנות תוך התחשבות במודל של תפיסה שמיעתית אנושית.

המפענח משתמש במודל מחולל, המבוסס על פרמטרי האודיו המועברים, יוצר מחדש את אות הדיבור. כדי להפחית את מורכבות החישובים, נעשה שימוש במודל קל משקל המבוסס על רשת עצבית חוזרת, שהוא גרסה של מודל סינתזת הדיבור של WaveRNN, המשתמש בתדר דגימה נמוך יותר, אך מייצר מספר אותות במקביל בטווחי תדרים שונים. האותות המתקבלים מונחים על גבי כדי להפיק אות פלט יחיד המתאים לקצב הדגימה שצוין.

הוראות מעבד מיוחדות הזמינות במעבדי ARM של 64 סיביות משמשות גם להאצה. כתוצאה מכך, למרות השימוש בלמידת מכונה, ה-Codec Lyra יכול לשמש לקידוד ופענוח דיבור בזמן אמת בטלפונים חכמים בינוניים, תוך הדגמה של חביון שידור אות של 90 מילישניות.

מקור: OpenNet.ru