פייסבוק מפרסמת Codec אודיו EnCodec באמצעות למידת מכונה

Meta/Facebook (אסור בפדרציה הרוסית) הציגה קוד אודיו חדש, EnCodec, המשתמש בשיטות למידת מכונה כדי להגדיל את יחס הדחיסה מבלי לאבד איכות. ה-Codec יכול לשמש הן להזרמת אודיו בזמן אמת והן לקידוד לשמירה מאוחרת יותר בקבצים. מימוש ההפניה של EnCodec נכתב ב-Python באמצעות מסגרת PyTorch והוא מורשה תחת רישיון CC BY-NC 4.0 (Creative Commons Attribution-NonCommercial) לשימוש לא מסחרי בלבד.

שני דגמים מוכנים מוצעים להורדה:

• מודל סיבתי המשתמש בקצב דגימה של 24 קילו-הרץ, תומך באודיו מונופוני בלבד, ומאומן על נתוני אודיו מגוונים (מתאים לקידוד דיבור). ניתן להשתמש במודל לאריזת נתוני אודיו לשידור בקצבי סיביות של 1.5, 3, 6, 12 ו-24 kbps.
• דגם לא סיבתי המשתמש בקצב דגימה של 48 קילו-הרץ, תומך באודיו סטריאו ומאומן רק על מוזיקה. הדגם תומך בקצבי סיביות של 3, 6, 12 ו-24 kbps.

לכל דגם הוכן מודל שפה נוסף המאפשר להגיע לעלייה משמעותית ביחס הדחיסה (עד 40%) ללא איבוד איכות. בניגוד לפרויקטים שפותחו בעבר המשתמשים בשיטות למידת מכונה לדחיסת אודיו, ניתן להשתמש ב-EnCodec לא רק לאריזת דיבור, אלא גם לדחיסת מוזיקה עם קצב דגימה של 48 קילו-הרץ, המתאים לרמת תקליטורי השמע. לדברי מפתחי ה-codec החדש, בעת שידור בקצב סיביות של 64 kbps בהשוואה לפורמט MP3, הם הצליחו להגדיל את מידת דחיסת השמע בכפי עשרה תוך שמירה על אותה רמת איכות (לדוגמה, בעת שימוש MP3, נדרש רוחב פס של 64 kbps, עבור שידור עם זה אותה איכות ב-EnCodec מספיקה 6 kbps).

ארכיטקטורת ה-Codec בנויה על רשת עצבית עם ארכיטקטורת "טרנספורמטור" ומבוססת על ארבעה קישורים: מקודד, quantizer, מפענח ומאפיין. המקודד מחלץ את הפרמטרים של נתוני הקול וממיר את הזרם הארוז לקצב פריימים נמוך יותר. הקוונט (RVQ, Residual Vector Quantizer) ממיר את פלט הזרם על ידי המקודד לקבוצות של מנות, דוחס מידע על סמך קצב הסיביות שנבחר. הפלט של הקוונטיזר הוא ייצוג דחוס של הנתונים, מתאים לשידור ברשת או לשמירה בדיסק.

המפענח מפענח את הייצוג הדחוס של הנתונים ומשחזר את גל הקול המקורי. המאבחן משפר את איכות הדגימות המופקות, תוך התחשבות במודל התפיסה השמיעתית האנושית. ללא קשר לרמת האיכות וקצב הסיביות, המודלים המשמשים לקידוד ולפענוח נבדלים בדרישות משאבים צנועות למדי (חישובים הנחוצים לפעולה בזמן אמת מבוצעים על ליבת מעבד יחידה).

מקור: OpenNet.ru