הקוד למערכת זיהוי ותרגום דיבור Whisper נפתח

פרויקט OpenAI, המפתח פרויקטים ציבוריים בתחום הבינה המלאכותית, פרסם פיתוחים הקשורים למערכת זיהוי הדיבור Whisper. נטען כי עבור דיבור באנגלית המערכת מספקת רמות של אמינות ודיוק של זיהוי אוטומטי קרוב לזיהוי אנושי. הקוד ליישום ההתייחסות המבוסס על מסגרת PyTorch ומערכת של מודלים שכבר עברו הכשרה, מוכנים לשימוש, נפתחו. הקוד פתוח תחת רישיון MIT.

כדי להכשיר את המודל, נעשה שימוש ב-680 אלף שעות של נתוני דיבור, שנאספו ממספר אוספים המכסים שפות ותחומי נושא שונים. כ-1/3 מנתוני הדיבור המעורבים באימון הם בשפות שאינן אנגלית. המערכת המוצעת מטפלת בצורה נכונה במצבים כמו הגייה מודגשת, רעשי רקע ושימוש בז'רגון טכני. בנוסף לתמלול דיבור לטקסט, המערכת יכולה גם לתרגם דיבור מכל שפה לאנגלית ולזהות את הופעת הדיבור בזרם האודיו.

המודלים נוצרים בשני ייצוגים: מודל לשפה האנגלית ומודל רב לשוני, התומך גם בשפות רוסית, אוקראינית ובלארוסית. בתורו, כל ייצוג מחולק ל-5 אפשרויות, שונות בגודל ובמספר הפרמטרים המכוסים במודל. ככל שהגודל גדול יותר, כך הדיוק ואיכות הזיהוי גבוהים יותר, אך גם הדרישות לגודל זיכרון הווידאו GPU גבוהות יותר והביצועים נמוכים יותר. לדוגמה, האופציה המינימלית כוללת 39 מיליון פרמטרים ודורשת 1 GB של זיכרון וידאו, והמקסימום כולל 1550 מיליון פרמטרים ודורש 10 GB של זיכרון וידאו. האופציה המינימלית מהירה פי 32 מהמקסימום.

המערכת משתמשת בארכיטקטורת הרשת העצבית של Transformer, הכוללת מקודד ומפענח המקיימים אינטראקציה זה עם זה. האודיו מחולק לנתחים של 30 שניות, המומרים לספקטרוגרמה log-Mel ונשלחים למקודד. הפלט של המקודד נשלח אל המפענח, אשר מנבא ייצוג טקסט מעורבב באסימונים מיוחדים המאפשרים, במודל כללי אחד, לפתור בעיות כמו זיהוי שפה, התחשבות בכרונולוגיה של הגיית ביטויים, תמלול דיבור ב שפות שונות, ותרגום לאנגלית.

מקור: OpenNet.ru