מוזילה הציגה את מנוע זיהוי הדיבור DeepSpeech 0.6

שהוגש על ידי שחרור מנוע זיהוי דיבור שפותח על ידי מוזילה DeepSpeech 0.6, המיישמת את ארכיטקטורת זיהוי הדיבור באותו שם, מוּצָע על ידי חוקרים מבאידו. המימוש נכתב ב-Python באמצעות פלטפורמת למידת מכונה של TensorFlow ו מופץ על ידי תחת רישיון MPL 2.0 החינמי. תומך בעבודה על לינוקס, אנדרואיד, macOS ו-Windows. הביצועים מספיקים כדי להשתמש במנוע על לוחות LePotato, Raspberry Pi 3 ו-Raspberry Pi 4.

כלול גם בסט מוּצָע דוגמנים מאומנים, דוגמאות קבצי קול וכלי זיהוי משורת הפקודה. כדי לשלב את פונקציית זיהוי הדיבור בתוכניות שלך, מוצעים מודולים מוכנים לשימוש עבור Python, NodeJS, C++ ו-.NET (מפתחי צד שלישי הכינו בנפרד מודולים עבור חלודה и Go). הדגם המוגמר מסופק רק עבור אנגלית, אך עבור שפות אחרות על ידי מְצוֹרָף הוראות אתה יכול לאמן את המערכת בעצמך באמצעות נתוני קול, שנאסף על ידי פרויקט Common Voice.

DeepSpeech היא הרבה יותר פשוטה ממערכות מסורתיות ובמקביל מספקת זיהוי איכותי יותר בנוכחות רעש זר. הוא עוקף מודלים אקוסטיים מסורתיים ותפיסת הפונמות, במקום זאת משתמש במערכת למידת מכונה מבוססת רשת עצבית ממוטבת במיוחד, המבטלת את הצורך בפיתוח רכיבים נפרדים למודל של חריגות שונות כגון מאפייני רעש, הד ודיבור.

החיסרון של גישה זו הוא שכדי להשיג זיהוי והדרכה באיכות גבוהה של רשת עצבית, מנוע ה-DeepSpeech דורש כמות גדולה של נתונים הטרוגניים, המוכתבים בתנאים אמיתיים על ידי קולות שונים ובנוכחות רעש טבעי.
פרויקט שנוצר במוזילה אוסף נתונים כאלה. קול נפוץ, מתן מערך נתונים מאומת עם 780 שעות של שפה אנגלית, 325 בגרמנית, 173 בצרפתית ו-27 שעות ברוסית.

המטרה הסופית של פרויקט Common Voice היא לצבור 10 אלף שעות של הקלטות של הגיות שונות של ביטויים טיפוסיים של דיבור אנושי, שיאפשרו השגת רמה מקובלת של טעויות בזיהוי. במתכונתו הנוכחית, משתתפי הפרויקט כבר הכתיבו בסך הכל 4.3 אלף שעות, מתוכן 3.5 אלף נבדקו. בעת הכשרת המודל הסופי בשפה האנגלית ל-DeepSpeech, נעשה שימוש ב-3816 שעות דיבור, בנוסף ל-Common Voice שכיסה נתונים מהפרויקטים של LibriSpeech, Fisher ו-Switchboard, וכן כולל כ-1700 שעות של הקלטות של תוכניות רדיו מתומללות.

בעת שימוש במודל האנגלית המוכן המוצע להורדה, שיעור שגיאות הזיהוי ב-DeepSpeech הוא 7.5% כאשר הוא מוערך עם ערכת מבחן LibriSpeech. לשם השוואה, שיעור השגיאות עבור זיהוי אנושי מְשׁוֹעָר ב 5.83%.

DeepSpeech מורכבת משתי מערכות משנה - דגם אקוסטי ומפענח. המודל האקוסטי משתמש בשיטות למידת מכונה עמוקות כדי לחשב את הסבירות שתווים מסוימים יהיו נוכחים בצליל הקלט. המפענח משתמש באלגוריתם חיפוש קרני כדי להמיר נתוני הסתברות תווים לייצוג טקסט.

העיקרי חידושים DeepSpeech 0.6 (ענף 0.6 אינו תואם למהדורות קודמות ודורש עדכוני קוד ודגם):

• מוצע מפענח סטרימינג חדש המספק היענות גבוהה יותר ואינו תלוי בגודל נתוני האודיו המעובדים. כתוצאה מכך, הגרסה החדשה של DeepSpeech הצליחה לצמצם את זמן ההשהיה לזיהוי ל-260 ms, שהם מהירים ב-73% מבעבר, ומאפשרת שימוש ב-DeepSpeech בפתרונות זיהוי דיבור תוך כדי תנועה.
• בוצעו שינויים ב-API ונעשתה עבודה לאיחוד שמות פונקציות. נוספו פונקציות כדי לקבל מטא נתונים נוספים על סנכרון, המאפשרות לך לא רק לקבל ייצוג טקסט כפלט, אלא גם לעקוב אחר הכריכה של תווים ומשפטים בודדים למיקום בזרם האודיו.
• תמיכה בשימוש בספרייה נוספה לערכת הכלים עבור מודולי הדרכה CuDNN לייעל את העבודה עם רשתות עצביות חוזרות (RNN), מה שאיפשר להגיע לעלייה משמעותית (כפי שניים) בביצועי אימון המודל, אך דרש שינויים בקוד שהפר את התאימות למודלים שהוכנו בעבר.
• דרישות גרסת TensorFlow המינימליות הועלו מ-1.13.1 ל-1.14.0. נוספה תמיכה במהדורה הקלה של TensorFlow Lite, שמקטינה את גודל חבילת DeepSpeech מ-98 מגה-בייט ל-3.7 מגה-בייט. לשימוש במכשירים משובצים וניידים, גודל הקובץ הארוז עם הדגם הצטמצם גם מ-188 מגה-בייט ל-47 מגה-בייט (שיטת הקוונטיזציה משמשת לדחיסה לאחר אימון המודל).
• מודל השפה תורגם לתבנית מבנה נתונים שונה המאפשרת מיפוי של קבצים לזיכרון בעת ​​טעינתם. התמיכה בפורמט הישן הופסקה.
• אופן טעינת הקובץ עם מודל שפה שונה, מה שהפחית את צריכת הזיכרון והפחית את העיכובים בעת עיבוד הבקשה הראשונה לאחר יצירת המודל. במהלך הפעולה, DeepSpeech צורך כעת פי 22 פחות זיכרון ומתחיל פי 500 מהר יותר.
  

• מילים נדירות סוננו במודל השפה. המספר הכולל של המילים הצטמצם ל-500 אלף מהמילים הפופולריות ביותר שנמצאו בטקסט המשמש לאימון המודל. הניקוי איפשר להקטין את גודל מודל השפה מ-1800MB ל-900MB, כמעט ללא השפעה על שיעור שגיאות הזיהוי.
• נוספה תמיכה עבור שונים טכנאי יצירת וריאציות נוספות (הגדלה) של נתוני האודיו המשמשים באימון (לדוגמה, הוספת עיוות או רעש לקבוצת אפשרויות).
• נוספה ספריה עם bindings לאינטגרציה עם אפליקציות המבוססות על פלטפורמת NET.
• התיעוד עובד מחדש והוא נאסף כעת באתר נפרד. deepspeech.readthedocs.io.

מקור: OpenNet.ru