מהדורה חדשה של מערכת סינתזת דיבור Silero

מהדורה ציבורית חדשה של מערכת סינתזת דיבור של רשת עצבית Silero Text-to-Speech זמינה. הפרויקט נועד בראש ובראשונה ליצירת מערכת סינתזת דיבור חדישה ואיכותית שאינה נחותה מפתרונות מסחריים של תאגידים ונגישה לכולם ללא שימוש בציוד שרתים יקר.

הדגמים מופצים תחת רישיון GNU AGPL, אך החברה המפתחת את הפרויקט אינה חושפת את המנגנון להכשרת הדגמים. כדי להפעיל, אתה יכול להשתמש ב- PyTorch ובמסגרות התומכות בפורמט ONNX. סינתזת דיבור ב-Silero מבוססת על שימוש באלגוריתמים מודרניים של רשתות עצביות ושיטות עיבוד אותות דיגיטליות.

יצוין כי הבעיה העיקרית של פתרונות רשת נוירונים מודרניים לסינתזת דיבור היא שהם זמינים לעתים קרובות רק בתוך פתרונות ענן בתשלום, ולמוצרים ציבוריים יש דרישות חומרה גבוהות, הם באיכות נמוכה יותר, או שאינם שלמים ומוכנים לשימוש. מוצרים. לדוגמה, כדי להפעיל את אחת מארכיטקטורות הסינתזה הפופולריות החדשות מקצה לקצה, VITS, בצורה חלקה במצב סינתזה (כלומר, לא להכשרת מודלים), נדרשים כרטיסי מסך עם יותר מ-16 גיגה-בייט של VRAM.

בניגוד למגמה הנוכחית, פתרונות Silero פועלים בהצלחה אפילו על חוט 1 x86 של מעבד אינטל עם הוראות AVX2. על 4 חוטי מעבד, סינתזה מאפשרת לסנתז בין 30 ל-60 שניות לשנייה במצב סינתזה של 8 קילו-הרץ, במצב של 24 קילו-הרץ - 15-20 שניות, ובמצב 48 קילו-הרץ - כ-10 שניות.

תכונות עיקריות של מהדורת Silero החדשה:

• גודל הדגם הצטמצם פי 2 ל-50 מגה-בייט;
• דוגמניות יודעות לעצור;
• 4 קולות באיכות גבוהה ברוסית זמינים (ומספר אינסופי של קולות אקראיים). דוגמאות הגייה;
• הדגמים הפכו מהירים פי 10, ולדוגמא, במצב 24 קילו-הרץ הם מאפשרים לסנתז עד 20 שניות של אודיו בשנייה על גבי 4 חוטי מעבד;
• כל אפשרויות הקול עבור שפה אחת ארוזות בדגם אחד;
• מודלים יכולים לקבל פסקאות שלמות של טקסט כקלט, תגי SSML נתמכים;
• הסינתזה פועלת בבת אחת בשלושה תדרי דגימה לבחירה - 8, 24 ו-48 קילו-הרץ;
• "בעיות הילדים" נפתרו: חוסר יציבות ומילים חסרות;
• נוספו דגלים כדי לשלוט במיקום האוטומטי של הדגשים ובמיקום האות "е".

נכון לעכשיו, עבור הגרסה החדשה ביותר של הסינתזה, 4 קולות ברוסית זמינים לציבור, אך בעתיד הקרוב הגרסה הבאה תפורסם עם השינויים הבאים:

• קצב הסינתזה יגדל פי 2-4 נוספים;
• מודלים סינתזה לשפות CIS יעודכנו: קלמיקית, טטרית, אוזבקית ואוקראינית;
• יתווספו דגמים לשפות אירופאיות;
• יתווספו דגמים לשפות הודיות;
• יתווספו דגמים לאנגלית.

חלק מהתקלות המערכת הטבועות בסינתזה של Silero:

• בניגוד לפתרונות סינתזה מסורתיים יותר כגון RHVoice, לסינתזה של Silero אין אינטגרציה של SAPI, לקוחות קלים להתקנה או אינטגרציות עבור Windows ואנדרואיד;
• המהירות, על אף שהייתה גבוהה באופן חסר תקדים עבור פתרון כזה, עשויה שלא להספיק לסינתזה תוך כדי תנועה על מעבדים חלשים באיכות גבוהה;
• פתרון המבטא האוטומטי אינו מטפל בהומוגרפיות (מילים כמו טירה וטירה) ועדיין עושה טעויות, אך הדבר יתוקן במהדורות עתידיות;
• הגרסה הנוכחית של סינתזה לא עובדת על מעבדים ללא הוראות AVX2 (או שאתה צריך לשנות ספציפית את הגדרות PyTorch) מכיוון שאחד המודולים בתוך המודל מקומת;
• לגרסה הנוכחית של סינתזה יש למעשה תלות PyTorch יחידה; כל המלית "מחובעת" בתוך הדגם וחבילות JIT. קודי המקור של המודלים אינם מפורסמים, כמו גם הקוד להפעלת מודלים מלקוחות PyTorch לשפות אחרות;
• Libtorch, זמין עבור פלטפורמות ניידות, הוא הרבה יותר מגושם מאשר זמן ריצה ONNX, אבל גרסת ONNX של הדגם עדיין לא זמין.

מקור: OpenNet.ru