איך האצנו את קידוד הווידאו פי שמונה

מדי יום, מיליוני צופים צופים בסרטונים באינטרנט. אבל כדי שהסרטון יהיה זמין, יש להעלות אותו לא רק לשרת, אלא גם לעבד אותו. ככל שזה קורה מהר יותר, כך טוב יותר לשירות ולמשתמשים בו.

שמי אשקר קמאלוב, לפני שנה הצטרפתי לצוות טכנולוגיית הווידאו של Yandex. היום אספר בקצרה לקוראי Habr כיצד, על ידי הקבלה לתהליך הקידוד, הצלחנו לזרז משמעותית את אספקת הווידאו למשתמש.

הפוסט הזה יעניין בעיקר את אלה שלא חשבו בעבר על מה שקורה מתחת למכסה המנוע של שירותי הווידאו. בתגובות תוכלו לשאול שאלות ולהציע נושאים לפוסטים עתידיים.

כמה מילים על המשימה עצמה. Yandex לא רק עוזרת לך לחפש סרטונים באתרים אחרים, אלא גם מאחסנת סרטונים עבור השירותים שלה. בין אם מדובר בתוכנית מקורית או משחק ספורט בשידור, סרט ב-KinoPoisk או סרטונים ב-Zen ובניוז - כל זה מועלה לשרתים שלנו. על מנת שמשתמשים יוכלו לצפות בסרטון, יש להכין אותו: להמיר אותו לפורמט הנדרש, ליצור תצוגה מקדימה, או אפילו להפעיל טכנולוגיה DeepHD. קובץ לא מוכן פשוט תופס מקום. יתרה מכך, אנחנו מדברים לא רק על שימוש אופטימלי בחומרה, אלא גם על מהירות אספקת התוכן למשתמשים. דוגמה: ניתן לחפש הקלטה של ​​הרגע המכריע של משחק הוקי תוך דקה לאחר האירוע עצמו.

קידוד רציף

אז, האושר של המשתמש תלוי במידה רבה כמה מהר הסרטון הופך זמין. וזה נקבע בעיקר על ידי מהירות ההמרה. כאשר אין דרישות קפדניות למהירות העלאת וידאו, אז אין בעיות. אתה לוקח קובץ יחיד, בלתי ניתן לחלוקה, ממירה אותו ומעלה אותו. בתחילת דרכנו, כך עבדנו:

הלקוח מעלה את הסרטון לאחסון, רכיב ה-Analyzer אוסף מטא מידע ומעביר את הסרטון לרכיב ה-Worker להמרה. כל השלבים מבוצעים ברצף. במקרה זה, יכולים להיות שרתי קידוד רבים, אך רק אחד עסוק בעיבוד סרטון מסוים. דיאגרמה פשוטה ושקופה. כאן מסתיימים היתרונות שלו. ניתן לשנות את קנה המידה של תכנית זו רק אנכית (עקב רכישת שרתים חזקים יותר).

קידוד רציף עם תוצאת ביניים

כדי להחליק איכשהו את ההמתנה הכואבת, התעשייה המציאה אפשרות קידוד מהירה. השם מטעה, כי למעשה, קידוד מלא מתרחש ברצף ולוקח לא פחות זמן. אבל עם תוצאת ביניים. הרעיון הוא כזה: הכינו ופרסמו גרסה ברזולוציה נמוכה של הסרטון כמה שיותר מהר, ורק אחר כך גרסאות ברזולוציה גבוהה יותר.

מצד אחד, וידאו הופך זמין מהר יותר. וזה שימושי לאירועים חשובים. אבל מצד שני, התמונה מטושטשת, וזה מעצבן את הצופים.

מסתבר שצריך לא רק לעבד את הסרטון במהירות, אלא גם לשמור על איכותו. זה מה שהמשתמשים מצפים משירות וידאו עכשיו. זה אולי נראה שמספיק לקנות את השרתים הכי פרודוקטיביים (ולשדרג את כולם באופן קבוע בבת אחת). אבל זה מבוי סתום, כי תמיד יש סרטון שיגרום אפילו לחומרה החזקה ביותר להאט.

קידוד מקביל

הרבה יותר יעיל לחלק בעיה מורכבת להרבה פחות מורכבות ולפתור אותן במקביל בשרתים שונים. זה MapReduce לווידאו. במקרה זה, איננו מוגבלים על ידי הביצועים של שרת אחד ויכולים לשנות את קנה המידה אופקית (על ידי הוספת מכונות חדשות).

אגב, הרעיון של פיצול סרטונים לחתיכות קטנות, עיבודם במקביל והדבקתם זה לא סוד. ניתן למצוא התייחסויות רבות לגישה זו (לדוגמה, ב-Habré אני ממליץ על פוסט על הפרויקט DistVIDc). אבל זה לא עושה את זה יותר קל בסך הכל, כי אתה לא יכול פשוט לקחת פתרון מוכן ולבנות אותו לתוך הבית שלך. אנחנו צריכים התאמה לתשתית שלנו, לסרטון ואפילו לעומס שלנו. באופן כללי, קל יותר לכתוב בעצמך.

אז, בארכיטקטורה החדשה, חילקנו את בלוק Worker המונוליטי עם קידוד רציף למיקרו-שירותים Segmenter, Tcoder, Combiner.

1. Segmenter מפרק את הסרטון לרסיסים של כ-10 שניות. שברים מורכבים מ-GOP אחד או יותר (קבוצת תמונות). כל GOP עצמאי ומקודד בנפרד כך שניתן לפענח אותו ללא התייחסות למסגרות מ-GOPs אחרות. כלומר, ניתן לשחק פרגמנטים ללא תלות זה בזה. ריסוק זה מפחית את זמן האחזור, ומאפשר לעיבוד להתחיל מוקדם יותר.
2. Tcoder מעבד כל פרגמנט. זה לוקח משימה מהתור, מוריד פרגמנט מהאחסון, מקודד אותו ברזולוציות שונות (זכור שהשחקן יכול לבחור גרסה על סמך מהירות החיבור), ואז מחזיר את התוצאה לאחסון ומסמן את הפרגמנט כעובד במסד הנתונים. לאחר עיבוד כל הפרגמנטים, Tcoder שולח את המשימה כדי ליצור תוצאות עבור הרכיב הבא.
3. Combiner אוסף את התוצאות יחד: מוריד את כל הפרגמנטים שנעשו על ידי Tcoder, יוצר זרמים עבור רזולוציות שונות.

כמה מילים על סאונד. לקודק האודיו הפופולרי ביותר של AAC יש תכונה לא נעימה. אם תקודד קטעים בנפרד, פשוט לא תוכל להדביק אותם יחד בצורה חלקה. מעברים יהיו מורגשים. ל-codec וידאו אין בעיה זו. תיאורטית, אתה יכול לחפש פתרון טכני מורכב, אבל המשחק הזה פשוט לא שווה את הנר עדיין (אודיו שוקל משמעותית פחות מווידאו). לכן, רק הסרטון מקודד במקביל, וכל רצועת האודיו מעובדת.

ממצאים

הודות לעיבוד וידאו מקביל, צמצמנו משמעותית את העיכוב בין העלאת סרטון אלינו לבין זמין למשתמשים. לדוגמה, בעבר יכלו לקחת שעתיים ליצור מספר גרסאות מלאות באיכות שונה עבור סרט FullHD שנמשך שעה וחצי. עכשיו כל זה לוקח 15 דקות. יתרה מכך, בעיבוד מקביל, אנו יוצרים גרסה ברזולוציה גבוהה אפילו מהר יותר מגרסה ברזולוציה נמוכה בגישת תוצאת הביניים הישנה.

ועוד דבר אחד. בגישה הישנה, ​​או שלא היו מספיק שרתים, או שהם לא היו פעילים ללא משימות. קידוד מקביל מאפשר לך להגדיל את נתח מיחזור הברזל. עכשיו האשכול שלנו של יותר מאלף שרתים תמיד עסוק במשהו.

למעשה, עדיין יש מקום לשיפור. למשל, נוכל לחסוך זמן משמעותי אם נתחיל לעבד קטעים מהסרטון לפני שהוא מגיע אלינו בשלמותו. כמו שאומרים, עוד יבואו.

כתבו בתגובות אילו משימות בתחום העבודה עם וידאו תרצו לקרוא עליהן.

קישורים שימושיים לניסיון של עמיתים בתעשייה

• SVE: עיבוד וידאו מבוזר בסולם פייסבוק
• פישוט חדשנות מדיה בנטפליקס עם Archer. בלוג הטכנולוגיה של נטפליקס

מקור: www.habr.com