איך עובד Codec וידאו? חלק 1: יסודות

החלק השני: איך עובד ה-Codec של הווידאו

כל רסטר תמונה יכול להיות מיוצג בטופס מטריצה ​​דו מימדית. כשזה מגיע לצבעים, אפשר לפתח את הרעיון על ידי הסתכלות על תמונה כמו מטריצה ​​תלת מימדית, שבהם נעשה שימוש בממדים נוספים לאחסון נתונים עבור כל אחד מהצבעים.

אם ניקח בחשבון את הצבע הסופי כשילוב של מה שנקרא. צבעי יסוד (אדום, ירוק וכחול), במטריצה ​​התלת מימדית שלנו אנו מגדירים שלושה מישורים: הראשון לאדום, השני לירוק והאחרון לכחול.

לכל נקודה במטריצה ​​הזו נקרא פיקסל (אלמנט תמונה). כל פיקסל מכיל מידע על העוצמה (בדרך כלל כערך מספרי) של כל צבע. לדוגמה, פיקסל אדום פירושו שהוא מכיל 0 ירוק, 0 כחול ומקסימום אדום. פיקסל ורוד ניתן ליצור באמצעות שילוב של שלושה צבעים. באמצעות טווח מספרי מ-0 עד 255, פיקסל ורוד מוגדר כ אדום = 255, ירוק = 192 и כחול = 203.

מאמר זה פורסם בתמיכת EDISON.

אנחנו מתפתחים יישומים למעקב וידאו, הזרמת וידאו, וגם אנחנו מאורסים הקלטת וידאו בחדר הניתוח.

דרכים חלופיות לקידוד תמונה צבעונית

ישנם דגמים רבים אחרים לייצוג הצבעים המרכיבים תמונה. לדוגמה, אתה יכול להשתמש בפלטת אינדקס, הדורשת רק בייט אחד כדי לייצג כל פיקסל, במקום השלושה הנדרשים בעת שימוש במודל RGB. במודל כזה אפשר להשתמש במטריצה ​​דו מימדית במקום במטריצה ​​תלת מימדית כדי לייצג כל צבע. זה חוסך בזיכרון, אבל נותן סולם צבעים קטן יותר.

RGB

לדוגמה, התבונן בתמונה זו למטה. הפנים הראשון צבוע לחלוטין. האחרים הם המישורים האדומים, הירוקים והכחולים (העוצמות של הצבעים המתאימים מוצגות בגווני אפור).

אנו רואים שגווני האדום במקור יהיו באותם מקומות שבהם נצפים החלקים הבהירים ביותר של הפנים השניות. בעוד שאת תרומתו של כחול ניתן לראות בעיקר רק בעיניו של מריו (הפנים האחרונות) ובאלמנטים של לבושו. שימו לב היכן כל שלושת מישורי הצבע תורמים הכי פחות (החלקים הכהים ביותר של התמונות) - השפם של מריו.

כדי לאחסן את העוצמה של כל צבע, נדרש מספר מסוים של ביטים - כמות זו נקראת קצת עומק. נניח שמוציאים 8 ביטים (בהתבסס על ערך מ-0 עד 255) לכל מישור צבע. אז יש לנו עומק צבע של 24 סיביות (8 סיביות * 3 מישורי R/G/B).

תכונה נוספת של תמונה היא אישור, שהוא מספר הפיקסלים בממד אחד. מסומן לעתים קרובות כ רוחב × גובה, כמו בתמונה לדוגמה של 4 על 4 למטה.


מאפיין נוסף שאנו עוסקים בו בעבודה עם תמונות/סרטונים הוא יחס גובה-רוחב, המתאר את הקשר הפרופורציונלי הרגיל בין הרוחב והגובה של תמונה או פיקסל.

כשהם אומרים שגודל של סרט או תמונה מסוימים הוא 16 על 9, הם בדרך כלל מתכוונים יחס רוחב-גובה של תצוגה (דר - מ יחס גובה-רוחב). עם זאת, לפעמים עשויות להיות צורות שונות של פיקסלים בודדים - במקרה זה אנחנו מדברים על יחס פיקסלים (נָקוּב - מ יחס גובה-רוחב של פיקסל).

הערה למארחת: DVD מתאים DAR 4 עד 3

למרות שרזולוציית ה-DVD בפועל היא 704x480, הוא עדיין שומר על יחס רוחב-גובה של 4:3 מכיוון שה-PAR הוא 10:11 (704x10 / 480x11).

ולבסוף, אנחנו יכולים לקבוע וידאו כמו רצף של n מסגרות לתקופה זמן, שיכול להיחשב כממד נוסף. א n אז הוא קצב הפריימים או מספר הפריימים לשנייה (FPS - מ פריימים לשניה).

מספר הביטים לשנייה הנדרש להצגת סרטון הוא שלו מהירות שידור - קצב סיביות.

קצב סיביות = רוחב * גובה * עומק סיביות * פריימים לשנייה

לדוגמה, סרטון 30 fps, 24 bps, 480x240 ידרוש 82,944,000 bps או 82,944 Mbps (30x480x240x24) - אבל זה אם לא נעשה שימוש בשיטת דחיסה.

אם מהירות ההעברה כמעט קבוע, אז זה נקרא מהירות שידור קבועה (CBR - מ קצב סיביות קבוע). אבל זה יכול גם להשתנות, במקרה הזה זה נקרא קצב בונד משתנה (VBR - מ קצב סיביות משתנה).

גרף זה מציג VBR מוגבל, שבו לא יותר מדי ביטים מתבזבזים במקרה של מסגרת כהה לחלוטין.

מהנדסים פיתחו בתחילה שיטה להכפיל את קצב הפריימים הנתפס של תצוגת וידאו מבלי להשתמש ברוחב פס נוסף. שיטה זו ידועה בשם סרטון משולב; בעצם, הוא שולח חצי מסך ב"פריים" הראשון ואת החצי השני ב"פריים" הבא.

נכון לעכשיו, סצינות מעובדות בעיקר באמצעות טכנולוגיות סריקה מתקדמות. זוהי שיטה של ​​הצגה, אחסון או שידור של תמונות נעות שבה כל הקווים של כל פריים מצוירים ברצף.

נו! כעת אנו מודעים לאופן שבו תמונה מיוצגת דיגיטלית, כיצד צבעיה מסודרים, כמה ביטים בשנייה אנו מוציאים כדי להציג וידאו, אם קצב הסיביות קבוע (CBR) או משתנה (VBR). אנו יודעים על רזולוציה נתונה באמצעות קצב פריימים נתון, אנו מכירים מונחים רבים אחרים, כגון סרטון משולב, PAR ועוד כמה אחרים.

הסרת יתירות

ידוע שלא ניתן להשתמש בוידאו ללא דחיסה כרגיל. סרטון באורך שעה ברזולוציית 720p ו-30 פריימים לשנייה יתפוס 278 GB. אנו מגיעים לערך זה על ידי הכפלה של 1280 x 720 x 24 x 30 x 3600 (רוחב, גובה, סיביות לפיקסל, FPS וזמן בשניות).

להשתמש אלגוריתמי דחיסה ללא אובדן, כמו DEFLATE (בשימוש ב-PKZIP, Gzip ו-PNG), לא יקטין את רוחב הפס הנדרש מספיק. עלינו לחפש דרכים אחרות לדחוס וידאו.

כדי לעשות זאת, אתה יכול להשתמש בתכונות של החזון שלנו. אנחנו טובים יותר בלהבחין בין בהירות מאשר צבע. סרטון הוא סדרה של תמונות עוקבות שחוזרות על עצמן לאורך זמן. ישנם הבדלים קטנים בין פריימים סמוכים של אותה סצנה. בנוסף, כל מסגרת מכילה אזורים רבים המשתמשים באותו צבע (או דומה).

צבע, בהירות והעיניים שלנו

העיניים שלנו רגישות יותר לבהירות מאשר לצבע. אתה יכול לראות זאת בעצמך על ידי התבוננות בתמונה זו.

אם אתה לא רואה את זה בחצי השמאלי של התמונה הצבעים של הריבועים A и B הם למעשה זהים, אז זה נורמלי. המוח שלנו מאלץ אותנו להקדיש יותר תשומת לב לאור ולצל ולא לצבע. בצד ימין בין הריבועים המיועדים יש מגשר באותו צבע - כך שאנו (כלומר המוח שלנו) קובעים בקלות שלמעשה הם באותו צבע.

בואו נסתכל (בצורה פשוטה) איך העיניים שלנו עובדות. העין היא איבר מורכב המורכב מחלקים רבים. עם זאת, אנו מתעניינים ביותר בקונוסים ומוטות. העין מכילה כ-120 מיליון מוטות ו-6 מיליון קונוסים.

בואו ניקח בחשבון את תפיסת הצבע והבהירות כפונקציות נפרדות של חלקים מסוימים של העין (למעשה, הכל קצת יותר מסובך, אבל אנחנו נפשט את זה). תאי מוט אחראים בעיקר על הבהירות, בעוד שתאי חרוט אחראים על הצבע. קונוסים מחולקים לשלושה סוגים, בהתאם לפיגמנט שהם מכילים: קונוס S (כחול), קונוס M (ירוק) וקונוס L (אדום).

מכיוון שיש לנו הרבה יותר מוטות (בהירות) מאשר קונוסים (צבע), אנו יכולים להסיק שאנו מסוגלים יותר להבחין במעברים בין כהה לבהיר מאשר צבעים.

תכונות רגישות ניגודיות

חוקרים בפסיכולוגיה ניסיונית ובתחומים רבים אחרים פיתחו תיאוריות רבות של ראיית האדם. ואחד מהם נקרא פונקציות רגישות ניגודיות. הם קשורים להארה מרחבית וזמנית. בקיצור, מדובר בכמה שינויים נדרשים לפני שמתבונן שם לב אליהם. שימו לב לרבים של המילה "פונקציה". זאת בשל העובדה שאנו יכולים למדוד פונקציות של רגישות ניגודיות לא רק עבור תמונות בשחור-לבן, אלא גם עבור תמונות צבעוניות. תוצאות הניסויים הללו מראות שברוב המקרים העיניים שלנו רגישות יותר לבהירות מאשר לצבע.

מכיוון שאנו יודעים שאנו רגישים יותר לבהירות התמונה, אנו יכולים לנסות להשתמש בעובדה זו.

דגם צבעוני

הבנו קצת איך לעבוד עם תמונות צבעוניות באמצעות ערכת RGB. יש גם דגמים אחרים. יש דגם שמפריד בין בהירויות לכרומה והוא ידוע בשם YCbCr. אגב, ישנם דגמים נוספים שעושים חלוקה דומה, אבל נשקול רק את האחד הזה.

בדגם הצבע הזה Y הוא ייצוג של בהירות, ומשתמש גם בשני ערוצי צבע: Cb (כחול עשיר) ו Cr (אדום עשיר). ניתן להפיק את YCbCr מ-RGB, וגם ההמרה ההפוכה אפשרית. באמצעות מודל זה נוכל ליצור תמונות בצבע מלא כפי שאנו רואים להלן:

המרה בין YCbCr ל-RGB

מישהו יתנגד: איך אפשר להשיג את כל הצבעים אם לא משתמשים בירוק?

כדי לענות על שאלה זו, בואו נמיר RGB ל-YCbCr. בואו נשתמש במקדמים שאומצו בתקן BT.601, שהומלץ על ידי היחידה ITU-R. חטיבה זו קובעת את הסטנדרטים לווידאו דיגיטלי. לדוגמא: מה זה 4K? מה צריך להיות קצב הפריימים, הרזולוציה, דגם הצבע?

ראשית בואו נחשב את הבהירות. בואו נשתמש בקבועים המוצעים על ידי ה-ITU ונחליף את ערכי ה-RGB.

Y = 0.299R + 0.587G + 0.114B

לאחר שתהיה לנו הבהירות, נפריד בין הצבעים הכחול והאדום:

Cb = 0.564(B - Y)

Cr = 0.713(R - Y)

ואנחנו יכולים גם להמיר בחזרה ואפילו להיות ירוקים באמצעות YCbCr:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y - 0.344Cb - 0.714Cr

בדרך כלל, צגים (מסכים, טלוויזיות, מסכים וכו') משתמשים רק בדגם RGB. אבל מודל זה יכול להיות מאורגן בדרכים שונות:

תת דגימת צבע

עם תמונה המיוצגת כשילוב של זוהר וכרומיננטיות, אנו יכולים לנצל את הרגישות הגדולה יותר של מערכת הראייה האנושית לבהירות מאשר לכרומיננס על ידי הסרה סלקטיבית של מידע. תת-דגימת כרומה היא שיטה לקידוד תמונות תוך שימוש בפחות רזולוציה עבור chroma מאשר עבור בהירות.

כמה מותר להפחית את רזולוציית הצבע?! מסתבר שיש כבר כמה דיאגרמות שמתארות איך לטפל ברזולוציה ומיזוג (צבע המתקבל = Y + Cb + Cr).

תוכניות אלה ידועות בשם מערכות דגימה מופחתות ומבוטאים כיחס פי 3 - a:x:y, הקובע את מספר הדגימות של אותות בהירות והבדלי צבע.

a - תקן דגימה אופקי (בדרך כלל שווה ל-4)
x - מספר דגימות כרומה בשורה הראשונה של פיקסלים (רזולוציה אופקית ביחס ל a)
y - מספר השינויים בדגימות chroma בין השורה הראשונה והשנייה של הפיקסלים.

היוצא מן הכלל הוא 4:1:0, מספק דגימת כרומה אחת בכל בלוק ברזולוציית בהירות של 4 על 4.

סכימות נפוצות בשימוש ב-codec מודרניים:

• 4:4:4 (ללא דגימה הורדת)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 - דוגמה להיתוך

הנה תמונה ממוזגת באמצעות YCbCr 4:2:0. שימו לב שאנחנו מוציאים רק 12 ביטים לכל פיקסל.

כך נראית אותה תמונה, מקודדת עם הסוגים העיקריים של תת-דגימת צבע. השורה הראשונה היא ה-YCbCr הסופי, השורה התחתונה מציגה את רזולוציית ה-chroma. תוצאות הגונות מאוד, בהתחשב בירידה הקלה באיכות.

זוכרים כשספרנו 278 ג'יגה-בייט של שטח אחסון לאחסון קובץ וידאו באורך שעה ברזולוציית 720p ו-30 פריימים לשנייה? אם נשתמש ב-YCbCr 4:2:0, אז גודל זה יקטן בחצי - 139 GB. עד כה, זה עדיין רחוק מלהיות תוצאה מקובלת.

אתה יכול לקבל את ההיסטוגרמה YCbCr בעצמך באמצעות FFmpeg. בתמונה זו, הכחול שולט על האדום, הנראה בבירור בהיסטוגרמה עצמה.

צבע, בהירות, סולם צבעים - סקירת וידאו

אנו ממליצים לצפות בסרטון המדהים הזה. זה מסביר מהי בהירות, ובאופן כללי כל הנקודות מנוקדות ё על בהירות וצבע.

סוגי מסגרות

בוא נמשיך הלאה. בואו ננסה לבטל את יתירות הזמן. אבל קודם כל, בואו נגדיר קצת מינוח בסיסי. נניח שיש לנו סרט עם 30 פריימים בשנייה, הנה 4 הפריימים הראשונים שלו:

אנחנו יכולים לראות הרבה חזרות במסגרות: למשל רקע כחול שלא משתנה ממסגרת למסגרת. כדי לפתור בעיה זו, אנו יכולים לסווג אותם באופן מופשט לשלושה סוגים של מסגרות.

I-frame (Intro Frame)

I-frame (מסגרת ייחוס, מסגרת מפתח, מסגרת פנימית) היא עצמאית. ללא קשר למה שאתה רוצה לדמיין, I-frame הוא בעצם צילום סטטי. המסגרת הראשונה היא בדרך כלל I-frame, אך אנו נצפה באופן קבוע ב-I-frames גם בין הפריימים לא הראשונים.

P-frame (Pמסגרת משוערת)

P-frame (פריים חיזוי) מנצל את העובדה שכמעט תמיד ניתן לשחזר את התמונה הנוכחית באמצעות הפריים הקודם. לדוגמה, בפריים השני השינוי היחיד הוא הכדור נע קדימה. אנחנו יכולים להשיג מסגרת 2 על ידי שינוי קל של מסגרת 1, רק באמצעות ההבדל בין המסגרות הללו. כדי לבנות מסגרת 2, אנו מתייחסים למסגרת 1 הקודמת.

←

B-frame (Bi-Predictive Frame)

מה לגבי קישורים לא רק לעבר, אלא גם לפריימים עתידיים כדי לספק דחיסה טובה עוד יותר?! זוהי בעצם מסגרת B (מסגרת דו כיוונית).

← →

נסיגה בינונית

סוגי מסגרת אלה משמשים כדי לספק את הדחיסה הטובה ביותר האפשרית. אנחנו נראה איך זה קורה בסעיף הבא. לעת עתה, נציין כי ה"יקר" ביותר מבחינת הזיכרון הנצרך הוא ה-I-frame, ה-P-frame זול באופן ניכר, אך האפשרות הרווחית ביותר לווידאו היא ה-B-frame.

יתירות זמנית (חיזוי בין-פריים)

הבה נבחן אילו אפשרויות יש לנו כדי למזער חזרות לאורך זמן. אנחנו יכולים לפתור סוג זה של יתירות באמצעות שיטות חיזוי צולב.

ננסה להוציא כמה שפחות ביטים כדי לקודד רצף של מסגרות 0 ו-1.

אנחנו יכולים לייצר חִסוּר, אנו פשוט מפחיתים את מסגרת 1 ממסגרת 0. אנו מקבלים מסגרת 1, משתמשים רק בהפרש בינה לבין המסגרת הקודמת, למעשה אנו מקודדים רק את השארית המתקבלת.

אבל מה אם הייתי אומר לכם שיש שיטה אפילו יותר טובה שמשתמשת בפחות ביטים?! ראשית, בואו נשבור את מסגרת 0 לרשת ברורה המורכבת מבלוקים. ואז ננסה להתאים את הבלוקים ממסגרת 0 למסגרת 1. במילים אחרות, נאמוד את התנועה בין פריימים.

מתוך ויקיפדיה - פיצוי תנועה לחסום

פיצוי תנועת בלוק מחלק את המסגרת הנוכחית לבלוקים שאינם חופפים וקטור פיצוי התנועה מדווח על מקור הבלוקים (תפיסה שגויה נפוצה היא ש קודם המסגרת מחולקת לבלוקים שאינם חופפים, ווקטורי פיצוי תנועה מספרים לאן הבלוקים הולכים. אבל למעשה, זה הפוך - זה לא המסגרת הקודמת שמנתח, אלא הבא; לא ברור לאן הבלוקים זזים, אלא מאיפה הם הגיעו). בדרך כלל בלוקי המקור חופפים במסגרת המקור. חלק מהאלגוריתמים של דחיסת וידאו מרכיבים את המסגרת הנוכחית מחלקים של אפילו לא אחד, אלא מכמה פריימים ששודרו בעבר.

במהלך תהליך ההערכה, אנו רואים שהכדור זז מ-(x= 0, y=25) ל (x= 6, y=26), ערכים x и y לקבוע את וקטור התנועה. צעד נוסף שאנו יכולים לעשות כדי לשמר ביטים הוא לקודד רק את ההבדל של וקטורי התנועה בין מיקום הבלוק האחרון לזה החזוי, כך שווקטור התנועה הסופי יהיה (x=6-0=6, y=26-25=1 ).

במצב אמיתי, הכדור הזה יחולק ל n בלוקים, אבל זה לא משנה את מהות העניין.

אובייקטים בפריים נעים בתלת מימד, כך שכאשר הכדור זז, הוא יכול להיות קטן יותר מבחינה ויזואלית (או גדול יותר אם הוא נע לעבר הצופה). זה נורמלי שלא תהיה התאמה מושלמת בין בלוקים. הנה תצוגה משולבת של ההערכה שלנו ושל התמונה האמיתית.

אבל אנו רואים שכאשר אנו משתמשים בהערכת תנועה, יש פחות נתונים לקידוד באופן ניכר מאשר כאשר משתמשים בשיטה פשוטה יותר לחישוב הדלתא בין מסגרות.

איך ייראה פיצוי תנועה אמיתי

טכניקה זו מיושמת על כל הבלוקים בבת אחת. לעתים קרובות הכדור הנע המותנה שלנו יחולק למספר בלוקים בבת אחת.

אתה יכול לקבל תחושה של מושגים אלה בעצמך באמצעות יופיטר.

כדי לראות וקטורי תנועה, אתה יכול ליצור סרטון חיזוי חיצוני באמצעות ffmpeg.

אתה יכול גם להשתמש Intel Video Pro Analyzer (זה בתשלום, אבל יש ניסיון חינם המוגבלת לעשר הפריימים הראשונים בלבד).

יתירות מרחבית (תחזית פנימית)

אם ננתח כל פריים בסרטון, נמצא אזורים רבים הקשורים זה לזה.

בואו נעבור על הדוגמה הזו. סצנה זו מורכבת בעיקר מצבעי כחול ולבן.

זהו I-frame. אנחנו לא יכולים לקחת פריימים קודמים לחיזוי, אבל אנחנו יכולים לדחוס אותו. בואו נקודד את הבחירה של הבלוק האדום. אם נסתכל על השכנים שלו, נבחין שיש כמה מגמות צבע סביבו.

אנו מניחים שצבעים מתפשטים אנכית במסגרת. מה שאומר שהצבע של הפיקסלים הלא ידועים יכיל את הערכים של השכנים שלו.

תחזית כזו עלולה להתברר כלא נכונה. מסיבה זו אתה צריך ליישם שיטה זו (תחזית פנימית), ולאחר מכן להחסיר את הערכים האמיתיים. זה ייתן לנו בלוק שיורי, מה שיגרום למטריצה ​​הרבה יותר דחוסה בהשוואה למקור.

אם אתה רוצה להתאמן עם תחזיות פנימיות, אתה יכול ליצור סרטון של מאקרו בלוקים והתחזיות שלהם באמצעות ffmpeg. כדי להבין את המשמעות של כל צבע בלוק, תצטרך לקרוא את התיעוד של ffmpeg.

או שאתה יכול להשתמש ב-Intel Video Pro Analyzer (כפי שציינתי למעלה, גרסת הניסיון החינמית מוגבלת ל-10 הפריימים הראשונים, אבל זה יספיק לך בהתחלה).

החלק השני: איך עובד ה-Codec של הווידאו

מקור: www.habr.com