Как работи видеокодек. Част 1. Основи

Втора част: Принципи на работа на видеокодека

Всеки растерен образ може да бъде представен като двумерна матрица. Когато става въпрос за цветове, идеята може да се развие, като разгледаме изображението като тримерна матрица, в която допълнителните измерения се използват за съхранение на данни за всеки от цветовете.

Ако разгледаме крайния цвят като комбинация от т.н. основни цветове (червен, зелен и син), в нашата тримерна матрица определяме три равнини: първата за червения цвят, втората за зеления и последната за синя.

Нека наречем всяка точка в тази матрица пиксел (елемент на изображението). Всеки пиксел съдържа информация за интензитетите (обикновено под формата на числено значение) на всеки цвят. Например, червен пиксел означава, че в него има 0 зелено, 0 синьо и максимум червено. Пиксел с розов цвят може да бъде оформен чрез комбинация от трите цвята. Използвайки числов диапазон от 0 до 255, розовият пиксел се определя като Червен = 255, Зелен = 192 и Син = 203.

Статията е публикувана с подкрепата на компания EDISON.

Разработваме приложения за видеонаблюдение, стрийминг на видео, а също така се занимаваме видеозаписи в хирургическа стая.

Алтернативни методи за кодиране на цветно изображение

За представяне на цветовете, от които се състои изображението, съществуват и много други модели. Например, може да се използва индексирана палитра, при която е необходим само един байт за представяне на всеки пиксел, вместо трите, нужни при използването на модела RGB. В такъв модел може да се използва 2D матрица вместо 3D матрица за представяне на всеки цвят. Това спестява памет, но предоставя по-малка цветова гама.

RGB

Например, погледнете тази картинка по-долу. Първото лице е напълно оцветено. Останалите — това са червената, зелената и синята равнини (интензитетът на съответстващите цветове е показан в нюанси на сивото).

Виждаме, че нюансите на червеното в оригинала ще бъдат на същите места, където се наблюдават най-светлите части на второто лице. Докато приносът на синьото цвят може да се види главно само в очите на Марио (последното лице) и елементите от облеклото му. Обърнете внимание на местата, където трите цветови плоскости допринасят най-малко (най-тъмните части на изображенията) — това са мустачките на Марио.

За съхранение на интензивността на всеки цвят е необходимо определено количество битове — тази величина се нарича дълбочина на цвета. Да кажем, че се използват 8 бита (като се взима предвид стойността от 0 до 255) за една цветова плоскост. Тогава имаме дълбочина на цвета от 24 бита (8 бита * 3 плоскости R/G/B).

Друго свойство на изображението — това е разделителна способност, представляваща се от количеството пиксели в едно измерение. Често се обозначава като ширина × височина, както е показано по-долу на примера на изображение 4 на 4.


Още едно свойство, с което имаме работа при работа с изображения/видео — това е широк спектър, описваща обичайната пропорционална взаимовръзка между ширината и височината на изображението или пиксела.

Когато се каже, че даден филм или картинка имат размер 16 на 9, обикновено става дума за широкоформатно съотношение на дисплея (DAR — от Display Aspect Ratio). Въпреки това понякога могат да присъстват различни форми на отделни пиксели — в този случай става дума за съотношение на пикселите (PAR — от Pixel Aspect Ratio).

Забележка за домакинята: DVD отговаря на DAR 4 на 3

Въпреки реалното разрешение на DVD от 704×480, все пак запазва съотношение 4:3, тъй като PAR е 10:11 (704×10 / 480×11).

Накрая можем да определим видеото като последователност от n кадри за период от време, който може да се счита за допълнително измерение. А n тогава — това е честотата на кадрите или количеството кадри в секунда (FPS — от Frames per Second).

Броят на битовете в секунда, необходими за показването на видео, е неговата скорост на предаване — битрейт.

битрейт = ширина * височина * дълбочина на цвета * честота на кадрите

Например, за видео с 30 кадъра в секунда, 24 бита на пиксел, разрешение 480×240 ще бъдат необходими 82,944,000 бита в секунда или 82,944 Мбит/с (30x480x240x24) — освен ако не се използва някой от методите за компресия.

Ако скоростта на предаване е почти постоянна, тогава тя се нарича постоянна скорост на предаване (CBR — от constant bit rate). Но тя също така може да варира, в този случай се нарича променлива скорост на предаване (VBR — от променлива битова скорост).

Тази графика показва ограничен VBR, когато не се изразходват прекалено много битове при напълно тъмен кадър.

Първоначално инженерите разработват метод за удвояване на възприеманата честота на кадрите на видео дисплея без използване на допълнителна честотна лента. Този метод е известен като интерлейсинг видео; основно той изпраща половината от екрана в първия "кадър", а другата половина — в следващия "кадър".

В момента визуализацията на сцени обикновено се извършва с използване на технология за прогресивно сканиране. Това е метод за показване, съхранение или предаване на движещи се изображения, при който всички линии на всеки кадър се рисуват последователно.

Е, сега сме запознати как изображението се представя в цифров вид, как са устроени неговите цветове, колко битове в секунда изразходваме, за да покажем видео, дали скоростта на предаване е постоянна (CBR) или променлива (VBR). Знаем за зададеното разрешение с използване на зададена честота на кадри, запознати сме с много други термини, като интерлейсинг видео, PAR и някои други.

Премахване на излишъка

Известно е, че видео без компресия не може да се използва нормално. Часово видео с разрешение 720p и скорост на кадри от 30 кадъра в секунда ще заема 278 Гб. До това значение достигаме, като умножим 1280 x 720 x 24 x 30 x 3600 (ширина, височина, битове на пиксел, FPS и време в секунди).

Използването алгоритми за без загуба на компресия, като DEFLATE (използван в PKZIP, Gzip и PNG), не осигурява достатъчно намаляване на необходимата честотна лента. Трябва да търсим други методи за компресиране на видео.

За целта можем да използваме особеностите на нашето зрение. Ние по-добре различаваме яркостта, отколкото цветовете. Видеото е набор от последователни изображения, повтарящи се във времето. Между съседните кадри на една сцена разликите са малки. Освен това, всеки кадър съдържа много области, които използват един и същ (или подобен) цвят.

Цвят, яркост и нашите очи

Нашите очи са по-чувствителни към яркостта, отколкото към цвета. Можете да се уверите в това сами, като погледнете тази картинка.

Ако не виждате какво има в лявата половина на изображението с квадратите от цветове A и Б в действителност са еднакви, което е нормално. Нашият мозък ни кара да обръщаме повече внимание на светлината и сянка, отколкото на цвета. От дясната страна между означените квадрати има връзка със същия цвят — затова ние (т.е. нашият мозък) лесно определяме, че там наистина има един и същ цвят.

Нека разгледаме (опростено) как работят очите ни. Окото е сложен орган, състоящ се от много части. Въпреки това, най-вече ни интересуват колбичките и пръчици. Окото съдържа около 120 милиона пръчици и 6 милиона колбички.

Нека разгледаме възприятието на цвят и яркост като отделни функции на определени части на окото (в действителност, всичко е малко по-сложно, но ние ще опростим). Пръчковите клетки основно отговарят за яркостта, докато колбичките отговарят за цвета. Колбичките се разделят на три типа, в зависимост от съдържащия се пигмент: S-колбички (син цвят), M-колбички (зелен цвят) и L-колбички (червен цвят).

Тъй като имаме значително повече пръчки (яркост), отколкото колбички (цвят), можем да заключим, че сме по-способни да разграничаваме преходите между тъмен и светъл, отколкото цветовете.

Функции на контрастната чувствителност

Изследователите в експерименталната психология и много други области са разработили множество теории за човешкото зрение. И една от тях се нарича функции на контрастната чувствителност. Те са свързани с пространственото и временното осветление. С една дума, става дума за количеството промени, необходими, преди наблюдателят да ги забележи. Обърнете внимание на множественото число на думата „функция“. Това е свързано с факта, че можем да измерваме функции на чувствителност към контраст не само за черно-бели изображения, но и за цветни. Резултатите от тези експерименти показват, че в повечето случаи очите ни са по-чувствителни към яркостта, отколкото към цвета.

Тъй като е известно, че сме по-чувствителни към яркостта на изображението, можем да се опитаме да използваме този факт.

Цветовата модел

Ние малко се запознахме как да работим с цветни изображения, използвайки RGB схематиката. Има и други модели. Съществува модел, който разделя яркостта от цветността и е известен като YCbCr. Всъщност съществуват и други модели, които правят аналогично разделение, но ние ще разгледаме само този.

В тази цветова модел Y — това е представянето на яркостта, както и се използват два цветови канала: Cb (наситено синьо) и Cr (наситено червено). YCbCr може да бъде получен от RGB, а също така е възможно и обратното преобразуване. Използвайки тази модел, можем да създаваме цветни изображения, както виждаме долу:

Преобразуване между YCbCr и RGB

Някой може да зададе въпроса: как е възможно да получим всички цветове, ако не се използва зелено?

За да отговорим на въпроса, преобразуваме RGB в YCbCr. Ще използваме коефициентите, приети в стандарта BT.601, който беше препоръчан от подразделение МСЕ-R. Това подразделение определя стандартите за цифрово видео. Например: какво е 4K? Какви трябва да бъдат честотата на кадрите, резолюцията, цветова модел?

Първо ще изчислим яркостта. Ще използваме константите, предложени от МСЕ, и ще заменим стойностите на RGB.

Y = 0.299R + 0.587G + 0.114Б

След като сме получили яркостта, ще отделим синьото и червеното:

Cb = 0.564(Б — Y)

Cr = 0.713(R — Y)

И можем да преобразуваме обратно и дори да получим зелено с помощта на YCbCr:

R = Y + 1.402Cr

Б = Y + 1.772Cb

G = Y — 0.344Cb — 0.714Cr

Обичайно дисплеите (монитори, телевизори, екрани и т.н.) използват само модел RGB. Но този модел може да бъде организиран по различен начин:

Цветова субдискретизация

С изображението, представено в комбинация от яркост и цветност, можем да използваме по-високата чувствителност на човешката зрителна система към яркост, отколкото към цветност, ако избираме да премахваме информация. Цветовата субдискретизация е метод за кодиране на изображения, използващ по-ниска резолюция за цветността, отколкото за яркостта.

Насколько допустимо да се намалява резолюцията на цветността?! Оказва се, че вече има някои схеми, които описват как да се обработва резолюцията и свързването (Краен цвят = Y + Cb + Cr).

Тези схеми са известни като системи на субдискретизация и се изразяват под формата на 3-кратното съотношение — a:x:y, което определя броя на изборите на яркостни и цветоразностни сигнали.

a — стандартно хоризонтално извадка (обикновено равно на 4)
x — брой на изборите на цветност в първия ред на пикселите (хоризонтална резолюция спрямо a)
y — брой на промените в цветността между първия и втория ред на пикселите.

Изключение прави 4:1:0, осигуряващо едно избиране на цветност във всеки блок с резолюция на яркост 4 на 4.

Общи схеми, използвани в съвременните кодеци:

• 4:4:4 (без субдискретизация)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 — пример за сливане

Ето комбиниран фрагмент на изображение, използващ YCbCr 4:2:0. Обърнете внимание, че използваме само 12 бита на пиксел.

Така изглежда същото изображение, кодирано с основни видове цветова субдискретизация. Първият ред показва окончателния YCbCr, долният ред показва резолюцията на цветността. Достойни резултати, като се вземат предвид малките загуби в качеството.

Помните ли, че сметнахме 278 ГБ дисково пространство за съхранение на едночасово видеофайл с резолюция 720p и 30 кадъра в секунда? Ако използваме YCbCr 4:2:0, размерът ще се намали наполовина — 139 ГБ. Все още е далеч от приемлив резултат.

Можете сами да получите хистограма YCbCr с помощта на FFmpeg. В това изображение синьото доминира над червеното, което се вижда ясно на самата хистограма.

Цветност, яркост, цветова гама — видео преглед

Препоръчвам да观看 това невероятно видео. То обяснява какво е яркост и изобщо поставя всички точки на ё на яркостта и цвета.

Видове кадри

Продължаваме напред. Нека опитаме да премахнем излишъка във времето. Но първо, нека да определим някои основни терминологии. Да предположим, че имаме филм с 30 кадъра в секунда, ето неговите първи 4 кадъра:

Можем да видим много повторения в кадрите: например, синьото фон, който не се променя от кадър на кадър. За да решим този проблем, можем абстрактно да ги класифицираме в три типа кадри.

I-кадър (IIntro Frame)

I-кадър (кадър-линк, ключов кадър, вътрешен кадър) е автономен. Независимо от това какво трябва да визуализирате, I-кадрът е по същество статична снимка. Първият кадър обикновено е I-кадър, обаче редовно ще наблюдаваме I-кадри и сред не толкова първите кадри.

P-кадър (PPredicted Frame)

P-кадър (прогнозиран кадър) използва предимството, че почти винаги текущото изображение може да бъде воспроизведено, използвайки предходния кадър. Например, във втория кадър единствената промяна е движеща се напред топка. Можем да получим кадър 2, просто малко променяйки кадър 1, като използваме разликата между тези кадри. За изграждането на кадър 2 се позоваваме на предходния му кадър 1.

←

B-кадр (Бi-предсказательный кадр)

А какво ще кажете за линкове не само към минали, но и към бъдещи кадри, за да се осигури дори по-добро компресиране?! Това всъщност е B-кадр (двупосочен кадър).

← →

Промеждутъчен извод

Тези видове кадри се използват за осигуряване на най-добро компресиране. Ще разгледаме как става това в следващия раздел. А засега отбелязваме, че най-„скъпият“ по изразходвана памет е I-кадр, P-кадрът е значително по-евтин, а най-изгодният вариант за видео е B-кадр.

Временна излишност (прогнозиране между кадрите)

Нека разгледаме какви възможности имаме за минимизиране на повторенията във времето. Този тип излишност ще решим с помощта на методи за взаимно прогнозиране.

Ще се постараем да използваме възможно най-малко битове за кодиране на последователността от кадри 0 и 1.

Можем да извършим изваждане, просто изваждаме кадър 1 от кадър 0. Получаваме кадър 1, само че използваме разликата между него и предишния кадър, фактически кодираме само получената остатъчна стойност.

Но какво, ако ви кажа, че има още по-добър метод, който използва дори по-малко битове?! Първо, нека разделим кадър 0 на ясна мрежа, състояща се от блокове. А след това ще опитаме да съпоставим блоковете от кадър 0 с кадър 1. С други думи, ще оценим движението между кадрите.

От Уикипедия — блокова компенсация на движението

Блоковата компенсация на движението разделя текущия кадър на неперечени блокове и векторът за компенсация на движението указва произхода на блоковете (разпространено погрешно схващане е, че предишният кадр се разделя на неперечени блокове, а векторите за компенсация на движението указват къде отиват тези блокове. Всъщност, обратното е вярно — анализира се не предишният кадър, а следващият, установява се не къде се преместили блоковете, а от къде са се появили). Обикновено изходните блокове се припокриват в изходния кадър. Някои алгоритми за компресия на видео сглобяват текущия кадър от части, дори не само от един, а от няколко предадени преди това кадъра.

В процеса на оценяване виждаме, че топката се е преместила от (x=0, y=25) на (x=6, y=26), стойности x и y определят посоката на движение. Още една стъпка, която можем да предприемем, за да запазим битовете, е да кодиране само на разликата в векторите на движение между последната позиция на блока и прогнозираното, така че крайният вектор на движение ще бъде (x=6-0=6, y=26-25=1).

В реална ситуация този малък обект би бил разделен на n блокове, но това не променя същността на въпроса.

Обектите в кадъра се движат в трите измерения, така че при движение на топката тя може да изглежда визуално по-малка (или по-голяма, ако се движи в посока към зрителя). Нормално е да няма идеално съвпадение между блоковете. Ето съчетан вид на нашата оценка и реалната картина.

Но виждаме, че когато прилагаме оценката на движението, данните за кодиране са значително по-малко в сравнение с използването на по-прост метод за изчисляване на разлика между кадрите.

Как би изглеждала реална компенсация на движението

Тази методика се прилага веднага на всички блокове. Често нашият условен движещ се обект ще бъде разделен на няколко блока.

Можете сами да експериментирате с тези концепции, използвайки Jupyter.

За да видите векторите на движение, можете да създадете видео с външно предсказание с помощта на ffmpeg.

Можете също да използвате Intel Video Pro Analyzer (той е платен, но има безплатна пробна версия, ограничена само до първите десет кадъра).

Пространствени излишъци (вътрешно предсказание)

Ако анализираме всеки кадър в видеото, ще открием множество взаимосвързани области.

Нека да разгледаме този пример. Тази сцена е предимно съставена от сини и бели цветове.

Това е I-кадър. Нямаме предишни кадри за предсказване, но можем да го компресираме. Кодиране на избрания червен блок. Ако погледнем на съседите му, забелязваме, че около него има някакви цветови тенденции.

Предполагаме, че цветът в кадъра се разпространява вертикално. Което означава, че цветът на неизвестните пиксели ще съдържа стойности от съседите му.

Тази прогноза може да се окаже грешна. Именно поради тази причина трябва да приложим този метод (вътрешно предсказание), а след това да извадим реалните стойности. Това ще ни даде остатъчен блок, което ще доведе до значително по-компресирана матрица в сравнение с оригинала.

Ако искате да практикувате с вътрешните предсказания, можете да създадете видео с макроблокове и техните предсказания с помощта на ffmpeg. За да разберете значението на всеки цвят на блока, ще трябва да се запознаете с документацията на ffmpeg.

Или можете да използвате Intel Video Pro Analyzer (както вече споменах, в безплатната пробна версия има ограничение на първите 10 кадъра, но това ще е достатъчно за вас в началото).

Втора част: Принципи на работа на видеокодека

Източник: habr.com