Как работи видеокодек. Част 1. Основи

Втора част: Принципи на работа на видеокодека

Всяко растрово изображение може да се представи под формата на двумерна матрица. Когато става въпрос за цветове, концепцията може да се развие, разглеждайки изображението като тримерна матрица, в която допълнителните измерения се използват за съхранение на данни за всеки от цветовете.

Ако разгледаме крайния цвят като комбинация от т.н. основни цветове (червен, зелен и син), в нашата тримерна матрица определяме три равнини: първата за червен цвят, втората за зелен и последната за син.

Нека наречем всяка точка в тази матрица пиксел (елемент от изображението). Всеки пиксел съдържа информация за интензивността (обикновено като числово значение) на всеки цвят. Например, червен пиксел означава, че в него няма зелен цвят, няма син и максимално червено. Пиксел с розов цвят може да бъде оформен с помощта на комбинация от трите цвята. Използвайки числов диапазон от 0 до 255, розовият пиксел се определя като Червен = 255, Зелен = 192 и Син = 203.

Статията е публикувана с подкрепата на компания EDISON.

Проектираме приложения за видеонаблюдение, потоково видео, а също така се занимаваме с видеозапис в хирургическа стая..

Алтернативни начини за кодиране на цветно изображение

За представяне на цветовете, от които се състои изображението, има и много други модели. Например, може да се използва индексирана палитра, при която е необходим само един байт за представяне на всеки пиксел, вместо трите, необходими при използване на RGB модела. В такава модель може да се използва 2D матрица вместо 3D матрица за представяне на всеки цвят. Това спестява памет, но предлага по-малка цветова гама.

RGB

Например, погледнете изображението по-долу. Първото лице е напълно оцветено. Останалите са червената, зелената и синята равнини (интензитетът на съответните цветове е показан в градации на сивото).

Виждаме, че нюансите на червеното в оригинала ще бъдат на същите места, където наблюдаваме най-ярките части на второто лице. Докато приноса на синьото може да се види основно само в очите на Марио (последното лице) и елементите от неговото облекло. Обърнете внимание къде трите цветови плоскости внасят най-малък принос (най-тъмните части на изображенията) — това е в мустачките на Марио.

За да се съхрани интензивността на всеки цвят, е необходимо определено количество битове — тази величина се нарича битова дълбочина. Да предположим, че се изразходват 8 биота (в диапазон от 0 до 255) за едната цветова плоскост. Тогава имаме цветова дълбочина от 24 бита (8 бита * 3 плоскости R/G/B).

Друго свойство на изображението — това е разделителна способност, представляваща броя пиксели в едно измерение. Често се обозначава като ширина × височина, както е показано по-долу на изображение-пример 4 на 4.


Едно друго свойство, с което имаме работа, когато работим с изображения/видео — това е отношение на страните, описващо обичайната пропорционална връзка между ширината и височината на изображението или пиксела.

Когато се казва, че даден филм или изображение имат размер 16 на 9, обикновено се има предвид отношение на страните на дисплея (DAR — от Display Aspect Ratio). Въпреки това понякога могат да съществуват различни форми на отделните пиксели — в този случай говорим за отношение на пикселите (PAR — от Pixel Aspect Ratio).

Забележка за домакинята: DVD съвпада с DAR 4 на 3

Въпреки че реалното разрешение на DVD е 704×480, то запазва отношението на страните 4:3, тъй като PAR има стойност 10:11 (704×10 / 480×11).

И накрая, можем да определим видео като последователност от n кадри за период време, което може да се счита за допълнителен измерител. А n тогава — това е честотата на кадрите или броя кадри в секунда (FPS — от Frames per Second).

Броят битове в секунда, необходими за показване на видео, е неговата скорост на трансфер — битрейт.

битрейт = ширина * височина * битова дълбочина * кадри в секунда

Например, за видео с 30 кадъра в секунда, 24 бита на пиксел, разрешение 480×240 ще се нуждае от 82,944,000 бита в секунда или 82,944 Mbps (30x480x240x24) — но това е ако не се използва някой от методите за компресия.

Ако скоростта на трансфер почти е постоянна, то тя се нарича постоянна скорост на трансфер (CBR — от constant bit rate). Но тя също може да варира, в този случай се нарича променлива скорост на предаване (VBR — от променлива битова скорост).

Тази графика показва ограничен VBR, когато се използват малко битове в случай на напълно тъмен кадър.

Първоначално инженерите разработиха метод за удвояване на възприеманата честота на кадрите на видеодисплея без използване на допълнителна пропускателна способност. Този метод е известен като интерлейс видеo; основно, той изпраща половината от екрана в първия "кадър", а другата половина – в следващия "кадър".

В момента визуализацията на сцените основно се извършва с помощта на технология за прогресивно сканиране. Това е метод за показване, съхраняване или предаване на движещи се изображения, при който всички линии от всеки кадър се рисуват последователно.

Е, сега знаем как изображението се представя в цифров вид, как са структурирани цветовете му, колко бита в секунда използваме, за да покажем видео, когато скоростта на предаване е постоянна (CBR) или променлива (VBR). Запознати сме с определеното разрешение с определена честота на кадрите, разгледали сме много други термини, като интерлейс видеo, PAR и други.

Премахване на излишъка

Известно е, че видео без компресия е практически неизползваемо. Часово видео с разрешение 720p и честота 30 кадъра в секунда би заело 278 Гб. Тази стойност получаваме, като умножим 1280 x 720 x 24 x 30 x 3600 (ширина, височина, битове на пиксел, FPS и време в секунди).

Използване алгоритми за беззагубна компресия, като DEFLATE (използвана в PKZIP, Gzip и PNG), няма да доведе до достатъчно намаление на необходимата пропускателна способност. Трябва да търсим други методи за компресия на видео.

За тази цел можем да използваме особеностите на нашето зрение. Ние по-добре различаваме яркостта, отколкото цветовете. Видеото е набор от последователни изображения, повтарящи се с течение на времето. Между съседните кадри на една сцена, разликите са малки. Освен това, всеки кадър съдържа много области, използващи един и същ (или подобен) цвят.

Цвят, яркост и нашите очи

Нашите очи са по-чувствителни към яркостта, отколкото към цвета. Можете да се уверите в това сами, като погледнете тази снимка.

Ако не виждате какво има в лявата половина на изображението, цветовете на квадратите A и B наистина са еднакви, тогава е напълно нормално. Нашият мозък ни кара да обръщаме по-голямо внимание на светлината и сянката, а не на цвета. От дясната страна между означените квадратчета има свързваща лента в същия цвят — затова лесно определяме, че всъщност там е същият цвят.

Нека разгледаме (опростено) как работят нашите очи. Окото е сложен орган, състоящ се от множество части. Но нас най-много ни интересуват колбичките и пръчици. Окото съдържа около 120 милиона пръчици и 6 милиона колбички.

Нека разгледаме възприятието на цветове и яркост като отделни функции на определени части от окото (в действителност е малко по-сложно, но ще го опростим). Пръчковите клетки основно отговарят за яркостта, докато колбичковите клетки отговарят за цвета. Колбичките се подразделят на три типа в зависимост от съдържащия се пигмент: S-колбички (син цвят), M-колбички (зелен цвят) и L-колбички (червен цвят).

Тъй като имаме много повече пръчици (яркост), отколкото колбички (цвят), можем да заключим, че сме по-способни да различаваме преходите между тъмнината и светлината, отколкото цветовете.

Функции на контрастната чувствителност

Изследователите от експерименталната психология и много други области са разработили множество теории относно човешкото зрение. И една от тях се нарича функции на контрастната чувствителност. Те са свързани с пространственото и времевото осветление. Накратко, става дума за това колко промени са необходими, преди наблюдателят да ги забележи. Обърнете внимание на множественото число на думата "функция". Това е свързано с факта, че можем да измерваме функциите на чувствителността към контраста не само за черно-бялото изображение, но и за цветното. Резултатите от тези експерименти показват, че в повечето случаи очите ни са по-чувствителни към яркостта, отколкото към цвета.

Раз знаем, че сме по-чувствителни към яркостта на изображението, можем да се опитаме да използваме този факт.

Цветова модел

Ние разгледахме малко как да работим с цветни изображения, използвайки RGB-схемата. Има и други модели. Съществува модел, който отделя яркостта от цветността и той е известен като YCbCr. Между другото, има и други модели, които правят аналогично разделение, но ще разгледаме само този.

В тази цветова модел Y — това е представяне на яркостта, а също така се използват два цветови канала: Cb (наситено синьо) и Cr (наситено червено). YCbCr може да бъде получен от RGB, както и обратно преобразуване. Използвайки тази модел, можем да създадем цветни изображения, както виждаме по-долу:

Преобразуване между YCbCr и RGB

Някой може да възрази: как е възможно да получим всички цветове, ако не се използва зелено?

За да отговорим на този въпрос, преобразуваме RGB в YCbCr. Ще използваме коефициентите, приети в стандарта BT.601, който беше препоръчан от подразделението МСЕ-Р. Това подразделение определя стандартите за цифрово видео. Например: какво е 4K? Какви трябва да бъдат честотата на кадрите, разрешаващата способност, цветова модел?

Първо, изчисляваме яркостта. Ще използваме константите, предложени от МСЕ, и ще заменим стойностите на RGB.

Y = 0.299R + 0.587G + 0.114B

След като получим яркостта, отделяме синьото и червеното:

Cb = 0.564(B — Y)

Cr = 0.713(R — Y)

И ние можем също така да преобразуваме обратно и дори да получим зелено с помощта на YCbCr:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y — 0.344Cb — 0.714Cr

Като правило, дисплеите (монитори, телевизори, екрани и т.н.) използват само RGB модел. Но този модел може да бъде организиран по различен начин:

Цветова субдискретизация

С изображението, представено като комбинация от яркост и цветност, можем да използваме по-висока чувствителност на човешката зрителна система към яркост, отколкото към цветност, ако избирателно премахваме информация. Цветова субдискретизация — това е метод на кодиране на изображения, с по-ниско разрешение за цветност, отколкото за яркост.

Насколько допустимо да намаляваме разрешението на цветността?! Оказва се, че вече съществуват някои схеми, които описват как да се обработва разрешението и сливането (Краен цвят = Y + Cb + Cr).

Тези схеми са известни като системи на субдискретизация и се изразяват във форма на 3-кратно съотношение — a:x:y, което определя броя на вземанията на яркостни и цветоразностни сигнали.

a — еталонна хоризонтална вземка (обикновено равна на 4)
x — брой на вземанията на цветността в първия ред на пикселите (хоризонтално разрешение спрямо a)
y — брой изменения на вземанията на цветността между първия и втория ред на пикселите.

Изключение съставлява 4:1:0, осигуряващо едно вземане на цветността във всеки блок на яркост 4 на 4.

Общи схеми, използвани в съвременните кодеци:

• 4:4:4 (без субдискретизация)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 — пример за сливане

Ето събрана част от изображение, използваща YCbCr 4:2:0. Обърнете внимание, че използваме само 12 бита на пиксел.

Така изглежда същото изображение, кодиранo с основните типове цветова субдискретизация. Първият ред е финалният YCbCr, долният ред показва разрешението на цветовете. Достойнствени резултати, предвид малките загуби в качеството.

Помните ли, че изчислихме 278 Гб дисково пространство за съхранение на часово видео с разрешение 720p и 30 кадъра в секунда? Ако използваме YCbCr 4:2:0, размерът ще намалее наполовина — до 139 Гб. Все още е далеч от приемлив резултат.

Можете сами да генерирате хистограма YCbCr с FFmpeg. В това изображение синьото преобладава над червеното, което ясно се вижда на самата хистограма.

Цветност, яркост, цветова палитра — видео преглед

Препоръчваме да изгледате това страхотно видео. Тук се обяснява какво е яркост и са разяснени всичките точки над ё относно яркостта и цвета.

Типове кадри

Продължаваме напред. Ще опитаме да намалим времевата излишност. Но първо, нека определим основна терминология. Да предположим, че имаме филм с 30 кадъра в секунда, ето първите му 4 кадъра:

Виждаме много повторения в кадрите: например, син фон, който не се променя от кадър на кадър. За да решим този проблем, можем абстрактно да ги класифицираме в три типа кадри.

I-кадр (IIntro Frame)

I-кадр (кадър-ссылка, ключов кадър, вътрешен кадър) е самостоятелен. Независимо какво трябва да визуализираме, I-кадрът е по същество статична снимка. Първият кадър обикновено е I-кадр, обаче редовно ще наблюдаваме I-кадри и сред далеч не първите кадри.

P-кадр (PPredicted Frame)

P-кадрът (прогнозиран кадър) използва факта, че почти винаги текущото изображение може да бъде възпроизведено с използването на предишния кадър. Например, вторият кадър има единствено изменение — движението на топката напред. Можем да получим кадър 2, просто леко изменявайки кадър 1, като използваме разликата между тези кадри. За построяване на кадър 2, се позоваваме на предишния кадър 1.

←

B-кадр (Bi-предсказательный кадр)

А какво ще кажете за връзките не само към миналото, но и към бъдещите кадри, за да осигурим още по-добро компресиране?! Това, всъщност, е B-кадр (двупосочен кадър).

← →

Промежуточно заключение

Тези типове кадри се използват за осигуряване на най-добро компресиране. Ще разгледаме как се случва това в следващия раздел. А за сега забележете, че най- «скъп» по отношение на заетата памет е I-кадрът, P-кадрът е значително по-евтин, а най-изгодният вариант за видеото е B-кадрът.

Временна излишност (междукодова прогноза)

Нека разгледаме какви възможности имаме за минимизиране на повторенията във времето. Този тип излишност ще решим с помощта на методи за взаимно прогнозиране.

Ще се постараем да похарчим колкото се може по-малко битове за кодиране на последователността от кадри 0 и 1.

Можем да извършим изваждане, просто изваждаме кадър 1 от кадър 0. Получаваме кадър 1, като използваме разликата между него и предходния кадър, всъщност кодирайки само полученото остатък.

Но какво, ако ви кажа, че има още по-добър метод, който изисква още по-малко битове?! Първо нека разделим кадър 0 на ясна мрежа, състояща се от блокове. А след това да опитаме да съпоставим блоковете от кадър 0 с кадър 1. С други думи, оценим движението между кадрите.

От Уикипедия — блокова компенсация на движението

Блоковата компенсация на движението разделя текущия кадър на непокриващи се блокове и векторът на компенсация на движението съобщава произхода на блоковете (широко разпространено заблуждение е, че предходният кадрът се разделя на непокриващи се блокове, а векторите на компенсация на движението съобщават къде отиват тези блокове. А всъщност е обратно — не се анализира предходният кадър, а следващият, не се установява откъде се местят блоковете, а откъде са дошли). Обикновено изходните блокове са припокрити в изходния кадър. Някои алгоритми за видеокомпресия изграждат текущия кадър от части не само на един, а веднага на няколко предадени преди това кадъра.

В процеса на оценяване виждаме, че топката се е преместила от (x=0, y=25) на (x=6, y=26), стойности x и y определят посоката на движение. Още една стъпка, която можем да направим, за да запазим битовете, е да кодираме само разликата в посоките на движение между последната позиция на блока и прогнозирана, така че крайният вектор на движение ще бъде (x=6-0=6, y=26-25=1).

В истинска ситуация този малък топче би бил разделен на n блокове, но същността не се променя.

Обектите в кадъра се движат в три измерения, така че при движението на топчето то може визуално да изглежда по-малко (или по-голямо, ако се движи към зрителя). Нормално е да няма идеално съответствие между блоковете. Ето комбинирания изглед на нашата оценка и реалната картина.

Но виждаме, че когато прилагаме оценка на движението, данните за кодирането са значително по-малко, отколкото при използване на по-прост метод за изчисляване на делтата между кадрите.

Как ще изглежда реалната компенсация на движението

Тази методика се прилага веднага на всички блокове. Често нашето условно движещо се топче ще бъде разделено веднага на няколко блока.

Можете сами да се запознаете с тези концепции, използвайки Jupyter.

За да видите векторите на движение, можете да създадете видео с външно предсказание с помощта на ffmpeg.

Можете също да използвате Intel Video Pro Analyzer (платен е, но предлага безплатна пробна версия, която е ограничена само до първите десет кадри).

Пространствена излишност (вътрешна прогноза)

Ако анализираме всеки кадър в видео, ще открием множество взаимосвързани области.

Нека разгледаме този пример. Тази сцена предимно се състои от сини и бели цветове.

Това е I-кадър. Не можем да вземем предишни кадри за прогнозиране, но можем да го компресираме. Ще закодираме извлечението на червения блок. Ако погледнем на съседите му, забелязваме, че около него има някои цветови тенденции.

Предполагаме, че в кадъра цветовете се разпространяват вертикално. Което означава, че цветът на непознатите пиксели ще съдържа стойности на неговите съседи.

Тази прогноза може да се окаже и невярна. Поради тази причина трябва да приложим този метод (вътрешна прогноза) и след това да извадим реалните стойности. Това ще ни даде остатъчен блок, което ще доведе до значително по-сжата матрица в сравнение с оригинала.

Ако желаете да практикувате вътрешни предсказания, можете да създадете видео с макроблокове и техните предсказания с помощта на ffmpeg. За да разберете значението на всеки цвят на блока, трябва да се запознаете с документацията на ffmpeg.

Или можете да използвате Intel Video Pro Analyzer (както вече споменах, в безплатната пробна версия има ограничение за първите 10 кадъра, но това ще ви е достатъчно в началото).

Втора част: Принципи на работа на видеокодека

Източник: habr.com