Како работи видео кодек? Дел 1: Основи

Вториот дел од: Како работи видео кодекот

Било кој растер сликата може да се претстави во форма дводимензионална матрица. Кога станува збор за боите, идејата може да се развие со гледање на сликата како тридимензионална матрица, во која се користат дополнителни димензии за складирање на податоци за секоја од боите.

Ако конечната боја ја сметаме како комбинација од т.н. основни бои (црвена, зелена и сина), во нашата тридимензионална матрица дефинираме три рамнини: првата за црвена, втората за зелена и последната за сина.

Будем называть каждую точку в этой матрице пикселем (элементом изображения). Каждый пиксель содержит информацию об интенсивности (обычно в виде числового значение) каждого цвета. Например, црвен пиксел значи дека содржи 0 зелена, 0 сина и максимална црвена. Розов пиксел може да се формира со комбинација од три бои. Користејќи нумерички опсег од 0 до 255, розовиот пиксел се дефинира како Црвено = 255, Зелено = 192 и Сина = 203.

Оваа статија е објавена со поддршка на EDISON.

Ние се развиваме апликации за видео надзор, видео стриминг, а и ние сме ангажирани видео снимање во хируршка сала.

Алтернативни начини за кодирање слика во боја

Постојат многу други модели за претставување на боите што ја сочинуваат сликата. На пример, можете да користите индексирана палета, за која е потребен само еден бајт за да го претставува секој пиксел, наместо трите потребни кога се користи моделот RGB. Во таков модел, можно е да се користи 2D матрица наместо 3D матрица за да се претстави секоја боја. Ова заштедува меморија, но дава помала палета на бои.

RGB

На пример, погледнете ја оваа слика подолу. Првото лице е целосно обоено. Другите се црвените, зелените и сините рамнини (интензитетот на соодветните бои се прикажани во сива скала).

Гледаме дека нијансите на црвено во оригиналот ќе бидат на истите места каде што се забележани најсветлите делови на второто лице. Додека придонесот на сина главно може да се види само во очите на Марио (последното лице) и елементите на неговата облека. Забележете каде сите три рамнини на бои придонесуваат најмалку (најтемните делови на сликите) - мустаќите на Марио.

За да се зачува интензитетот на секоја боја, потребен е одреден број на битови - оваа количина се нарекува малку длабочина. Да речеме дека се потрошени 8 бита (врз основа на вредност од 0 до 255) по рамнина на боја. Потоа имаме длабочина на боја од 24 бита (8 бита * 3 R/G/B рамнини).

Друго својство на сликата е резолуција, што е бројот на пиксели во една димензија. Често се означува како ширина × висина, како на сликата на пример 4 на 4 подолу.


Друга сопственост со која се занимаваме кога работиме со слики/видеа е сооднос на аспект, опишувајќи ја нормалната пропорционална врска помеѓу ширината и висината на сликата или пикселот.

Кога велат дека одреден филм или слика е со големина 16 на 9, тие обично мислат приказ сооднос (НО - од Приказ сооднос). Сепак, понекогаш може да има различни форми на поединечни пиксели - во овој случај зборуваме сооднос на пиксели (ПАР - од Сооднос на пиксели).

Забелешка до водителка: DVD соответствует DAR 4 на 3

Иако вистинската резолуција на ДВД е 704x480, таа сепак одржува сооднос 4:3 бидејќи PAR е 10:11 (704x10 / 480x11).

И конечно, можеме да одредиме видео како низа од n рамки за периодот време, што може да се смета за дополнителна димензија. А n тогаш е стапката на слики или бројот на слики во секунда (FPS - од Рамки во секунда).

Бројот на битови во секунда потребни за прикажување видео е негов брзина на пренос - бит-стапка.

брзина на битови = ширина * висина * длабочина на битови * рамки во секунда

На пример, видео со 30 fps, 24 bps, 480x240 ќе бара 82,944,000 bps или 82,944 Mbps (30x480x240x24) - но тоа е ако не се користи метод на компресија.

Ако брзината на пренос речиси константна, тогаш се нарекува постојана брзина на пренос (CBR - од постојана бит-стапка). Но, исто така може да варира, во овој случај се нарекува променлива брзина на бауд (VBR - од променлива бит -стапка).

Овој графикон покажува ограничен VBR, каде што не се трошат премногу битови во случај на целосно темна рамка.

Инженерите првично развија метод за удвојување на воочената стапка на слики на видео приказ без користење на дополнителен пропусен опсег. Овој метод е познат како испреплетено видео; Во основа, тој испраќа половина екран во првата „рамка“, а другата половина во следната „рамка“.

Во моментов, сцените најчесто се прикажуваат со користење технологии за прогресивно скенирање. Тоа е метод за прикажување, складирање или пренос на подвижни слики во кои сите линии на секоја рамка се цртаат последователно.

Па! Сега сме свесни за тоа како сликата е претставена дигитално, како се распоредени нејзините бои, колку битови во секунда трошиме за прикажување видео, ако брзината на битови е константна (CBR) или променлива (VBR). Знаеме за дадена резолуција користејќи дадена стапка на слики, запознаени сме со многу други термини, како што се испреплетено видео, PAR и некои други.

Отстранување на вишок

Познато е дека видеото без компресија не може да се користи нормално. Едночасовно видео со резолуција 720p и 30 фрејмови во секунда би заземало 278 GB. До оваа вредност доаѓаме со множење на 1280 x 720 x 24 x 30 x 3600 (ширина, висина, битови по пиксел, FPS и време во секунди).

Користете алгоритми за компресија без загуби, како DEFLATE (се користи во PKZIP, Gzip и PNG), нема доволно да го намали потребниот опсег. Мора да бараме други начини за компресија на видеото.

За да го направите ова, можете да ги користите карактеристиките на нашата визија. Ние сме подобри во разликувањето на осветленоста од бојата. Видеото е серија од последователни слики кои се повторуваат со текот на времето. Има мали разлики помеѓу соседните кадри од истата сцена. Дополнително, секоја рамка содржи многу области со иста (или слична) боја.

Боја, осветленост и нашите очи

Нашите очи се почувствителни на светлина отколку на боја. Ова можете сами да го видите гледајќи ја оваа слика.

Ако не го гледате тоа на левата половина од сликата боите на квадратите A и B на самом деле одинаковы, то это нормально. Наш мозг заставляет нас уделять больше внимания светотени, а не цвету. С правой стороны между означенными квадратами есть перемычка того же цвета — поэтому мы (т.е. наш мозг) легко определяем, что, на самом деле, там один и тот же цвет.

Ајде да погледнеме (на поедноставен начин) како функционираат нашите очи. Окото е сложен орган кој се состои од многу делови. Сепак, најмногу нè интересираат конуси и прачки. Окото содржи околу 120 милиони прачки и 6 милиони конуси.

Ајде да ја разгледаме перцепцијата на бојата и осветленоста како посебни функции на одредени делови од окото (всушност, сè е нешто покомплицирано, но ние ќе го поедноставиме). Клетките на прачка главно се одговорни за осветленоста, додека конусните ќелии се одговорни за бојата. Конусите се поделени на три вида, во зависност од пигментот што го содржат: S-конуси (сини), M-конуси (зелени) и L-конуси (црвени).

Бидејќи имаме многу повеќе прачки (осветленост) од конуси (боја), можеме да заклучиме дека сме поспособни да разликуваме премини помеѓу темно и светло отколку бои.

Карактеристики на чувствителност на контраст

Истражувачите во експерименталната психологија и многу други области развија многу теории за човечката визија. И еден од нив се вика функции за чувствителност на контраст. Тие се поврзани со просторно и временско осветлување. Накратко, се работи за тоа колку промени се потребни пред набљудувачот да ги забележи. Забележете ја множината на зборот „функција“. Ова се должи на фактот дека можеме да ги измериме функциите на чувствителност на контраст не само за црно-бели слики, туку и за оние во боја. Резултатите од овие експерименти покажуваат дека во повеќето случаи нашите очи се почувствителни на светлина отколку на боја.

Бидејќи знаеме дека сме почувствителни на осветленоста на сликата, можеме да се обидеме да го искористиме овој факт.

Модел во боја

Сфативме малку како да работиме со слики во боја користејќи ја шемата RGB. Има и други модели. Постои модел кој ја одвојува осветленоста од хромата и е познат како YCbCr. Патем, има и други модели кои прават слична поделба, но ние ќе го разгледаме само овој.

Во овој модел на боја Y е претстава на осветленоста, а исто така користи два канали во боја: Cb (богато сино) и Cr (богато црвено). YCbCr може да се изведе од RGB, а можна е и обратна конверзија. Користејќи го овој модел, можеме да создадеме слики во целосна боја како што гледаме подолу:

Конвертирајте помеѓу YCbCr и RGB

Некој ќе приговори: како е можно да се добијат сите бои ако не се користи зелена?

За да одговориме на ова прашање, ајде да го конвертираме RGB во YCbCr. Да ги искористиме коефициентите усвоени во стандардот БТ.601, што беше препорачано од единицата ITU-R. Оваа поделба ги поставува стандардите за дигитално видео. На пример: што е 4K? Која треба да биде стапката на слики, резолуцијата, моделот на боја?

Прво да ја пресметаме осветленоста. Да ги искористиме константите предложени од ITU и да ги замениме вредностите на RGB.

Y = 0.299R + 0.587G + 0.114B

Откако ќе ја имаме осветленоста, ќе ги одвоиме сините и црвените бои:

Cb = 0.564 (B - Y)

Cr = 0.713 (R - Y)

И, исто така, можеме да конвертираме назад, па дури и да станеме зелени користејќи YCbCr:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y - 0.344Cb - 0.714Cr

Вообичаено, дисплеите (монитори, телевизори, екрани итн.) го користат само моделот RGB. Но, овој модел може да се организира на различни начини:

Подземање примероци во боја

Со слика претставена како комбинација на осветленост и хроминантност, можеме да ја искористиме поголемата чувствителност на човечкиот визуелен систем на осветленост отколку на хроминација со селективно отстранување на информациите. Подобемот на хромата е метод за кодирање на слики со користење помала резолуција за хромата отколку за осветленоста.

Колку е дозволено да се намали резолуцијата на бојата?! Излегува дека веќе има некои дијаграми кои опишуваат како да се справиме со резолуцијата и спојувањето (Резултатна боја = Y + Cb + Cr).

Овие шеми се познати како системи за намалување на примерокот и се изразени како 3-кратен сооднос - a:x:y, кој го одредува бројот на примероци на сигнали за осветленост и разлика во боја.

a — хоризонтален стандард за земање мостри (обично еднаков на 4)
x — број на примероци на хроми во првиот ред пиксели (хоризонтална резолуција во однос на a)
y — количество изменений выборок цветности между первой и второй строками пикселей.

Исклучок е 4:1:0, обезбедувајќи по еден хроматичен примерок во секој блок со резолуција на осветленост од 4 на 4.

Вообичаени шеми што се користат во современите кодеци:

• 4:4:4 (без намалување на примерокот)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 - пример за фузија

Еве споена слика користејќи YCbCr 4:2:0. Забележете дека трошиме само 12 бита по пиксел.

Вака изгледа истата слика, шифрирана со главните типови на подобликување на бои. Првиот ред е конечниот YCbCr, долниот ред ја покажува резолуцијата на хромата. Многу пристојни резултати, со оглед на малата загуба во квалитетот.

Се сеќавате кога изброивме 278 GB простор за складирање за складирање на видео-датотека долга еден час со резолуција од 720 p и 30 фрејмови во секунда? Ако користиме YCbCr 4:2:0, тогаш оваа големина ќе се намали за половина - 139 GB. Засега се уште е далеку од прифатлив резултат.

Вы можете сами получить гистограмму YCbCr с помощью FFmpeg. В этом изображении синее превалирует над красным, что хорошо видно на самой гистограмме.

Боја, осветленост, опсег на бои - видео преглед

Ви препорачуваме да го погледнете ова прекрасно видео. Објаснува што е осветленост, и генерално сите точки се со точки ё за осветленоста и бојата.

Видови рамки

Ајде да продолжиме. Ајде да се обидеме да го елиминираме вишокот на време. Но, прво, да дефинираме некоја основна терминологија. Да речеме дека имаме филм со 30 кадри во секунда, еве ги неговите први 4 кадри:

Можеме да видиме многу повторувања во кадрите: на пример, сина позадина која не се менува од рамка до рамка. За да го решиме овој проблем, можеме апстрактно да ги класифицираме во три типа на рамки.

I-рамка (Intro рамка)

I-рамката (референтна рамка, рамка за клучеви, внатрешна рамка) е самостојна. Без оглед на тоа што сакате да визуелизирате, I-рамката во суштина е статична фотографија. Првата рамка е обично I-рамка, но ние редовно ќе ги набљудуваме I-рамките дури и меѓу не првите рамки.

P-рамка (Pредиктирана рамка)

P-кадр (прогнозируемый кадр) использует преимущество того факта, что почти всегда текущее изображение может быть воспроизведено с использованием предыдущего кадра. Например, во втором кадре единственным изменением является движущийся вперёд мяч. Мы можем получить кадр 2 просто немного видоизменив кадр 1, только используя разницу между этими кадрами. Для построения кадра 2 ссылаемся на предшествующий ему кадр 1.

←

Б-рамка (Bi-предвидлива рамка)

Што е со врските не само до минатите, туку и до идните рамки за да се обезбеди уште подобра компресија?! Ова е во основа B-рамка (двонасочна рамка).

← →

Средно повлекување

Овие типови рамки се користат за да се обезбеди најдобра можна компресија. Ќе погледнеме како тоа се случува во следниот дел. Засега, да забележиме дека најскапата во однос на потрошената меморија е I-frame, P-frame е значително поевтина, но најпрофитабилната опција за видео е B-frame.

Временски вишок (предвидување меѓу рамки)

Ајде да погледнеме кои опции ги имаме за да го минимизираме повторувањето со текот на времето. Можеме да го решиме овој тип на вишок користејќи методи на вкрстено предвидување.

Ќе се обидеме да потрошиме што е можно помалку битови за да шифрираме низа од рамки 0 и 1.

Можеме да произведуваме одземање, едноставно ја одземаме рамката 1 од рамката 0. Добиваме рамка 1, ја користиме само разликата помеѓу неа и претходната рамка, всушност само го кодираме добиениот остаток.

Но, што ако ви кажам дека постои уште подобар метод кој користи уште помалку битови?! Прво, да ја скршиме рамката 0 во јасна мрежа составена од блокови. И тогаш ќе се обидеме да ги усогласиме блоковите од рамката 0 со рамката 1. Со други зборови, ќе го процениме движењето помеѓу рамките.

Из Википедии — компензација на движење на блок

Компензацијата за движење на блокот ја дели тековната рамка на блокови што не се преклопуваат и векторот за компензација на движење го известува потеклото на блоковите (честа заблуда е дека претходниот рамката е поделена на блокови кои не се преклопуваат, а векторите за компензација на движење кажуваат каде одат тие блокови. Но, всушност, тоа е обратно - не се анализира претходната рамка, туку следната; не е јасно каде се движат блоковите, туку од каде дојдоа). Обично изворните блокови се преклопуваат во изворната рамка. Некои алгоритми за компресија на видео ја склопуваат тековната рамка од делови од ниту една, туку неколку претходно пренесени рамки.

За време на процесот на оценување, гледаме дека топката се преселила од (x= 0, y= 25) до (x= 6, y=26), вредности x и y определи го векторот на движење. Друг чекор што можеме да го направиме за да ги зачуваме битовите е да ја шифрираме само разликата на вектори на движење помеѓу последната блок позиција и предвидената, така што конечниот вектор на движење ќе биде (x=6-0=6, y=26-25=1 ).

Во реална ситуација, оваа топка би била поделена на n блокови, но тоа не ја менува суштината на работата.

Предметите во рамката се движат во три димензии, така што кога топката се движи, може да стане визуелно помала (или поголема ако се движи кон гледачот). Нормално е дека нема да има совршен натпревар помеѓу блоковите. Еве комбиниран поглед на нашата проценка и реалната слика.

Но, гледаме дека кога користиме проценка на движење, има значително помалку податоци за кодирање отколку кога користиме поедноставен метод за пресметување на делта помеѓу рамки.

Како би изгледала вистинската компензација на движење

Оваа техника се применува на сите блокови одеднаш. Честопати нашата условна подвижна топка ќе биде поделена на неколку блокови одеднаш.

Можете сами да ги почувствувате овие концепти користејќи Јупитер.

За да видите вектори на движење, можете да креирате надворешно видео за предвидување користејќи ffmpeg.

Можете исто така да користите Интел видео про анализатор (се плаќа, но има бесплатен пробен период кој е ограничен само на првите десет фрејмови).

Просторен вишок (внатрешна прогноза)

Ако ја анализираме секоја рамка во видео, ќе најдеме многу меѓусебно поврзани области.

Ајде да поминеме низ овој пример. Оваа сцена главно се состои од сини и бели бои.

Ова е I-рамка. Не можеме да земеме претходни рамки за предвидување, но можеме да го компресираме. Ајде да го шифрираме изборот на црвениот блок. Ако ги погледнеме нејзините соседи, забележуваме дека околу неа има некои трендови во боја.

Претпоставуваме дека боите се шират вертикално во рамката. Што значи дека бојата на непознатите пиксели ќе ги содржи вредностите на нејзините соседи.

Таквата прогноза може да се покаже како неточна. Токму поради оваа причина треба да го примените овој метод (внатрешна прогноза), а потоа да ги одземете вистинските вредности. Ова ќе ни даде резидуален блок, што ќе резултира со многу покомпресирана матрица во споредба со оригиналот.

Ако сакате да вежбате со внатрешни предвидувања, можете да креирате видео со макроблок и нивните предвидувања користејќи ffmpeg. За да го разберете значењето на секоја боја на блокот, ќе треба да ја прочитате документацијата за ffmpeg.

Или можете да го користите Intel Video Pro Analyzer (како што споменав погоре, бесплатната пробна верзија е ограничена на првите 10 фрејмови, но ова ќе ви биде доволно на почетокот).

Вториот дел од: Како работи видео кодекот

Извор: www.habr.com