Како функционише видео кодек? Део 1: Основе

Други део: Како функционише видео кодек

Било који растер слика може се представити у облику дводимензионална матрица. Када су у питању боје, идеја се може развити гледањем на слику као тродимензионална матрица, у којој се додатне димензије користе за чување података за сваку од боја.

Ако коначну боју посматрамо као комбинацију тзв. примарне боје (црвена, зелена и плава), у нашој тродимензионалној матрици дефинишемо три равни: прву за црвену, другу за зелену и последњу за плаву.

Сваку тачку у овој матрици назваћемо пикселом (елементом слике). Сваки пиксел садржи информације о интензитету (обично као нумеричку вредност) сваке боје. На пример, црвени пиксел значи да садржи 0 зелене, 0 плаве и највише црвене. Пинк пикел може се формирати комбинацијом три боје. Користећи нумерички опсег од 0 до 255, ружичасти пиксел је дефинисан као Црвена = 255, Зелено = 192 и Плава = 203.

Овај чланак је објављен уз подршку ЕДИСОН-а.

Ми се развијамо апликације за видео надзор, видео стримовање, а такође смо и верени видео снимање у хируршкој сали.

Алтернативни начини за кодирање слике у боји

Постоји много других модела за представљање боја које чине слику. На пример, можете користити индексирану палету, која захтева само један бајт за представљање сваког пиксела, уместо три потребна када се користи РГБ модел. У таквом моделу могуће је користити 2Д матрицу уместо 3Д матрице за представљање сваке боје. Ово штеди меморију, али даје мањи распон боја.

РГБ

На пример, погледајте ову слику испод. Прво лице је потпуно обојено. Остале су црвена, зелена и плава равни (интензитет одговарајућих боја је приказан у сивим тоновима).

Видимо да ће нијансе црвене у оригиналу бити на истим местима где се посматрају најсветлији делови другог лица. Док се плави допринос углавном може видети само у Мариовим очима (последње лице) и елементима његове одеће. Обратите пажњу на то где све три равни боја најмање доприносе (најтамнији делови слика) - Маријеви бркови.

За чување интензитета сваке боје потребан је одређени број битова - ова количина се зове битна дубина. Рецимо да се потроши 8 битова (на основу вредности од 0 до 255) по равни боје. Затим имамо дубину боје од 24 бита (8 бита * 3 Р/Г/Б равни).

Још једно својство слике је резолуција, што је број пиксела у једној димензији. Често се означава као ширина × висина, као на слици примера 4 са 4 испод.


Још једно својство са којим се бавимо када радимо са сликама/видеом је однос ширине и висине, који описује нормалан пропорционални однос између ширине и висине слике или пиксела.

Када кажу да је одређени филм или слика величине 16 пута 9, обично мисле однос ширине и висине екрана (АЛИ - од Однос ширине и висине екрана). Међутим, понекад могу постојати различити облици појединачних пиксела - у овом случају говоримо о томе однос пиксела (PAR - од Однос слике пиксела).

Напомена за домаћицу: ДВД одговара ДАР 4 до 3

Иако је стварна резолуција ДВД-а 704к480, он и даље одржава однос ширине и висине слике 4:3 јер је ПАР 10:11 (704к10 / 480к11).

И коначно, можемо одредити видео попут низа n оквири за период време, што се може сматрати додатном димензијом. А n онда је брзина кадрова или број кадрова у секунди (ФПС - од Фрејмова у секунди).

Број битова у секунди потребних за приказивање видео записа је његов брзина преноса - битрате.

брзина бита = ширина * висина * дубина бита * фрејмова у секунди

На пример, видео запис од 30 фпс, 24 бпс, 480к240 захтева 82,944,000 бпс или 82,944 Мбпс (30к480к240к24) - али то је ако се не користи метода компресије.

Ако брзина преноса скоро константан, онда се зове константна брзина преноса (ВБР - од константна брзина преноса). Али такође може да варира, у овом случају се зове променљива брзина преноса (ВБР - од променљива брзина протока).

Овај графикон приказује ограничени ВБР, где се не губи превише битова у случају потпуно тамног кадра.

Инжењери су у почетку развили методу да удвоструче перципирану брзину кадрова на видео екрану без коришћења додатног пропусног опсега. Овај метод је познат као испреплетени видео; У суштини, шаље половину екрана у првом "кадру", а другу половину у следећем "оквиру".

Тренутно се сцене углавном приказују помоћу технологије прогресивног скенирања. То је метода приказивања, чувања или преношења покретних слика у којој се све линије сваког кадра цртају узастопно.

Добро! Сада смо свесни како је слика представљена дигитално, како су њене боје распоређене, колико битова у секунди трошимо да прикажемо видео, да ли је брзина протока константна (ЦБР) или променљива (ВБР). Знамо за дату резолуцију користећи дату брзину кадрова, упознати смо са многим другим терминима, као што су интерлацед видео, ПАР и неки други.

Уклањање сувишности

Познато је да се видео без компресије не може нормално користити. Видео запис од сат времена у резолуцији 720п и 30 кадрова у секунди заузимао би 278 ГБ. До ове вредности долазимо множењем 1280 к 720 к 24 к 30 к 3600 (ширина, висина, битови по пикселу, ФПС и време у секундама).

Коришћење алгоритми компресије без губитака, као ДЕФЛАТЕ (користи се у ПКЗИП, Гзип и ПНГ), неће довољно смањити потребну пропусност. Морамо да тражимо друге начине за компримовање видеа.

Да бисте то урадили, можете користити карактеристике наше визије. Боље разликујемо светлину него боју. Видео је низ узастопних слика које се понављају током времена. Постоје мале разлике између суседних кадрова исте сцене. Поред тога, сваки оквир садржи много области које користе исту (или сличну) боју.

Боја, сјај и наше очи

Наше очи су осетљивије на светлост него на боју. Ово можете и сами да видите гледајући ову слику.

Ако не видите то на левој половини слике боје квадрата A и B су заправо исти, онда је то нормално. Наш мозак нас тера да обраћамо више пажње на светлост и сенку, а не на боју. На десној страни између означених квадрата налази се џемпер исте боје - тако да ми (тј. наш мозак) лако утврдимо да су, у ствари, исте боје.

Погледајмо (поједностављено) како наше очи раде. Око је сложен орган који се састоји од многих делова. Ипак, највише нас занимају чуњеви и шипке. Око садржи око 120 милиона штапића и 6 милиона чуњева.

Размотримо перцепцију боје и осветљености као засебне функције одређених делова ока (у ствари, све је нешто компликованије, али ћемо то поједноставити). Штапићасте ћелије су углавном одговорне за осветљеност, док су ћелије конуса одговорне за боју. Шишарке се деле на три типа, у зависности од пигмента који садрже: С-чушнице (плаве), М-чушнице (зелене) и Л-шишарке (црвене).

Пошто имамо много више штапића (светлина) него чуњева (боје), можемо закључити да смо способнији да разликујемо прелазе између тамног и светлог него боје.

Карактеристике осетљивости на контраст

Истраживачи у експерименталној психологији и многим другим областима развили су многе теорије о људском виду. И један од њих се зове функције контрастне осетљивости. Они се односе на просторно и временско осветљење. Укратко, ради се о томе колико је промена потребно пре него што их посматрач примети. Обратите пажњу на множину речи „функција“. То је због чињенице да можемо да меримо функције осетљивости на контраст не само за црно-беле слике, већ и за оне у боји. Резултати ових експеримената показују да су наше очи у већини случајева осетљивије на светлост него на боју.

Пошто знамо да смо осетљивији на осветљеност слике, можемо покушати да искористимо ову чињеницу.

Модел у боји

Схватили смо мало како да радимо са сликама у боји користећи РГБ шему. Постоје и други модели. Постоји модел који одваја осветљеност од боје и познат је као ИЦбЦр. Иначе, постоје и други модели који чине сличну поделу, али ћемо размотрити само овај.

У овом моделу боје Y представља приказ осветљености, а такође користи два канала боја: Cb (богато плаво) и Cr (богато црвено). ИЦбЦр се може извести из РГБ-а, а могућа је и обрнута конверзија. Користећи овај модел можемо креирати слике у пуној боји као што видимо у наставку:

Конвертујте између ИЦбЦр и РГБ

Неко ће приговорити: како је могуће добити све боје ако се не користи зелена?

Да бисмо одговорили на ово питање, хајде да претворимо РГБ у ИЦбЦр. Хајде да користимо коефицијенте усвојене у стандарду БТ.601, што је препоручила јединица ИТУ-Р. Ова подела поставља стандарде за дигитални видео. На пример: шта је 4К? Каква би требала бити брзина кадрова, резолуција, модел боја?

Прво израчунајмо осветљеност. Хајде да користимо константе које је предложила ИТУ и заменимо РГБ вредности.

Y = КСНУМКСR + КСНУМКСG + КСНУМКСB

Након што добијемо осветљеност, раздвојићемо плаву и црвену боју:

Cb = 0.564(B - Y)

Cr = 0.713(R - Y)

Такође можемо да конвертујемо назад и чак постанемо зелени користећи ИЦбЦр:

R = Y + КСНУМКСCr

B = Y + КСНУМКСCb

G = Y - КСНУМКСCb - КСНУМКСCr

Типично, дисплеји (монитори, телевизори, екрани, итд.) користе само РГБ модел. Али овај модел се може организовати на различите начине:

Подузорковање боја

Са сликом представљеном као комбинација осветљености и хроминације, можемо искористити већу осетљивост људског визуелног система на осветљеност него на хроминацију селективним уклањањем информација. Подузорковање боје је метода кодирања слика користећи мању резолуцију за хрому него за осветљеност.

Колико је дозвољено смањити резолуцију боја?! Испоставило се да већ постоје неки дијаграми који описују како се поступа са резолуцијом и спајањем (резултујућа боја = И + Цб + Цр).

Ове шеме су познате као системи за смањење узорковања и изражени су као троструки однос - a:x:y, који одређује број узорака сигнала осветљености и разлике у боји.

a — стандард хоризонталног узорковања (обично једнак 4)
x — број узорака хрома у првом реду пиксела (хоризонтална резолуција у односу на a)
y — број промена у узорцима боје између првог и другог реда пиксела.

Изузетак је 4:1:0, обезбеђујући један узорак боје у сваком блоку резолуције 4к4 осветљења.

Уобичајене шеме које се користе у модерним кодецима:

• 4:4:4 (без смањења узорковања)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

ИЦбЦр 4:2:0 - пример фузије

Ево спојене слике користећи ИЦбЦр 4:2:0. Имајте на уму да трошимо само 12 бита по пикселу.

Овако изгледа иста слика, кодирана главним типовима подузорковања боја. Први ред је коначни ИЦбЦр, доњи ред приказује хрома резолуцију. Веома пристојни резултати, с обзиром на благи губитак у квалитету.

Сећате се када смо избројали 278 ГБ простора за складиштење за складиштење једносатне видео датотеке у резолуцији 720п и 30 кадрова у секунди? Ако користимо ИЦбЦр 4:2:0, онда ће ова величина бити смањена за половину - 139 ГБ. За сада је још далеко од прихватљивог резултата.

Можете сами да добијете ИЦбЦр хистограм користећи ФФмпег. На овој слици плава доминира над црвеном, што је јасно видљиво на самом хистограму.

Боја, осветљеност, распон боја - видео преглед

Препоручујемо да погледате овај сјајан видео. Објашњава шта је осветљеност и генерално све тачке су тачкасте ё о светлини и боји.

Фраме Типес

Идемо даље. Хајде да покушамо да елиминишемо вишак времена. Али прво, хајде да дефинишемо неку основну терминологију. Рецимо да имамо филм са 30 кадрова у секунди, ево прва 4 кадра:

Можемо видети доста понављања у кадровима: на пример, плава позадина која се не мења од кадра до кадра. Да бисмо решили овај проблем, можемо их апстрактно класификовати у три типа оквира.

И-оквир (Iнтро оквир)

И-оквир (референтни оквир, кључни оквир, унутрашњи оквир) је самосталан. Без обзира на то шта желите да визуализујете, И-оквир је у суштини статична фотографија. Први кадар је обично И-фраме, али ћемо редовно посматрати И-фрејмове чак и међу не првим кадровима.

П-оквир (Pизречени оквир)

П-фраме (предиктивни оквир) користи чињеницу да се скоро увек тренутна слика може репродуковати коришћењем претходног кадра. На пример, у другом кадру једина промена је кретање лопте напред. Можемо добити оквир 2 једноставним мало модификацијом оквира 1, само користећи разлику између ових оквира. Да бисмо конструисали оквир 2, позивамо се на претходни оквир 1.

←

Б-оквир (Bи-предиктивни оквир)

Шта је са везама не само са прошлим, већ и са будућим оквирима да би се обезбедила још боља компресија?! Ово је у основи Б-оквир (двосмерни оквир).

← →

Међусобно повлачење

Ови типови оквира се користе да обезбеде најбољу могућу компресију. Погледаћемо како се то дешава у следећем одељку. За сада напомињемо да је „најскупљи“ у смислу утрошене меморије И-оквир, П-оквир је приметно јефтинији, али најпрофитабилнија опција за видео је Б-оквир.

Временска редундантност (предвиђање између оквира)

Хајде да погледамо које опције имамо да минимизирамо понављање током времена. Ову врсту редундансе можемо решити коришћењем метода унакрсног предвиђања.

Покушаћемо да потрошимо што је могуће мање битова да кодирамо секвенцу оквира 0 и 1.

Можемо производити одузимање, једноставно одузимамо оквир 1 од оквира 0. Добијамо оквир 1, користимо само разлику између њега и претходног оквира, у ствари само кодирамо резултујући остатак.

Али шта ако вам кажем да постоји још боља метода која користи још мање битова?! Прво, разбијмо оквир 0 у чисту мрежу која се састоји од блокова. А онда ћемо покушати да ускладимо блокове из оквира 0 са оквиром 1. Другим речима, проценићемо кретање између оквира.

Са Википедије - компензација кретања блока

Компензација кретања блока дели тренутни оквир на блокове који се не преклапају, а вектор компензације покрета извештава о пореклу блокова (уобичајена заблуда је да претходни оквир је подељен на блокове који се не преклапају, а вектори компензације кретања говоре где ти блокови иду. Али у ствари, обрнуто је - не анализира се претходни оквир, већ следећи; није јасно где се блокови крећу, већ одакле су дошли). Обично се изворни блокови преклапају у изворном оквиру. Неки алгоритми видео компресије састављају тренутни оквир из делова чак ни једног, већ неколико претходно пренетих оквира.

Током процеса евалуације видимо да се лопта померила из (x= КСНУМКС, y=25) од (x= КСНУМКС, y=26), вредности x и y одредити вектор кретања. Други корак који можемо да урадимо да бисмо сачували битове је да кодирамо само разлику вектора кретања између последње позиције блока и предвиђене, тако да ће коначни вектор кретања бити (к=6-0=6, и=26-25=1 ).

У реалној ситуацији ова лопта би се поделила на n блокова, али то не мења суштину ствари.

Објекти у кадру се крећу тродимензионално, тако да када се лопта креће, може да постане визуелно мања (или већа ако се креће ка посматрачу). Нормално је да неће бити савршеног подударања између блокова. Ево комбинованог погледа на нашу процену и стварну слику.

Али видимо да када користимо процену кретања, постоји приметно мање података за кодирање него када користимо једноставнију методу израчунавања делте између оквира.

Како би изгледала права компензација покрета

Ова техника се примењује на све блокове одједном. Често ће наша условна покретна лопта бити подељена на неколико блокова одједном.

Можете сами да стекнете осећај за ове концепте користећи Јупитер.

Да бисте видели векторе покрета, можете да креирате екстерни видео за предвиђање користећи ффмпег.

Такође можете користити Интел Видео Про Анализер (плаћа се, али постоји бесплатна пробна верзија која је ограничена само на првих десет кадрова).

Просторна редундантност (интерна прогноза)

Ако анализирамо сваки кадар у видеу, наћи ћемо много међусобно повезаних области.

Хајде да прођемо кроз овај пример. Ова сцена се углавном састоји од плаве и беле боје.

Ово је И-оквир. Не можемо узети претходне оквире за предвиђање, али можемо да их компримујемо. Хајде да кодирамо избор црвеног блока. Ако погледамо његове суседе, приметићемо да око њега постоје неки трендови боја.

Претпостављамо да се боје вертикално шире у оквиру. Што значи да ће боја непознатих пиксела садржати вредности својих суседа.

Таква прогноза може се показати нетачном. Из тог разлога је потребно да примените овај метод (интерна прогноза), а затим одузмете стварне вредности. Ово ће нам дати резидуални блок, што ће резултирати много компресијом матрицом у поређењу са оригиналом.

Ако желите да вежбате са интерним предвиђањима, можете да направите видео снимак макроблокова и њихових предвиђања користећи ффмпег. Да бисте разумели значење сваке боје блока, мораћете да прочитате ффмпег документацију.

Или можете да користите Интел Видео Про Анализер (као што сам већ поменуо, бесплатна пробна верзија је ограничена на првих 10 кадрова, али ово ће вам у почетку бити довољно).

Други део: Како функционише видео кодек

Извор: ввв.хабр.цом