Kuidas videokooder töötab. Osa 1. Põhikoolitus

Teine osa: Videokoodri tööpõhimõtted

Iga rasterpilt võib olla esitatud kahemõõtmelise maatriksina . Kui rääkida värvidest, saab ideed arendada, arvestades pilti kuikolmemõõtmelist maatriksit , kus täiendavad mõõtmed on kasutusel iga värvi andmete salvestamiseks.Kui käsitleda lõppvärvi kui kombinatsiooni nn põhivärvidest (punane, roheline ja sinine), määratleme meie kolmemõõtmelises maatriksis kolm tasapinda: esimene punase, teine rohelise ja viimane sinise jaoks.

Igat punkti selles maatriksis nimetame piksliks (pildi elemendiks). Iga piksel sisaldab teavet iga värvi intensiivsuse kohta (tavaliselt numbrilise väärtuse kujul). Näiteks,

punane piksel tähendab, et selles on 0 rohelist, 0 sinist ja maksimum punast. Roosa piksel võib olla loodud kolme värvi kombinatsiooniga. Kasutades numbrivahemikku 0 kuni 255, määratletakse roosa piksel kui Punane = 255 Roheline = 192, Sinine = 203 ja Artikkel on avaldatud ettevõtte EDISON toetusel..

Arendame

rakendusi videovalve, voogedastuse , samuti tegelemevideote salvestamisega kirurgiatoas Alternatiivsed meetodid värvipildi kodeerimiseks.

Kujutise värvide esitamiseks on olemas mitmeid teisi mudelid. Näiteks võib kasutada indeksitud värvipaletti, kus iga piksli esitamiseks on vaja vaid ühe bait, mitte kolme, nagu RGB mudeli puhul. Selles mudelis on võimalik kasutada 2D maatriksit, et esitada iga värvi. See säästab mälu, kuid pakub väiksemat värvitoonide vahemikku.

RGB

Vaadake allolevat pilti. Esimene nägu on täielikult värvitud. Ülejäänud on punase, rohelise ja sinise tasandid (vastavate värvide intensiivsus on näidatud hallis skaala järgi).

Näiteks vaadake allolevat pilti. Esimene nägu on täielikult värvitud. Teised on punased, rohelised ja sinised pinnad (vastavate värvide intensiivsus on näidatud halltoone kasutades).

Näeme, et punasetoonid originaalis asuvad samades kohtades, kus on kõige eredamad osad teise isiku suhtes. Samas on sinise värvi panus peamiselt nähtav ainult Mario silmades (viimane isik) ja tema rõivastes. Pange tähele, kuhu kõik kolm värvitasandit annavad kõige väiksema panuse (kõige tumedamad osad piltidel) — see on Mario vuntsides.

Iga värvi intensiivsuse säilitamiseks on vajalik teatud hulk bite — seda mõõdetakse bitisügavusega. Oletame, et ühe värvitasandi jaoks kulub 8 bitti (vahemik 0 kuni 255). Siis on meil värvisügavus 24 bitti (8 bitti * 3 tasandit R/G/B).

Veel üks omadus pildist on eraldusvõime, mis väljendab pikslite arvu ühes mõõtmes. Sageli tähistatakse seda kui laius × kõrgus, nagu alloleval 4x4 pildi näitel.


Veel üks omadus, millega kokku puutume piltide/ videote töötlemisel, on kuvasuhe, mis kirjeldab tavalist proportsionaalset seost pildi või pikslite laius ja kõrgus vahel.

Kui öeldakse, et kindlal filmil või pildil on mõõt 16 korda 9, siis mõeldakse tavaliselt ekraani kuvasuhte (DAR — lühend Display Aspect Ratio). Kuid mõnikord võivad eraldi piksli vormid olla erinevad — siis räägime pikslisuhte (PAR — lühend Pixel Aspect Ratio).

Koduperenaisele tähelepanuks: DVD vastab DAR 4 x 3

Kuigi DVD tegelik eraldusvõime on 704×480, säilitab see siiski kuvasuhte 4:3, kuna PAR on 10:11 (704×10 / 480×11).

Ja lõpuks, saame määratleda video järjestikuna n kaadreid aja jooksul mis on lisamõõde. Siis on see kaadrisagedus ehk kaadrite number sekundis (FPS n Frames per SecondKahtlemata on videote vaatamiseks vajalik bitihulk sekundis selle — lühend edastuskiirus).

bitrate bitrate = laius * kõrgus * bitisügavus * kaadreid sekundis — Näiteks, 30 kaadriga sekundis, 24 bitti pikslite kohta, eraldusvõime 480x240 vajab 82,944,000 bitti sekundis või 82,944 Mbit/s (30x480x240x24) — aga see kehtib vaid juhul, kui ei kasutata mingit tihendamismeetodit..

Kui edastuskiirus

on peaaegu konstantne

, siis nimetatakse seda konstandiks edastuskiirusCBR constant bit rate (CBR — lühend püsiv bitikiirus). Kuid see võib samuti varieeruda, sellisel juhul nimetatakse muutuvate edastuskiirus (VBR — lühend muutuv bitikiirus).

See graafik näitab piiratud VBR-i, kui täielikult musta kaadri korral ei kulu liiga palju bitte.

Alguses töötasid insenerid välja meetodi videodispelai kiirusperioodi tajumise kahekordistamiseks ilma täiendava ribalaiuseta. Seda meetodit tuntakse välhekseldatud videona; üldiselt saadetakse esimese 'kaadri' ajal pool ekraani ja järgmise 'kaadri' ajal teine pool.

Praegu toimub stseenide visualiseerimine enamasti progressiivse skaneerimise. See on meetod, kus liikuvate piltide kuvamine, salvestamine või edastamine toimub, kus iga kaadri kõik read joonistatakse järjestikku.

Noh, nüüd teame, kuidas pilt esitatakse digitaalsetes vormingutes, kuidas selle värvid on organiseeritud, kui palju bitte sekundis kulutame video näitamiseks, kui edastuskiirus on konstantne (CBR) või muutuv (VBR). Oleme tuttavad määratud eraldusvõimega, kasutades määratud kaadrisagedust, ning oleme tutvunud paljude teiste mõistetega, nagu välhekseldatud video, PAR ja mõned teised.

Üksikasjade eemaldamine

On teada, et kompressitud videot ei saa normaalselt kasutada. Tund aega 720p eraldusvõime ja 30 kaadrit sekundis võtaks 278 GB. Sellele väärtusele jõuame, kui korrutame 1280 x 720 x 24 x 30 x 3600 (laius, kõrgus, bitid pikslis, FPS ja aja sekundid).

Kasutamine kaotusevabal kompressioonialgoritmide, nagu DEFLATE (kasutatakse PKZIP-is, Gzip-is ja PNG-s), ei tagatud piisavalt vähendatud ribalaiust. Peame leidma muid video kompressimise viise.

Selleks saab kasutada meie nägemisvõime omadusi. Me eristame heledust paremini kui värve. Video on järjestikuste piltide kogum, mis kordub ajas. Üksikute stseenide vaheliste kaadrite vahe on väike. Peale selle sisaldavad iga kaader palju alasid, mis kasutavad sama (või sarnast) värvi.

Värv, heleduse ja meie silmad

Meie silmad on heledusele tundlikumad kui värvile. Saate ise seda kinnitada, vaadates seda pilti.

Kui te ei näe, mis on pildi vasakus pooles ruutude värvid A ja B kui nad on tegelikult samad, siis see on normaalne. Meie aju sunnib meid rohkem tähelepanu pöörama valguse ja varju erinevustele, mitte värvile. Paremal pool tähistatud ruutude vahel on sama värvi vaheosa - seega suudame (ehk siis meie aju) kergesti eristada, et seal on tegelikult üks ja sama värv.

Vaatame lihtsustatult, kuidas meie silmad töötavad. Silm on keeruline organ, mis koosneb paljusid osadest. Kuid meid huvitavad peamiselt koonus- ja pulgarakud. Silm sisaldab umbes 120 miljonit pulgarakku ja 6 miljonit koonusrakku.

Uurime värvi ja heleduse tajumist eraldi silma teatud osade funktsioonidena (tegelikult on asi veidi keerulisem, kuid lihtsustame). Pulgarakud vastutavad peamiselt heleduse eest, samas kui koonusrakud vastutavad värvi eest. Koonusrakud jagunevad kolme tüüpi, sõltuvalt sisalduvast pigmendist: S-koonusrakud (sinine), M-koonusrakud (roheline) ja L-koonusrakud (punane).

Kuna meil on palju rohkem pulgakesi (heleduse jaoks) kui koonusrakke (värvi jaoks), võib järeldada, et oleme rohkem võimelised eristama üleminekuid tumeduse ja valguse vahel kui värve.

Kontrastsuse tundlikkuse funktsioonid

Eksperimentaalse psühholoogia ja paljude teiste valdkondade teadlased on välja töötanud mitmeid teooriaid inimnägemise kohta. Ja üks neist nimetatakse kontrastsuse tundlikkuse funktsioonideks. Need on seotud ruumilise ja ajaliselt valgustusega. Lühidalt öeldes räägime sellest, kui palju on vaja muutusi, enne kui vaatleja neid märkab. Pange tähele sõna „funktsioon” mitmust. See on seotud sellega, et me saame mõõta kontrastsuse tundlikkuse funktsioone mitte ainult mustvalge, vaid ka värvilise pildi suhtes. Nende katsete tulemused näitavad, et enamikul juhtudel on meie silmad heleduse suhtes tundlikumad kui värvi suhtes.

Kuna on teada, et oleme pildi heledusele tundlikumad, on mõistlik kasutada seda fakti.

Värvimudel

Oleme veidi aru saanud, kuidas töötada värviliste piltidega, kasutades RGB-skeemi. On ka teisi mudeleid. On mudel, mis eraldab heleduse värvusest ja see on tuntud kui YCbCr. Muide, on ka teisi mudeleid, mis teevad sarnast eraldamist, kuid vaatame ainult seda.

Selles värvimudelis Y — on heleduse esitamine ning kasutatakse kaht värvikanalit: Cb (küllastunud sinine) ja Cr (küllastunud punane). YCbCr saadakse RGB-st, nagu ka vastupidine teisendus on võimalik. Kasutades seda mudelit, saame luua täisvärvilisi pilte, nagu näeme allpool:

Teisendus YCbCr ja RGB vahel

Mõned võivad väita: kuidas on võimalik saada kõiki värve, kui roheline ei ole kasutusel?

Küsimusele vastamiseks teisendame RGB YCbCr-iks. Kasutame MSE poolt kehtestatud koefitsiiente BT.601, mis on soovitatud ITU-R. See üksus määratleb digitaalvideo standardid. Näiteks: mis on 4K? Millised peaksid olema kaadrisagedus, resolutsioon, värvimudel?

Esiteks arvutame heledus. Kasutame ITU poolt pakutud konstande ja asendame RGB väärtused.

Y = 0.299R + 0.587G + 0.114B

Pärast heleduse saamist lahutame sinise ja punase värvi:

Cb = 0.564(B — Y)

Cr = 0.713(R — Y)

Ja me saame ka tagasi teisendada ja isegi roheline värvi YCbCr abil saada:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y — 0.344Cb — 0.714Cr

Üldiselt kasutavad ekraanid (monitorid, telerid, ekraanid jne) ainult RGB mudelit. Kuid see mudel võib olla korraldatud erinevalt:

Värvialane subdiskreetimine

Pilti, mis on esitatud heleduse ja värvuse kombinatsioonina, saame kasutada inimeste nägemissüsteemi suuremat tundlikkust heledusele võrreldes värvuse tundlikkusega, kui eemaldame teavet valikuliselt. Värvialane subdiskreetimine on meetod, kuidas kodeerida pilte, kasutades värvuse jaoks madalamat resolutsiooni kui heleduse jaoks.

Kui lubatud on värvuse resolutsiooni vähendamine?! Tundub, et juba on olemas mõned skeemid, mis kirjeldavad, kuidas töötada resolutsiooni ja sulandumisega (Lõppvärv = Y + Cb + Cr).

Need skeemid on tuntud kui subdiskreetimise süsteemid ja väljendatakse 3:2 suhe — a:x:y, mis määratleb heleduse ja värvuse vahe signaalide võtmiste arvu.

a — standardne horisontaalne võtete arv (üldiselt 4)
x — värvuse võtete arv esimeses pikseliribas (horisontaalne resolutsioon võrreldes a)
y — värvuse võtete muudatuste arv esimese ja teise pikseliriba vahel.

Erandina on 4:1:0, mis tagab ühe värvuse võtte igas heleduse 4x4 resolutsiooni plokis.

Kaasaegsetes koodekites kasutatavad üldised skeemid:

• 4:4:4 (ilma aladieskreetimiseta)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 — sulandumise näide

Siin on YCbCr 4:2:0 kasutades ühendatud pildi fragment. Pange tähele, et kulutame ainult 12 bitti pikseli kohta.

Näete, kuidas sama pilt on kodeeritud peamiste värvi aladieskreetimise tüüpidega. Ülemine rida on lõplik YCbCr, alumine rida näitab värvilisuse resolutsiooni. Tulemused on üsna kõrged, arvestades, et kvaliteedi kaotused on minimaalsed.

Kas mäletate, et arvutasime välja 278 GB kettaruumi, et salvestada ühe tunni video 720p resolutsiooniga ja 30 kaadrit sekundis? Kui kasutame YCbCr 4:2:0, kahaneb see suurus poole võrra – 139 GB. Siiski on veel kaugeltki kätte saadavast tulemusest.

Saate ise YCbCr-i histogrammi kasutada FFmpegiga. Selles pildis on sinine värv punase ülekaalus, mis on histogrammil hästi nähtav.

Värvilisus, heledus, värvigamma — videoülevaade

Soovitame vaadata seda pöörasepärast videot. Siin selgitatakse, mis on heledus, ja üldse, kõik punktid on paika pandud ü heleduse ja värvi osas.

Kaadritüübid

Liigume edasi. Proovime kõrvaldada ajaülekande. Kuid kõigepealt määratleme mõned põhisterminid. Oletame, et meil on film, kus on 30 kaadrit sekundis, siin on selle esimesed 4 kaadrit:

Näeme kaader-kaadrisse palju kordusi: näiteks sinine taust, mis ei muutu kaadri kaupa. Selle probleemi lahendamiseks saame neid abstraktselt klassifitseerida kolme kaadritüübina.

I-kaader (Intro Frame)

I-kaader (viidekaader, võtme kaader, sisene kaader) on iseseisev. Ükskõik, mida visuaalselt näidata, on I-kaader põhimõtteliselt staatiline foto. Esimene kaader on tavaliselt I-kaader, kuigi vaatame regulaarselt I-kaadreid ka kaugemates kaadrites.

P-kaader (Predicted Frame)

P-raak (prognoositud raami) kasutab ära asjaolu, et peaaegu alati saab praegust pilti reproduktsioonida eelmise raami abil. Näiteks, teises raam, ainus muudatus on edasi liikuv pall. Me saame raam 2 lihtsalt veidi muutes raam 1, kasutades ainult nende raamide vahet. Raami 2 koostamiseks tugineme tema eelnevale raami 1.

←

B-raak (Bi-predictive Frame)

A kuidas oleks, kui viidata mitte ainult minevikule, vaid ka tulevastele raamidele, et tagada veel parem tihendamine?! See on põhjeti B-raak (kahepoolne raami).

← →

Vahekokkuvõte

Need raamitüübid on kasutusel parima tihendamise tagamiseks. Me vaatame, kuidas see toimub, järgnevas jaotises. Kuid hetkeks märkigem, et kõige "kulukam" mälu kulutamiseks on I-raak, P-raak on märgatavalt odavam, aga kõige soodsam variant video jaoks on B-raak.

Ajaliselt üleliigne (vahekaadri prognoosimine)

Vaadakem, millised on meie võimalused ajakohaste korduste vähendamiseks. Seda tüüpi üleliigne lahendame vastastikuse prognoosimise meetoditega.

Püüame kulutada võimalikult vähe bitte, et kodeerida raamide 0 ja 1 jada.

Me saame lahutamise, lihtsalt lahutame raam 1 raamist 0. Saame raam 1, kasutades erinevust selle ja eelmise raami vahel, tegelikult kodeerime ainult saadud jääki.

Aga mis siis, kui ma ütleksin, et on veel parem meetod, mis kasutab veel vähem bitte?! Alustame raami 0 jagamist selgeks võrgustikuks, mis koosneb plokkidest. Ja siis proovime sobitada plokke raamist 0 raami 1. Teisisõnu, hindame liikumist raamide vahel.

Wikipediast — plokkide liikumise kompensatsioon

Plokkide liikumise kompensatsioon jagab praeguse raami mitteühtivateks plokkideks ja liikumise kompensatsiooni vektor näitab plokkide päritolu (levinud eksiarvamus on see, et eelmine Kaader jaguneb omavahel mitteületavatesse blokki, samas kui liikumise kompensatsiooni vektorid näitavad, kuhu need blokid liiguvad. Tegelikult analüüsitakse mitte eelmise kaadri, vaid järgmise kaadri andmeid, et välja selgitada, mitte kuhu blokid liiguvad, vaid kust nad ilmusid. Tavaliselt kattuvad lähteblokkide osad algses kaadris. Mõned videokompressiooni algoritmid koguvad praeguse kaadri koostisosad isegi mitte ühest, vaid kohe mitmest varasemalt edastatud kaadrist.

Hindamise käigus näeme, et pall on liikunud punktist (x=0, y=25) punkti (x=6, y=26), väärtused x ja y määravad liikumise vektori. Veel üks samm, mida saame teha, et säilitada bitsid, on kodeerida ainult liikumise vektorite erinevust viimase bloki asukoha ja prognoositud vahel, mistõttu lõplik liikumise vektor on (x=6-0=6, y=26-25=1).

Tõelises olukorras oleks see pall jagatud n blokkideks, kuid asja sisu ei muutu.

Kaadris liikuvad objektid liiguvad kolmes mõõtmes, seega võib palli liikumisel see visuaalselt väiksemaks muutuda (või suuremaks, kui see liigub vaatleja suunas). on normaalne, et blokid ei vasta ideaalselt. Siin on meie hinde ja reaalse pildi ühtne vaade.

Kuid näeme, et kui rakendame liikumise hindamist, on kodeerimise andmeid märgatavalt vähem kui lihtsama raamide vahelise erinevuse arvutamise meetodi puhul.

Kuidas näeb välja tõeline liikumise kompensatsioon

See meetod rakendatakse kohe kõigile blokkidele. Sageli meie tinglikult liikuv pallike jagatakse kohe mitmeks blokkiks.

Sa saad ise neid mõisteid tunnetada, kasutades Jupyter.

Liikumise vektorite nägemiseks saab luua video välise prognoosimise abil, kasutades ffmpeg.

Samuti võib kasutada Intel Video Pro Analyzer (see on tasuline, kuid saadaval on tasuta prooviversioon, mis on piiratud ainult esimese kümne kaadriga).

Ruumiline üleliigsus (sisemine prognoos)

Kui analüüsida iga kaadrit videos, avastame palju omavahel seotud piirkondi.

Vaadakem seda näidet. See stsenaarium koosneb peamiselt sinisest ja valgest värvist.

See on I-kaader. Eelmisi kaadreid prognoosimiseks kasutada ei saa, kuid suudame seda siiski kokku suruda. Kodeerime punase bloki väljatoomise. Kui vaatame selle naabritele, märkame, et selle ümber on teatavad värvilised kalduvused.

Eeldame, et pildis levivad värvid vertikaalselt. See tähendab, et tundmatute pikslite värvid sisaldavad naabrite väärtusi.

Selline prognoos võib osutuda vale. Just sellepärast tuleb rakendada seda meetodit (sisemine prognoos), ja seejärel veel lahutada reaalsed väärtused. See annab meile jääkploki, mis toob kaasa palju kompaktsema maatriksi võrreldes originaaliga.

Kui soovite harjutada sisemiste prognoosidega, võite luua video makrobokside ja nende prognoosidega, kasutades ffmpeg. Selleks, et mõista iga bloki värvi tähendust, peate tutvuma ffmpeg dokumentatsiooniga.

Või võite kasutada Intel Video Pro Analyzerit (nagu ma eelnevalt mainisin, on tasuta prooviversioonis piirang esimestele 10 kaadrile, kuid seda mahu täitmiseks piisab esialgu).

Teine osa: Videokoodri tööpõhimõtted

Allikas: habr.com