Kuidas videokooder töötab. Osa 1. Põhitõed

Teine osa: Videokodeki tööpõhimõtted

Iga rasterpilt võib olla esitatud kahemõõtmelise maatriksina . Kui rääkida värvide kohta, siis ideed saab arendada, vaadates pilti kuikolmemõõtmelist maatriksit , kus lisamõõtmeid kasutatakse iga värvi andmete salvestamiseks.Kui käsitleda lõppvärvi kui kombinatsiooni nn põhivärvidest (punane, roheline ja sinine), määratleme meie kolmemõõtmelises maatriksis kolm tasandit: esimene punasele, teine rohelisele ja viimane sinisele.

Kutsume seda maatriksi igat punkti piksliks (pildi elemendiks). Iga piksel sisaldab teavet iga värvi intensiivsuse kohta (tavaliselt numbrilise väärtusena). Näiteks

punane piksel tähendab, et sellel on 0 rohelist, 0 sinist ja maksimaalne punane. Roosa piksel võib olla moodustatud kolme värvi kombinatsiooni abil. Kasutades numbrilist vahemikku 0 kuni 255, määratletakse roosa piksel kui Punane = 255 Roheline = 192, Sinine = 203 ja Artikkel on avaldatud EDISONi toetusel..

Arendame

Arendame videovalve rakendused, voogedastusvideo, samuti tegeleme videokontroll kirurgilises ruumis.

Alternatiivsed meetodid värvipildi kodeerimiseks

Kuvamiseks on palju muid mudelite olemas, mis kirjeldavad värve pildis. Näiteks võib kasutada indekseeritud paletti, kus iga piksel on esindatud ühe baitiga, võrreldes kolme baitiga, mis on vajalik RGB-mudelis. Sellises mudelis võib iga värvi esitlemiseks kasutada 2D-matrixit 3D-matriisi asemel. See säästab mälu, kuid pakub väiksemat värvivalikut.

RGB

Näiteks vaadake allolevat pilti. Esimene joonis on täielikult värvitud. Ülejäänud on punased, rohelised ja sinised tasandid (vastavate värvide intensiivsus on esitatud halli skaala järgi).

Näeme, et punase tooni varjundid originaalis asuvad samades kohtades, kus on näha teise näo eredamad osad. Samas on sinise värvi panus peamiselt nähtav ainult Mario silmades (viimane nägu) ja tema riiete elementides. Pange tähele, kuhu kõik kolm värvitegemist annavad kõige vähem panust (tumedamad osad piltidel) — see on Mario vuntsides.

Iga värvi intensiivsuse salvestamiseks on vajalik kindel arv bitte — seda nimetatakse bittide sügavuseks. Oletame, et kulutatakse 8 bitti (väärtusest 0 kuni 255) ühe värvitegemise kohta. Sel juhul on meil värvisügavus 24 bitti (8 bitti * 3 R/G/B ette).

Teine omadus, millega piltidega tegeledes kokku puutume, on eraldusvõime, mis esindab pikslite arvu ühes mõõtmes. Sageli tähistatakse seda kui laius × kõrgus, nagu alloleval 4x4 pildinäidisel.


Veel üks omadus, millega me töötades pilte/ videotega kokku puutume, on kuvasuhe, mis kirjeldab tavalist proportsionaalset seost pildi või piksli laiuse ja kõrguse vahel.

Kui räägitakse, et mõne filmi või pildi suurus on 16:9, siis tavaliselt mõeldakse ekraani kuvasuhet (DAR — lühend Display Aspect Ratio). Siiski võivad eraldi pikslite vormid olla erinevad — sel juhul räägime pikslisuhtest (PAR — lühend Pixel Aspect Ratio).

Kööginõustajale tähelepanekuks: DVD vastab DAR 4:3

Kuigi DVD reaalne resolutsioon on 704×480, säilitab see siiski 4:3 kuvasuhte, kuna PAR väärtus on 10:11 (704×10 / 480×11).

Ja lõpuks saame määratleda video ka kui järjestikuste n kaadrite seeriat ajaüles mõõtmiseks, mida võib pidada täiendavaks mõõtmiseks. Ning n see on ka kaadrisagedus ehk kaadrite arv sekundis (FPS — lühend Frames per Second).

Bitimäär, mis on vajalik video esitamiseks, on selle ülekandekiirus — bitrate.

bitrate = laius * kõrgus * bit sügavus * kaadreid sekundis

Näiteks, video jaoks 30 kaadrit sekundis, 24 bitti pikseli kohta ja resolutsiooniga 480×240 on vajalik 82,944,000 bitti sekundis või 82,944 Mbit/s (30x480x240x24) — aga see on juhul, kui ei kasutata ühtegi tihendamise meetodit.

Kui ülekandekiirus on peaaegu konstantne, siis nimetatakse seda konstantseks ülekandekiirus (CBR — lühend constant bit rate). Kuid see võib ka varieeruda, sel juhul nimetatakse seda muutuvaks andmeedastuskiirus (VBR — lühend variable bit rate).

See graafik näitab piiratud VBR-i, kui täielikult tumeda kaadri puhul ei kulutata liiga palju bitte.

Alguses töötasid insenerid välja meetodi, mis kahekordistab tajutavat videodisplei kaadrisagedust ilma täiendava ribalaiuse kasutamiseta. See meetod on tuntud kui väljakudekad video; põhimõtteliselt saadab see poole ekraanist esimeses "kaadris" ja teise poole järgmisel "kaadris."

Praegu toimub stseenide visualiseerimine peamiselt progressiivse skaneerimise tehnoloogia. See on meetod liikuvate piltide kuvamiseks, säilitamiseks või edastamiseks, kus iga kaadri kõik read joonistatakse järjestikuseid.

Nüüd oleme kursis, kuidas pilt digitaalsetes vormides esitatakse, kuidas on korraldatud selle värvid ja kui palju bitti sekundis kulutame video näitamiseks, olgu see siis pidev (CBR) või muutuv (VBR) edastuskiirus. Teame määratud eraldusvõimet koos määratud kaadrisagedusega ning oleme tutvunud paljude teiste mõistetega, nagu vahelduvväline video, PAR ja paljude teistega.

Ülemäärasuse eemaldamine

On teada, et kompressimata videot ei saa normaalselt kasutada. Tund aega 720p resolutsiooniga videot 30 kaadrit sekundis võtaks 278 GB. Sellisele väärtusele jõuame, korrutades 1280 x 720 x 24 x 30 x 3600 (laius, kõrgus, bitid pikseli kohta, FPS ja aeg sekundites).

Kasutamine kaotusteta kompressioonialgoritmid, nagu DEFLATE (kasutatakse PKZIP-is, Gzip-is ja PNG-s), ei anna piisavat vähendamist vajaliku ribalaiuse osas. Peame otsima teisi video kokkusurumise viise.

Selleks saab kasutada meie nägemise omadusi. Meie silmad tajuvad paremini heledust kui värve. Video on järjestatud piltide kogum, mis kordub aja jooksul. Ühe stseeni kõrval asuvate kaadrite vahel on väiksed erinevused. Lisaks sisaldab iga kaader palju piirkondi, mis kasutavad ühte ja sama (või sarnast) värvi.

Värv, heledus ja meie silmad

Meie silmad on heledusele tundlikumad kui värvile. Veenduge ise, vaadates seda kujutist.

Kui te ei näe, et vasakus pooles pildi ruutude värvid A ja B on tegelikult samad, siis see on normaalne. Meie aju paneb meid rohkem tähelepanu pöörama heledusele kui värvile. Paremal pool on tähistatud ruutude vahel sama värvi ühendus — seega suudame (ehk siis meie aju) kergesti kindlaks teha, et seal on tegelikult sama värv.

Vaatame (lihtsustatult) lähemalt, kuidas meie silmad töötavad. Silm on keeruline organ, mis koosneb paljusid osadest. Kuid meid huvitavad eelkõige koonus- ja varsarakud. Silmas on umbes 120 miljonit varsarakku ja 6 miljonit koonusrakku.

Vaatleme värvi ja heleduse tajumist kui eraldi funktsioone silma teatud osades (tegelikult on asi keerulisem, kuid lihtsustame). Keerukad rakud vastutavad enamasti heleduse eest, samas kui koonusrakud vastutavad värvi eest. Koonusrakud jaotatakse kolme tüüpi sõltuvalt sisaldatavast pigmendist: S-koonused (sinine), M-koonused (roheline) ja L-koonused (punane).

Kuna meil on palju rohkem keppe (heleduse jaoks) kui koonusrakke (värvi jaoks), võib järeldada, et me oleme paremini võimelised eristama tumeduse ja valguse üleminekuid kui värve.

Kontrastitundlikkuse funktsioonid

Eksperimentaalpsühholoogia ja paljude teiste valdkondade teadlased on välja töötanud arvukalt teooriaid inimnägemise kohta. Üks neist nimetatakse kontrastitundlikkuse funktsioonideks. Need on seotud ruumilise ja ajaga valgustusega. Lühidalt öeldes, räägime sellest, kui palju muutusi on vajalik, enne kui vaatleja neid märkab. Pange tähele sõna „funktsioon” mitmuses. See on seotud sellega, et saame mõõta kontrasti tundlikkuse funktsioone mitte ainult mustvalges, vaid ka värvilistes piltides. Need eksperimendi tulemused näitavad, et enamikul juhtudel on meie silmad valgustusele tundlikumad kui värvile.

Kuna on teada, et oleme valgustuse suhtes tundlikumad, võiksime proovida seda fakti ära kasutada.

Värvimudel

Oleme natuke aru saanud, kuidas töötada värviliste piltidega, kasutades RGB-skeemi. On ka teisi mudeleid. On mudel, mis eraldab heleduse värvustest ja seda tuntakse kui YCbCr. Muide, on ka teisi mudeleid, mis teevad sarnase jaotuse, kuid käsitleme ainult seda.

Selles värvimudelis Y — esindab heledust, samas kasutatakse kaht värvikanalit: Cb (külluslik sinine) ja Cr (küllane punane). YCbCr võib olla saadud RGB-st, samuti on võimalik ka tagurpidi muundamine. Kasutades seda mudelit, saame luua täisvärvilisi pilte, nagu allpool nähtav:

YCbCr ja RGB vaheline muundamine

Keegi võib väita: kuidas on võimalik saada kõiki värve, kui roheline ei ole kasutusel?

Sellele küsimusele vastamiseks muundame RGB YCbCr-iks. Kasutame standardis kehtestatud koefitsiente BT.601, mille soovitab ITU-R. See organisatsioon määratleb digitaalsete video standardid. Näiteks: mis on 4K? Millised peaksid olema kaadrisagedus, eraldusvõime, värvimudel?

Esiteks arvutame heledust. Kasutame ITU soovitatud konstandeid ja asendame RGB väärtused.

Y = 0.299R + 0.587G + 0.114B

Pärast heleduse saamist eraldame sinise ja punase värvi:

Cb = 0.564(B — Y)

Cr = 0.713(R — Y)

Ja me saame ka tagasi muundada ja isegi saada rohelise YCbCr abil:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y — 0.344Cb — 0.714Cr

Tavaliselt kasutavad ekraanid (monitorid, telerid, ekraanid jne) ainult RGB mudelit. Kuid seda mudelit saab organiseerida erinevalt:

Värvi alampurskamine

Pilt, mis on esitatud heleduse ja värvuse kombinatsioonina, võimaldab meil kasutada inimeste nägemise süsteemi suuremat tundlikkust heledusele kui värvusele, kui me valikuliselt teabe eemaldame. Värvialane alaläbilaskmine on piltide kodeerimise meetod, mis kasutab värvuse jaoks madalamat eraldusvõimet kui heleduse jaoks.

Kui palju on lubatud värvuse eraldusvõimet vähendada?! Tundub, et juba on olemas mõned skeemid, mis kirjeldavad, kuidas töötleda eraldusvõimet ja sulandada (Lõppvärv = Y + Cb + Cr).

Need skeemid on tuntud kui alaläbilaskmise süsteemid ja need väljendatakse 3:1 suhetes — a:x:y, mis määrab heledus- ja värvuseidendi signaalide proovide arvu.

a — standardne horisontaalne valimine (tavaliselt 4)
x — värvuse proovide arv esimese pikslirea kohta (horisontaalne eraldusvõime seoses a)
y — värvuse proovide muutuste arv esimese ja teise pikslirea vahel.

Erandiks on 4:1:0, mis tagab ühe värvuse proovi iga 4x4 heleduslahtri kohta.

Kaasaegsetes koodekites kasutatavad üldskeemid:

• 4:4:4 (ilma alamdiskreetimiseta)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4: 2: 0 — sulandamise näide

Siin on YCbCr 4:2:0 abil ühitatud pildi fragment. Pange tähele, et meil kulub ainult 12 bitti pikslile.

Nii näeb välja sama pilt, kodeeritud peamiste värvisubdiskreetimise tüüpide järgi. Ülemine rida on lõplik YCbCr, alumine rida näitab värvivoldingu eraldusvõimet. Tõeliselt head tulemused, arvestades vähese kvaliteedikao.

Kas mäletate, et loendasime 278 GB kettaruumi tunni pikkuse 720p ja 30 kaadrit sekundis video faili talletamiseks? Kui kasutame YCbCr 4:2:0, siis kahaneb see suurus poole võrra — 139 GB. Seni on see siiski kaugel vastuvõetavast tulemusest.

Saate ise YCbCr-i histogrammi luua FFmpeg abil. Sellel pildil domineerib sinine punase üle, mis on histogrammil hästi näha.

Värvivolding, heledus, värvigamma — videoülevaade

Soovitatav on vaadata seda hämmastavat videot. Siin selgitatakse, mis on heledus, ja üldiselt on kõik punktid hästi paika pandud ü heleduse ja värvi osas.

Kaadritüübid

Liigume edasi. Proovime vähendada ajakulu. Kuid esmalt määratlegime mõned põhiterminoloogiad. Oletame, et meil on film, kus on 30 kaadrit sekundis, ja siin on selle esimesed 4 kaadrit:

Näeme kaadrites palju kordusi: näiteks sinine taust, mis ei muutu kaadrist kaadrisse. Selle probleemi lahendamiseks saame neid abstraktselt klassifitseerida kolme tüüpi kaadriks.

I-kaar (IIntro Frame)

I-kaar (link-kaader, võtme-kaader, sise-kaader) on iseseisev. Sõltumata sellest, mida tuleb visualiseerida, on I-kaar sisuliselt staatiline foto. Esimene kaader on tavaliselt I-kaar, kuid jälgime I-kaare ka kaugelt mitte esimestes kaadris.

P-kaar (PPredicted Frame)

P-kerge (ennustatav kerge) kasutab ära, et peaaegu alati saab praegust pilti esitada kasutades eelmist kerget. Näiteks teises kerges on ainus muutus edasiviiv pall. Saame kerge 2 lihtsalt veidi muutes kergest 1, kasutades ainult nende kergete vahe. Kerge 2 ehitamiseks viitame eelnevale kergemale 1.

←

B-kerge (Bi-predictive Frame)

A kuidas oleks viidete asemel mitte ainult minevikus, vaid ka tulevikus kergetele, et tagada veelgi parem kokkusurumine?! See on peamiselt B-kerge (kahepoolsed kerged).

← →

Vahekokkuvõte

Need tüübid kergetest tagavad parima kokkusurumise. Uurime, kuidas see toimub järgmises jaotises. Seni tasub märkida, et kõige "kallim" mälu kasutamine on I-kerge, P-kerge on märgatavalt odavam, samas kui kõige kasulikum variant video jaoks on B-kerge.

Ajaliseks liigseks (vahekergete ennustamine)

Vaatame, millised on meie võimalused korduvate ajakulu vähendamiseks. Seda tüüpi liigset andmemahutatust saame lahendada vastastikuste prognoosimisvõtete abil.

Püüdke kodeerimise järjestuses 0 ja 1 kulutada võimalikult vähe bitte.

Saame teha lahutamise, lihtsalt lahutame kaadri 1 kaadrist 0. Saame kaadri 1, kasutades ainult erinevust selle ja eelneva kaadri vahel, tegelikult kodeerime vaid saadud jääki.

Aga mis siis, kui ma ütlen teile, et on veel parem meetod, mis kasutab veel vähem bitte?! Alustame selge ruudustiku loomisega kaadrist 0, mis koosneb plokkidest. Seejärel proovime võrrelda plokke kaadrist 0 kaadriga 1. Teisisõnu, hindame liikumist kaadrite vahel.

Wikipediast — plokkide liikumise kompensatsioon

Plokkide liikumise kompensatsioon jagab praeguse kaadri mittetäiendavateks plokkideks ja liikumise kompensatsiooni vektor näitab plokkide päritolu (levinud valearusaam on, et eelmine kaader jaguneb eraldiseisvateks plokkideks ning liikumise kompensatsiooni vektorid näitavad, kuhu need plokid liiguvad. Tegelikult on vastupidi — analüüsitakse mitte eelmist kadreid, vaid järgmist, selgub mitte see, kuhu plokid liiguvad, vaid kust nad on tulnud. Tüüpiliselt kattuvad algsed plokid algses kaadris. Mõned videokompressiooni algoritmid koguvad praeguse kaadri osad isegi mitte ühest, vaid mitmest eelnevalt edastatud kaadrist.

Protsessi käigus näeme, et pall on liikunud (x=0, y=25) koha pealt (x=6, y=26), väärtused x ja y moodustavad liikumise vektori. Veel üks samm, mida saame teha, et andmeid säästa, on kodeerida ainult liikumise vektorite erinevus viimase ploki asukoha ja prognoositud vahel, seega lõplik liikumise vektor on (x=6-0=6, y=26-25=1).

Reaalses situatsioonis oleks see pall jagatud n plokkideks, kuid see ei muuda asja olemust.

Kadris olevad objektid liiguvad kolmes mõõtmes, seega kui pall liigub, võib see visuaalselt muutuda väiksemaks (või suuremaks, kui see liigub vaatleja suunas). On normaalne, et plokkide vahel ei pruugi olla ideaalset vastavust. Siin on ühendatud vaade meie hindamisest ja reaalsest pildist.

Kuid näeme, et kui rakendame liikumise hindamist, on kodeerimiseks vajalikud andmed oluliselt vähem, kui kasutades lihtsamat meetodit raamide vahelise delta arvutamiseks.

Kuidas tõeline liikumise kompensatsioon välja näeb

Seda meetodit rakendatakse kohe kõikidele plokkidele. Sageli jaguneb meie nii-öelda liikuv pall kohe mitmeks plokiks.

Sa saad neid kontseptsioone ise katsuda, kasutades Jupyter.

Liikumise vektorite nägemiseks saab luua video välist ennustust kasutades ffmpeg.

Samuti saad kasutada Intel Video Pro Analyzer (see on tasuline, kuid saadaval on tasuta prooviversioon, mis on piiratud ainult esimestel kümnel kaadril).

Ruumiline üleliigsus (sisemine prognoos)

Kui analüüsida iga kaadrit videos, avastame palju omavahel seotud alasid.

Vaadakem sellele näitele lähemalt. See stseen koosneb peamiselt sinistest ja valgetest värvide toonidest.

See on I-raam. Eelmisi raame prognoosimiseks kasutada ei saa, kuid saame selle kokku suruda. Kodeerime punase ploki eristamise. Kui vaatame selle naabreid, siis märkame, et ümberringi on teatud värvilised trendid.

Oletame, et kaadris levivad värvid vertikaalselt. See tähendab, et tundmatute pikslite värvide väärtused sisaldavad naabrite väärtusi.

Selline prognoos võib osutuda vale. Just sellepärast tuleb rakendada seda meetodit (sisemine prognoos), seejärel lahutada reaalsed väärtused. See annab meile jääkploki, mis viib palju tihedama matriitsini võrreldes originaaliga.

Kui soovite sisemiste prognoosidega harjutada, saate luua video makrobokidest ja nende prognoosidest, kasutades ffmpeg'i. Iga ploki värvi tähenduse mõistmiseks peate tutvuma ffmpeg'i dokumentatsiooniga.

Või võite kasutada Intel Video Pro Analyzer'it (nagu eelnevalt mainisin, on prooviversioonis piirang esimestele 10 kaadrile, kuid seda piisab alguses).

Teine osa: Videokodeki tööpõhimõtted

Allikas: habr.com