Sa unsang paagi molihok ang usa ka video codec? Bahin 1: Mga sukaranan

Ikaduhang bahin: Giunsa ang paglihok sa video codec

Bisan unsang raster larawan mahimong irepresentar sa porma duha ka dimensyon nga matrix. Kung bahin sa mga kolor, ang ideya mahimong maugmad pinaagi sa pagtan-aw sa usa ka imahe ingon tulo-ka-dimensional nga matrix, diin ang dugang nga mga dimensyon gigamit sa pagtipig sa datos alang sa matag usa sa mga kolor.

Kon atong tagdon ang kataposang kolor ingong kombinasyon sa gitawag. nag-unang mga kolor (pula, berde ug asul), sa atong tulo-ka-dimensional nga matrix atong gihubit ang tulo ka mga eroplano: ang una alang sa pula, ang ikaduha alang sa berde ug ang katapusan alang sa asul.

Tawgon nato ang matag punto niini nga matrix nga pixel (elemento sa imahe). Ang matag pixel adunay impormasyon bahin sa intensity (kasagaran isip numeric value) sa matag kolor. Pananglitan, pula nga pixel nagpasabot nga kini adunay 0 green, 0 blue ug maximum red. Pink nga pixel mahimong maporma gamit ang kombinasyon sa tulo ka kolor. Gamit ang numeric range gikan sa 0 ngadto sa 255, ang pink nga pixel gihubit ingon Pula = 255, Berde = 192 и Asul = 203.

Kini nga artikulo gipatik uban ang suporta sa EDISON.

Nag-develop kami mga aplikasyon alang sa video surveillance, video streaming, ug kami usab gikasal pagrekord sa video sa surgical room.

Alternatibo nga mga paagi sa pag-encode sa usa ka kolor nga imahe

Adunay daghang uban pang mga modelo alang sa pagrepresentar sa mga kolor nga naglangkob sa usa ka imahe. Pananglitan, mahimo nimong gamiton ang usa ka indexed palette, nga nagkinahanglan lamang og usa ka byte nga magrepresentar sa matag pixel, imbes sa tulo nga gikinahanglan kung gamiton ang RGB model. Sa ingon nga modelo, posible nga mogamit usa ka 2D matrix imbes usa ka 3D matrix aron magrepresentar sa matag kolor. Kini makaluwas sa memorya, apan naghatag og mas gamay nga kolor nga gamut.

RGB

Pananglitan, tan-awa kini nga hulagway sa ubos. Ang una nga nawong hingpit nga gipintalan. Ang uban mao ang pula, berde ug asul nga mga eroplano (ang mga intensidad sa katugbang nga mga kolor gipakita sa grayscale).

Nakita namon nga ang mga kolor sa pula sa orihinal naa sa parehas nga mga lugar diin ang labing hayag nga mga bahin sa ikaduhang nawong makita. Samtang ang kontribusyon ni blue kasagaran makita lang sa mga mata ni Mario (kataposang nawong) ug mga elemento sa iyang sinina. Matikdi kung diin ang tanan nga tulo ka kolor nga eroplano nag-amot sa labing gamay (ang pinakangitngit nga mga bahin sa mga imahe) - ang bigote ni Mario.

Aron tipigan ang intensity sa matag kolor, gikinahanglan ang usa ka gidaghanon sa mga bits - kini nga gidaghanon gitawag gamay nga giladmon. Ingnon ta nga 8 ka bit ang gigasto (base sa kantidad gikan sa 0 hangtod 255) kada color plane. Unya kita adunay usa ka kolor giladmon sa 24 bits (8 bits * 3 R/G/B eroplano).

Ang laing kabtangan sa usa ka imahe mao ang resolusyon, nga mao ang gidaghanon sa mga pixel sa usa ka dimensyon. Kasagaran gipunting ingon gilapdon × gitas-on, sama sa 4 sa 4 nga pananglitan nga hulagway sa ubos.


Ang laing kabtangan nga among giatubang kung nagtrabaho sa mga imahe / video mao ang aspeto nga ratio, nga naghulagway sa normal nga proporsyonal nga relasyon tali sa gilapdon ug gitas-on sa usa ka hulagway o pixel.

Sa diha nga sila moingon nga ang usa ka pelikula o hulagway 16 sa 9 ang gidak-on, kini kasagarang gipasabot pagpakita sa aspect ratio (DAR - gikan sa Ipakita ang Aspect Ratio). Bisan pa, usahay adunay lainlaing mga porma sa indibidwal nga mga pixel - sa kini nga kaso nga among gihisgutan ratio sa pixel (PAR - gikan sa Pixel Aspect Ratio).

Pahinumdom sa hostess: DVD соответствует DAR 4 hangtod 3

Bisan tuod ang aktwal nga resolusyon sa DVD kay 704x480, nagpabilin gihapon kini og 4:3 aspect ratio tungod kay ang PAR kay 10:11 (704x10 / 480x11).

Ug sa katapusan, atong matino video sama sa usa ka han-ay sa n mga frame alang sa panahon sa panahon, nga mahimong isipon nga dugang nga dimensyon. A n unya mao ang frame rate o ang gidaghanon sa mga frame kada segundo (FPS - gikan sa Mga frame matag Ikaduha).

Ang gidaghanon sa mga bits matag segundo nga gikinahanglan aron ipakita ang usa ka video mao kini gikusgon sa transmission - bitrate.

bitrate = gilapdon * gitas-on * gamay nga giladmon * mga frame matag segundo

Pananglitan, ang usa ka 30 fps, 24 bps, 480x240 nga video magkinahanglan og 82,944,000 bps o 82,944 Mbps (30x480x240x24) - apan kana kung walay paagi sa compression ang gigamit.

Kung ang katulin sa pagbalhin hapit kanunay, unya kini gitawag kanunay nga transmission speed (CBR - gikan sa kanunay nga bit rate). Apan mahimo usab kini nga magkalainlain, sa kini nga kaso gitawag kini variable nga baud rate (VBR - gikan sa variable nga bit rate).

Kini nga graph nagpakita sa limitado nga VBR, diin dili kaayo daghang mga piraso ang nausik sa kaso sa usa ka hingpit nga ngitngit nga bayanan.

Ang mga inhenyero sa sinugdan nakamugna usa ka pamaagi aron madoble ang gitan-aw nga frame rate sa usa ka pagpakita sa video nga wala mogamit dugang nga bandwidth. Kini nga pamaagi nailhan nga interlaced nga video; Sa panguna, kini nagpadala sa katunga sa screen sa unang "frame" ug ang laing katunga sa sunod nga "frame".

Sa pagkakaron, ang mga talan-awon kasagaran gihubad gamit progresibong mga teknolohiya sa pag-scan. Kini usa ka paagi sa pagpakita, pagtipig o pagpadala sa mga naglihok nga mga imahe diin ang tanan nga mga linya sa matag frame gisunod-sunod.

Aw! Karon nahibal-an namon kung giunsa ang usa ka imahe girepresentahan sa digital, kung giunsa ang pagkahan-ay sa mga kolor niini, pila ka mga bit matag segundo ang among gigasto aron ipakita ang video, kung ang bit rate kanunay (CBR) o variable (VBR). Nahibal-an namon ang bahin sa gihatag nga resolusyon gamit ang gihatag nga frame rate, pamilyar kami sa daghang uban pang mga termino, sama sa interlaced nga video, PAR ug uban pa.

Pagtangtang sa redundancy

Nahibal-an nga ang video nga walay compression dili magamit nga normal. Ang usa ka oras nga video sa 720p nga resolusyon ug 30 ka mga frame matag segundo mokuha ug 278 GB. Nakaabot kami niini nga bili pinaagi sa pagpadaghan sa 1280 x 720 x 24 x 30 x 3600 (gilapdon, gitas-on, mga bit kada pixel, FPS ug oras sa mga segundo).

Paggamit lossless compression algorithms, sama sa DEFLATE (gigamit sa PKZIP, Gzip ug PNG), dili makapakunhod sa gikinahanglan nga bandwidth nga igo. Kinahanglan namon nga mangita alang sa ubang mga paagi sa pag-compress sa video.

Aron mahimo kini, mahimo nimong gamiton ang mga bahin sa among panan-aw. Kita mas maayo sa pag-ila sa kahayag kay sa kolor. Ang usa ka video usa ka serye sa mga sunud-sunod nga mga imahe nga nagbalikbalik sa paglabay sa panahon. Adunay gagmay nga mga kalainan tali sa kasikbit nga mga bayanan sa parehas nga talan-awon. Dugang pa, ang matag frame adunay daghang mga lugar gamit ang parehas (o parehas) nga kolor.

Kolor, kahayag ug atong mga mata

Ang atong mga mata mas sensitibo sa kahayag kay sa kolor. Makita nimo kini sa imong kaugalingon pinaagi sa pagtan-aw niini nga litrato.

Kung dili nimo makita nga sa wala nga katunga sa imahe ang mga kolor sa mga kwadro A и B parehas ra gyud, unya normal ra kana. Ang atong utok nagpugos kanato sa paghatag ug dugang pagtagad sa kahayag ug landong kay sa kolor. Sa tuo nga kilid tali sa gitudlo nga mga kwadro adunay usa ka jumper sa parehas nga kolor - busa kami (ie ang among utok) dali nga mahibal-an nga, sa tinuud, parehas sila nga kolor.

Atong tan-awon (sa pinasimple nga paagi) kung giunsa ang paglihok sa atong mga mata. Ang mata usa ka komplikado nga organo nga adunay daghang bahin. Bisan pa, kami labing interesado sa mga cone ug rod. Ang mata adunay mga 120 ka milyon nga mga rod ug 6 ka milyon nga mga cone.

Atong tagdon ang panglantaw sa kolor ug kahayag isip bulag nga mga gimbuhaton sa pipila ka bahin sa mata (sa pagkatinuod, ang tanan medyo mas komplikado, apan atong pasimplehon kini). Ang mga selyula sa rod maoy responsable sa kahayag, samtang ang mga selula sa cone maoy responsable sa kolor. Ang mga cone gibahin ngadto sa tulo ka matang, depende sa pigment nga anaa niini: S-cones (asul), M-cones (berde), ug L-cones (pula).

Tungod kay kita adunay daghan pa nga mga sungkod (kahayag) kay sa mga cone (kolor), kita makahinapos nga kita mas makahimo sa pag-ila sa mga transisyon tali sa ngitngit ug kahayag kay sa mga kolor.

Mga Feature sa Contrast Sensitivity

Ang mga tigdukiduki sa eksperimento nga sikolohiya ug daghang uban pang mga natad nakahimo og daghang mga teorya sa panan-aw sa tawo. Ug ang usa kanila gitawag mga gimbuhaton sa pagkasensitibo sa pagtandi. Nalambigit sila sa spatial ug temporal nga kahayag. Sa laktud, kini mahitungod sa kung pila ka mga pagbag-o ang gikinahanglan sa dili pa kini mamatikdan sa usa ka tigpaniid. Matikdi ang plural sa pulong nga "function". Kini tungod sa kamatuoran nga mahimo natong sukdon ang mga function sa pagkasensitibo sa contrast dili lamang alang sa itom ug puti nga mga hulagway, kondili alang usab sa mga kolor. Ang mga resulta niini nga mga eksperimento nagpakita nga sa kadaghanang kaso ang atong mga mata mas sensitibo sa kahayag kay sa kolor.

Tungod kay nahibal-an namon nga mas sensitibo kami sa kahayag sa imahe, mahimo namon sulayan nga gamiton kini nga kamatuoran.

Kolor nga modelo

Naghunahuna kami gamay kung giunsa ang pagtrabaho sa mga kolor nga imahe gamit ang RGB scheme. Adunay uban nga mga modelo usab. Adunay usa ka modelo nga nagbulag sa luminance gikan sa chroma ug kini nailhan nga YCbCr. Pinaagi sa dalan, adunay uban nga mga modelo nga naghimo sa usa ka susama nga dibisyon, apan atong tagdon lamang kini.

Sa niini nga kolor nga modelo Y usa ka representasyon sa kahayag, ug naggamit usab ug duha ka kolor nga channel: Cb (dato nga asul) ug Cr (dato nga pula). Ang YCbCr mahimong makuha gikan sa RGB, ug posible usab ang reverse conversion. Gamit kini nga modelo makahimo kita og mga full color nga mga hulagway sama sa atong makita sa ubos:

Pag-convert tali sa YCbCr ug RGB

Adunay mosupak: unsaon nga makuha ang tanan nga mga kolor kung dili gamiton ang berde?

Aron matubag kini nga pangutana, atong i-convert ang RGB ngadto sa YCbCr. Atong gamiton ang mga coefficient nga gisagop sa standard BT.601, nga girekomenda sa yunit ITU-R. Kini nga dibisyon nagtakda sa mga sumbanan alang sa digital nga video. Pananglitan: unsa ang 4K? Unsa ang kinahanglan nga frame rate, resolusyon, modelo sa kolor?

Una atong kuwentahon ang kahayag. Atong gamiton ang mga makanunayon nga gisugyot sa ITU ug ilisan ang RGB values.

Y = 0.299R + 0.587G + 0.114B

Human naa nato ang kahayag, atong ibulag ang asul ug pula nga mga kolor:

Cb = 0.564(B - Y)

Cr = 0.713(R - Y)

Ug mahimo usab namon nga mabag-o ug mahimo nga berde gamit ang YCbCr:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y - 0.344Cb - 0.714Cr

Kasagaran, ang mga display (monitor, TV, screen, ug uban pa) naggamit lang sa modelo sa RGB. Apan kini nga modelo mahimong organisado sa lainlaing mga paagi:

Kolor nga subsampling

Uban sa usa ka imahe nga girepresentahan ingon usa ka kombinasyon sa luminance ug chrominance, mahimo naton pahimuslan ang labi nga pagkasensitibo sa visual system sa tawo sa kahayag kaysa sa chrominance pinaagi sa pinili nga pagtangtang sa impormasyon. Ang Chroma subsampling usa ka paagi sa pag-encode sa mga imahe gamit ang gamay nga resolusyon alang sa chroma kaysa sa kahayag.

Unsa ka dako ang gitugot nga makunhuran ang resolusyon sa kolor?! Naa nay mga diagram nga naghulagway kung giunsa pagdumala ang resolusyon ug paghiusa (Resulta nga Kolor = Y + Cb + Cr).

Kini nga mga laraw nailhan nga downsampling nga mga sistema ug gipahayag isip 3-pilo nga ratio - a:x:y, nga nagtino sa gidaghanon sa mga sample sa luminance ug mga signal sa kalainan sa kolor.

a — horizontal sampling standard (kasagaran katumbas sa 4)
x — gidaghanon sa mga sample sa chroma sa unang laray sa mga pixel (pahalang nga resolusyon kalabot sa a)
y — ang gidaghanon sa mga pagbag-o sa mga sample sa chroma tali sa una ug ikaduha nga laray sa mga pixel.

Ang eksepsiyon mao ang 4:1:0, nga naghatag og usa ka chroma sample sa matag 4-by-4 luminance resolution block.

Kasagarang mga laraw nga gigamit sa modernong mga codec:

• 4:4:4 (walay downsampling)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 - pananglitan sa fusion

Ania ang usa ka gihiusa nga hulagway gamit ang YCbCr 4:2:0. Timan-i nga naggasto lang kami og 12 bits kada pixel.

Kini ang hitsura sa parehas nga imahe, nga gi-encode sa mga nag-unang tipo sa kolor nga subsampling. Ang unang laray mao ang katapusang YCbCr, ang ubos nga laray nagpakita sa chroma resolution. Maayo kaayo nga mga resulta, nga gikonsiderar ang gamay nga pagkawala sa kalidad.

Hinumdumi kung giihap namon ang 278 GB nga espasyo sa pagtipig aron magtipig usa ka oras nga file sa video sa resolusyon nga 720p ug 30 nga mga frame matag segundo? Kon atong gamiton ang YCbCr 4:2:0, nan kini nga gidak-on mapakunhod sa katunga - 139 GB. Sa pagkakaron, layo pa kini sa madawat nga resulta.

Makuha nimo ang YCbCr histogram sa imong kaugalingon gamit ang FFmpeg. Niini nga hulagway, ang asul nagdominar sa pula, nga tin-aw nga makita sa histogram mismo.

Kolor, kahayag, kolor gamut - pagsusi sa video

Among girekomendar ang pagtan-aw niining talagsaong video. Gipatin-aw niini kung unsa ang kahayag, ug sa kinatibuk-an ang tanan nga mga tulbok adunay tuldok ё mahitungod sa kahayag ug kolor.

Mga Uri sa Frame

Magpadayon ta. Atong sulayan nga wagtangon ang pag-usab sa oras. Apan una, atong ipasabut ang pipila ka batakang terminolohiya. Ingnon ta nga naa tay salida nga naay 30 ka frame kada segundo, ania ang una nga 4 ka frame:

Makita nato ang daghang pagbalik-balik sa mga frame: pananglitan, usa ka asul nga background nga dili mausab gikan sa frame ngadto sa frame. Aron masulbad kini nga problema, mahimo natong abstractly classify sila ngadto sa tulo ka matang sa mga frame.

I-frame (Intro Frame)

Ang I-frame (reference frame, key frame, inner frame) kay self-contained. Dili igsapayan kung unsa ang gusto nimo nga mahanduraw, ang usa ka I-frame sa tinuud usa ka static nga litrato. Ang una nga frame kasagaran usa ka I-frame, apan kanunay namon nga obserbahan ang I-frame bisan sa dili una nga mga frame.

P-frame (Pgiusab nga Frame)

Ang P-frame (predictive frame) nagpahimulos sa kamatuoran nga halos kanunay ang kasamtangang hulagway mahimong makopya gamit ang miaging frame. Pananglitan, sa ikaduha nga bayanan ang bugtong pagbag-o mao ang bola nga nagpadayon. Makuha nato ang frame 2 pinaagi lamang sa gamay nga pag-usab sa frame 1, gamit lamang ang kalainan tali niini nga mga frame. Aron matukod ang frame 2, among gipunting ang nag-una nga frame 1.

←

B-frame (Bi-predictive nga Frame)

Unsa man ang bahin sa mga link dili lamang sa nangagi, apan usab sa umaabot nga mga frame aron mahatagan ang labi ka maayo nga pag-compress?! Kini usa ka B-frame (bidirectional frame).

← →

Intermediate nga pag-atras

Kini nga mga tipo sa frame gigamit aron mahatagan ang labing kaayo nga posible nga pag-compress. Atong tan-awon kung giunsa kini mahitabo sa sunod nga seksyon. Sa pagkakaron, atong timan-an nga ang labing "mahal" sa termino sa memorya nga gigamit mao ang I-frame, ang P-frame mas barato, apan ang labing mapuslanon nga kapilian alang sa video mao ang B-frame.

Temporal nga redundancy (inter-frame prediction)

Atong tan-awon kung unsang mga kapilian ang kinahanglan naton aron maminusan ang pagbalik-balik sa paglabay sa panahon. Masulbad nato kini nga matang sa redundancy gamit ang mga pamaagi sa cross-prediction.

Among paningkamutan nga mogasto ug pipila ka piraso kutob sa mahimo aron ma-encode ang han-ay sa mga frame 0 ug 1.

Makahimo mi pagkunhod, kuhaon lang namo ang frame 1 gikan sa frame 0. Nakuha namo ang frame 1, gamita lang ang kalainan tali niini ug sa miaging frame, sa pagkatinuod among gi-encode ang nahabilin nga nahabilin.

Apan unsa kaha kung gisultihan ko ikaw nga adunay usa ka labi ka maayo nga pamaagi nga naggamit bisan gamay nga mga piraso?! Una, atong bungkagon ang frame 0 ngadto sa usa ka tin-aw nga grid nga naglangkob sa mga bloke. Ug dayon atong sulayan ang pagpares sa mga bloke gikan sa frame 0 sa frame 1. Sa laing pagkasulti, atong banabanaon ang paglihok tali sa mga frame.

Gikan sa Wikipedia - block motion bayad

Ang kompensasyon sa paglihok sa block nagbahin sa kasamtangan nga frame ngadto sa dili nagsapaw nga mga bloke ug ang vector sa kompensasyon sa paglihok nagreport sa gigikanan sa mga bloke (usa ka kasagarang sayop nga pagsabut mao nga nauna ang frame gibahin ngadto sa non-overlapping blocks, ug ang motion compensation vectors nagsulti kung asa moadto ang mga block. Apan sa tinuud, sukwahi kini - dili ang nauna nga frame ang gisusi, apan ang sunod; dili klaro kung diin naglihok ang mga bloke, apan diin sila gikan). Kasagaran ang mga bloke sa gigikanan nagsapaw sa gigikanan nga bayanan. Ang ubang mga algorithm sa kompresiyon sa video nag-assemble sa kasamtangan nga frame gikan sa mga bahin nga dili bisan usa, apan pipila ka mga frame kaniadto nga gipasa.

Atol sa proseso sa pagtimbang-timbang, atong makita nga ang bola mibalhin gikan sa (x= 0, y=25) ngadto sa (x= 6, y=26), mga kantidad x и y pagtino sa motion vector. Ang laing lakang nga atong mahimo aron mapreserbar ang mga bit mao ang pag-encode lamang sa kalainan sa motion vectors tali sa katapusang block position ug sa gitagna nga usa, mao nga ang final motion vector mahimong (x=6-0=6, y=26-25=1 ).

Sa tinuod nga sitwasyon, kini nga bola mabahin sa n mga bloke, apan wala kini magbag-o sa esensya sa butang.

Ang mga butang sa frame molihok sa tulo ka dimensyon, mao nga kung molihok ang bola, mahimo kini nga labi ka gamay (o mas dako kung kini molihok padulong sa nagtan-aw). Normal lang nga walay perfect match tali sa blocks. Ania ang usa ka hiniusa nga pagtan-aw sa among banabana ug ang tinuod nga hulagway.

Apan atong makita nga sa diha nga kita mogamit sa motion estimation, adunay mamatikdan nga mas gamay nga data alang sa coding kay sa diha nga sa paggamit sa usa ka mas simple nga paagi sa pagkalkulo sa delta sa taliwala sa mga bayanan.

Unsa ang hitsura sa tinuud nga bayad sa paglihok

Kini nga teknik gigamit sa tanan nga mga bloke sa usa ka higayon. Kasagaran ang atong conditional moving ball mabahin sa daghang mga bloke sa usa ka higayon.

Mahimo nimong mabati ang kini nga mga konsepto nga imong gigamit jupyter.

Aron makita ang mga motion vectors, makahimo ka ug external nga prediksiyon nga video gamit ffmpeg.

Mahimo usab nimo gamiton Intel Video Pro Analyzer (Kini gibayran, apan adunay usa ka libre nga pagsulay nga limitado sa unang napulo ka mga bayanan lamang).

Spatial redundancy (internal nga forecast)

Kung among analisahon ang matag frame sa usa ka video, makit-an namon ang daghang mga lugar nga konektado.

Atong susihon kini nga pananglitan. Kini nga talan-awon kasagaran naglangkob sa asul ug puti nga mga kolor.

Kini usa ka I-frame. Dili namo makuha ang nangaging mga frame alang sa panagna, apan mahimo namon kini i-compress. Atong i-encode ang pagpili sa pula nga bloke. Kung atong tan-awon ang mga silingan niini, atong namatikdan nga adunay mga uso sa kolor sa palibot niini.

Nagtuo kami nga ang mga kolor mikaylap nga patayo sa frame. Nga nagpasabut nga ang kolor sa wala mailhi nga mga pixel maglangkob sa mga kantidad sa mga silingan niini.

Mahimong dili husto ang ingon nga panagna. Mao kini ang hinungdan nga kinahanglan nimo nga gamiton kini nga pamaagi (internal nga forecast), ug dayon ibawas ang tinuod nga mga kantidad. Maghatag kini kanamo ug nahabilin nga bloke, nga moresulta sa labi ka labi nga na-compress nga matrix kumpara sa orihinal.

Kung gusto nimo magpraktis gamit ang internal nga mga panagna, mahimo ka maghimo usa ka video sa mga macroblock ug ang ilang mga panagna gamit ang ffmpeg. Aron masabtan ang kahulogan sa matag kolor sa block, kinahanglan nimong basahon ang dokumentasyon sa ffmpeg.

O mahimo nimong gamiton ang Intel Video Pro Analyzer (sama sa akong gihisgutan sa ibabaw, ang libre nga bersyon sa pagsulay limitado sa una nga 10 nga mga frame, apan kini igo na alang kanimo sa una).

Ikaduhang bahin: Giunsa ang paglihok sa video codec

Source: www.habr.com