Kumaha carana sangkan hiji video codec jalan? Bagian 1: Dasar

Bagian kadua: Kumaha codec video jalan

Raster naon waé gambar bisa digambarkeun dina wangun matriks dua diménsi. Lamun datang ka kelir, ide nu bisa dimekarkeun ku nempo hiji gambar salaku matriks tilu diménsi, nu dimensi tambahan dipaké pikeun nyimpen data pikeun tiap warna.

Lamun urang nganggap warna final salaku kombinasi tina disebut. warna primér (beureum, héjo jeung bulao), dina matrix tilu diménsi urang nangtukeun tilu planes: kahiji pikeun beureum, kadua pikeun héjo sarta panungtungan pikeun biru.

Urang bakal nelepon unggal titik dina matrix ieu piksel (unsur gambar). Unggal piksel ngandung émbaran ngeunaan inténsitas (biasana salaku nilai numerik) unggal warna. Salaku conto, piksel beureum ngandung harti yén éta ngandung 0 héjo, 0 biru jeung beureum maksimum. Piksel pink bisa ngawujud maké kombinasi tilu kelir. Ngagunakeun rentang numerik ti 0 nepi ka 255, piksel pink dihartikeun salaku Beureum = 255, Héjo = 192 и Bulao = 203.

Tulisan ieu diterbitkeun kalayan dukungan EDISON.

Kami ngembang aplikasi pikeun panjagaan video, streaming video, sarta ogé kami kalibet rekaman video di kamar bedah.

Cara alternatif pikeun encode gambar warna

Aya loba model sejen pikeun ngagambarkeun kelir nu nyieun hiji gambar. Contona, Anjeun bisa make hiji palét indéks, nu merlukeun ngan hiji bait keur ngagambarkeun unggal piksel, tinimbang tilu diperlukeun lamun make model RGB. Dina model kitu, kasebut nyaéta dimungkinkeun pikeun ngagunakeun matrix 2D tinimbang matrix 3D pikeun ngagambarkeun unggal warna. Ieu ngaheéat mémori, tapi méré gamut warna nu leuwih leutik.

RGB

Contona, tingali gambar ieu di handap. Beungeut munggaran dicét lengkep. Anu sanésna nyaéta pesawat beureum, héjo sareng bulao (inténsitas warna anu cocog dipidangkeun dina skala abu).

Kami ningali yén nuansa beureum dina aslina bakal aya di tempat anu sami dimana bagian anu paling terang tina raray kadua ditingali. Sedengkeun kontribusi biru urang utamana bisa ditempo dina panon Mario urang (beungeut panungtungan) jeung elemen papakéan na. Perhatikeun dimana sakabeh tilu planes warna nyumbang sahenteuna (bagian darkest gambar) - kumis Mario urang.

Pikeun nyimpen inténsitas unggal warna, sajumlah bit diperlukeun - jumlah ieu disebut jero bit. Hayu urang nyebutkeun 8 bit spent (dumasar kana nilai tina 0 nepi ka 255) per pesawat warna. Lajeng urang boga jero warna 24 bit (8 bit * 3 R / G / B planes).

Sipat séjén tina hiji gambar nyaéta resolusi, nyaéta jumlah piksel dina hiji diménsi. Mindeng dilambangkeun salaku lebar × jangkungna, Saperti dina 4 ku 4 conto gambar di handap.


sipat sejen urang nungkulan nalika gawé bareng gambar / video nyaeta aspék rasio, ngajéntrékeun hubungan proporsional normal antara rubak jeung jangkungna hiji gambar atawa piksel.

Nalika aranjeunna nyarios yén pilem atanapi gambar anu tangtu ukuranana 16 ku 9, aranjeunna biasana hartosna rasio aspék tampilan (Dar - tina Rasio Aspék Témbongkeun). Sanajan kitu, sakapeung meureun aya bentuk béda tina piksel individu - dina hal ieu urang ngobrol ngeunaan rasio piksel (tara - tina Rasio Aspék Piksel).

Catetan ka hostess: DVD соответствует DAR 4 nepi ka 3

Sanajan resolusi DVD sabenerna nyaéta 704x480, éta tetep mertahankeun rasio aspék 4:3 sabab tara 10:11 (704x10 / 480x11).

Sarta pamustunganana, urang bisa nangtukeun видео kawas runtuyan n pigura pikeun période waktu, nu bisa dianggap hiji diménsi tambahan. A n teras mangrupikeun laju pigura atanapi jumlah pigura per detik (FPS - tina Pigura per Detik).

Jumlah bit per detik diperlukeun pikeun mintonkeun video nyaeta na speed transmisi - bitrate.

bitrate = lebar * jangkungna * bit jero * pigura per detik

Contona, video 30 fps, 24 bps, 480x240 bakal merlukeun 82,944,000 bps atawa 82,944 Mbps (30x480x240x24) - tapi éta lamun euweuh métode komprési dipaké.

Lamun laju mindahkeun ampir konstan, mangka disebut speed transmisi konstan (CBR - tina laju bit konstan). Tapi ogé bisa rupa-rupa, dina hal ieu disebut laju baud variabel (VBR - tina tingkat bit variabel).

Grafik ieu nembongkeun VBR kawates, dimana teu loba teuing bit anu wasted dina kasus pigura lengkep poék.

Insinyur mimitina ngembangkeun metode pikeun ngagandakeun laju pigura anu ditanggap tina tampilan pidéo tanpa nganggo rubakpita tambahan. Metoda ieu katelah video interlaced; Dasarna, éta ngirimkeun satengah layar dina "pigura" kahiji jeung satengah sejenna dina "pigura" salajengna.

Ayeuna, pamandangan anu lolobana rendered ngagunakeun téknologi scanning progresif. Ieu mangrupikeun metode pikeun nunjukkeun, nyimpen atanapi ngirimkeun gambar anu gerak dimana sadaya garis unggal pigura digambar sacara berurutan.

Tah! Ayeuna urang sadar kumaha gambar diwakilan sacara digital, kumaha warnana disusun, sabaraha bit per detik anu urang nyéépkeun pikeun nunjukkeun pidéo, upami laju bit konstan (CBR) atanapi variabel (VBR). Kami terang ngeunaan resolusi anu dipasihkeun nganggo laju pigura anu dipasihkeun, kami wawuh sareng seueur istilah sanésna, sapertos pidéo interlaced, PAR sareng sababaraha anu sanésna.

Ngahapus redundansi

Perlu dipikanyaho yén pidéo tanpa komprési teu tiasa dianggo sacara normal. Pidéo lila-jam dina résolusi 720p sareng 30 pigura per detik bakal nyandak 278 GB. Kami dugi ka nilai ieu ku cara ngalikeun 1280 x 720 x 24 x 30 x 3600 (lebar, jangkungna, bit per piksel, FPS sareng waktos dina detik).

pamakean algoritma komprési lossless, kawas DEFLATE (dipaké dina PKZIP, Gzip na PNG), moal ngurangan rubakpita diperlukeun cukup. Urang kudu néangan cara séjén pikeun niiskeun video.

Jang ngalampahkeun ieu, anjeun tiasa nganggo fitur visi urang. Urang leuwih hadé dina ngabedakeun kacaangan ti warna. Pidéo mangrupikeun séri gambar berurutan anu diulang deui dina waktosna. Aya béda leutik antara pigura padeukeut tina adegan anu sarua. Salaku tambahan, unggal pigura ngandung seueur daérah anu nganggo warna anu sami (atanapi sami).

Warna, kacaangan jeung panon urang

Panon urang langkung peka kana kacaangan tibatan warna. Anjeun tiasa ningali ieu nyalira ku ningali gambar ieu.

Upami anjeun henteu ningali yén dina satengah kénca gambar éta warna kuadrat A и B saleresna sami, teras éta normal. Otak urang maksakeun urang langkung nengetan cahaya sareng ngiuhan tinimbang warna. Di sisi katuhu antara kuadrat anu ditunjuk aya jumper tina warna anu sami - ku kituna urang (ie otak urang) gampang nangtukeun yén, kanyataanna, aranjeunna warna anu sami.

Hayu urang tingali (dina cara saderhana) kumaha panon urang dianggo. Panon mangrupa organ kompléks nu diwangun ku sababaraha bagian. Najan kitu, urang paling museurkeun congcot jeung rod. Panon ngandung kira 120 juta rod jeung 6 juta congcot.

Hayu urang nganggap persepsi warna jeung kacaangan salaku fungsi misah tina bagian nu tangtu panon (dina kanyataanana, sagalana rada leuwih pajeulit, tapi urang bakal simplify eta). Sél rod utamana jawab kacaangan, sedengkeun sél congcot jawab warna. Congcot dibagi jadi tilu rupa, gumantung kana pigmén anu dikandungna: S-cones (biru), M-cones (héjo), jeung L-cones (beureum).

Kusabab urang gaduh langkung seueur rod (caangan) tibatan congcot (warna), urang tiasa nyimpulkeun yén urang langkung sanggup ngabédakeun transisi antara poék sareng terang tibatan warna.

Fitur Sensitipitas Kontras

Panaliti dina psikologi ékspérimén sareng seueur widang sanésna parantos ngembangkeun seueur téori ngeunaan visi manusa. Sarta salah sahijina disebut fungsi sensitipitas kontras. Aranjeunna aya hubunganana sareng katerangan spasial sareng temporal. Pondokna, éta ngeunaan sabaraha perobahan anu diperlukeun saméméh panitén notices aranjeunna. Catetan jamak tina kecap "fungsi". Ieu disababkeun ku kanyataan yén urang tiasa ngukur fungsi sensitipitas kontras henteu ngan ukur pikeun gambar hideung sareng bodas, tapi ogé pikeun warna. Hasil tina percobaan ieu nunjukkeun yén dina kalolobaan kasus panon urang leuwih sénsitip kana kacaangan ti warna.

Kusabab urang terang yén urang langkung peka kana kacaangan gambar, urang tiasa nyobian nganggo kanyataan ieu.

Model warna

Urang terang sakedik kumaha damel sareng gambar warna nganggo skéma RGB. Aya ogé model séjén. Aya model anu misahkeun luminance ti chroma sarta katelah YCbCr. Ku jalan kitu, aya model sejen anu nyieun division sarupa, tapi urang ngan bakal mertimbangkeun ieu.

Dina modél warna ieu Y mangrupakeun representasi kacaangan, sarta ogé ngagunakeun dua saluran warna: Cb (biru euyeub) jeung Cr (beureum beunghar). YCbCr tiasa diturunkeun tina RGB, sareng konvérsi sabalikna ogé mungkin. Ngagunakeun modél kieu urang bisa nyieun gambar pinuh warna sakumaha urang tingali di handap:

Ngarobih antara YCbCr sareng RGB

Aya anu bakal ngabantah: kumaha tiasa kéngingkeun sadaya warna upami héjo henteu dianggo?

Pikeun ngajawab patarosan ieu, hayu urang ngarobah RGB kana YCbCr. Hayu urang nganggo koefisien diadopsi dina standar BT.601, anu disarankeun ku unit ITU-R. Divisi ieu netepkeun standar pikeun pidéo digital. Contona: naon 4K? Naon anu kedah janten laju pigura, résolusi, modél warna?

Mimiti urang ngitung kacaangan. Hayu urang nganggo konstanta anu diajukeun ku ITU sareng ngagentos nilai RGB.

Y = 0.299R + 0.587G + 0.114B

Saatos urang gaduh kacaangan, urang bakal misahkeun warna biru sareng beureum:

Cb = 0.564(B - Y)

Cr = 0.713(R - Y)

Sareng urang ogé tiasa ngarobih deui sareng janten héjo nganggo YCbCr:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y - 0.344Cb - 0.714Cr

Ilaharna, tampilan (monitor, TV, layar, jsb) ngan ngagunakeun model RGB. Tapi modél ieu tiasa diatur ku sababaraha cara:

Subsampling warna

Kalayan gambar anu digambarkeun salaku kombinasi luminance sareng chrominance, urang tiasa ngamangpaatkeun sensitipitas sistem visual manusa anu langkung ageung kana luminance tibatan chrominance ku cara ngahapus inpormasi sacara selektif. Chroma subsampling mangrupikeun metode pikeun ngodekeun gambar nganggo résolusi anu kirang pikeun kroma tibatan pikeun luminance.

Sabaraha anu diidinan pikeun ngirangan résolusi warna?! Tétéla geus aya sababaraha diagram anu ngajelaskeun kumaha carana nanganan resolusi jeung merging (Hasil Warna = Y + Cb + Cr).

schemes ieu katelah sistem downsampling sarta dinyatakeun salaku rasio 3-melu - a:x:y, nu nangtukeun jumlah sampel luminance jeung sinyal béda warna.

a - standar sampling horizontal (biasana sarua jeung 4)
x — Jumlah sampel kroma dina baris kahiji piksel (resolusi horizontal relatif ka a)
y — jumlah parobahan dina sampel kroma antara baris kahiji jeung kadua piksel.

Pangecualian nyaéta 4:1:0, nyadiakeun hiji sampel kroma dina unggal 4-demi-4 blok résolusi luminance.

Skéma umum anu dianggo dina codec modéren:

• 4:4:4 (teu aya downsampling)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4: 2: 0 - conto fusi

Ieu gambar anu dihijikeun nganggo YCbCr 4:2:0. Catet yén kami ngan ukur nyéépkeun 12 bit per piksel.

Ieu mangrupikeun gambar anu sami, disandi ku jinis utama subsampling warna. Baris kahiji nyaéta YCbCr final, baris handap nembongkeun resolusi chroma. Hasilna santun pisan, tempo karugian sakedik dina kualitas.

Inget nalika urang diitung 278 GB gudang pikeun nyimpen hiji file video lila-jam dina resolusi 720p sarta 30 pigura per detik? Upami urang nganggo YCbCr 4: 2: 0, maka ukuran ieu bakal dikirangan ku satengah - 139 GB. Sajauh ieu, éta masih jauh tina hasil anu bisa ditarima.

Anjeun tiasa kéngingkeun histogram YCbCr nyalira nganggo FFmpeg. Dina gambar ieu, biru ngadominasi leuwih beureum, nu jelas katempo dina histogram sorangan.

Warna, kacaangan, gamut warna - review video

Kami nyarankeun nonton video anu saé ieu. Ieu ngécéskeun naon kacaangan, sarta sacara umum sakabéh titik nu dotted ё ngeunaan kacaangan sareng warna.

Jenis pigura

Hayu urang ngaléngkah. Hayu urang nyobian ngaleungitkeun waktos redundancy. Tapi ke heula, hayu urang ngartikeun sababaraha terminologi dasar. Anggap urang gaduh pilem sareng 30 pigura per detik, ieu mangrupikeun 4 pigura anu munggaran:

Urang tiasa ningali seueur pengulangan dina pigura: contona, latar biru anu henteu robih tina pigura ka pigura. Pikeun ngajawab masalah ieu, urang abstrak bisa mengklasifikasikan kana tilu jenis pigura.

I-frame (Intro Frame)

I-pigura (pigura rujukan, pigura konci, pigura jero) nyaeta timer ngandung. Paduli naon rék visualize, hiji I-pigura dasarna mangrupa photograph statik. Pigura kahiji biasana mangrupa I-pigura, tapi urang bakal rutin niténan I-pigura malah diantara teu pigura munggaran.

Pigura P (PBingkai diredik)

P-pigura (pigura prediktif) ngamangpaatkeun kanyataan yén ampir sok gambar ayeuna bisa dihasilkeun ngagunakeun pigura saméméhna. Contona, dina pigura kadua ngan robah nyaéta bal maju. Urang bisa meunang pigura 2 ku saukur rada ngaropéa pigura 1, ngan ngagunakeun bédana antara pigura ieu. Pikeun ngawangun pigura 2, urang tingal pigura 1 sateuacana.

←

Pigura B (Bi-predictive Frame)

Kumaha upami tautan henteu ngan ukur ka tukang, tapi ogé ka pigura ka hareup pikeun nyayogikeun komprési anu langkung saé?! Ieu dasarna mangrupa B-pigura (pigura bidirectional).

← →

Kaluaran panengah

Jenis pigura ieu dipaké pikeun nyadiakeun komprési pangalusna mungkin. Urang bakal ningali kumaha ieu kajadian dina bagian salajengna. Pikeun ayeuna mah, hayu urang dicatet yén paling "mahal" dina watesan memori dihakan I-pigura, P-pigura noticeably langkung mirah, tapi pilihan paling nguntungkeun pikeun video nu B-pigura.

Redundansi temporal (prediksi antar-frame)

Hayu urang tingali pilihan naon urang kudu ngaleutikan pengulangan kana waktu. Urang tiasa ngabéréskeun jinis redundansi ieu nganggo metode prediksi silang.

Kami bakal nyobian nyéépkeun sakedik-gancang pikeun ngodekeun réntétan pigura 0 sareng 1.

Urang bisa ngahasilkeun pangurangan, urang saukur subtract pigura 1 ti pigura 0. Simkuring meunang pigura 1, ngan ngagunakeun bédana antara eta jeung pigura saméméhna, malah urang ngan encode sésana hasilna.

Tapi kumaha upami kuring nyarioskeun ka anjeun yén aya metode anu langkung saé anu ngagunakeun bit anu langkung sakedik?! Kahiji, hayu urang megatkeun pigura 0 kana grid jelas diwangun ku blok. Lajeng urang bakal coba mun cocog blok ti pigura 0 kalawan pigura 1. Dina basa sejen, urang bakal estimasi gerakan antara pigura.

Ti Wikipédia - santunan gerak blok

Kompensasi gerak blok ngabagi pigura ayeuna kana blok anu henteu tumpang tindih sareng vektor kompensasi gerak ngalaporkeun asal-usul blok (salah anggapan umum nyaéta yén saméméhna pigura dibagi kana blok non-tumpang tindih, sarta vektor santunan gerak ngabejaan dimana eta blok balik. Tapi kanyataanna, éta sabalikna - sanés pigura sateuacana anu dianalisis, tapi anu salajengna; éta henteu jelas dimana blok-blok éta pindah, tapi ti mana asalna). Biasana blok sumber tumpang tindih dina pigura sumber. Sababaraha algoritma komprési vidéo ngumpul pigura ayeuna ti bagian teu malah hiji, tapi sababaraha pigura saméméhna dikirimkeun.

Salila prosés évaluasi, urang nempo yén bal geus pindah ti (x= 0, y= 25) nepi ka (x= 6, y=26), peunteun x и y nangtukeun véktor gerak. Léngkah séjén anu urang tiasa laksanakeun pikeun ngawétkeun bit nyaéta ngan ukur ngodekeun bédana véktor gerak antara posisi blok anu terakhir sareng anu diprediksi, janten véktor gerak ahirna nyaéta (x=6-0=6, y=26-25=1 ).

Dina kaayaan nyata, bal ieu bakal dibagi kana n blok, tapi ieu teu ngarobah hakekat zat.

Objék dina pigura gerak dina tilu diménsi, ku kituna lamun bal ngalir, éta bisa jadi visually leutik (atawa leuwih badag lamun ngalir ka arah panempo). Biasana yén moal aya pertandingan anu sampurna antara blok. Ieu mangrupikeun gabungan tina perkiraan kami sareng gambar nyata.

Tapi urang tingali yén nalika urang ngagunakeun estimasi gerak, aya noticeably kirang data pikeun coding ti nalika ngagunakeun métode basajan tina ngitung délta antara pigura.

Naon santunan gerak nyata bakal kasampak kawas

Téhnik ieu dilarapkeun ka sadaya blok sakaligus. Sering bal gerak kondisional urang bakal dibagi kana sababaraha blok sakaligus.

Anjeun tiasa ngaraosan konsép-konsép ieu nganggo diri anjeun jupyter.

Pikeun ningali vektor gerak, anjeun tiasa nyiptakeun pidéo prediksi éksternal nganggo ffmpeg.

Anjeun oge bisa make Intel Video Pro Analyzer (éta mayar, tapi aya uji coba gratis anu dugi ka sapuluh pigura munggaran wungkul).

Redundansi spasial (ramalan internal)

Lamun urang nganalisis unggal pigura dina video, urang bakal manggihan loba wewengkon interconnected.

Hayu urang ngaliwat conto ieu. Adegan ieu utamana diwangun ku kelir bulao jeung bodas.

Ieu hiji I-pigura. Urang teu bisa nyokot pigura saméméhna keur prediksi, tapi urang bisa niiskeun eta. Hayu urang encode pilihan blok beureum. Upami urang ningali tatanggana, urang perhatikeun yén aya sababaraha tren warna di sakurilingna.

Urang nganggap yén kelir nyebarkeun vertikal dina pigura. Anu hartosna warna piksel anu teu dipikanyaho bakal ngandung nilai tatanggana.

Ramalan sapertos kitu tiasa janten lepat. Ku sabab kitu anjeun kedah nerapkeun metode ieu (ramalan internal), teras ngirangan nilai nyata. Ieu bakal masihan urang blok sésa-sésa, anu bakal ngahasilkeun matriks anu langkung dikomprés dibandingkeun sareng aslina.

Upami anjeun hoyong latihan sareng prediksi internal, anjeun tiasa nyiptakeun pidéo ngeunaan blok makro sareng prediksina nganggo ffmpeg. Pikeun ngartos harti unggal warna blok, anjeun kedah maca dokuméntasi ffmpeg.

Atanapi anjeun tiasa nganggo Intel Video Pro Analyzer (sakumaha anu kuring nyarios di luhur, versi percobaan gratis dugi ka 10 pigura anu munggaran, tapi ieu bakal cekap pikeun anjeun mimitina).

Bagian kadua: Kumaha codec video jalan

sumber: www.habr.com