{"id":54312,"date":"2019-12-23T00:00:00","date_gmt":"2019-12-22T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/kak-rabotaet-videokodek-chast-1-osnovy"},"modified":"2020-02-18T14:02:18","modified_gmt":"2020-02-18T11:02:18","slug":"kak-rabotaet-videokodek-chast-1-osnovy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/kak-rabotaet-videokodek-chast-1-osnovy","title":{"rendered":"Jak dzia\u0142a kodek wideo. Cz\u0119\u015b\u0107 1. Podstawy","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Cz\u0119\u015b\u0107 druga: Zasady dzia\u0142ania kodeka wideo<\/a><\/noindex><\/h3>\n

Ka\u017cdy obraz rastrowy mo\u017cna przedstawi\u0107 w postaci<\/b> dwuwymiarowej macierzy . Kiedy m\u00f3wimy o kolorach, mo\u017cna rozwin\u0105\u0107 t\u0119 ide\u0119, traktuj\u0105c obraz jako<\/b>tr\u00f3jwymiarow\u0105 macierz , w kt\u00f3rej dodatkowe wymiary s\u0142u\u017c\u0105 do przechowywania danych dla ka\u017cdego z kolor\u00f3w.<\/b>Je\u015bli rozwa\u017cymy ostateczny kolor jako kombinacj\u0119 tzw. kolor\u00f3w podstawowych (czerwonego, zielonego i niebieskiego), w naszej tr\u00f3jwymiarowej macierzy definiujemy trzy p\u0142aszczyzny: pierwsza dla koloru czerwonego, druga dla zielonego, a ostatnia dla niebieskiego.<\/p>\n

Nazwijmy ka\u017cdy punkt w tej macierzy pikselem (elementem obrazu). Ka\u017cdy piksel zawiera informacje o intensywno\u015bci (zwykle w postaci warto\u015bci numerycznej) ka\u017cdego koloru. Na przyk\u0142ad,
\n\"Jak<\/a><\/noindex>
\nczerwony piksel oznacza, \u017ce zawiera 0 zielonego, 0 niebieskiego i maksymaln\u0105 ilo\u015b\u0107 czerwonego.<\/b> Piksel r\u00f3\u017cowego koloru mo\u017ce by\u0107 stworzony za pomoc\u0105 kombinacji trzech kolor\u00f3w. U\u017cywaj\u0105c zakresu numerycznego od 0 do 255, r\u00f3\u017cowy piksel definiuje si\u0119 jako<\/b> Czerwony = 255 Zielony = 192<\/b>, Niebieski = 203<\/b> i Artyku\u0142 opublikowano dzi\u0119ki wsparciu firmy EDISON.<\/b>.<\/a><\/noindex><\/p>\n

\"Jak<\/a><\/noindex>

\nTworzymy<\/p>\n

aplikacje do monitoringu wideo, strumieniowania wideo , a tak\u017ce zajmujemy si\u0119<\/a><\/noindex>nagrywaniem wideo w sali operacyjnej Alternatywne metody kodowania kolorowego obrazu<\/a><\/noindex>.<\/p><\/blockquote>\n

Aby przedstawi\u0107 kolory sk\u0142adaj\u0105ce si\u0119 na obraz, istnieje wiele innych modeli. Na przyk\u0142ad, mo\u017cna u\u017cy\u0107 palety indeksowanej, w kt\u00f3rej potrzebny jest tylko jeden bajt do reprezentacji ka\u017cdego piksela, zamiast trzech, wymaganych przy u\u017cywaniu modelu RGB. W takim modelu mo\u017cna zastosowa\u0107 macierz 2D zamiast 3D do przedstawienia ka\u017cdego koloru. Oszcz\u0119dza to pami\u0119\u0107, ale daje mniejsz\u0105 gam\u0119 kolor\u00f3w.<\/h3>\n

\nRGB<\/p>\n

\"Jak
\n<\/p>\n

Na przyk\u0142ad, sp\u00f3jrz na ten obrazek poni\u017cej. Pierwsza twarz jest ca\u0142kowicie pokryta. Pozosta\u0142e to p\u0142aszczyzny czerwone, zielone i niebieskie (intensywno\u015b\u0107 odpowiadaj\u0105cych kolor\u00f3w pokazana w odcieniach szaro\u015bci).<\/h2>\n

Na przyk\u0142ad, sp\u00f3jrz na ten obrazek poni\u017cej. Pierwsza twarz jest ca\u0142kowicie pokolorowana. Pozosta\u0142e to czerwone, zielone i niebieskie p\u0142aszczyzny (intensywno\u015b\u0107 odpowiednich kolor\u00f3w przedstawiona w odcieniach szaro\u015bci).<\/p>\n

\"Jak
\n
\nWidzimy, \u017ce odcienie czerwieni w oryginale b\u0119d\u0105 w tych samych miejscach, w kt\u00f3rych obserwuje si\u0119 najja\u015bniejsze cz\u0119\u015bci drugiej osoby. Z kolei wk\u0142ad niebieskiego koloru mo\u017cna dostrzec g\u0142\u00f3wnie tylko w oczach Mario (ostatnie twarz) oraz elementach jego odzie\u017cy. Zwr\u00f3\u0107 uwag\u0119, gdzie wszystkie trzy p\u0142aszczyzny kolor\u00f3w maj\u0105 najmniejszy wk\u0142ad (najciemniejsze cz\u0119\u015bci obraz\u00f3w) \u2014 jest to w w\u0105sach Mario.<\/p>\n

Do przechowywania intensywno\u015bci ka\u017cdego koloru potrzebna jest okre\u015blona liczba bit\u00f3w \u2014 ta warto\u015b\u0107 nazywana jest g\u0142\u0119bi\u0105 bitow\u0105.<\/b>Przyjmijmy, \u017ce na jedn\u0105 p\u0142aszczyzn\u0119 kolor\u00f3w wydawane s\u0105 8 bity (w zakresie od 0 do 255). W\u00f3wczas mamy g\u0142\u0119bi\u0119 koloru wynosz\u0105c\u0105 24 bity (8 bit\u00f3w * 3 p\u0142aszczyzny R\/G\/B).<\/p>\n

Inn\u0105 cech\u0105 obrazu jest rozdzielczo\u015b\u0107,<\/b>kt\u00f3ra okre\u015bla liczb\u0119 pikseli w jednym wymiarze. Cz\u0119sto oznaczana jako szeroko\u015b\u0107 \u00d7 wysoko\u015b\u0107,<\/b>jak poni\u017cej na obrazku-przyk\u0142adzie 4 na 4.
\n\"Jak
\n
\nKolejn\u0105 cech\u0105, kt\u00f3r\u0105 mamy do czynienia przy pracy z obrazami\/wideo, jest proporcja<\/b>, opisuj\u0105ca zwyk\u0142y proporcjonalny zwi\u0105zek mi\u0119dzy szeroko\u015bci\u0105 a wysoko\u015bci\u0105 obrazu lub piksela.<\/p>\n

Kiedy m\u00f3wi si\u0119, \u017ce jaki\u015b film lub obraz ma rozmiar 16 na 9, zazwyczaj ma si\u0119 na my\u015bli proporcj\u0119 ekranu<\/b> (DAR<\/b> \u2014 od Wy\u015bwietlacz Proporcjonal Wska\u017anik,<\/i>). Jednak czasami mog\u0105 wyst\u0119powa\u0107 r\u00f3\u017cne formy poszczeg\u00f3lnych pikseli \u2014 w tym przypadku m\u00f3wimy o proporcji pikseli,<\/b> (PAR.<\/b> \u2014 od Wska\u017anik Proporcjonal Piksela.<\/i>).<\/p>\n

\"Jak
\n
\n\"Jak<\/p>\n

Gospodyni na uwadze: DVD<\/b> -the node, and the other \u2014 DAR 4 na 3.<\/b><\/p>\n

Chocia\u017c rzeczywista rozdzielczo\u015b\u0107 DVD wynosi 704\u00d7480, zachowuje proporcje 4:3, poniewa\u017c PAR ma warto\u015b\u0107 10:11 (704\u00d710 \/ 480\u00d711).<\/p><\/blockquote>\n

\nNo i na koniec, mo\u017cemy okre\u015bli\u0107 wideo<\/b> jako sekwencj\u0119 n<\/b> klatek w okresie, czasu<\/b>, kt\u00f3re mo\u017cna uzna\u0107 za dodatkowy wymiar. A n<\/b> wtedy \u2014 to liczba klatek na sekund\u0119 (FPS,<\/b> \u2014 od Klatek na sekund\u0119.<\/i>).<\/p>\n

\"Jak
\n
\nLiczba bit\u00f3w na sekund\u0119, potrzebna do wy\u015bwietlenia wideo, jest jego przep\u0142ywowo\u015bci\u0105,<\/b> \u2014 bitrate,<\/b>.<\/p>\n

bitrate = szeroko\u015b\u0107 * wysoko\u015b\u0107 * g\u0142\u0119bia bitowa * klatki na sekund\u0119.<\/p><\/blockquote>\n

\nNa przyk\u0142ad, dla wideo z 30 klatkami na sekund\u0119, 24 bitami na piksel, rozdzielczo\u015b\u0107 480\u00d7240 wymaga 82,944,000 bit\u00f3w na sekund\u0119 lub 82,944 Mbit\/s (30x480x240x24) \u2014 ale to, je\u015bli nie stosuje si\u0119 \u017cadnych metod kompresji.<\/p>\n

Je\u015bli przep\u0142ywowo\u015b\u0107 jest prawie sta\u0142a,<\/i>nazywana jest sta\u0142\u0105 przep\u0142ywowo\u015bci\u0105,<\/b> (CBR,<\/b> \u2014 od sta\u0142ym wska\u017anikiem bitowym.<\/i>). Ale mo\u017ce te\u017c by\u0107 zmienna, w takim przypadku nazywa si\u0119 zmienn\u0105 pr\u0119dko\u015b\u0107 transferu<\/b> (VBR<\/b> \u2014 od zmienna przep\u0142ywno\u015b\u0107<\/i>).<\/p>\n

Ten wykres przedstawia ograniczone VBR, kiedy nie wydaje si\u0119 zbyt wiele bit\u00f3w w przypadku ca\u0142kowicie ciemnej klatki.<\/p>\n

\"Jak
\n
\nPocz\u0105tkowo in\u017cynierowie opracowali metod\u0119 podwajania postrzeganego wsp\u00f3\u0142czynnika od\u015bwie\u017cania wideo bez u\u017cycia dodatkowej przepustowo\u015bci. Metoda ta znana jest jako wideo przeplotowe<\/b>; w zasadzie wysy\u0142a po\u0142ow\u0119 ekranu w pierwszej \u201eklatce\u201d, a drug\u0105 po\u0142ow\u0119 w nast\u0119pnej \u201eklatce\u201d.<\/p>\n

Obecnie wizualizacja scen odbywa si\u0119 g\u0142\u00f3wnie przy u\u017cyciu technologii progresywnego skanowania<\/b>. To spos\u00f3b wy\u015bwietlania, przechowywania lub przesy\u0142ania ruchomych obraz\u00f3w, w kt\u00f3rym wszystkie linie ka\u017cdej klatki s\u0105 rysowane kolejno.<\/p>\n

\"Jak
\n
\nC\u00f3\u017c! Teraz wiemy, jak obraz jest przedstawiany w formie cyfrowej, jak s\u0105 zbudowane jego kolory, ile bit\u00f3w na sekund\u0119 wydajemy na pokazanie wideo, je\u015bli pr\u0119dko\u015b\u0107 transferu jest sta\u0142a (CBR) lub zmienna (VBR). Znamy podane rozdzielczo\u015bci przy u\u017cyciu zadanej cz\u0119stotliwo\u015bci klatek, zapoznali\u015bmy si\u0119 z wieloma innymi terminami, takimi jak wideo przeplotowe, PAR i innymi.<\/p>\n

Usuwanie nadmiarowo\u015bci<\/h2>\n

\nWiadomo, \u017ce wideo bez kompresji jest niewykonalne w normalnym u\u017cytku. Godzinne wideo w rozdzielczo\u015bci 720p i cz\u0119stotliwo\u015bci 30 klatek na sekund\u0119 zajmowa\u0142oby 278 GB. Do tego wyniku dochodzimy, mno\u017c\u0105c 1280 x 720 x 24 x 30 x 3600 (szeroko\u015b\u0107, wysoko\u015b\u0107, bity na piksel, FPS i czas w sekundach).<\/p>\n

U\u017cycie algorytmy kompresji bezstratnej<\/b>, takie jak DEFLATE (u\u017cywane w PKZIP, Gzip i PNG), nie zapewni wystarczaj\u0105cego zmniejszenia wymaganej przepustowo\u015bci. Musimy poszuka\u0107 innych metod kompresji wideo.<\/p>\n

Mo\u017cna to osi\u0105gn\u0105\u0107, korzystaj\u0105c z cech naszego wzroku. Lepiej rozr\u00f3\u017cniamy jasno\u015b\u0107 ni\u017c kolory. Wideo jest zestawem kolejnych obraz\u00f3w, powtarzaj\u0105cych si\u0119 w czasie. R\u00f3\u017cnice mi\u0119dzy s\u0105siaduj\u0105cymi klatkami tej samej sceny s\u0105 niewielkie. Ponadto ka\u017cda klatka zawiera wiele obszar\u00f3w u\u017cywaj\u0105cych tego samego (lub podobnego) koloru.<\/p>\n

Kolor, jasno\u015b\u0107 i nasze oczy<\/h2>\n

\nNasze oczy s\u0105 bardziej wra\u017cliwe na jasno\u015b\u0107 ni\u017c na kolor. Mo\u017cesz si\u0119 o tym przekona\u0107 samemu, patrz\u0105c na ten obrazek.<\/p>\n

\"Jak<\/p>\n

Je\u015bli nie widzisz, co jest w lewej po\u0142owie obrazu, kolory kwadrat\u00f3w A<\/b> i B<\/b> w rzeczywisto\u015bci s\u0105 takie same, wi\u0119c to w porz\u0105dku. Nasz m\u00f3zg sprawia, \u017ce zwracamy wi\u0119ksz\u0105 uwag\u0119 na \u015bwiat\u0142ocie\u0144, a nie na kolor. Po prawej stronie mi\u0119dzy oznaczonymi kwadratami znajduje si\u0119 przerywana linia w tym samym kolorze \u2014 dlatego \u0142atwo okre\u015blamy (znaczy to nasz m\u00f3zg), \u017ce w rzeczywisto\u015bci tam jest ten sam kolor.<\/p>\n

Przyjrzyjmy si\u0119 (w uproszczeniu), jak dzia\u0142aj\u0105 nasze oczy. Oko to skomplikowany organ sk\u0142adaj\u0105cy si\u0119 z wielu cz\u0119\u015bci. Jednak najbardziej interesuj\u0105 nas czopki i pr\u0119ciki. Oko zawiera oko\u0142o 120 milion\u00f3w pr\u0119cik\u00f3w i 6 milion\u00f3w czopk\u00f3w.<\/p>\n

Rozwa\u017cmy percepcj\u0119 koloru i jasno\u015bci jako oddzielne funkcje okre\u015blonych cz\u0119\u015bci oka (w rzeczywisto\u015bci jest to nieco bardziej skomplikowane, ale upro\u015bcimy). Kom\u00f3rki pr\u0119cikowe w wi\u0119kszo\u015bci odpowiadaj\u0105 za jasno\u015b\u0107, podczas gdy kom\u00f3rki czopek odpowiadaj\u0105 za kolor. Czopki dziel\u0105 si\u0119 na trzy typy, w zale\u017cno\u015bci od zawartego pigmentu: czopki S (niebieski), czopki M (zielony) i czopki L (czerwony).<\/p>\n

Poniewa\u017c mamy znacznie wi\u0119cej pr\u0119cik\u00f3w (jasno\u015b\u0107) ni\u017c czopk\u00f3w (kolor\u00f3w), mo\u017cna stwierdzi\u0107, \u017ce jeste\u015bmy bardziej zdolni do rozr\u00f3\u017cniania przej\u015b\u0107 mi\u0119dzy ciemno\u015bci\u0105 a \u015bwiat\u0142em ni\u017c kolorami.<\/p>\n

\"Jak
\n<\/p>\n

Funkcje czu\u0142o\u015bci na kontrast<\/h2>\n

\nBadacze psychologii eksperymentalnej i wielu innych dziedzin opracowali wiele teorii ludzkiego wzroku. I jedna z nich nazywa si\u0119 funkcje czu\u0142o\u015bci na kontrast<\/b>. S\u0105 one zwi\u0105zane z przestrzennym i czasowym o\u015bwietleniem. Kr\u00f3tko m\u00f3wi\u0105c, chodzi o to, ile zmian jest potrzebnych, zanim obserwator je zauwa\u017cy. Zauwa\u017cmy liczb\u0119 mnog\u0105 s\u0142owa \u201efunkcja\u201d. Jest to zwi\u0105zane z tym, \u017ce mo\u017cemy mierzy\u0107 funkcje czu\u0142o\u015bci na kontrast nie tylko dla obraz\u00f3w czarno-bia\u0142ych, ale i kolorowych. Wyniki tych eksperyment\u00f3w pokazuj\u0105, \u017ce w wi\u0119kszo\u015bci przypadk\u00f3w nasze oczy s\u0105 bardziej wra\u017cliwe na jasno\u015b\u0107 ni\u017c na kolor.<\/p><\/blockquote>\n

Poniewa\u017c wiadomo, \u017ce jeste\u015bmy bardziej wra\u017cliwi na jasno\u015b\u0107 obrazu, mo\u017cna spr\u00f3bowa\u0107 wykorzysta\u0107 ten fakt.<\/p>\n

Model kolor\u00f3w<\/h2>\n

\nNieco zrozumieli\u015bmy, jak pracowa\u0107 z obrazami kolorowymi, u\u017cywaj\u0105c schematu RGB. Istniej\u0105 te\u017c inne modele. Jest model, kt\u00f3ry oddziela jasno\u015b\u0107 od kolorowo\u015bci i jest znany jako YCbCr<\/b>. Zreszt\u0105, istniej\u0105 inne modele, kt\u00f3re robi\u0105 analogiczne rozdzielenie, ale om\u00f3wimy tylko ten.<\/p>\n

W tym modelu kolor\u00f3w Y<\/b> \u2014 to reprezentacja jasno\u015bci, a tak\u017ce wykorzystywane s\u0105 dwa kana\u0142y kolor\u00f3w: Cb<\/b> (nasycony niebieski) oraz Cr<\/b> (nasycony czerwony). YCbCr mo\u017ce by\u0107 uzyskany z RGB, a tak\u017ce mo\u017cliwe jest odwrotne przekszta\u0142cenie. Korzystaj\u0105c z tego modelu, mo\u017cemy tworzy\u0107 obrazy w pe\u0142nym kolorze, jak wida\u0107 poni\u017cej:<\/p>\n

\"Jak
\n<\/p>\n

Przekszta\u0142cenie mi\u0119dzy YCbCr a RGB<\/h2>\n

\nNiekt\u00f3rzy mog\u0105 zapyta\u0107: jak mo\u017cna uzyska\u0107 wszystkie kolory, je\u015bli nie u\u017cywa si\u0119 zielonego?<\/p>\n

Aby odpowiedzie\u0107 na to pytanie, przekszta\u0142camy RGB w YCbCr. Skorzystamy z wsp\u00f3\u0142czynnik\u00f3w przyj\u0119tych w standardzie BT.601<\/b>, kt\u00f3ry zosta\u0142 zalecany przez jednostk\u0119 ITU-R<\/b>. Ta jednostka okre\u015bla standardy wideo cyfrowego. Na przyk\u0142ad: czym jest 4K? Jakie powinny by\u0107 cz\u0119stotliwo\u015b\u0107 klatek, rozdzielczo\u015b\u0107, model kolor\u00f3w?<\/p>\n

Najpierw obliczymy jasno\u015b\u0107. Skorzystamy z sta\u0142ych zaproponowanych przez ITU i zast\u0105pimy warto\u015bci RGB.<\/p>\n

Y<\/b> = 0.299R<\/b> + 0.587G<\/b> + 0.114B<\/b> <\/p>\n

Po uzyskaniu jasno\u015bci oddzielimy niebieski i czerwony kolor:<\/p>\n

Cb<\/b> = 0.564(B<\/b> \u2014 Y<\/b>)<\/p>\n

Cr<\/b> = 0.713(R<\/b> \u2014 Y<\/b>) <\/p>\n

Mo\u017cemy r\u00f3wnie\u017c przekszta\u0142ci\u0107 z powrotem i nawet uzyska\u0107 zielony za pomoc\u0105 YCbCr:<\/p>\n

R<\/b> = Y<\/b> + 1.402Cr<\/b><\/p>\n

B<\/b> = Y<\/b> + 1.772Cb<\/b><\/p>\n

G<\/b> = Y<\/b> \u2014 0.344Cb<\/b> \u2014 0.714Cr<\/b><\/p>\n

Zazwyczaj wy\u015bwietlacze (monitory, telewizory, ekrany itp.) u\u017cywaj\u0105 tylko modelu RGB. Ale ten model mo\u017cna zorganizowa\u0107 na r\u00f3\u017cne sposoby:<\/p>\n

\"Jak
\n<\/p>\n

Subskrypcja kolor\u00f3w<\/h2>\n

\nZ obrazem przedstawionym jako kombinacja jasno\u015bci i chrominancji, mo\u017cemy wykorzysta\u0107 wi\u0119ksz\u0105 wra\u017cliwo\u015b\u0107 ludzkiego wzroku na jasno\u015b\u0107 ni\u017c na chrominancj\u0119, je\u015bli b\u0119dziemy selektywnie usuwa\u0107 informacje. Subdyskrypcja kolor\u00f3w to metoda kodowania obraz\u00f3w, kt\u00f3ra wykorzystuje mniejsze rozdzielczenie dla chrominancji ni\u017c dla jasno\u015bci.<\/p>\n

\"Jak<\/p>\n

Jak bardzo mo\u017cna zmniejszy\u0107 rozdzielczo\u015b\u0107 chrominancji?! Okazuje si\u0119, \u017ce istniej\u0105 ju\u017c pewne schematy, kt\u00f3re opisuj\u0105, jak przetwarza\u0107 rozdzielczo\u015b\u0107 i \u0142\u0105czenie (Kolor ko\u0144cowy = Y + Cb + Cr).<\/p>\n

Te schematy znane s\u0105 jako systemy subdyskrypcji<\/b> i s\u0105 wyra\u017cane w postaci wsp\u00f3\u0142czynnika 3:1 \u2014 a<\/b>:x<\/b>:y<\/b>, kt\u00f3ry okre\u015bla liczb\u0119 pr\u00f3bek sygna\u0142\u00f3w jasno\u015bci i chrominancji.<\/p>\n

a<\/b> \u2014 standardowa pr\u00f3ba pozioma (zwykle r\u00f3wna 4)
\nx<\/b> \u2014 liczba pr\u00f3bek chrominancji w pierwszym wierszu pikseli (rozdzielczo\u015b\u0107 pozioma w stosunku do a<\/b>)
\ny<\/b> \u2014 liczba zmian pr\u00f3bek chrominancji mi\u0119dzy pierwszym a drugim wierszem pikseli.<\/p>\n

Wyj\u0105tkiem jest 4<\/b>:1<\/b>:0<\/b>, zapewniaj\u0105cy jedn\u0105 pr\u00f3bk\u0119 chrominancji w ka\u017cdym bloku rozdzielczo\u015bci jasno\u015bci 4 na 4.<\/p><\/blockquote>\n

Og\u00f3lne schematy stosowane w nowoczesnych kodekach:<\/p>\n