{"id":54312,"date":"2019-12-23T00:00:00","date_gmt":"2019-12-22T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/kak-rabotaet-videokodek-chast-1-osnovy"},"modified":"2020-02-18T14:02:18","modified_gmt":"2020-02-18T11:02:18","slug":"kak-rabotaet-videokodek-chast-1-osnovy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/kak-rabotaet-videokodek-chast-1-osnovy","title":{"rendered":"Hoe werkt een videocodec. Deel 1. Basisprincipes","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Tweede deel: Principes van videocodecs<\/a><\/noindex><\/h3>\n

Elk raster afbeelding<\/b> kan worden voorgesteld als een tweedimensionale matrix<\/b>. Wanneer het gaat om kleuren, kan het idee verder worden ontwikkeld door de afbeelding te beschouwen als een driedimensionale matrix<\/b>, waarin aanvullende dimensies worden gebruikt om gegevens voor elke kleur op te slaan.<\/p>\n

Wanneer we de uiteindelijke kleur beschouwen als een combinatie van de zogenaamde primaire kleuren (rood, groen en blauw), defini\u00ebren we in onze driedimensionale matrix drie vlaktes: de eerste voor de kleur rood, de tweede voor groen en de laatste voor blauw.
\n\"Hoe<\/a><\/noindex>
\nLaten we elke punt in deze matrix een pixel (beeldelement) noemen. Elke pixel bevat informatie over de intensiteit (meestal in de vorm van een getalswaarde) van elke kleur. Bijvoorbeeld, een rode pixel<\/b> betekent dat deze 0 groen, 0 blauw en maximaal rood bevat. Een roze pixel<\/b> kan worden gevormd met behulp van een combinatie van de drie kleuren. Met een getalbereik van 0 tot 255, wordt een roze pixel gedefinieerd als Rood = 255<\/b>, Groen = 192<\/b> en Blauw = 203<\/b>.<\/a><\/noindex><\/p>\n

\"Hoe<\/a><\/noindex>

\nHet artikel is gepubliceerd met de steun van EDISON.<\/p>\n

We ontwikkelen toepassingen voor videobewaking, streaming video<\/a><\/noindex>, en we houden ons ook bezig met videoregistratie in de operatiekamer<\/a><\/noindex>.<\/p><\/blockquote>\n

Alternatieve manieren om een kleurenafbeelding te coderen<\/h3>\n

\nVoor het weergeven van de kleuren waaruit de afbeelding bestaat, zijn er vele andere modellen. Bijvoorbeeld, een ge\u00efndexeerde palet kan worden gebruikt, waarbij slechts \u00e9\u00e9n byte nodig is om elke pixel voor te stellen, in tegenstelling tot de drie die nodig zijn bij het gebruik van het RGB-model. In zo'n model kan een 2D-matrix worden gebruikt in plaats van een 3D-matrix voor het weergeven van elke kleur. Dit bespaart geheugen, maar biedt een kleinere kleurnuance.<\/p>\n

\"Hoe
\n<\/p>\n

RGB<\/h2>\n

Bekijk bijvoorbeeld deze afbeelding hieronder. Het eerste gezicht is volledig gekleurd. De anderen zijn de rode, groene en blauwe vlakken (de intensiteit van de overeenkomende kleuren wordt weergegeven in grijstinten).<\/p>\n

\"Hoe
\n
\nWe zien dat de tinten rood in het origineel op dezelfde plekken te zien zijn als waar de helderste delen van het tweede gezicht zich bevinden. Terwijl de bijdrage van de blauwe kleur voornamelijk alleen te zien is in de ogen van Mario (het laatste gezicht) en de elementen van zijn kleding. Let op waar alle drie de kleurvlakken de minste bijdrage leveren (de donkerste delen van de afbeeldingen) \u2014 dit zijn de snorharen van Mario.<\/p>\n

Voor het opslaan van de intensiteit van elke kleur is een bepaald aantal bits vereist \u2014 deze waarde wordt de kleurendiepte<\/b>. Stel dat 8 bits (afgeleid van de waarde van 0 tot 255) worden gebruikt voor \u00e9\u00e9n kleurvlak. Dan hebben we een kleurendiepte van 24 bits (8 bits \u00d7 3 vlakken R\/G\/B).<\/p>\n

Een andere eigenschap van een afbeelding is resolutie<\/b>, wat het aantal pixels in \u00e9\u00e9n dimensie vertegenwoordigt. Vaak wordt deze aangegeven als breedte \u00d7 hoogte<\/b>, zoals hieronder in de afbeeldingvoorbeeld 4 op 4.
\n\"Hoe
\n
\nEen andere eigenschap waarmee we te maken hebben bij het werken met afbeeldingen\/video's is beeldverhouding<\/b>, die de gebruikelijke proportionele relatie tussen de breedte en hoogte van een afbeelding of pixel beschrijft.<\/p>\n

Als men zegt dat een bepaalde film of afbeelding de afmeting 16 op 9 heeft, wordt meestal bedoeld de beeldverhouding van het scherm<\/b> (DAR<\/b> \u2014 van Display Aspect Ratio<\/i>). Maar soms kunnen er verschillende vormen van individuele pixels zijn \u2014 in dit geval hebben we het over de pixelverhouding<\/b> (PAR<\/b> \u2014 van Pixel Aspect Ratio<\/i>).<\/p>\n

\"Hoe
\n
\n\"Hoe<\/p>\n

Voor de huismoeder om op te letten: DVD<\/b> overeenkomt met DAR 4 op 3<\/b><\/p>\n

Hoewel de werkelijke resolutie van DVD 704×480 bedraagt, behoudt het toch een beeldverhouding van 4:3, omdat de PAR een waarde van 10:11 heeft (704×10 \/ 480×11).<\/p><\/blockquote>\n

\nEn ten slotte kunnen we video's<\/b> defini\u00ebren als een reeks van n<\/b> frames per tijdperiood tijd<\/b>, wat als een extra dimensie kan worden beschouwd. En n<\/b> dan is het de framefrequentie of het aantal frames per seconde (FPS<\/b> \u2014 van Frames per Second<\/i>).<\/p>\n

\"Hoe
\n
\nHet aantal bits per seconde dat nodig is voor het afspelen van video is zijn dataverhouding<\/b> \u2014 bitrate<\/b>.<\/p>\n

bitrate = breedte * hoogte * kleurendiepte * frames per seconde<\/p><\/blockquote>\n

\nBijvoorbeeld, voor video met 30 frames per seconde, 24 bits per pixel, heeft een resolutie van 480×240 82.944.000 bits per seconde of 82,944 Mbit\/s nodig (30x480x240x24) - maar dit is zonder het gebruik van compressiemethoden.<\/p>\n

Als de dataverhouding bijna constant is<\/i>, wordt deze een constante dataverhouding<\/b> (CBR<\/b> \u2014 van constant bit rate<\/i>). Maar deze kan ook vari\u00ebren, in dat geval wordt het variabele dataverhouding<\/b> (VBR<\/b> \u2014 van variable bit rate<\/i>).<\/p>\n

Deze grafiek toont een beperkte VBR, wanneer er niet te veel bits worden besteed in het geval van een volledig zwart frame.<\/p>\n

\"Hoe
\n
\nOorspronkelijk hebben ingenieurs een methode ontwikkeld om de waargenomen framefrequentie van een videodisplay te verdubbelen zonder extra bandbreedte te gebruiken. Deze methode staat bekend als interlaced video<\/b>; in wezen stuurt het de helft van het scherm in het eerste 'frame' en de andere helft in het volgende 'frame'.<\/p>\n

Tegenwoordig gebeurt de visualisatie van sc\u00e8nes voornamelijk met behulp van de technologie voor progressieve scanning<\/b>. Dit is een manier om bewegende beelden weer te geven, op te slaan of te verzenden, waarbij alle lijnen van elk frame achtereenvolgens worden getekend.<\/p>\n

\"Hoe
\n
\nNou, nu weten we hoe een afbeelding digitaal wordt weergegeven, hoe de kleuren zijn opgebouwd, hoeveel bits per seconde we nodig hebben om video weer te geven, of de bitrate constant (CBR) of variabel (VBR) is. We weten over de opgegeven resolutie met een opgegeven framerate en hebben kennisgemaakt met veel andere termen, zoals interlaced video, PAR en enkele anderen.<\/p>\n

Verwijdering van redundantie<\/h2>\n

\nHet is bekend dat ongecomprimeerde video niet normaal te gebruiken is. Een uur video met een resolutie van 720p en een framerate van 30 frames per seconde zou 278 GB in beslag nemen. Dit getal krijgen we door 1280 x 720 x 24 x 30 x 3600 (breedte, hoogte, bits per pixel, FPS en tijd in seconden) met elkaar te vermenigvuldigen.<\/p>\n

Gebruik van verliesloze compressie-algoritmen<\/b>, zoals DEFLATE (gebruikt in PKZIP, Gzip en PNG), zal niet voldoende verminderen in de benodigde bandbreedte. We moeten naar andere manieren van video-compressie zoeken.<\/p>\n

Hiervoor kunnen we gebruik maken van de kenmerken van ons zicht. We onderscheiden helderheid beter dan kleuren. Video is een verzameling opeenvolgende afbeeldingen die in de loop van de tijd herhaald worden. Tussen aangrenzende frames van \u00e9\u00e9n sc\u00e8ne zijn de verschillen klein. Bovendien bevat elk frame veel gebieden die dezelfde (of vergelijkbare) kleur gebruiken.<\/p>\n

Kleur, helderheid en onze ogen<\/h2>\n

\nOnze ogen zijn gevoeliger voor helderheid dan voor kleur. Je kunt dit zelf bevestigen door naar deze afbeelding te kijken.<\/p>\n

\"Hoe<\/p>\n

Als je niet ziet dat de kleuren van de vierkanten in de linkerhelft van de afbeelding A<\/b> en B<\/b> werkelijk hetzelfde zijn, is dat normaal. Onze hersenen dwingen ons om meer aandacht te besteden aan licht en schaduw, dan aan kleur. Aan de rechterkant is er een verbinding van dezelfde kleur tussen de gemarkeerde vierkanten \u2014 daarom (dwz onze hersenen) kunnen we gemakkelijk vaststellen dat het daar in feite dezelfde kleur is.<\/p>\n

Laten we (vereenvoudigd) bekijken hoe onze ogen werken. Het oog is een complex orgaan, bestaande uit veel onderdelen. Echter, we zijn vooral ge\u00efnteresseerd in kegeltjes en staafjes. Het oog bevat ongeveer 120 miljoen staafjes en 6 miljoen kegeltjes.<\/p>\n

Laten we kleur- en lichtwaarneming beschouwen als afzonderlijke functies van bepaalde delen van het oog (in werkelijkheid is het iets gecompliceerder, maar we houden het simpel). Staafjes zijn vooral verantwoordelijk voor helderheid, terwijl kegeltjes verantwoordelijk zijn voor kleur. Kegeltjes worden ingedeeld in drie types, afhankelijk van het aanwezige pigment: S-kegeltjes (blauw), M-kegeltjes (groen) en L-kegeltjes (rood).<\/p>\n

Omdat we veel meer staafjes (helderheid) hebben dan kegeltjes (kleur), kan worden geconcludeerd dat we beter in staat zijn om overgangen tussen donker en licht te onderscheiden dan kleuren.<\/p>\n

\"Hoe
\n<\/p>\n

Functies van contrastgevoeligheid<\/h2>\n

\nOnderzoekers van experimentele psychologie en vele andere gebieden hebben talloze theorie\u00ebn over het menselijk zicht ontwikkeld. En een daarvan wordt genoemd de functies van contrastgevoeligheid<\/b>. Ze zijn gerelateerd aan ruimtelijke en temporele verlichting. In het kort gaat het erom hoeveel veranderingen vereist zijn voordat de waarnemer deze opmerkt. Let op het meervoud van het woord \"functie\". Dit komt omdat we de contrastgevoeligheidsfuncties niet alleen kunnen meten voor zwart-witbeelden, maar ook voor kleuren. De resultaten van deze experimenten tonen aan dat onze ogen in de meeste gevallen gevoeliger zijn voor helderheid dan voor kleur.<\/p><\/blockquote>\n

Aangezien we weten dat we gevoeliger zijn voor de helderheid van een beeld, kunnen we proberen dit feit te gebruiken.<\/p>\n

Kleurmodel<\/h2>\n

\nWe hebben al een beetje onderzocht hoe we met kleurafbeeldingen kunnen werken met behulp van het RGB-schema. Er zijn andere modellen. Er is een model dat helderheid van kleur scheidt en het staat bekend als YCbCr<\/b>. Trouwens, er zijn andere modellen die een soortgelijke scheiding maken, maar we zullen alleen deze bespreken.<\/p>\n

In dit kleurmodel Y<\/b> is de representatie van helderheid, en er worden twee kleurkanalen gebruikt: Cb<\/b> (verzadigd blauw) en Cr<\/b> (verzadigd rood). YCbCr kan worden verkregen uit RGB, net zoals een omgekeerde conversie mogelijk is. Met dit model kunnen we full-color afbeeldingen maken, zoals hieronder te zien is:<\/p>\n

\"Hoe
\n<\/p>\n

Conversie tussen YCbCr en RGB<\/h2>\n

\nIemand zou kunnen tegenwerpen: hoe kunnen alle kleuren worden verkregen zonder groen?<\/p>\n

Om deze vraag te beantwoorden, converteren we RGB naar YCbCr. We gebruiken de coefficients die in de standaard zijn vastgesteld. BT.601<\/b>, die werd aanbevolen door de afdeling ITU-R<\/b>. Deze afdeling bepaalt de normen voor digitale video. Bijvoorbeeld: wat is 4K? Wat moeten de framerate, resolutie en kleurmodel zijn?<\/p>\n

Laten we eerst de helderheid berekenen. We gebruiken de constanten die door de ITU zijn voorgesteld en vervangen de RGB-waarden.<\/p>\n

Y<\/b> = 0.299R<\/b> + 0.587G<\/b> + 0.114B<\/b> <\/p>\n

Nadat we de helderheid hebben verkregen, scheiden we de blauwe en rode kleur:<\/p>\n

Cb<\/b> = 0.564(B<\/b> \u2014 Y<\/b>)<\/p>\n

Cr<\/b> = 0.713(R<\/b> \u2014 Y<\/b>) <\/p>\n

En we kunnen ook terug converseren en zelfs groen verkrijgen met behulp van YCbCr:<\/p>\n

R<\/b> = Y<\/b> + 1.402Cr<\/b><\/p>\n

B<\/b> = Y<\/b> + 1.772Cb<\/b><\/p>\n

G<\/b> = Y<\/b> \u2014 0.344Cb<\/b> \u2014 0.714Cr<\/b><\/p>\n

Over het algemeen gebruiken weergaven (monitoren, televisies, schermen, enz.) alleen het RGB-model. Maar dit model kan op verschillende manieren worden georganiseerd:<\/p>\n

\"Hoe
\n<\/p>\n

Kleur subsampling<\/h2>\n

\nMet een afbeelding die wordt weergegeven als een combinatie van helderheid en chrominantie, kunnen we de hogere gevoeligheid van het menselijke gezichtsvermogen voor helderheid gebruiken dan voor chrominantie, door selectief informatie te verwijderen. Kleur subsampling is een methode van afbeelding codering waarbij minder resolutie voor chrominantie wordt gebruikt dan voor helderheid.<\/p>\n

\"Hoe<\/p>\n

Hoe ver is het toegestaan om de chrominantie-resolutie te verlagen?! Het blijkt dat er al enkele schema's zijn die beschrijven hoe resolutie en fusie te verwerken (Eindkleur = Y + Cb + Cr).<\/p>\n

Deze schema's staan bekend als subsampling systemen<\/b> en worden uitgedrukt in een verhouding van 3: 1 \u2014 a<\/b>:x<\/b>:y<\/b>, die het aantal monsters van helderheids- en chrominantiesignalen definieert.<\/p>\n

a<\/b> \u2014 referentie horizontale sampling (meestal gelijk aan 4)
\nx<\/b> \u2014 het aantal chrominantiekleine monsters in de eerste rij pixels (horizontale resolutie ten opzichte van a<\/b>)
\ny<\/b> \u2014 het aantal wijzigingen in chrominantiesamples tussen de eerste en tweede rij pixels.<\/p>\n

Een uitzondering is 4<\/b>:1<\/b>:0<\/b>, die ervoor zorgt dat er \u00e9\u00e9n chrominantie monster is in elke 4 op 4 helderheid resolutieblok.<\/p><\/blockquote>\n

Algemene schema's die worden gebruikt in moderne codecs:<\/p>\n