{"id":54312,"date":"2019-12-23T00:00:00","date_gmt":"2019-12-22T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/kak-rabotaet-videokodek-chast-1-osnovy"},"modified":"2020-02-18T14:02:18","modified_gmt":"2020-02-18T11:02:18","slug":"kak-rabotaet-videokodek-chast-1-osnovy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/news\/kak-rabotaet-videokodek-chast-1-osnovy","title":{"rendered":"Hvordan en videokoder fungerer. Del 1. Grundl\u00e6ggende","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Anden del: Principperne for videokodek<\/a><\/noindex><\/h3>\n

Enhver raster billede<\/b> kan repr\u00e6senteres som en todimensionel matrix<\/b>. N\u00e5r det kommer til farver, kan ideen uddybes ved at betragte billedet som en tridimensionel matrix<\/b>, hvor de ekstra dimensioner bruges til at gemme data for hver af farverne.<\/p>\n

Hvis vi betragter den endelige farve som en kombination af de s\u00e5kaldte prim\u00e6re farver (r\u00f8d, gr\u00f8n og bl\u00e5), definerer vi tre planer i vores tridimensionelle matrix: det f\u00f8rste for r\u00f8d farve, det andet for gr\u00f8n og det sidste for bl\u00e5.
\n\"Hvordan<\/a><\/noindex>
\nVi vil kalde hvert punkt i denne matrix en pixel (billedelement). Hver pixel indeholder information om intensiteten (normalt i form af et numerisk v\u00e6rdien) af hver farve. For eksempel, en r\u00f8d pixel<\/b> betyder, at den har 0 gr\u00f8n farve, 0 bl\u00e5 og maksimal r\u00f8d. En pink pixel<\/b> kan dannes ved hj\u00e6lp af en kombination af de tre farver. Ved at bruge et numerisk interval fra 0 til 255 defineres den pink pixel som R\u00f8d = 255<\/b>, Gr\u00f8n = 192<\/b> og Bl\u00e5 = 203<\/b>.<\/a><\/noindex><\/p>\n

\"Hvordan<\/a><\/noindex>

\nArtiklen er offentliggjort med st\u00f8tte fra EDISON.<\/p>\n

Vi udvikler applikationer til videooverv\u00e5gning, livestreaming,<\/a><\/noindex>, samt arbejder med videooptagelse i operationsstuen<\/a><\/noindex>.<\/p><\/blockquote>\n

Alternative metoder til kodning af farvebilleder<\/h3>\n

\nTil repr\u00e6sentation af de farver, som billedet best\u00e5r af, findes der mange andre modeller. For eksempel kan der anvendes en indekseret palette, hvor der kun kr\u00e6ves \u00e9n byte for at repr\u00e6sentere hver pixel, i stedet for de tre, der er n\u00f8dvendige ved brug af RGB-modellen. I en s\u00e5dan model kan man bruge en 2D-matrix i stedet for en 3D-matrix til at repr\u00e6sentere hver farve. Dette sparer hukommelse, men giver en mindre farveskala.<\/p>\n

\"Hvordan
\n<\/p>\n

RGB<\/h2>\n

For eksempel, se p\u00e5 dette billede nedenfor. Det f\u00f8rste ansigt er helt farvet. De andre \u2014 er de r\u00f8de, gr\u00f8nne og bl\u00e5 planer (intensiteten af de respektive farver er vist i gr\u00e5toner).<\/p>\n

\"Hvordan
\n
\nVi ser, at nuancerne af r\u00f8dt i originalen vil v\u00e6re p\u00e5 de samme steder, hvor de lyseste dele af det andet ansigt observeres. Mens bidraget fra den bl\u00e5 farve prim\u00e6rt kun kan ses i \u00f8jnene p\u00e5 Mario (det sidste ansigt) og i elementerne af hans t\u00f8j. Bem\u00e6rk, hvor alle tre farveplaner bidrager mindst (de m\u00f8rkeste dele af billederne) \u2014 det er i Marios oversk\u00e6g.<\/p>\n

For storage of the intensity of each color, a certain number of bits is required \u2014 this value is called bit depth<\/b>. Suppose 8 bits (ranging from 0 to 255) is spent on one color plane. Then we have a color depth of 24 bits (8 bits * 3 planes R\/G\/B).<\/p>\n

Another property of an image is resolution<\/b>, which represents the number of pixels in one dimension. It is often designated as width \u00d7 height<\/b>, as shown below in the image example 4 by 4.
\n\"Hvordan
\n
\nYet another property we deal with when working with images\/videos is aspect ratio<\/b>, describing the usual proportional relationship between the width and height of an image or pixel.<\/p>\n

When it is said that a certain movie or picture has a size of 16 by 9, it usually refers to screen aspect ratio<\/b> (DAR<\/b> \u2014 fra Display Aspect Ratio<\/i>). However, there can sometimes be different forms of individual pixels \u2014 in this case, it refers to pixel aspect ratio<\/b> (PAR<\/b> \u2014 fra Pixel Aspect Ratio<\/i>).<\/p>\n

\"Hvordan
\n
\n\"Hvordan<\/p>\n

For the housekeeper's note: DVD<\/b> svarer til DAR 4 by 3<\/b><\/p>\n

Selvom den reelle opl\u00f8sning for DVD'er er 704\u00d7480, bevarer den stadig et billede-forhold p\u00e5 4:3, da PAR er 10:11 (704\u00d710 \/ 480\u00d711).<\/p><\/blockquote>\n

\nAnd finally, we can define en video<\/b> as a sequence of n<\/b> frames over a period tid<\/b>, which can be considered an additional dimension. And n<\/b> then \u2014 this is frame rate or the number of frames per second (FPS<\/b> \u2014 fra Frames per Second<\/i>).<\/p>\n

\"Hvordan
\n
\nThe number of bits per second needed to show video is its bitrate<\/b> \u2014 bitrate = width * height * bit depth * frames per second<\/b>.<\/p>\n

For example, for a video with 30 frames per second, 24 bits per pixel, resolution of 480\u00d7240, it will require 82,944,000 bits per second or 82,944 Mbps (30x480x240x24) \u2014 but this is if no compression methods are used.<\/p><\/blockquote>\n

\nFor eksempel kr\u00e6ver video med 30 billeder i sekunder, 24 bit pr. pixel og en opl\u00f8sning p\u00e5 480\u00d7240 82.944.000 bit pr. sekund eller 82.944 Mbit\/s (30x480x240x24) \u2014 men det er uden at bruge nogen kompressionsmetoder.<\/p>\n

is almost constant , it is called<\/i>constant bit rate CBR<\/b> (constant bit rate<\/b> \u2014 fra ). But it can also vary, in which case it is called<\/i>variable bit rate VBR<\/b> (variable bit rate<\/b> \u2014 fra This graph demonstrates limited VBR, where not too many bits are used in the case of a completely dark frame.<\/i>).<\/p>\n

Initially, engineers developed a method to double the perceived frame rate of the video display without using additional bandwidth. This method is known as<\/p>\n

\"Hvordan
\n
\ninterlaced video tv\u00e6rg\u00e5ende video<\/b>; det meste sender det halvdelen af sk\u00e6rmen i det f\u00f8rste \"billede\", og den anden halvdel i det n\u00e6ste \"billede\".<\/p>\n

I \u00f8jeblikket sker visualiseringen af scener hovedsageligt ved hj\u00e6lp af progressiv scanning teknologi<\/b>. Det er en metode til at vise, gemme eller transmittere bev\u00e6gelsesbilleder, hvor alle linjer i hvert billede tegnes sekventielt.<\/p>\n

\"Hvordan
\n
\nN\u00e5, nu er vi klar over, hvordan et billede pr\u00e6senteres digitalt, hvordan dets farver er sammensat, hvor mange bit per sekund vi bruger til at vise videoen, hvis transmissionen er konstant (CBR) eller variabel (VBR). Vi kender den specificerede opl\u00f8sning med en bestemt billedfrekvens og har f\u00e5et kendskab til mange andre termer som interlaced video, PAR og nogle andre.<\/p>\n

Fjernelse af redundans<\/h2>\n

\nDet er kendt, at ukomprimeret video ikke kan anvendes. En times video med en opl\u00f8sning p\u00e5 720p og 30 billeder per sekund ville kr\u00e6ve 278 GB. Vi kommer til denne v\u00e6rdi ved at multiplicere 1280 x 720 x 24 x 30 x 3600 (bredde, h\u00f8jde, bit per pixel, FPS og tid i sekunder).<\/p>\n

Brugen af tabsfrie komprimeringsalgoritmer<\/b>, s\u00e5som DEFLATE (som bruges i PKZIP, Gzip og PNG), vil ikke give tilstr\u00e6kkelig reduktion af den n\u00f8dvendige b\u00e5ndbredde. Vi m\u00e5 finde andre m\u00e5der at komprimere video p\u00e5.<\/p>\n

Til dette kan vi udnytte karakteristika ved vores syn. Vi skelner bedre mellem lysstyrke end farver. Video er en samling af sekventielle billeder, der gentages over tid. Mellem to n\u00e6rliggende billeder i en scene er forskellene sm\u00e5. Derudover indeholder hvert billede mange omr\u00e5der, der bruger samme (eller lignende) farve.<\/p>\n

Farve, lysstyrke og vores \u00f8jne<\/h2>\n

\nVores \u00f8jne er mere f\u00f8lsomme over for lysstyrke end for farve. Du kan selv bevidne dette ved at se p\u00e5 dette billede.<\/p>\n

\"Hvordan<\/p>\n

Hvis du ikke kan se, at farverne p\u00e5 kvadraterne i den venstre halvdel af billedet A<\/b> og B<\/b> faktisk er ens, s\u00e5 er det helt normalt. Vores hjerne f\u00e5r os til at fokusere mere p\u00e5 lys og skygge end p\u00e5 farve. P\u00e5 den h\u00f8jre side er der en forbindelse af samme farve mellem de markerede kvadrater \u2014 derfor identificerer vi (alts\u00e5 vores hjerne) nemt, at farven faktisk er den samme.<\/p>\n

Lad os se (forenklet) p\u00e5, hvordan vores \u00f8jne fungerer. \u00d8jet er et komplekst organ, der best\u00e5r af mange dele. Men vi er mest interesseret i tapper og stave. \u00d8jet indeholder cirka 120 millioner stave og 6 millioner tapper.<\/p>\n

Lad os betragte farve- og lysopfattelse som separate funktioner af bestemte dele af \u00f8jet (i virkeligheden er det lidt mere kompliceret, men vi forenkler). Stavecellerne er prim\u00e6rt ansvarlige for lysstyrken, mens tappene er ansvarlige for farven. Tappe inddeles i tre typer, afh\u00e6ngigt af det indeholdte pigment: S-tappe (bl\u00e5 farve), M-tappe (gr\u00f8n farve) og L-tappe (r\u00f8d farve).<\/p>\n

Da vi har langt flere stave (lys) end tapper (farve), kan vi konkludere, at vi er mere i stand til at skelne mellem overgange mellem m\u00f8rke og lys end mellem farver.<\/p>\n

\"Hvordan
\n<\/p>\n

Funktionerne af kontrastf\u00f8lsomhed<\/h2>\n

\nForskere inden for eksperimentel psykologi og mange andre omr\u00e5der har udviklet mange teorier om menneskets syn. En af dem kaldes funktionerne af kontrastf\u00f8lsomhed<\/b>. De relaterer sig til rumligt og tempor\u00e6rt lys. Kort sagt handler det om, hvor mange \u00e6ndringer der skal til, f\u00f8r observat\u00f8ren bem\u00e6rker dem. V\u00e6r opm\u00e6rksom p\u00e5 flertalsformen af \"funktion\". Dette skyldes, at vi kan m\u00e5le kontrastf\u00f8lsomhedsfunktioner ikke kun for sort-hvide billeder, men ogs\u00e5 for farvede. Resultaterne af disse eksperimenter viser, at vores \u00f8jne i de fleste tilf\u00e6lde er mere f\u00f8lsomme over for lysstyrke end til farve.<\/p><\/blockquote>\n

Da det er kendt, at vi er mere f\u00f8lsomme over for lysstyrken i billedet, kan vi fors\u00f8ge at udnytte dette faktum.<\/p>\n

Farvemodel<\/h2>\n

\nVi har f\u00e5et en id\u00e9 om, hvordan man arbejder med farvebilleder ved hj\u00e6lp af RGB-scheme. Der er ogs\u00e5 andre modeller. Der findes en model, der adskiller lysstyrke fra farve, og den kaldes YCbCr<\/b>. I \u00f8vrigt er der ogs\u00e5 andre modeller, der g\u00f8r en lignende opdeling, men vi vil kun se p\u00e5 denne.<\/p>\n

I denne farvemodel Y<\/b> repr\u00e6senterer lysstyrken, og der bruges to farvekanaler: Cb<\/b> (m\u00e6ttet bl\u00e5) og Cr<\/b> (dyb r\u00f8d). YCbCr kan f\u00e5s fra RGB, ligesom det er muligt med den omvendte transformation. Ved at bruge denne model kan vi skabe billeder i fuld farve, som vi ser nedenfor:<\/p>\n

\"Hvordan
\n<\/p>\n

Transformation mellem YCbCr og RGB<\/h2>\n

\nNogen vil m\u00e5ske indvende: hvordan er det muligt at f\u00e5 alle farver, hvis gr\u00f8n ikke bruges?<\/p>\n

For at besvare dette sp\u00f8rgsm\u00e5l omformer vi RGB til YCbCr. Vi bruger koefficienterne, der er fastlagt i standarden BT.601<\/b>, som anbefales af divisionen ITU-R<\/b>. Denne division definerer standarder for digital video. For eksempel: hvad er 4K? Hvilken billedfrekvens, opl\u00f8sning, farvemodel skal der v\u00e6re?<\/p>\n

F\u00f8rst beregner vi lysstyrken. Vi bruger de konstanter, som ITU foresl\u00e5r, og erstatter RGB-v\u00e6rdierne.<\/p>\n

Y<\/b> = 0.299R<\/b> + 0.587G<\/b> + 0.114B<\/b> <\/p>\n

N\u00e5r vi har f\u00e5et lysstyrken, separerer vi den bl\u00e5 og r\u00f8de farve:<\/p>\n

Cb<\/b> = 0.564(B<\/b> \u2014 Y<\/b>)<\/p>\n

Cr<\/b> = 0.713(R<\/b> \u2014 Y<\/b>) <\/p>\n

Og vi kan ogs\u00e5 konvertere tilbage og endda f\u00e5 gr\u00f8n ved hj\u00e6lp af YCbCr:<\/p>\n

R<\/b> = Y<\/b> + 1.402Cr<\/b><\/p>\n

B<\/b> = Y<\/b> + 1.772Cb<\/b><\/p>\n

G<\/b> = Y<\/b> \u2014 0.344Cb<\/b> \u2014 0.714Cr<\/b><\/p>\n

Generelt bruger sk\u00e6rme (monitorer, fjernsyn, sk\u00e6rme osv.) kun RGB-modellen. Men denne model kan struktureres p\u00e5 forskellige m\u00e5der:<\/p>\n

\"Hvordan
\n<\/p>\n

Farvesubpr\u00f8ve<\/h2>\n

\nMed billedet pr\u00e6senteret som en kombination af lysstyrke og krominans kan vi udnytte den menneskelige syns h\u00f8jere f\u00f8lsomhed over for lysstyrke end farve, hvis vi selektivt fjerner information. Farvesubdiscretisering er en metode til billedkodning, som anvender en lavere opl\u00f8sning for krominansen end for lysstyrken.<\/p>\n

\"Hvordan<\/p>\n

Hvor meget kan vi tillade at reducere farveskalaen?! Det viser sig, at der allerede findes nogle skemaer, der beskriver, hvordan man h\u00e5ndterer opl\u00f8sning og fusion (Slutfarve = Y + Cb + Cr).<\/p>\n

Disse skemaer er kendt som subdiscretiseringssystemer<\/b> og udtrykkes som et 3:1-forhold \u2014 en<\/b>:x<\/b>:y<\/b>, som bestemmer antallet af pr\u00f8ver af lysstyrke- og farveforskelle.<\/p>\n

en<\/b> \u2014 reference horisontal sampling (normalt lig med 4)
\nx<\/b> \u2014 antallet af pr\u00f8ver af krominans i den f\u00f8rste r\u00e6kke af pixels (horisontal opl\u00f8sning i forhold til en<\/b>)
\ny<\/b> \u2014 antallet af \u00e6ndringer i pr\u00f8ver af krominans mellem den f\u00f8rste og anden r\u00e6kke af pixels.<\/p>\n

Undtagelsen er 4<\/b>:1<\/b>:0<\/b>, som sikrer \u00e9n pr\u00f8ve af krominans i hver blok af lysstyrkeopl\u00f8sning 4 med 4.<\/p><\/blockquote>\n

De almindelige skemaer, der anvendes i moderne codecs:<\/p>\n