{"id":54312,"date":"2019-12-23T00:00:00","date_gmt":"2019-12-22T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/kak-rabotaet-videokodek-chast-1-osnovy"},"modified":"2020-02-18T14:02:18","modified_gmt":"2020-02-18T11:02:18","slug":"kak-rabotaet-videokodek-chast-1-osnovy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/kak-rabotaet-videokodek-chast-1-osnovy","title":{"rendered":"Como funciona um codec de v\u00eddeo. Parte 1. Fundamentos","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

segunda parte: Princ\u00edpios de funcionamento do codec de v\u00eddeo<\/a><\/noindex><\/h3>\n

Qualquer imagem rasterizada pode ser representada como<\/b> uma matriz bidimensional . Quando falamos sobre cores, a ideia pode ser desenvolvida considerando a imagem como uma<\/b>matriz tridimensional , onde dimens\u00f5es adicionais s\u00e3o utilizadas para armazenar dados sobre cada uma das cores.<\/b>Se considerarmos a cor final como uma combina\u00e7\u00e3o dos chamados cores prim\u00e1rias (vermelho, verde e azul), em nossa matriz tridimensional definimos tr\u00eas planos: o primeiro para a cor vermelha, o segundo para a verde e o \u00faltimo para a azul.<\/p>\n

Chamaremos cada ponto dessa matriz de pixel (elemento da imagem). Cada pixel cont\u00e9m informa\u00e7\u00f5es sobre a intensidade (geralmente em forma de um valor num\u00e9rico) de cada cor. Por exemplo,
\n\"Como<\/a><\/noindex>
\num pixel vermelho significa que ele tem 0 de verde, 0 de azul e o m\u00e1ximo de vermelho.<\/b> Um pixel rosa pode ser formado atrav\u00e9s da combina\u00e7\u00e3o das tr\u00eas cores. Usando uma faixa num\u00e9rica de 0 a 255, um pixel rosa \u00e9 definido como<\/b> Vermelho = 255 Verde = 192<\/b>, Azul = 203<\/b> e Este artigo foi publicado com o apoio da empresa EDISON.<\/b>.<\/a><\/noindex><\/p>\n

\"Como<\/a><\/noindex>

\nDesenvolvemos<\/p>\n

aplicativos para vigil\u00e2ncia, v\u00eddeo sob demanda grava\u00e7\u00e3o de v\u00eddeo na sala de cirurgia<\/a><\/noindex>, al\u00e9m de nos dedicarmos Maneiras alternativas de codifica\u00e7\u00e3o de imagens coloridas<\/a><\/noindex>.<\/p><\/blockquote>\n

Para representar as cores que comp\u00f5em a imagem, h\u00e1 v\u00e1rias outras modelos. Por exemplo, \u00e9 poss\u00edvel usar uma paleta indexada, onde apenas um byte \u00e9 necess\u00e1rio para representar cada pixel, ao inv\u00e9s de tr\u00eas exigidos pela modelo RGB. Neste modelo, uma matriz 2D pode ser usada no lugar da matriz 3D para representar cada cor. Isso economiza mem\u00f3ria, mas oferece uma gama de cores menor.<\/h3>\n

\nRGB<\/p>\n

\"Como
\n<\/p>\n

Por exemplo, veja esta imagem abaixo. O primeiro rosto \u00e9 totalmente colorido. Os outros s\u00e3o os planos vermelho, verde e azul (intensidade das cores correspondentes mostrada em tons de cinza).<\/h2>\n

Nota-se que os matizes de vermelho no original estar\u00e3o nos mesmos lugares onde as partes mais brilhantes do segundo rosto s\u00e3o observadas. Enquanto a contribui\u00e7\u00e3o da cor azul pode ser vista principalmente apenas nos olhos de Mario (o \u00faltimo rosto) e nos elementos de suas roupas. Observe onde todos os tr\u00eas planos de cores contribuem menos (as partes mais escuras das imagens) \u2014 isso est\u00e1 nos bigodes de Mario.<\/p>\n

\"Como
\n
\nPodemos ver que os tons de vermelho no original estar\u00e3o nos mesmos locais onde s\u00e3o observadas as partes mais brilhantes do segundo rosto. Enquanto a contribui\u00e7\u00e3o da cor azul pode ser vista principalmente apenas nos olhos de Mario (o \u00faltimo rosto) e em elementos de suas roupas. Note onde todas as tr\u00eas superf\u00edcies de cor t\u00eam a menor contribui\u00e7\u00e3o (as partes mais escuras das imagens) \u2014 isso est\u00e1 nos bigodes de Mario.<\/p>\n

Para armazenar a intensidade de cada cor, \u00e9 necess\u00e1rio um determinado n\u00famero de bits \u2014 essa quantidade \u00e9 chamada de profundidade de bits<\/b>. Suponha que sejam utilizados 8 bits (considerando valores de 0 a 255) para um plano de cor. Ent\u00e3o, temos uma profundidade de cor de 24 bits (8 bits * 3 planos R\/G\/B).<\/p>\n

Outra propriedade da imagem \u00e9 resolu\u00e7\u00e3o<\/b>, que representa o n\u00famero de pixels em uma dimens\u00e3o. Frequentemente \u00e9 indicado como largura \u00d7 altura<\/b>, como mostrado na imagem de exemplo 4 por 4.
\n\"Como
\n
\nMais uma propriedade que lidamos ao trabalhar com imagens\/v\u00eddeos \u00e9 a propor\u00e7\u00e3o<\/b>, descrevendo a rela\u00e7\u00e3o proporcional comum entre a largura e a altura da imagem ou do pixel.<\/p>\n

Quando se diz que um filme ou imagem possui um tamanho de 16 por 9, geralmente se refere \u00e0 propor\u00e7\u00e3o de exibi\u00e7\u00e3o<\/b> (DAR<\/b> \u2014 da Display Aspect Ratio<\/i>). No entanto, \u00e0s vezes podem haver diferentes formas de pixels individuais \u2014 nesse caso, fala-se sobre a propor\u00e7\u00e3o de pixels<\/b> (PAR<\/b> \u2014 da Pixel Aspect Ratio<\/i>).<\/p>\n

\"Como
\n
\n\"Como<\/p>\n

Dica para as donas de casa: DVD<\/b> -n\u00f3, e o outro \u2014 DAR 4 por 3<\/b><\/p>\n

Embora a resolu\u00e7\u00e3o real do DVD seja 704\u00d7480, ela mant\u00e9m a propor\u00e7\u00e3o de aspecto 4:3, uma vez que o PAR \u00e9 10:11 (704\u00d710 \/ 480\u00d711).<\/p><\/blockquote>\n

\nE, finalmente, podemos definir v\u00eddeo<\/b> como uma sequ\u00eancia de n<\/b> quadros ao longo de um per\u00edodo de tempo<\/b>, que pode ser considerado uma dimens\u00e3o adicional. E n<\/b> ent\u00e3o \u2014 \u00e9 a taxa de quadros ou o n\u00famero de quadros por segundo (FPS<\/b> \u2014 da Frames per Second<\/i>).<\/p>\n

\"Como
\n
\nO n\u00famero de bits por segundo necess\u00e1rio para exibir o v\u00eddeo \u00e9 sua taxa de transfer\u00eancia<\/b> \u2014 bitrate<\/b>.<\/p>\n

bitrate = largura * altura * profundidade de bits * quadros por segundo<\/p><\/blockquote>\n

\nPor exemplo, para v\u00eddeo a 30 quadros por segundo, com 24 bits por pixel, uma resolu\u00e7\u00e3o de 480\u00d7240 exigir\u00e1 82.944.000 bits por segundo ou 82.944 Mbit\/s (30x480x240x24) \u2014 mas isso \u00e9 sem utilizar qualquer um dos m\u00e9todos de compress\u00e3o.<\/p>\n

Se a taxa de transfer\u00eancia for quase constante<\/i>, ela \u00e9 chamada de taxa de transfer\u00eancia constante<\/b> (CBR<\/b> \u2014 da constant bit rate<\/i>). Mas tamb\u00e9m pode variar, nesse caso \u00e9 chamada de taxa de transfer\u00eancia vari\u00e1vel<\/b> (VBR<\/b> \u2014 da variable bit rate<\/i>).<\/p>\n

Este gr\u00e1fico demonstra um VBR limitado, onde n\u00e3o s\u00e3o utilizados muitos bits em um quadro totalmente escuro.<\/p>\n

\"Como
\n
\nInicialmente, os engenheiros desenvolveram um m\u00e9todo para dobrar a frequ\u00eancia percebida dos quadros do v\u00eddeo sem usar largura de banda adicional. Esse m\u00e9todo \u00e9 conhecido como v\u00eddeo entrela\u00e7ado<\/b>; essencialmente, ele envia metade da tela no primeiro \"quadro\", e a outra metade no pr\u00f3ximo \"quadro\".<\/p>\n

Atualmente, a visualiza\u00e7\u00e3o de cenas ocorre principalmente usando tecnologia de varredura progressiva<\/b>. \u00c9 uma forma de exibir, armazenar ou transmitir imagens em movimento, onde todas as linhas de cada quadro s\u00e3o desenhadas sequencialmente.<\/p>\n

\"Como
\n
\nBem! Agora sabemos como uma imagem \u00e9 apresentada digitalmente, como suas cores s\u00e3o compostas, quantos bits por segundo gastamos para mostrar um v\u00eddeo, se a taxa de transmiss\u00e3o \u00e9 constante (CBR) ou vari\u00e1vel (VBR). Conhecemos a resolu\u00e7\u00e3o estabelecida com uma taxa de quadros determinada e familiarizamos-nos com muitos outros termos, como v\u00eddeo entrela\u00e7ado, PAR e alguns outros.<\/p>\n

Remo\u00e7\u00e3o de redund\u00e2ncia<\/h2>\n

\n\u00c9 sabido que v\u00eddeos sem compress\u00e3o n\u00e3o podem ser usados normalmente. Um v\u00eddeo de uma hora com resolu\u00e7\u00e3o 720p e taxa de 30 quadros por segundo ocuparia 278 GB. Chegamos a esse valor multiplicando 1280 x 720 x 24 x 30 x 3600 (largura, altura, bits por pixel, FPS e tempo em segundos).<\/p>\n

Uso algoritmos de compress\u00e3o sem perdas<\/b>, como DEFLATE (usado em PKZIP, Gzip e PNG), n\u00e3o proporcionar\u00e1 uma redu\u00e7\u00e3o de largura de banda suficiente. Precisamos procurar outras formas de compress\u00e3o de v\u00eddeo.<\/p>\n

Para isso, podemos usar caracter\u00edsticas da nossa vis\u00e3o. N\u00f3s percebemos melhor a luminosidade do que as cores. O v\u00eddeo \u00e9 um conjunto de imagens sequenciais que se repetem com o tempo. Entre quadros adjacentes de uma cena, as diferen\u00e7as s\u00e3o pequenas. Al\u00e9m disso, cada quadro cont\u00e9m muitas \u00e1reas que usam a mesma (ou similar) cor.<\/p>\n

Cor, luminosidade e nossos olhos<\/h2>\n

\nNossos olhos s\u00e3o mais sens\u00edveis \u00e0 luminosidade do que \u00e0 cor. Voc\u00ea pode verificar isso pessoalmente, observando esta imagem.<\/p>\n

\"Como<\/p>\n

Se voc\u00ea n\u00e3o v\u00ea que na metade esquerda da imagem as cores dos quadrados A<\/b> e B<\/b> s\u00e3o na verdade iguais, isso \u00e9 normal. Nosso c\u00e9rebro nos faz prestar mais aten\u00e7\u00e3o \u00e0s sombras e \u00e0 luz do que \u00e0 cor. \u00c0 direita, entre os quadrados destacados, h\u00e1 um espa\u00e7o da mesma cor \u2014 por isso n\u00f3s (ou seja, nosso c\u00e9rebro) facilmente determinamos que, na verdade, ali est\u00e1 a mesma cor.<\/p>\n

Vamos analisar (simplificadamente) como funcionam nossos olhos. O olho \u00e9 um \u00f3rg\u00e3o complexo, composto por muitas partes. No entanto, o que mais nos interessa s\u00e3o os cones e bastonetes. O olho cont\u00e9m cerca de 120 milh\u00f5es de bastonetes e 6 milh\u00f5es de cones.<\/p>\n

Vamos considerar a percep\u00e7\u00e3o de cor e luminosidade como fun\u00e7\u00f5es separadas de determinadas partes do olho (na verdade, a situa\u00e7\u00e3o \u00e9 um pouco mais complexa, mas vamos simplificar). As c\u00e9lulas do tipo bastonete s\u00e3o principalmente respons\u00e1veis pela luminosidade, enquanto as c\u00e9lulas do tipo cone respondem pela cor. Os cones s\u00e3o divididos em tr\u00eas tipos, dependendo do pigmento contido: cones S (azul), cones M (verde) e cones L (vermelho).<\/p>\n

Como temos muito mais bastonetes (luminosidade) do que cones (cor), podemos concluir que somos mais capazes de distinguir transi\u00e7\u00f5es entre escurid\u00e3o e luz do que entre cores.<\/p>\n

\"Como
\n<\/p>\n

Fun\u00e7\u00f5es de sensibilidade ao contraste<\/h2>\n

\nPesquisadores de psicologia experimental e de muitas outras \u00e1reas desenvolveram diversas teorias sobre a vis\u00e3o humana. E uma delas se chama fun\u00e7\u00f5es de sensibilidade ao contraste<\/b>. Elas est\u00e3o relacionadas \u00e0 ilumina\u00e7\u00e3o espacial e temporal. Em resumo, trata-se de quantas mudan\u00e7as s\u00e3o necess\u00e1rias antes que o observador as perceba. Observe que a palavra \"fun\u00e7\u00e3o\" est\u00e1 no plural. Isso se deve ao fato de que podemos medir fun\u00e7\u00f5es de sensibilidade ao contraste n\u00e3o apenas para imagens em preto e branco, mas tamb\u00e9m para imagens coloridas. Os resultados desses experimentos mostram que, na maioria das vezes, nossos olhos s\u00e3o mais sens\u00edveis \u00e0 luminosidade do que \u00e0 cor.<\/p><\/blockquote>\n

Sabendo que somos mais sens\u00edveis \u00e0 luminosidade da imagem, podemos tentar utilizar esse fato.<\/p>\n

Modelo de cor<\/h2>\n

\nN\u00f3s entendemos um pouco sobre como trabalhar com imagens coloridas usando o esquema RGB. Existem outros modelos. H\u00e1 um modelo que separa a luminosidade da cromaticidade e \u00e9 conhecido como YCbCr<\/b>. A prop\u00f3sito, existem outros modelos que fazem separa\u00e7\u00f5es semelhantes, mas vamos considerar apenas este.<\/p>\n

Neste modelo de cor Y<\/b> \u2014 \u00e9 a representa\u00e7\u00e3o da luminosidade, e tamb\u00e9m s\u00e3o utilizados dois canais de cor: Cb<\/b> (azul saturado) e Cr<\/b> (vermelho vibrante). YCbCr pode ser derivado do RGB, assim como a convers\u00e3o inversa \u00e9 poss\u00edvel. Usando este modelo, podemos criar imagens coloridas, como vemos abaixo:<\/p>\n

\"Como
\n<\/p>\n

Convers\u00e3o entre YCbCr e RGB<\/h2>\n

\nAlgu\u00e9m pode argumentar: como \u00e9 poss\u00edvel obter todas as cores sem o verde?<\/p>\n

Para responder a essa pergunta, vamos converter RGB em YCbCr. Usaremos os coeficientes aceitos no padr\u00e3o BT.601<\/b>, que foi recomendado pela divis\u00e3o ITU-R<\/b>. Esta divis\u00e3o define normas para v\u00eddeo digital. Por exemplo: o que \u00e9 4K? Quais devem ser a taxa de quadros, a resolu\u00e7\u00e3o, o modelo de cores?<\/p>\n

Primeiro, vamos calcular o brilho. Usaremos as constantes sugeridas pela ITU e substituiremos os valores RGB.<\/p>\n

Y<\/b> = 0.299R<\/b> + 0.587G<\/b> + 0.114B<\/b> <\/p>\n

Depois de obtermos o brilho, separaremos as cores azul e vermelha:<\/p>\n

Cb<\/b> = 0.564(B<\/b> \u2014 Y<\/b>)<\/p>\n

Cr<\/b> = 0.713(R<\/b> \u2014 Y<\/b>) <\/p>\n

E tamb\u00e9m podemos converter de volta e at\u00e9 obter o verde usando YCbCr:<\/p>\n

R<\/b> = Y<\/b> + 1.402Cr<\/b><\/p>\n

B<\/b> = Y<\/b> + 1.772Cb<\/b><\/p>\n

G<\/b> = Y<\/b> \u2014 0.344Cb<\/b> \u2014 0.714Cr<\/b><\/p>\n

Geralmente, os displays (monitores, televisores, telas etc.) utilizam apenas o modelo RGB. Mas esse modelo pode ser organizado de v\u00e1rias maneiras:<\/p>\n

\"Como
\n<\/p>\n

Subamostragem de cor<\/h2>\n

\nCom a imagem representada como uma combina\u00e7\u00e3o de brilho e cromaticidade, podemos usar a maior sensibilidade do sistema visual humano ao brilho do que \u00e0 cromaticidade, ao eliminar seletivamente informa\u00e7\u00f5es. A subsampla\u00e7agem de cores \u00e9 um m\u00e9todo de codifica\u00e7\u00e3o de imagens que usa uma resolu\u00e7\u00e3o menor para cromaticidade do que para brilho.<\/p>\n

\"Como<\/p>\n

Qu\u00e3o aceit\u00e1vel \u00e9 reduzir a resolu\u00e7\u00e3o da cromaticidade?! Aparentemente, j\u00e1 existem alguns esquemas que descrevem como manipular a resolu\u00e7\u00e3o e a fus\u00e3o (Cor final = Y + Cb + Cr).<\/p>\n

Esses esquemas s\u00e3o conhecidos como sistemas de subsampla\u00e7agem<\/b> e s\u00e3o expressos como uma raz\u00e3o de 3 a a<\/b>:x<\/b>:y<\/b>, que define o n\u00famero de amostras dos sinais de brilho e diferen\u00e7a de cor.<\/p>\n

a<\/b> \u2014 amostra horizontal padr\u00e3o (normalmente igual a 4)
\nx<\/b> \u2014 n\u00famero de amostras de cromaticidade na primeira linha de pixels (resolu\u00e7\u00e3o horizontal em rela\u00e7\u00e3o a a<\/b>)
\ny<\/b> \u2014 n\u00famero de mudan\u00e7as nas amostras de cromaticidade entre a primeira e a segunda linha de pixels.<\/p>\n

A exce\u00e7\u00e3o \u00e9 4<\/b>:1<\/b>:0<\/b>, que fornece uma amostra de cromaticidade em cada bloco de resolu\u00e7\u00e3o de brilho 4 por 4.<\/p><\/blockquote>\n

Esquemas comuns usados em codecs modernos:<\/p>\n