비디오 코덱은 어떻게 작동하나요? 1부: 기본사항

두 번째 부분 : 비디오 코덱 작동 방식

모든 래스터 영상 형태로 표현될 수 있다 XNUMX차원 행렬. 색상에 관해서는 이미지를 보고 아이디어를 발전시킬 수 있습니다. XNUMX차원 행렬, 각 색상에 대한 데이터를 저장하기 위해 추가 차원이 사용됩니다.

최종 색상을 소위 조합으로 간주하면. 기본 색상(빨간색, 녹색 및 파란색)을 XNUMX차원 행렬에서 정의합니다. 첫 번째 평면은 빨간색, 두 번째 평면은 녹색, 마지막 평면은 파란색입니다.

이 행렬의 각 점을 픽셀(이미지 요소)이라고 부릅니다. 각 픽셀에는 각 색상의 강도(일반적으로 숫자 값)에 대한 정보가 포함되어 있습니다. 예를 들어, 빨간색 픽셀 이는 녹색이 0개, 파란색이 0개 및 최대 빨간색이 포함되어 있음을 의미합니다. 핑크 픽셀 세 가지 색상을 조합하여 만들 수 있습니다. 0에서 255까지의 숫자 범위를 사용하여 분홍색 픽셀은 다음과 같이 정의됩니다. 빨간색 = 255, 녹색 = 192 и 파란색 = 203.

이 기사는 EDISON의 지원으로 출판되었습니다.

우리는 개발 중입니다 비디오 감시, 비디오 스트리밍 애플리케이션, 그리고 우리는 약혼했어요 수술실에서 영상녹화.

컬러 이미지를 인코딩하는 다른 방법

이미지를 구성하는 색상을 표현하는 다른 모델도 많이 있습니다. 예를 들어, RGB 모델을 사용할 때 2바이트가 필요한 대신 각 픽셀을 표현하는 데 3바이트만 필요한 인덱스 팔레트를 사용할 수 있습니다. 이러한 모델에서는 XNUMX차원 행렬 대신 XNUMX차원 행렬을 사용하여 각 색상을 표현하는 것이 가능합니다. 이렇게 하면 메모리가 절약되지만 색 영역이 더 작아집니다.

RGB

예를 들어, 아래 사진을 살펴보세요. 첫 번째 면이 완전히 칠해졌습니다. 나머지는 빨간색, 녹색 및 파란색 평면입니다(해당 색상의 강도는 회색조로 표시됨).

우리는 원본의 빨간색 음영이 두 번째 면의 가장 밝은 부분이 관찰되는 동일한 위치에 있음을 알 수 있습니다. 파란색의 기여는 주로 마리오의 눈(마지막 얼굴)과 옷의 요소에서만 볼 수 있습니다. 세 가지 색상면이 모두 가장 적게 기여하는 부분(이미지의 가장 어두운 부분)인 Mario의 콧수염을 확인하세요.

각 색상의 강도를 저장하려면 특정 수의 비트가 필요합니다. 이 양을 호출합니다. 비트 심도. 색상 평면당 8비트(0에서 255 사이의 값을 기준으로)가 소비된다고 가정해 보겠습니다. 그러면 색 심도는 24비트(8비트 * 3 R/G/B 평면)입니다.

이미지의 또 다른 속성은 해결책, 이는 한 차원의 픽셀 수입니다. 종종 다음과 같이 표시됩니다. 너비 × 높이, 아래의 4x4 예시 이미지와 같습니다.


이미지/비디오 작업 시 다루는 또 다른 속성은 다음과 같습니다. 종횡비, 이미지나 픽셀의 너비와 높이 사이의 일반적인 비례 관계를 설명합니다.

특정 영화나 사진의 크기가 16 x 9라고 말할 때 일반적으로 다음을 의미합니다. 디스플레이 종횡비 (DAR -부터 디스플레이 종횡비). 그러나 때로는 개별 픽셀의 모양이 다를 수 있습니다. 이 경우에는 픽셀 비율 (PAR -부터 픽셀 종횡비).

안주인에게 참고할 사항: DVD 일치 DAR 4~3

실제 DVD 해상도는 704x480이지만 PAR이 4:3(10x11 / 704x10)이기 때문에 여전히 480:11 화면비를 유지합니다.

그리고 마지막으로 우리는 결정할 수 있습니다 비디오 마치 일련의 n 해당 기간의 프레임 시간, 이는 추가적인 차원으로 간주될 수 있습니다. ㅏ n 다음은 프레임 속도 또는 초당 프레임 수입니다(FPS -부터 초당 프레임).

비디오를 표시하는 데 필요한 초당 비트 수는 전송 속도 - 비트 전송률.

비트 전송률 = 너비 * 높이 * 비트 심도 * 초당 프레임 수

예를 들어, 30fps, 24bps, 480x240 비디오에는 82,944,000bps 또는 82,944Mbps(30x480x240x24)가 필요하지만 압축 방법을 사용하지 않는 경우입니다.

전송속도라면 거의 일정한, 그런 다음 호출됩니다. 일정한 전송 속도 (CBR -부터 일정한 비트 전송률). 하지만 다를 수도 있습니다. 이 경우에는 가변 전송 속도 (VBR -부터 가변 비트 전송률).

이 그래프는 완전히 어두운 프레임의 경우 너무 많은 비트가 낭비되지 않는 제한된 VBR을 보여줍니다.

엔지니어들은 처음에 추가 대역폭을 사용하지 않고 비디오 디스플레이의 인식 프레임 속도를 두 배로 늘리는 방법을 개발했습니다. 이 방법은 다음과 같이 알려져 있습니다. 인터레이스된 비디오; 기본적으로 첫 번째 "프레임"에 화면 절반을 보내고 다음 "프레임"에 나머지 절반을 보냅니다.

현재 장면은 대부분 다음을 사용하여 렌더링됩니다. 프로그레시브 스캐닝 기술. 각 프레임의 모든 선이 순차적으로 그려지는 동영상을 표시, 저장 또는 전송하는 방법입니다.

잘! 이제 우리는 이미지가 디지털 방식으로 표현되는 방식, 색상이 어떻게 배열되는지, 비트 전송률이 상수(CBR)인지 가변(VBR)인지에 따라 비디오를 표시하는 데 사용되는 초당 비트 수를 알고 있습니다. 우리는 주어진 프레임 속도를 사용하여 주어진 해상도에 대해 알고 있으며 인터레이스 비디오, PAR 등과 같은 다른 많은 용어에도 익숙합니다.

중복 제거

압축하지 않은 영상은 정상적으로 사용할 수 없는 것으로 알려져 있습니다. 720p 해상도와 초당 30프레임의 278시간짜리 비디오는 1280GB를 차지합니다. 720 x 24 x 30 x 3600 x XNUMX(너비, 높이, 픽셀당 비트 수, FPS 및 시간(초))을 곱하여 이 값에 도달합니다.

사용 무손실 압축 알고리즘, DEFLATE(PKZIP, Gzip 및 PNG에 사용됨)와 같이 필요한 대역폭을 충분히 줄이지 않습니다. 우리는 비디오를 압축하는 다른 방법을 찾아야 합니다.

이를 위해 우리 비전의 기능을 사용할 수 있습니다. 우리는 색상보다 밝기를 더 잘 구별합니다. 비디오는 시간이 지남에 따라 반복되는 일련의 연속 이미지입니다. 동일한 장면의 인접한 프레임 간에는 작은 차이가 있습니다. 또한 각 프레임에는 동일한(또는 유사한) 색상을 사용하는 많은 영역이 포함되어 있습니다.

색상, 밝기 및 눈

우리의 눈은 색상보다 밝기에 더 민감합니다. 이 사진을 보시면 직접 보실 수 있습니다.

이미지의 왼쪽 절반에 표시되지 않으면 사각형의 색상이 표시됩니다. A и B 실제로 동일하다면 정상입니다. 우리의 뇌는 색보다는 명암에 더 많은 주의를 기울이도록 강요합니다. 지정된 사각형 사이의 오른쪽에는 동일한 색상의 점퍼가 있습니다. 따라서 우리(즉, 뇌)는 실제로 동일한 색상임을 쉽게 판단할 수 있습니다.

우리의 눈이 어떻게 작동하는지 (간단한 방식으로) 살펴보겠습니다. 눈은 많은 부분으로 구성된 복잡한 기관입니다. 그러나 우리는 원뿔과 막대에 가장 관심이 있습니다. 눈에는 약 120억 6천만 개의 간상체와 XNUMX만 개의 원뿔이 있습니다.

색상과 밝기에 대한 인식을 눈의 특정 부분의 개별 기능으로 생각해 봅시다(사실 모든 것이 다소 복잡하지만 단순화하겠습니다). 간상세포는 주로 밝기를 담당하고, 원뿔세포는 색상을 담당합니다. 콘은 포함된 색소에 따라 S콘(파란색), M콘(녹색), L콘(빨간색)의 세 가지 유형으로 나뉩니다.

원뿔(색상)보다 막대(밝기)가 더 많기 때문에 색상보다 어두움과 밝음 사이의 전환을 더 잘 구별할 수 있다는 결론을 내릴 수 있습니다.

대비 감도 기능

실험 심리학과 기타 여러 분야의 연구자들은 인간 시각에 관한 많은 이론을 개발했습니다. 그리고 그 중 하나가 호출됩니다. 대비 감도 기능. 이는 공간적 및 시간적 조명과 관련이 있습니다. 간단히 말해서, 관찰자가 알아차리기까지 얼마나 많은 변경이 필요한지에 관한 것입니다. "기능"이라는 단어의 복수형에 주목하세요. 이는 흑백 이미지뿐만 아니라 컬러 이미지에 대해서도 대비 감도 기능을 측정할 수 있기 때문입니다. 이 실험의 결과는 대부분의 경우 우리의 눈이 색상보다 밝기에 더 민감하다는 것을 보여줍니다.

우리는 이미지 밝기에 더 민감하다는 것을 알고 있으므로 이 사실을 활용해 볼 수 있습니다.

색상 모델

우리는 RGB 구성표를 사용하여 컬러 이미지로 작업하는 방법을 조금 알아냈습니다. 다른 모델도 있습니다. 휘도와 채도를 분리하는 모델이 있는데, 이를 '채도'라고 합니다. YCbCr. 그건 그렇고, 유사한 구분을 만드는 다른 모델이 있지만 우리는 이것만 고려할 것입니다.

이 색상 모델에서는 Y 밝기를 표현하며 두 가지 색상 채널도 사용합니다. Cb (풍부한 파란색) 및 Cr (풍부한 빨간색). YCbCr은 RGB에서 파생될 수 있으며 역변환도 가능합니다. 이 모델을 사용하면 아래와 같이 풀 컬러 이미지를 만들 수 있습니다.

YCbCr과 RGB 간 변환

누군가 반대할 것입니다. 녹색을 사용하지 않으면 어떻게 모든 색상을 얻을 수 있습니까?

이 질문에 답하기 위해 RGB를 YCbCr로 변환해 보겠습니다. 표준에서 채택한 계수를 사용하자 BT.601, 부대에서 추천한 것 ITU-R. 이 부문은 디지털 비디오의 표준을 설정합니다. 예: 4K란 무엇입니까? 프레임 속도, 해상도, 색상 모델은 무엇이어야 합니까?

먼저 밝기를 계산해 봅시다. ITU에서 제안한 상수를 사용하고 RGB 값을 대체해 보겠습니다.

Y = 0.299R + 0.587G + 0.114B

밝기가 확보되면 파란색과 빨간색을 분리합니다.

Cb = 0.564(B - Y)

Cr = 0.713(R - Y)

또한 YCbCr을 사용하여 다시 변환하고 녹색을 얻을 수도 있습니다.

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y - 0.344Cb - 0.714Cr

일반적으로 디스플레이(모니터, TV, 화면 등)는 RGB 모델만 사용합니다. 하지만 이 모델은 다양한 방식으로 구성될 수 있습니다.

색상 서브샘플링

휘도와 색차의 조합으로 표현된 이미지를 통해 정보를 선택적으로 제거함으로써 색차보다 휘도에 대한 인간 시각 시스템의 더 큰 민감도를 활용할 수 있습니다. 크로마 서브샘플링은 휘도보다 크로마에 대한 낮은 해상도를 사용하여 이미지를 인코딩하는 방법입니다.

컬러해상도를 얼마나 줄이는 것이 허용되나요?! 해상도와 병합을 처리하는 방법을 설명하는 몇 가지 다이어그램이 이미 있는 것으로 나타났습니다(결과 색상 = Y + Cb + Cr).

이러한 계획은 다음과 같이 알려져 있습니다. 다운샘플링 시스템 3배 비율로 표현됩니다. a:x:y, 휘도 및 색차 신호의 샘플 수를 결정합니다.

a — 수평 샘플링 표준(보통 4와 동일)
x — 픽셀의 첫 번째 행에 있는 크로마 샘플 수(수평 해상도 a)
y — 픽셀의 첫 번째 행과 두 번째 행 사이의 크로마 샘플 변화 수입니다.

예외는 4:1:0, 각 4x4 휘도 해상도 블록에 하나의 크로마 샘플을 제공합니다.

최신 코덱에 사용되는 일반적인 체계:

• 4:4:4 (다운샘플링 없음)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 - 융합 예

다음은 YCbCr 4:2:0을 사용하여 병합된 이미지입니다. 우리는 픽셀당 12비트만 소비하고 있다는 점에 유의하세요.

이는 주요 유형의 색상 서브샘플링으로 인코딩된 동일한 이미지의 모습입니다. 첫 번째 행은 최종 YCbCr이고, 맨 아래 행은 크로마 해상도를 나타냅니다. 약간의 품질 저하를 고려하면 매우 괜찮은 결과입니다.

278p 해상도와 초당 720프레임으로 한 시간 분량의 비디오 파일을 저장하기 위해 30GB의 저장 공간을 계산했던 것을 기억하십니까? YCbCr 4:2:0을 사용하면 이 크기는 139GB로 절반으로 줄어듭니다. 아직까지는 받아들일 수 있는 결과와는 거리가 멀다.

FFmpeg를 사용하여 YCbCr 히스토그램을 직접 얻을 수 있습니다. 이 이미지에서는 파란색이 빨간색보다 지배적이며 이는 히스토그램 자체에서 명확하게 볼 수 있습니다.

색상, 밝기, 색 영역 - 비디오 검토

이 멋진 비디오를 시청하는 것이 좋습니다. 밝기가 무엇인지 설명하고 일반적으로 모든 점이 점선으로 표시됩니다. ё 밝기와 색상에 대해.

프레임 유형

계속 진행합시다. 시간 중복을 제거해 봅시다. 하지만 먼저 몇 가지 기본 용어를 정의해 보겠습니다. 초당 30프레임의 영화가 있다고 가정해 보겠습니다. 여기에 처음 4개의 프레임이 있습니다.

프레임에서 많은 반복을 볼 수 있습니다. 예를 들어 프레임마다 변경되지 않는 파란색 배경이 있습니다. 이 문제를 해결하기 위해 추상적으로 세 가지 유형의 프레임으로 분류할 수 있습니다.

I-프레임(I엔트로 프레임)

I-프레임(참조 프레임, 키 프레임, 내부 프레임)은 독립적입니다. 시각화하려는 내용에 관계없이 I-프레임은 기본적으로 정적 사진입니다. 첫 번째 프레임은 일반적으로 I-프레임이지만 첫 번째 프레임이 아닌 경우에도 정기적으로 I-프레임을 관찰합니다.

P-프레임(P프레임이 재지정됨)

P-프레임(예측 프레임)은 거의 항상 이전 프레임을 사용하여 현재 이미지를 재현할 수 있다는 점을 활용합니다. 예를 들어, 두 번째 프레임에서 유일한 변화는 공이 앞으로 움직이는 것뿐입니다. 프레임 2을 약간 수정하고 프레임 간의 차이만 사용하여 프레임 1를 얻을 수 있습니다. 프레임 2를 구성하려면 이전 프레임 1을 참조합니다.

←

B 프레임(Bi-예측 프레임)

더 나은 압축을 제공하기 위해 과거뿐만 아니라 미래 프레임에 대한 링크는 어떻습니까?! 이는 기본적으로 B-프레임(양방향 프레임)입니다.

← →

중간 인출

이러한 프레임 유형은 가능한 최상의 압축을 제공하는 데 사용됩니다. 다음 섹션에서 이것이 어떻게 발생하는지 살펴보겠습니다. 지금은 소비되는 메모리 측면에서 가장 "비싼" 것이 I-프레임이고, P-프레임이 눈에 띄게 저렴하지만 비디오에 가장 수익성이 높은 옵션은 B-프레임이라는 점을 알아두겠습니다.

시간적 중복성(프레임 간 예측)

시간이 지남에 따라 반복을 최소화하기 위해 어떤 옵션이 있는지 살펴보겠습니다. 교차 예측 방법을 사용하여 이러한 유형의 중복성을 해결할 수 있습니다.

우리는 프레임 0과 1의 시퀀스를 인코딩하기 위해 가능한 한 적은 비트를 사용하려고 노력할 것입니다.

우리는 생산할 수 있습니다 빼기, 우리는 단순히 프레임 1에서 프레임 0을 뺍니다. 프레임 1을 얻고 이전 프레임과의 차이만 사용하며 실제로 결과 나머지만 인코딩합니다.

하지만 더 적은 비트를 사용하는 더 나은 방법이 있다고 말하면 어떨까요?! 먼저 프레임 0을 블록으로 구성된 명확한 격자로 나누겠습니다. 그런 다음 프레임 0의 블록을 프레임 1과 일치시키려고 합니다. 즉, 프레임 간의 움직임을 추정합니다.

위키피디아에서 - 블록 모션 보상

블록 모션 보상은 현재 프레임을 겹치지 않는 블록으로 나누고 모션 보상 벡터는 블록의 원점을 보고합니다(일반적인 오해는 다음과 같습니다). 이전 프레임은 겹치지 않는 블록으로 나누어지고 모션 보상 벡터는 해당 블록이 어디로 가는지 알려줍니다. 그러나 실제로는 그 반대입니다. 분석되는 것은 이전 프레임이 아니라 다음 프레임입니다. 블록이 어디로 이동하고 있는지는 확실하지 않지만 어디서 왔는지는 확실하지 않습니다. 일반적으로 소스 블록은 소스 프레임에서 겹칩니다. 일부 비디오 압축 알고리즘은 하나가 아닌 이전에 전송된 여러 프레임의 일부로 현재 프레임을 조합합니다.

평가 과정에서 공이 (x= 0, y=25) by (x= 6, y=26), 값 x и y 모션 벡터를 결정합니다. 비트를 보존하기 위해 할 수 있는 또 다른 단계는 마지막 블록 위치와 예측된 위치 사이의 모션 벡터 차이만 인코딩하는 것입니다. 따라서 최종 모션 벡터는 (x=6-0=6, y=26-25=1)입니다. ).

실제 상황에서 이 공은 다음과 같이 나누어집니다. n 차단하지만 이것이 문제의 본질을 바꾸지는 않습니다.

프레임의 개체는 XNUMX차원으로 이동하므로 공이 움직일 때 시각적으로 작아질 수 있습니다(또는 보는 사람 쪽으로 움직일 경우 더 커질 수 있습니다). 블록 사이에 완벽한 일치가 없는 것은 정상입니다. 저희의 추정치와 실제 사진을 결합한 모습입니다.

그러나 모션 추정을 사용할 때 프레임 간 델타를 계산하는 간단한 방법을 사용할 때보다 코딩할 데이터가 눈에 띄게 적다는 것을 알 수 있습니다.

실제 모션 보상은 어떤 모습일까요?

이 기술은 모든 블록에 동시에 적용됩니다. 조건부로 움직이는 공은 한 번에 여러 블록으로 나누어지는 경우가 많습니다.

다음을 사용하여 이러한 개념에 대한 느낌을 직접 얻을 수 있습니다. 주피터.

모션 벡터를 보려면 다음을 사용하여 외부 예측 비디오를 만들 수 있습니다. ffmpeg.

당신은 또한 사용할 수 있습니다 인텔 비디오 프로 분석기 (유료이지만 처음 XNUMX개 프레임으로만 제한된 무료 평가판이 있습니다).

공간 중복성(내부 예측)

비디오의 각 프레임을 분석하면 상호 연결된 영역을 많이 찾을 수 있습니다.

이 예를 살펴보겠습니다. 이 장면은 주로 파란색과 흰색으로 구성되어 있습니다.

I-프레임입니다. 예측을 위해 이전 프레임을 사용할 수는 없지만 압축할 수는 있습니다. 빨간색 블록의 선택을 인코딩해 보겠습니다. 이웃을 보면 주변에 몇 가지 색상 추세가 있음을 알 수 있습니다.

프레임 내에서 색상이 수직으로 퍼져 있다고 가정합니다. 즉, 알려지지 않은 픽셀의 색상에는 이웃 픽셀의 값이 포함됩니다.

그러한 예측은 잘못된 것으로 판명될 수도 있습니다. 이러한 이유로 이 방법(내부 예측)을 적용한 다음 실제 값을 빼야 합니다. 이렇게 하면 잔여 블록이 생성되어 원본에 비해 훨씬 더 압축된 행렬이 생성됩니다.

내부 예측을 연습하고 싶다면 ffmpeg를 사용하여 매크로블록과 해당 예측에 대한 비디오를 만들 수 있습니다. 각 블록 색상의 의미를 이해하려면 ffmpeg 문서를 읽어야 합니다.

또는 Intel Video Pro Analyser를 사용할 수 있습니다(위에서 언급했듯이 무료 평가판 버전은 처음 10프레임으로 제한되지만 처음에는 이 정도면 충분합니다).

두 번째 부분 : 비디오 코덱 작동 방식

출처 : habr.com