ビデオ コーデックはどのように機能しますか? パート 1: 基本

第二部： ビデオコーデックの仕組み

任意のラスター プレビュー 次の形式で表すことができます 二次元行列。 色に関しては、画像を次のように見ることでアイデアを発展させることができます。 三次元マトリックス、各色のデータを保存するために追加の次元が使用されます。

最終的な色をいわゆる組み合わせとして考えると。 原色 (赤、緑、青) を表すために、XNUMX 次元マトリックスで XNUMX つの平面を定義します。最初の平面は赤、XNUMX 番目は緑、最後の平面は青です。

この行列の各点をピクセル (画像要素) と呼びます。 各ピクセルには、各色の強度に関する情報 (通常は数値) が含まれています。 例えば、 赤いピクセル 緑が 0、青が 0、最大の赤が含まれていることを意味します。 ピンクのピクセル 0色の組み合わせで表現できます。 255 ～ XNUMX の数値範囲を使用して、ピンクのピクセルは次のように定義されます。 赤 = 255, 緑 = 192 и 青 = 203.

この記事は EDISON の協力を得て公開されました。

私たちは開発を行っています ビデオ監視、ビデオストリーミング用のアプリケーション、そして私たちは婚約しています 手術室でのビデオ撮影.

カラー画像をエンコードする別の方法

画像を構成する色を表すモデルは他にもたくさんあります。 たとえば、RGB モデルを使用する場合に必要な 2 バイトの代わりに、各ピクセルを表すのに 3 バイトのみを必要とするインデックス付きパレットを使用できます。 このようなモデルでは、XNUMXD マトリックスの代わりに XNUMXD マトリックスを使用して各色を表現することができます。 これによりメモリは節約されますが、色域が狭くなります。

RGB

たとえば、下のこの写真を見てください。 最初の顔は完全に塗装されています。 その他は、赤、緑、青のプレーンです (対応する色の強度はグレースケールで表示されます)。

オリジナルの赤の色合いは、XNUMX 番目の面の最も明るい部分が観察されるのと同じ場所にあることがわかります。 一方、ブルーの貢献は主にマリオの目 (最後の顔) と衣服の要素にのみ見られます。 XNUMX つのカラー プレーンすべての寄与が最も少ない場所 (画像の最も暗い部分)、つまりマリオの口ひげに注目してください。

各色の強度を保存するには、特定のビット数が必要です。この量は と呼ばれます。 ビット深度。 カラー プレーンごとに 8 ビット (0 ～ 255 の値に基づく) が費やされるとします。 この場合、色深度は 24 ビット (8 ビット * 3 R/G/B プレーン) になります。

画像のもう XNUMX つのプロパティは、 承認、これは XNUMX 次元のピクセル数です。 多くの場合、次のように表されます 幅×高さ、以下の 4 x 4 の例の画像のように。


画像/ビデオを扱うときに扱うもう XNUMX つのプロパティは次のとおりです。 縦横比、画像またはピクセルの幅と高さの間の通常の比例関係を記述します。

特定の映画や写真のサイズが 16 x 9 であると言うとき、通常は次のことを意味します。 ディスプレイのアスペクト比 (BUT -から アスペクト比の表示）。 ただし、場合によっては、個々のピクセルの形状が異なる場合があります。この場合は、 画素比 (PAR -から ピクセルアスペクト比).

ホステスへのメモ: DVD 一致 DAR 4 ～ 3

実際の DVD 解像度は 704x480 ですが、PAR が 4:3 (10x11 / 704x10) であるため、アスペクト比は 480:11 を維持します。

そして最後に、私たちは決定することができます ビデオ のシーケンスのように n 期間中のフレーム 時間、これは追加の次元と考えることができます。 あ n 次に、フレーム レートまたは XNUMX 秒あたりのフレーム数 (FPS -から 1秒あたりのフレーム).

ビデオを表示するために必要な XNUMX 秒あたりのビット数は、 通信速度 - ビットレート.

ビットレート = 幅 * 高さ * ビット深度 * XNUMX 秒あたりのフレーム数

たとえば、30 fps、24 bps、480x240 のビデオには 82,944,000 bps または 82,944 Mbps (30x480x240x24) が必要になります。ただし、これは圧縮方法が使用されない場合の話です。

転送速度なら ほぼ一定、その後、それは呼び出されます 一定の通信速度 (CBR -から 固定ビットレート）。 しかし、それは変わることもあり、この場合はこう呼ばれます 可変ボーレート (VBR -から 可変ビットレート).

このグラフは、完全にダーク フレームの場合、あまり多くのビットが無駄にならない、限られた VBR を示しています。

エンジニアは当初、追加の帯域幅を使用せずにビデオ ディスプレイの知覚フレーム レートを XNUMX 倍にする方法を開発しました。 この方法はとして知られています インターレースビデオ; 基本的に、最初の「フレーム」で画面の半分を送信し、次の「フレーム」で残りの半分を送信します。

現在、シーンは主に次を使用してレンダリングされます。 プログレッシブスキャン技術。 各フレームのすべてのラインを順番に描画して動画を表示、保存、送信する方法です。

良い！ これで、画像がデジタルでどのように表現されるか、その色がどのように配置されるか、ビデオの表示に XNUMX 秒あたり何ビットを費やすか、ビット レートが固定 (CBR) か可変 (VBR) かがわかるようになりました。 私たちは、特定のフレーム レートを使用した特定の解像度について知っており、インターレース ビデオ、PAR、その他の用語など、他の多くの用語にも精通しています。

冗長性の削除

圧縮されていないビデオは正常に使用できないことが知られています。 解像度 720p、毎秒 30 フレームの 278 時間のビデオは 1280 GB 必要になります。 720 x 24 x 30 x 3600 x XNUMX (幅、高さ、ピクセルあたりのビット数、FPS、秒単位の時間) を乗算することで、この値に到達します。

使用 可逆圧縮アルゴリズムDEFLATE (PKZIP、Gzip、PNG で使用) と同様、必要な帯域幅を十分に削減できません。 ビデオを圧縮する他の方法を探す必要があります。

これを行うには、私たちのビジョンの機能を使用できます。 私たちは色よりも明るさを区別するほうが得意です。 ビデオは、時間の経過とともに繰り返される一連の連続した画像です。 同じシーンの隣接するフレーム間には小さな違いがあります。 さらに、各フレームには、同じ (または類似した) 色を使用する多くの領域が含まれています。

色、明るさ、そして私たちの目

私たちの目は色よりも明るさに敏感です。 この写真を見れば、それがわかります。

画像の左半分に四角形の色が表示されていない場合は、 A и B 実際には同じなので、それが正常です。 私たちの脳は、色よりも光と影に注意を払うように強制されます。 指定された正方形の間の右側には同じ色のジャンパーがあるため、私たち (つまり私たちの脳) は、実際にはそれらが同じ色であると簡単に判断します。

私たちの目がどのように機能するかを（単純化して）見てみましょう。 目は多くの部分から構成される複雑な器官です。 しかし、私たちが最も興味があるのは錐体と桿体です。 目には約 120 億 6 万個の杆体と XNUMX 万個の錐体が含まれています。

色と明るさの知覚を目の特定の部分の個別の機能として考えてみましょう (実際にはすべてがもう少し複雑ですが、単純化します)。 桿体細胞は主に明るさを担当し、錐体細胞は色を担当します。 錐体は、含まれる色素に応じて、S 錐体 (青)、M 錐体 (緑)、L 錐体 (赤) の XNUMX つのタイプに分類されます。

錐体（色）よりも杆体（明るさ）の方がはるかに多いため、色よりも明暗の遷移を区別する能力が高いと結論付けることができます。

コントラスト感度の機能

実験心理学や他の多くの分野の研究者は、人間の視覚に関する多くの理論を開発してきました。 そしてそのうちのXNUMX人はこう呼ばれます コントラスト感度機能。 それらは空間的および時間的な照明に関連しています。 一言で言えば、観察者がそれに気づくまでにどれだけの変更が必要かということです。 「関数」という単語の複数形に注意してください。 これは、白黒画像だけでなくカラー画像のコントラスト感度関数も測定できるためです。 これらの実験の結果は、ほとんどの場合、私たちの目は色よりも明るさに敏感であることを示しています。

私たちは画像の明るさに敏感であることがわかっているので、この事実を利用してみることができます。

カラーモデル

RGB スキームを使用してカラー画像を処理する方法を少し考え出しました。 他のモデルもあります。 輝度と彩度を分離するモデルがあり、次のように知られています。 YCbCr。 ちなみに、同様の区分を行うモデルは他にもありますが、ここではこれのみを検討します。

このカラーモデルでは Y は明るさを表し、次の XNUMX つのカラー チャネルも使用します。 Cb (リッチブルー)と Cr （濃厚な赤）。 YCbCrはRGBから導出でき、逆変換も可能です。 このモデルを使用すると、以下に示すようにフルカラー画像を作成できます。

YCbCr と RGB 間の変換

緑が使用されない場合、どのようにしてすべての色を取得できるのでしょうか?と反対する人もいるでしょう。

この質問に答えるために、RGB を YCbCr に変換してみましょう。 規格で採用されている係数を使用しましょう BT.601、ユニットによって推奨されました ITU-R。 この部門はデジタル ビデオの標準を設定します。 たとえば、4K とは何ですか? フレームレート、解像度、カラーモデルはどうあるべきですか?

まずは明るさを計算してみましょう。 ITU によって提案された定数を使用して、RGB 値を置き換えてみましょう。

Y = 0.299R + 0.587G + 0.114B

明るさを取得したら、青と赤の色を分離します。

Cb = 0.564(B - Y)

Cr = 0.713(R - Y)

また、YCbCr を使用して逆変換して緑色を取得することもできます。

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y - 0.344Cb - 0.714Cr

通常、ディスプレイ (モニター、テレビ、スクリーンなど) は RGB モデルのみを使用します。 ただし、このモデルはさまざまな方法で編成できます。

カラーサブサンプリング

輝度とクロミナンスの組み合わせとして表現される画像を使用すると、情報を選択的に削除することで、人間の視覚システムがクロミナンスよりも輝度に敏感であることを利用できます。 クロマ サブサンプリングは、輝度よりもクロマの解像度を低くしてイメージをエンコードする方法です。

色の解像度を下げることはどこまで許容されますか?! 解像度とマージ (結果の色 = Y + Cb + Cr) を処理する方法を説明する図がすでにいくつかあることがわかりました。

これらのスキームはとして知られています ダウンサンプリングシステム 3倍の比率で表されます - a:x:y、輝度信号と色差信号のサンプル数を決定します。

a — 水平サンプリング標準 (通常は 4 に等しい)
x — ピクセルの最初の行のクロマ サンプルの数 (水平解像度に対する相対値) a)
y — ピクセルの最初の行と XNUMX 番目の行の間のクロマ サンプルの変化の数。

例外は 4:1:0、4 x 4 の輝度解像度ブロックごとに XNUMX つのクロマ サンプルを提供します。

最新のコーデックで使用される一般的なスキーム:

• 4:4:4 (ダウンサンプリングなし)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 - 融合例

これは、YCbCr 4:2:0 を使用してマージされた画像です。 ピクセルあたり 12 ビットのみを費やしていることに注意してください。

これは、同じ画像を主なタイプのカラー サブサンプリングでエンコードしたものです。 最初の行は最終的な YCbCr で、下の行はクロマ解像度を示します。 品質のわずかな低下を考慮すると、非常にまともな結果が得られます。

解像度 278p、毎秒 720 フレームで 30 時間のビデオ ファイルを保存するには、4 GB のストレージ容量が必要だったことを覚えていますか? YCbCr 2:0:139 を使用すると、このサイズは半分の XNUMX GB に減ります。 今のところ、まだ満足のいく結果には程遠いです。

FFmpeg を使用して YCbCr ヒストグラムを自分で取得できます。 この画像では、青が赤よりも優勢であり、ヒストグラム自体ではっきりと確認できます。

色、明るさ、色域 - ビデオレビュー

この素晴らしいビデオを見ることをお勧めします。 明るさとは何かを説明するもので、一般的にはすべての点が点在しています ё 明るさと色について。

フレームの種類

次へ移りましょう。 時間の冗長性を排除してみましょう。 その前に、いくつかの基本的な用語を定義しましょう。 30 秒あたり 4 フレームのムービーがあるとします。最初の XNUMX フレームは次のとおりです。

フレーム内に多くの繰り返しが見られます。たとえば、フレームごとに変わらない青い背景などです。 この問題を解決するには、抽象的に XNUMX 種類のフレームに分類できます。

Iフレーム(Iイントロフレーム)

I フレーム (参照フレーム、キーフレーム、内部フレーム) は自己完結型です。 何を視覚化したいかに関係なく、I フレームは基本的に静止した写真です。 通常、最初のフレームは I フレームですが、最初のフレーム以外でも定期的に I フレームを観察します。

Pフレーム(P予測されたフレーム)

P フレーム (予測フレーム) は、ほとんどの場合、前のフレームを使用して現在の画像を再現できるという事実を利用します。 たとえば、2 番目のフレームでは、ボールが前方に移動することだけが変化します。 これらのフレーム間の差異のみを使用して、フレーム 1 をわずかに変更するだけでフレーム 2 を取得できます。 フレーム 1 を構築するには、前のフレーム XNUMX を参照します。

←

B フレーム (Bi-予測フレーム)

より優れた圧縮を実現するには、過去だけでなく将来のフレームへのリンクもどうでしょうか? これは基本的に B フレーム (双方向フレーム) です。

← →

中間引き出し

これらのフレーム タイプは、可能な限り最高の圧縮を実現するために使用されます。 次のセクションでこれがどのように起こるかを見ていきます。 現時点では、消費されるメモリの点で最も「高価」なのは I フレームであり、P フレームの方が著しく安価ですが、ビデオで最も収益性の高いオプションは B フレームであることに注意してください。

時間的冗長性（フレーム間予測）

時間の経過とともに繰り返しを最小限に抑えるためにどのようなオプションがあるかを見てみましょう。 この種の冗長性は、相互予測手法を使用して解決できます。

フレーム 0 と 1 のシーケンスをエンコードするために費やすビットをできるだけ少なくしようとします。

私たちは生産できます 減算フレーム 1 からフレーム 0 を減算するだけです。フレーム 1 を取得し、それと前のフレームの差分のみを使用し、実際には結果の剰余をエンコードするだけです。

しかし、さらに少ないビットを使用する、さらに優れた方法があると言ったらどうなるでしょう?! まず、フレーム 0 をブロックで構成される明確なグリッドに分割しましょう。 次に、フレーム 0 のブロックをフレーム 1 と照合しようとします。つまり、フレーム間の動きを推定します。

ウィキペディアより - ブロック動き補償

ブロック動き補償では、現在のフレームが重複しないブロックに分割され、動き補償ベクトルがブロックの起点を報告します (よくある誤解は、 前の フレームは重複しないブロックに分割され、動き補償ベクトルによってそれらのブロックがどこに行くのかがわかります。 しかし、実際にはその逆です。分析されるのは前のフレームではなく、次のフレームです。ブロックがどこに移動しているかは不明ですが、どこから来たのかは不明です。 通常、ソース ブロックはソース フレーム内でオーバーラップします。 一部のビデオ圧縮アルゴリズムは、XNUMX つではなく、以前に送信されたいくつかのフレームの一部から現在のフレームを組み立てます。

評価プロセス中に、ボールが (x= 0、 y=25) から (x= 6、 y=26)、値 x и y 動きベクトルを決定します。 ビットを保存するために実行できるもう 6 つの手順は、最後のブロック位置と予測された位置の間の動きベクトルの差分のみをエンコードすることです。そのため、最終的な動きベクトルは (x=0-6=26, y=25-1=XNUMX) になります。 ）。

実際の状況では、このボールは次のように分割されます。 n ブロックしますが、これは問題の本質を変えるものではありません。

フレーム内のオブジェクトは XNUMX 次元で移動するため、ボールが移動すると、視覚的に小さくなる可能性があります (ビューアーに向かって移動する場合は大きくなります)。 ブロック間に完全な一致がないのは正常です。 これは私たちの見積もりと実際の状況を組み合わせた図です。

しかし、動き推定を使用すると、フレーム間のデルタを計算する単純な方法を使用する場合に比べて、コーディングに必要なデータが著しく少なくなることがわかります。

実際の動き補償はどのようなものになるのか

この手法はすべてのブロックに一度に適用されます。 多くの場合、条件付き移動ボールは一度に複数のブロックに分割されます。

を使用して、これらの概念を自分で感じることができます。 ジュピター.

動きベクトルを確認するには、次を使用して外部予測ビデオを作成できます。 ffmpeg.

も使用できます インテル ビデオ プロ アナライザー (有料ですが、最初の XNUMX フレームのみに限定された無料トライアルがあります)。

空間的冗長性（社内予測）

ビデオの各フレームを分析すると、相互に接続された多くの領域が見つかります。

この例を見てみましょう。 このシーンは主に青と白の色で構成されています。

こちらはIフレームです。 以前のフレームを予測に使用することはできませんが、圧縮することはできます。 赤いブロックの選択部分をエンコードしましょう。 近隣のものを見ると、その周囲にいくつかの色の傾向があることがわかります。

フレーム内で色が縦方向に広がることを想定しています。 つまり、未知のピクセルの色には、その近傍のピクセルの値が含まれることになります。

そのような予測は間違っていることが判明する可能性があります。 このため、この方法 (内部予測) を適用し、実際の値を差し引く必要があります。 これにより残差ブロックが得られ、元の行列に比べてはるかに圧縮された行列が得られます。

内部予測を練習したい場合は、ffmpeg を使用してマクロブロックとその予測のビデオを作成できます。 各ブロックの色の意味を理解するには、ffmpeg のドキュメントを読む必要があります。

または、Intel Video Pro Analyzer を使用することもできます (上で述べたように、無料試用版は最初の 10 フレームに制限されていますが、最初はこれで十分です)。

第二部： ビデオコーデックの仕組み

出所： habr.com