AI を使用して画像を過剰圧縮する

ニューラル ネットワークのようなデータ駆動型アルゴリズムは世界を席巻しました。 その開発には、安価で強力な機器や膨大な量のデータなど、いくつかの理由があります。 ニューラル ネットワークは現在、画像認識、自然言語理解などの「認知」タスクに関連するすべての分野で最前線にあります。 しかし、そのようなタスクに限定されるべきではありません。 この記事では、ニューラル ネットワークを使用し、残差学習を使用して画像を圧縮する方法について説明します。 この記事で紹介されているアプローチは、標準のコーデックよりも高速で優れています。 スキーム、方程式、そしてもちろん、テストを含む表も含まれています。

この記事は以下に基づいています この 仕事。 ニューラル ネットワークとその概念に精通していることを前提としています。 畳み込み и 損失関数.

画像圧縮とは何ですか?またその仕組みは何ですか?

画像圧縮は、画像が占有するスペースが少なくなるように画像を変換するプロセスです。 画像を保存するだけでは多くのスペースを消費するため、元の画像のサイズを削減することを目的とした JPEG や PNG などのコーデックが存在します。

ご存知のとおり、画像圧縮には次の XNUMX 種類があります。 損失は​​ありません и 損失あり。 名前が示すように、可逆圧縮は元の画像データを保持できますが、非可逆圧縮は圧縮中に一部のデータを失います。 たとえば、JPG は非可逆アルゴリズムです [約翻訳。 - 基本的に、ロスレス JPEG についても忘れないでください]、PNG はロスレス アルゴリズムです。

可逆圧縮と非可逆圧縮の比較

右側の画像にはブロック状のアーティファクトが多数あることに注目してください。 これは失われた情報です。 類似した色の隣接するピクセルはスペースを節約するために単一の領域として圧縮されますが、実際のピクセルに関する情報は失われます。 もちろん、JPEG、PNG などのコーデックで使用されるアルゴリズムはさらに複雑ですが、これは非可逆圧縮の直感的な良い例です。 可逆圧縮は優れていますが、可逆圧縮ファイルは多くのディスク領域を占有します。 多くの情報を失わずに画像を圧縮するより良い方法がありますが、非常に時間がかかり、多くは反復的なアプローチを使用します。 これは、複数の CPU または GPU コアで並行して実行できないことを意味します。 この制限により、日常使用ではまったく実用的ではなくなります。

畳み込みニューラル ネットワークの入力

何かを計算する必要があり、計算が近似できる場合は、次の値を追加します。 ニューラルネットワーク。 著者らは、画像圧縮を改善するために、かなり標準的な畳み込みニューラル ネットワークを使用しました。 提示された方法は、最良のソリューションと同等のパフォーマンス (それ以上ではないにしても) を実行するだけでなく、並列コンピューティングも使用できるため、速度が大幅に向上します。 その理由は、畳み込みニューラル ネットワーク (CNN) は画像から空間情報を抽出することに非常に優れており、画像はよりコンパクトな形式で表示されるためです (たとえば、画像の「重要な」ビットのみが保存されます)。 作成者は、この CNN 機能を使用して画像をより適切に表現したいと考えました。

アーキテクチャ

著者らは二重ネットワークを提案した。 最初のネットワークは画像を入力として受け取り、コンパクトな表現 (ComCNN) を生成します。 このネットワークの出力は、標準コーデック (JPEG など) によって処理されます。 コーデックによって処理された後、画像は XNUMX 番目のネットワークに渡され、元の画像に戻そうとするためにコーデックからの画像が「修正」されます。 著者らはこのネットワークを Reconstructive CNN (RecCNN) と名付けました。 GAN と同様に、両方のネットワークは反復的にトレーニングされます。

ComCNN コンパクト表現は標準コーデックに渡されます

RecCNN。 ComCNN 出力はスケールアップされて RecCNN に供給され、残りを学習しようとします。

コーデック出力はスケールアップされてから RecCNN に渡されます。 RecCNN は、画像をできるだけオリジナルに近づけてレンダリングしようとします。

エンドツーエンドの画像圧縮フレームワーク。 Co(.) は画像圧縮アルゴリズムです。 著者は JPEG、JPEG2000、BPG を使用しました

残りとは何ですか?

残りの部分は、コーデックによってデコードされる画像を「改善」するための後処理ステップと考えることができます。 世界に関する多くの「情報」があるため、ニューラル ネットワークは何を修正すべきかについて認知的な決定を下すことができます。 このアイデアは以下に基づいています 残余学習、詳細をお読みください。 ここで.

損失関数

1 つのニューラル ネットワークがあるため、XNUMX つの損失関数が使用されます。 これらの最初の ComCNN は LXNUMX というラベルが付けられ、次のように定義されます。

ComCNN の損失関数

解説

この方程式は複雑に見えるかもしれませんが、実際には標準 (二乗平均平方根誤差) です。 MSE。 ||² は、それらが囲むベクトルのノルムを意味します。

式 1.1

Cr は ComCNN の出力を示します。 θ は ComCNN パラメータの学習可能性を示し、XK は入力画像です

式 1.2

Re() RecCNNの略です。 この式は、式 1.1 の意味を RecCNN に伝えるだけです。 θ は RecCNN のトレーニング可能なパラメーターを示します (上部の帽子はパラメーターが固定されていることを意味します)。

直感的な定義

式 1.0 により ComCNN は重みを変更し、RecCNN で再作成されたときに最終画像が入力画像とできるだけ似たものになるようにします。 XNUMX 番目の RecCNN 損失関数は次のように定義されます。

式 2.0

解説

この関数も複雑に見えるかもしれませんが、大部分は標準のニューラル ネットワーク損失関数 (MSE) です。

式 2.1

Co() コーデック出力を意味します。上部に帽子の付いた x は ComCNN 出力を意味します。 θ2 は RecCNN のトレーニング可能なパラメータです。 res() は単なる RecCNN の残差出力です。 RecCNN は Co() と入力画像の差分についてトレーニングされるが、入力画像についてはトレーニングされないことに注意してください。

直感的な定義

式 2.0 により、出力が入力画像にできるだけ似るように RecCNN が重みを変更します。

トレーニングスキーム

モデルは次のように反復的にトレーニングされます。 GAN。 最初のモデルの重みは、XNUMX 番目のモデルの重みが更新されている間固定され、次に XNUMX 番目のモデルの重みは、最初のモデルがトレーニングされている間固定されます。

テスト

著者らは、自分たちの方法を、単純なコーデックを含む既存の方法と比較しました。 彼らの方法は、適切なハードウェア上で高速性を維持しながら、他の方法よりも優れたパフォーマンスを発揮します。 さらに、著者らは XNUMX つのネットワークのうち XNUMX つだけを使用しようとしましたが、パフォーマンスの低下に気づきました。

構造類似性指数比較 (SSIM)。 値が高いほど、オリジナルとの類似性が高いことを示します。 太字は著者の研究の結果を示します

まとめ

私たちはディープラーニングを画像圧縮に適用する新しい方法を検討し、画像分類や言語処理などの「一般的な」タスクを超えたタスクでニューラル ネットワークを使用する可能性について話し合いました。 この方法は、現代の要件に劣らないだけでなく、画像をより高速に処理することもできます。

Habravchan 専用のプロモーション コードを作成したため、ニューラル ネットワークの学習が容易になりました。 ハブル、バナーに表示されている割引にさらに 10% 割引が適用されます。

• データサイエンスの専門職をゼロから教える
• データ サイエンス オンライン ブートキャンプ
• データアナリストという職業をゼロからトレーニングする
• データ分析オンライン ブートキャンプ
• Web開発のためのPythonコース

さらに多くのコース

• データ分析コース
• DevOpsコース
• 職業 Web 開発者
• 職業 ゼロからのiOS開発者
• 職業 ゼロからの Android 開発者
• 職業 ゼロからの Java 開発者
• JavaScriptコース
• 機械学習コース
• コース「データサイエンスのための数学と機械学習」
• アドバンスコース「機械学習プロ＋ディープラーニング」

注目の記事

• オンラインコースなしでデータサイエンティストになる方法
• 450 の無料アイビー リーグ コース
• 週5日、9か月連続で機械学習を勉強する方法
• データアナリストの収入はいくらですか：2020年のロシア内外の給与と求人の概要
• 鉱業における機械学習とコンピューター ビジョン

出所： habr.com