🥇AI를 사용하여 이미지 초압축

신경망과 같은 데이터 기반 알고리즘은 전 세계를 강타했습니다. 그들의 개발은 저렴하고 강력한 장비와 엄청난 양의 데이터를 포함하여 여러 가지 이유 때문입니다. 신경망은 현재 이미지 인식, 자연어 이해 등과 같은 "인지" 작업과 관련된 모든 것의 최전선에 있습니다. 그러나 그러한 작업에 국한되어서는 안됩니다. 이 기사에서는 잔여 학습을 사용하여 신경망을 사용하여 이미지를 압축하는 방법에 대해 설명합니다. 기사에 제시된 접근 방식은 표준 코덱보다 빠르고 우수합니다. 구성표, 방정식 및 물론 아래에 테스트가 있는 테이블.

이 기사는 이 일하다. 신경망과 그 개념에 익숙하다고 가정합니다. 회선 и 손실 함수.

이미지 압축이란 무엇이며 어떻게 작동합니까?

이미지 압축은 공간을 덜 차지하도록 이미지를 변환하는 프로세스입니다. 단순히 이미지를 저장하는 것은 많은 공간을 차지하기 때문에 원본 이미지의 크기를 줄이는 것을 목표로 하는 JPEG 및 PNG와 같은 코덱이 있습니다.

아시다시피 이미지 압축에는 두 가지 유형이 있습니다. 무손실 и 손실. 이름에서 알 수 있듯이 무손실 압축은 원본 이미지 데이터를 유지할 수 있는 반면 손실 압축은 압축 중에 일부 데이터가 손실됩니다. 예를 들어 JPG는 손실 알고리즘입니다[약. 번역 - 기본적으로 무손실 JPEG도 잊지 말자], PNG는 무손실 알고리즘입니다.

무손실 및 손실 압축 비교

오른쪽 이미지에는 블록 모양의 아티팩트가 많이 있습니다. 이것은 잃어버린 정보입니다. 유사한 색상의 이웃 픽셀은 공간 절약을 위해 단일 영역으로 압축되지만 실제 픽셀에 대한 정보는 손실됩니다. 물론 JPEG, PNG 등 코덱에서 사용되는 알고리즘은 훨씬 더 복잡하지만 이것은 손실 압축의 좋은 직관적인 예입니다. 무손실 압축은 좋지만 무손실 압축 파일은 디스크 공간을 많이 차지합니다. 많은 정보를 잃지 않고 이미지를 압축하는 더 좋은 방법이 있지만 상당히 느리고 많은 사람들이 반복적인 접근 방식을 사용합니다. 즉, 여러 CPU 또는 GPU 코어에서 병렬로 실행할 수 없습니다. 이 제한으로 인해 일상적인 사용에서는 완전히 비실용적입니다.

컨벌루션 신경망 입력

무언가를 계산해야 하고 그 계산이 근사치일 수 있는 경우 다음을 추가하십시오. 신경망. 저자는 이미지 압축을 개선하기 위해 상당히 표준적인 컨볼루션 신경망을 사용했습니다. 제시된 방법은 최상의 솔루션과 동등하게 수행될 뿐만 아니라(더 좋지 않은 경우) 병렬 컴퓨팅을 사용할 수도 있으므로 속도가 크게 향상됩니다. 그 이유는 CNN(Convolutional Neural Networks)이 이미지에서 공간 정보를 추출하는 데 매우 능숙하기 때문입니다. 그러면 이미지가 더 압축된 형태로 표시됩니다(예: 이미지의 "중요한" 비트만 보존됨). 작성자는 이 CNN 기능을 사용하여 이미지를 더 잘 표현하기를 원했습니다.

구조

저자는 이중 네트워크를 제안했습니다. 첫 번째 네트워크는 이미지를 입력으로 사용하고 압축 표현(ComCNN)을 생성합니다. 이 네트워크의 출력은 표준 코덱(예: JPEG)에 의해 처리됩니다. 코덱에 의해 처리된 후 이미지는 원래 이미지를 반환하기 위해 코덱에서 이미지를 "고정"하는 두 번째 네트워크로 전달됩니다. 저자는 이 네트워크를 Reconstructive CNN(RecCNN)이라고 명명했습니다. GAN과 마찬가지로 두 네트워크 모두 반복적으로 훈련됩니다.

ComCNN Compact 표현은 표준 코덱으로 전달됩니다.

RecCNN. ComCNN 출력이 확장되고 RecCNN에 공급되어 나머지를 학습하려고 시도합니다.

코덱 출력은 확장된 다음 RecCNN으로 전달됩니다. RecCNN은 가능한 한 원본에 가깝게 이미지를 렌더링하려고 시도합니다.

종단 간 이미지 압축 프레임워크. Co(.)는 이미지 압축 알고리즘입니다. 저자는 JPEG, JPEG2000 및 BPG를 사용했습니다.

나머지는 무엇입니까?

나머지는 코덱에 의해 디코딩되는 이미지를 "개선"하기 위한 후처리 단계로 생각할 수 있습니다. 세상에 대한 많은 "정보"를 가지고 있는 신경망은 무엇을 고칠지에 대한 인지적 결정을 내릴 수 있습니다. 이 아이디어는 잔여 학습, 할 수 있는 세부 정보를 읽으십시오. 여기에.

손실 함수

두 개의 신경망이 있기 때문에 두 개의 손실 함수가 사용됩니다. 이들 중 첫 번째인 ComCNN은 L1이라는 레이블이 지정되어 있으며 다음과 같이 정의됩니다.

ComCNN의 손실 함수

설명

이 방정식은 복잡해 보일 수 있지만 실제로는 표준입니다(제곱평균제곱근 오차). MSE. ||²는 그들이 둘러싸는 벡터의 표준을 의미합니다.

방정식 1.1

Cr은 ComCNN의 출력을 나타냅니다. θ는 ComCNN 매개변수의 학습 가능성을 나타내고, XK는 입력 이미지입니다.

방정식 1.2

Re() RecCNN의 약자입니다. 이 방정식은 단순히 방정식 1.1의 의미를 RecCNN에 전달합니다. θ는 RecCNN 학습 가능한 매개변수를 나타냅니다(상단의 모자는 매개변수가 고정되어 있음을 의미함).

직관적인 정의

방정식 1.0은 ComCNN이 가중치를 변경하도록 하여 RecCNN으로 재생성할 때 최종 이미지가 입력 이미지와 최대한 유사하게 보이도록 합니다. 두 번째 RecCNN 손실 함수는 다음과 같이 정의됩니다.

방정식 2.0

설명

다시 말하지만 함수가 복잡해 보일 수 있지만 대부분 표준 신경망 손실 함수(MSE)입니다.

방정식 2.1

Co() 코덱 출력을 의미하고 상단에 모자가 있는 x는 ComCNN 출력을 의미합니다. θ2는 RecCNN 학습 가능한 매개변수이며, res() RecCNN의 잔차 출력입니다. RecCNN은 Co()와 입력 이미지의 차이에 대해 학습되지만 입력 이미지에 대해서는 학습되지 않는다는 점은 주목할 가치가 있습니다.

직관적인 정의

방정식 2.0은 출력이 입력 이미지와 최대한 비슷하게 보이도록 RecCNN이 가중치를 변경하도록 합니다.

학습 계획

모델은 다음과 같이 반복적으로 학습됩니다. GAN. 두 번째 모델의 가중치가 업데이트되는 동안 첫 번째 모델의 가중치가 고정되고 첫 번째 모델이 학습되는 동안 두 번째 모델의 가중치가 고정됩니다.

테스트

저자는 간단한 코덱을 포함한 기존 방법과 그들의 방법을 비교했습니다. 그들의 방법은 적절한 하드웨어에서 높은 속도를 유지하면서 다른 방법보다 더 잘 수행됩니다. 또한 작성자는 두 네트워크 중 하나만 사용하려고 시도했으며 성능 저하를 지적했습니다.

구조적 유사성 지수 비교(SSIM). 값이 높을수록 원본과 더 유사함을 나타냅니다. 굵은 글씨는 저자의 작업 결과를 나타냅니다.

결론

이미지 압축에 딥 러닝을 적용하는 새로운 방법을 살펴보고 이미지 분류 및 언어 처리와 같은 "일반적인" 작업을 넘어 작업에서 신경망을 사용할 가능성에 대해 이야기했습니다. 이 방법은 최신 요구 사항보다 열등할 뿐만 아니라 이미지를 훨씬 빠르게 처리할 수 있습니다.

특히 Habravchan을 위한 프로모션 코드를 만들었기 때문에 신경망 학습이 더 쉬워졌습니다. 하브르, 배너에 표시된 할인에서 추가 10% 할인을 제공합니다.

더 많은 과정

특집 기사

출처 : habr.com

AI를 사용하여 이미지를 과도하게 압축

이미지 압축이란 무엇이며 어떻게 작동합니까?

컨벌루션 신경망 입력

구조

나머지는 무엇입니까?

손실 함수

설명

직관적인 정의

설명

직관적인 정의

학습 계획

테스트

결론

특집 기사

코멘트를 추가 답장을 취소