화면에서 아티팩트 인식

정보기술의 발전 수준이 꾸준히 높아짐에 따라 매년 전자문서의 편리성과 수요가 점점 더 커지면서 기존의 종이 정보매체보다 전자문서가 더 널리 쓰이고 있습니다. 따라서 전통적인 종이 매체뿐만 아니라 전자 문서에 담긴 정보 내용을 보호하는 데 시기적절한 주의를 기울이는 것이 매우 중요합니다. 상업, 국가 및 기타 비밀을 다루는 모든 대기업은 정보 유출과 기밀 정보의 손상을 방지하고자 하며, 누출이 감지되면 누출을 막고 위반자를 파악하기 위한 조치를 취합니다.

보호 옵션에 대한 간략한 설명

이러한 작업을 수행하기 위해 특정 보호 요소가 도입되었습니다. 이러한 요소에는 바코드, 눈에 보이는 표시, 전자 표시 등이 있지만 가장 흥미로운 것은 숨겨진 표시입니다. 가장 눈에 띄는 예 중 하나는 종이에 적용하거나 인쇄하기 전에 추가할 수 있는 워터마크입니다. 인쇄업체가 인쇄할 때 자체 워터마크(노란색 점과 기타 표시)를 넣는다는 사실은 더 이상 누구에게나 비밀이 아니지만, 직원의 직장에서 컴퓨터 화면에 넣을 수 있는 다른 아티팩트에 대해 생각해 보겠습니다. 이러한 아티팩트는 사용자 작업 공간 위에 아티팩트를 그리는 특수 소프트웨어 패키지에 의해 생성되며, 아티팩트 자체의 가시성을 최소화하고 사용자 작업을 방해하지 않습니다. 이러한 기술은 과학적 발전과 숨겨진 정보를 표현하는 데 사용되는 알고리즘 측면에서 오래된 뿌리를 가지고 있지만 현대 사회에서는 매우 드뭅니다. 이러한 접근 방식은 주로 군사 분야와 종이 매체에서 부정직한 직원을 신속하게 파악하는 데 사용됩니다. 상업 환경은 이제 막 이런 기술을 습득하기 시작했습니다. 눈에 보이는 워터마크는 현재 다양한 미디어 파일의 저작권을 보호하기 위해 적극적으로 사용되고 있지만, 눈에 보이지 않는 워터마크는 매우 드뭅니다. 하지만 가장 큰 관심을 불러일으키는 것도 바로 그것들입니다.

보안 아티팩트

인간의 눈에는 보이지 않는 워터마크는 다양한 아티팩트를 형성하는데, 원칙적으로 인간의 눈에는 보이지 않을 수 있으며 이미지에서 매우 작은 점의 형태로 가려질 수 있습니다. 눈에 보이지 않는 물체는 대부분 모니터의 표준 색 공간을 벗어날 수 있으므로, 눈에 보이는 물체부터 고려해 보겠습니다. 이러한 유물은 눈에 잘 띄지 않기 때문에 특별한 가치를 지닙니다. 하지만 CVD를 완전히 보이지 않게 만드는 것은 불가능합니다. 이러한 구현 과정에서 컨테이너 이미지의 특정 유형의 왜곡이 이미지에 도입되고 특정 유형의 아티팩트가 나타납니다. 2가지 유형의 객체를 고려해 보겠습니다.

1. 순환
2. 혼돈(이미지 변환으로 인해 도입됨)

순환 패턴은 화면 이미지에서 두 번 이상 반복되는 특정 유한한 반복 요소의 시퀀스입니다(그림 1).

혼돈적인 아티팩트는 중첩된 이미지의 다양한 유형의 변환으로 인해 발생할 수 있습니다(그림 2). 예를 들어 홀로그램이 도입된 경우입니다.

쌀. 1 순환 유물

쌀. 2개의 혼돈스러운 유물

먼저, 순환적 유물을 인식하는 옵션을 살펴보겠습니다. 이러한 아티팩트는 다음과 같습니다.

• 전체 화면에 반복되는 텍스트 워터마크
• 이진 시퀀스
• 각 그리드 셀의 무작위 점 집합

나열된 모든 아티팩트는 표시된 콘텐츠 위에 직접 적용되므로 각 색상 채널의 히스토그램의 국소적 극단을 식별하고 다른 모든 색상을 적절히 잘라내어 인식할 수 있습니다. 이 방법은 각 히스토그램 채널의 지역적 극단값을 조합하여 작업하는 것을 포함합니다. 문제는 많은 급격한 전환 세부 사항이 있는 상당히 복잡한 이미지에서 지역적 극단을 찾는 것입니다. 히스토그램이 매우 톱니 모양으로 보이므로 이 방법은 적용할 수 없습니다. 다양한 필터를 적용해 볼 수 있지만, 필터를 적용하면 왜곡이 발생하여 결국 워터마크를 감지하지 못하게 될 수도 있습니다. 특정 엣지 감지기(예: Canny 엣지 감지기)를 사용하여 이러한 아티팩트를 인식하는 옵션도 있습니다. 이러한 접근 방식은 전환 중에 매우 날카로운 아티팩트에 적합합니다. 검출기는 이미지 윤곽선을 강조 표시한 다음 윤곽선 내에서 색상 범위를 선택하여 이미지 이진화를 수행하여 아티팩트 자체를 더욱 강조 표시할 수 있지만 이러한 방법은 필요한 윤곽선을 강조 표시하기 위해 상당히 미세한 조정이 필요하며 강조 표시된 윤곽선의 색상을 기준으로 이미지 자체를 이진화해야 합니다. 이러한 알고리즘은 매우 신뢰할 수 없는 것으로 간주되며 이미지의 색상 구성 요소 유형에 의존하지 않는 더 안정적인 알고리즘을 사용하려고 합니다.

쌀. 3 변환 후 워터마크

앞서 언급한 혼란스러운 유물의 경우, 이를 인식하는 알고리즘은 근본적으로 다를 것입니다. 혼돈적인 인공물의 형성은 어떤 변환(예를 들어, 이산 푸리에 변환)을 통해 변형된 이미지에 특정 워터마크를 중첩함으로써 가정됩니다. 이러한 변환으로 인한 아티팩트는 화면 전체에 분산되어 있으며 패턴을 식별하기 어렵습니다. 이를 바탕으로 워터마크는 "무작위" 아티팩트 형태로 이미지 전체에 위치하게 됩니다. 이러한 워터마크를 인식하려면 변환 함수를 사용하여 이미지를 직접 변환해야 합니다. 변환 결과는 그림(그림 3)에 나타나 있다.

그러나 이상적이지 않은 조건에서는 워터마크 인식을 방해하는 여러 가지 문제가 있습니다. 변환 유형에 따라 다양한 어려움이 있을 수 있습니다. 예를 들어, 화면에 비해 큰 각도에서 촬영한 문서나 품질이 상당히 낮은 사진은 인식이 불가능하거나, 손실률이 높은 압축 파일로 저장된 화면 캡처는 인식이 불가능할 수 있습니다. 이러한 모든 문제로 인해 워터마크 감지가 복잡해집니다. 각도가 있는 이미지의 경우 보다 복잡한 변환을 적용하거나 이미지에 아핀 변환을 적용해야 하지만, 둘 중 어느 것도 워터마크를 완벽하게 복원한다는 보장은 없습니다. 화면 캡처의 경우를 살펴보면 두 가지 문제가 발생합니다. 첫 번째는 화면 자체에 표시할 때 발생하는 왜곡이고, 두 번째는 화면 자체에서 이미지를 저장할 때 발생하는 왜곡입니다. 첫 번째는 다양한 품질의 모니터에 대한 매트릭스가 있고, 특정 색상이 없기 때문에 색상 표현에 따라 색상을 보간하여 워터마크 자체에 왜곡을 도입하기 때문에 제어하기가 매우 어렵습니다. 두 번째 방법은 더욱 어렵습니다. 스크린샷을 어떤 형식으로든 저장할 수 있고, 그에 따라 색상 범위의 일부를 잃을 수 있기 때문입니다. 결국 워터마크 자체를 잃을 수도 있습니다.

구현 문제

현대 사회에는 워터마크를 삽입하기 위한 알고리즘이 상당히 많지만, 그 중 어느 것도 워터마크를 삽입한 후에 해당 워터마크를 다시 인식할 가능성을 100% 보장하지는 못합니다. 가장 큰 어려움은 각각의 경우에 발생할 수 있는 일련의 번식 조건을 결정하는 것입니다. 앞서 언급했듯이 워터마크를 손상시키려는 시도와 왜곡의 모든 가능한 특징을 고려하는 인식 알고리즘을 만드는 것은 어렵습니다. 예를 들어, 현재 이미지에 가우시안 필터를 적용하고 원본 이미지의 아티팩트가 충분히 작고 이미지 배경과 대비되는 경우, 아티팩트를 인식하는 것이 불가능하거나 워터마크의 일부가 손실됩니다. 사진의 경우를 생각해 보자. 높은 확률로 무아레(그림 5)와 "격자"(그림 4)가 나타날 것입니다. 무아레는 스크린 매트릭스의 불연속성과 촬영 장비의 매트릭스의 불연속성으로 인해 발생합니다. 이 상황에서는 두 개의 메시 이미지가 서로 중첩됩니다. 그리드는 워터마크 아티팩트를 부분적으로 덮어 인식 문제를 일으킬 가능성이 가장 높고, 일부 워터마크 삽입 방법의 무아레는 워터마크로 이미지의 일부를 덮어 인식을 불가능하게 만듭니다.

쌀. 4 이미지 그리드

쌀. 5 무아레

워터마크 인식의 임계값을 높이기 위해서는 자체 학습 신경망을 기반으로 한 알고리즘을 사용해야 하며, 이를 실행하는 동안 워터마크 이미지 자체를 인식하는 방법을 학습해야 합니다. 예를 들어 Google에서 제공하는 신경망 도구와 서비스를 살펴보면 현재 엄청나게 많은 수의 신경망 도구와 서비스가 있습니다. 원하는 경우 참조 이미지 세트를 찾아 신경망이 필요한 아티팩트를 인식하도록 가르칠 수 있습니다. 이 접근 방식은 심하게 왜곡된 워터마크도 감지할 수 있는 가장 유망한 가능성을 가지고 있지만, 빠른 감지를 위해서는 엄청난 컴퓨팅 파워가 필요하고 정확한 감지를 위해서는 상당히 긴 학습 기간이 필요합니다.

설명한 내용은 모두 간단해 보이지만, 이 문제를 더 깊이 파고들수록 워터마크를 인식하기 위해서는 알고리즘을 구현하는 데 많은 시간을 투자해야 하며, 각 이미지를 인식할 수 있는 원하는 확률에 도달하려면 더 많은 시간이 필요하다는 것을 이해하게 됩니다.

출처 : habr.com