미래의 컴퓨터 비전 시스템을 위한 기술과 모델은 메일, 클라우드, 검색 등 회사의 다양한 프로젝트에서 점진적으로 개발되고 개선되었습니다. 그들은 좋은 치즈나 코냑처럼 숙성되었습니다. 어느 날 우리는 우리의 신경망이 인식에서 뛰어난 결과를 보인다는 것을 깨달았고, 이를 단일 b2b 제품인 Vision으로 결합하기로 결정했습니다. 이제 우리는 이를 직접 사용하고 여러분에게 제공합니다.

오늘날 Mail.Ru 클라우드 솔루션 플랫폼의 컴퓨터 비전 기술은 매우 복잡한 실제 문제를 성공적으로 해결하고 있습니다. 이는 데이터 세트에 대해 훈련되고 응용 문제 해결을 전문으로 하는 다수의 신경망을 기반으로 합니다. 모든 서비스는 당사의 서버 시설에서 실행됩니다. 공용 Vision API를 애플리케이션에 통합하여 서비스의 모든 기능을 사용할 수 있습니다. API는 빠릅니다. 서버 GPU 덕분에 네트워크 내 평균 응답 시간은 100ms입니다.

고양이에게 가면 자세한 이야기와 Vision의 작업 사례가 많이 있습니다.

언급된 얼굴 인식 기술을 우리가 직접 사용하는 서비스의 예는 다음과 같습니다. 이벤트. 그 구성 요소 중 하나는 다양한 회의에 설치하는 Vision 사진 스탠드입니다. 그러한 사진 스탠드에 접근하여 내장된 카메라로 사진을 찍고 이메일을 입력하면 시스템은 즉시 회의의 직원 사진사가 촬영한 사진 배열 중에서 귀하를 찾아내고 원할 경우 발견된 사진을 이메일로 보내드립니다. 그리고 우리는 연출된 인물 사진에 대해 말하는 것이 아닙니다. Vision은 수많은 방문객이 있는 배경에서도 귀하를 인식합니다. 물론 사진 스탠드 자체가 인식되는 것은 아닙니다. 이것은 내장된 카메라로 손님들의 사진을 찍고 모든 인식 마법이 일어나는 서버로 정보를 전송하는 아름다운 스탠드에 있는 태블릿일 뿐입니다. 그리고 우리는 이미지 인식 전문가들 사이에서도 이 기술의 효율성이 얼마나 놀라운지 여러 번 보았습니다. 아래에서는 몇 가지 예에 대해 이야기하겠습니다.

1. 얼굴 인식 모델

1.1. 신경망 및 처리 속도

인식을 위해 ResNet 101 신경망 모델의 수정을 사용합니다. 마지막 평균 풀링은 ArcFace에서 수행되는 방식과 유사하게 완전히 연결된 레이어로 대체됩니다. 그러나 벡터 표현의 크기는 128가 아닌 512입니다. 우리의 훈련 세트에는 10명의 사진이 약 천만 장 포함되어 있습니다.

이 모델은 신중하게 선택된 서버 구성 아키텍처와 GPU 컴퓨팅 덕분에 매우 빠르게 실행됩니다. 내부 네트워크의 API로부터 응답을 받는 데 100ms가 걸립니다. 여기에는 얼굴 감지(사진 속 얼굴 감지), API 응답에서 PersonID 인식 및 반환이 포함됩니다. 사진 및 비디오 등 대용량 데이터가 수신되면 데이터를 서비스로 전송하고 응답을 받는 데 훨씬 더 많은 시간이 걸립니다.

1.2. 모델의 효율성 평가

그러나 신경망의 효율성을 결정하는 것은 매우 모호한 작업입니다. 작업의 품질은 모델이 훈련된 데이터 세트와 특정 데이터 작업에 최적화되었는지 여부에 따라 달라집니다.

우리는 널리 사용되는 LFW 검증 테스트를 통해 모델의 정확성을 평가하기 시작했지만 너무 작고 단순합니다. 99,8% 정확도에 도달한 후에는 더 이상 유용하지 않습니다. 인식 모델을 평가하기 위한 좋은 경쟁이 있습니다. Megaface는 점차적으로 82% 순위 1에 도달했습니다. Megaface 테스트는 백만 장의 사진(산만함)으로 구성되며 모델은 수천 장의 유명인 사진을 Facescrub에서 잘 구별할 수 있어야 합니다. 산만한 사람의 데이터 세트. 그러나 Megaface 테스트의 오류를 삭제한 후 삭제된 버전을 사용하면 98% 랭크 1의 정확도를 달성한다는 사실을 발견했습니다(연예인의 사진은 일반적으로 매우 구체적입니다). 따라서 그들은 Megaface와 유사하지만 "보통"사람들의 사진을 사용하여 별도의 식별 테스트를 만들었습니다. 그런 다음 데이터 세트의 인식 정확도를 향상시켜 훨씬 앞서 나갔습니다. 또한 수천 장의 사진으로 구성된 클러스터링 품질 테스트를 사용합니다. 사용자의 클라우드에서 얼굴 태그 지정을 시뮬레이션합니다. 이 경우 클러스터는 인식 가능한 각 사람에 대해 하나의 그룹으로 구성된 유사한 개인의 그룹입니다. 실제 그룹에 대한 작업 품질을 확인했습니다(사실).

물론 어느 모델에서나 인식 오류는 발생합니다. 그러나 이러한 상황은 특정 조건에 대한 임계값을 미세 조정하여 해결되는 경우가 많습니다(모든 컨퍼런스에 대해 동일한 임계값을 사용하지만 예를 들어 액세스 제어 시스템의 경우 오탐이 줄어들도록 임계값을 크게 늘려야 함). 대다수의 컨퍼런스 방문객은 Vision 사진 부스에서 올바르게 인식되었습니다. 때로는 누군가가 잘려진 미리보기를 보고 "당신의 시스템이 실수를 했네요. 그건 제가 아닙니다."라고 말하곤 했습니다. 그런 다음 사진 전체를 열었고 사진에 실제로이 방문자가 있다는 것이 밝혀졌습니다. 우리는 그를 촬영 한 것이 아니라 다른 사람, 그 사람이 우연히 흐림 영역의 배경에 있었던 것입니다. 더욱이, 신경망은 얼굴의 일부가 보이지 않거나, 사람이 옆으로 서 있거나, 심지어 반쯤 돌아 있는 경우에도 정확하게 인식하는 경우가 많습니다. 예를 들어 광각 렌즈로 촬영할 때 얼굴이 광학 왜곡 영역에 있어도 시스템은 사람을 인식할 수 있습니다.

1.3. 어려운 상황에서의 테스트 사례

다음은 신경망이 작동하는 방식에 대한 예입니다. 사진은 입력에 제출되며 개인의 고유 식별자인 PersonID를 사용하여 라벨을 지정해야 합니다. 두 개 이상의 이미지에 동일한 ID가 있는 경우 모델에 따라 이 사진은 동일한 사람을 묘사합니다.

테스트할 때 특정 결과를 달성하기 위해 구성할 수 있는 다양한 매개변수와 모델 임계값에 액세스할 수 있다는 점을 즉시 알아두겠습니다. 공개 API는 일반적인 경우의 정확성을 극대화하도록 최적화되었습니다.

가장 간단한 것부터 시작해 보겠습니다. 정면을 향한 얼굴 인식부터 시작해 보겠습니다.

글쎄, 그건 너무 쉬웠어요. 작업을 복잡하게 만들고 수염과 몇 년을 추가해 보겠습니다.

어떤 사람들은 이것이 그리 어렵지 않다고 말할 것입니다. 두 경우 모두 얼굴 전체가 보이고 얼굴에 대한 많은 정보가 알고리즘에 제공되기 때문입니다. 좋아, Tom Hardy를 프로필로 바꾸자. 이 문제는 훨씬 더 복잡하며 낮은 오류율을 유지하면서 성공적으로 해결하기 위해 많은 노력을 기울였습니다. 훈련 세트를 선택하고 신경망 아키텍처를 고려하여 손실 함수를 연마하고 전처리를 개선했습니다. 사진.

그에게 머리 장식을 씌워 봅시다:

그건 그렇고, 이것은 특히 어려운 상황의 예입니다. 얼굴이 심하게 가려져 있고 아래쪽 사진에도 눈을 가리는 깊은 그림자가 있기 때문입니다. 실생활에서 사람들은 어두운 안경을 사용하여 외모를 바꾸는 경우가 많습니다. Tom에게도 똑같이 해보자.

좋습니다. 다양한 연령층의 사진을 넣고 이번에는 다른 배우를 실험해 보겠습니다. 연령과 관련된 변화가 특히 두드러지는 훨씬 더 복잡한 예를 들어 보겠습니다. 상황은 터무니없는 것이 아니며 여권 사진과 소지자의 얼굴을 비교해야 할 때 자주 발생합니다. 결국, 소유자가 20세가 되면 첫 번째 사진이 여권에 추가되고, 45세가 되면 사람이 크게 변할 수 있습니다.

불가능한 임무를 수행하는 주요 전문가는 나이가 들어도 크게 변하지 않았다고 생각하시나요? 몇몇 분들이 위 사진과 아래 사진을 합치셔도 될 것 같은데, 그 소년은 세월이 지나면서 너무 많이 변했어요.

신경망은 모양이 훨씬 더 자주 변경됩니다. 예를 들어, 때때로 여성은 화장품의 도움으로 이미지를 크게 바꿀 수 있습니다.

이제 작업을 더욱 복잡하게 만들어 보겠습니다. 얼굴의 다른 부분이 다른 사진으로 덮여 있다고 가정해 보겠습니다. 이러한 경우 알고리즘은 전체 샘플을 비교할 수 없습니다. 하지만 Vision은 이런 상황을 잘 처리합니다.

그런데 사진에는 많은 얼굴이 포함될 수 있습니다. 예를 들어 홀의 일반 사진에는 100명 이상의 사람이 들어갈 수 있습니다. 많은 얼굴이 다르게 빛나고 일부는 초점이 맞지 않기 때문에 신경망에서는 어려운 상황입니다. 그러나 충분한 해상도와 품질(얼굴을 덮는 정사각형당 최소 75픽셀 이상)로 사진을 촬영하면 Vision이 이를 감지하고 인식할 수 있습니다.

보도 사진과 감시 카메라 이미지의 특징은 사람들이 초점이 맞지 않거나 그 순간 움직이고 있었기 때문에 종종 흐려진다는 것입니다.

또한 조명 강도는 이미지마다 크게 다를 수 있습니다. 이 역시 걸림돌이 되는 경우가 많으며, 많은 알고리즘이 이미지를 정확하게 일치시키는 것은 물론이고 너무 어둡거나 밝은 이미지를 올바르게 처리하는 데 큰 어려움을 겪습니다. 이 결과를 얻으려면 특정 방식으로 임계값을 구성해야 한다는 점을 상기시켜 드리겠습니다. 이 기능은 아직 공개적으로 제공되지 않습니다. 우리는 모든 클라이언트에 대해 동일한 신경망을 사용하며, 이는 대부분의 실제 작업에 적합한 임계값을 가지고 있습니다.

우리는 최근 아시아인 얼굴을 높은 정확도로 인식하는 새로운 버전의 모델을 출시했습니다. 이것은 "머신러닝"(또는 "신경망") 인종차별이라고도 불릴 정도로 큰 문제였습니다. 유럽과 미국의 신경망은 백인 얼굴을 잘 인식했지만 몽골로이드와 흑인 얼굴의 경우 상황이 훨씬 나빴습니다. 아마도 중국에서는 상황이 정반대였을 것입니다. 이는 특정 국가의 지배적인 유형의 사람들을 반영하는 교육 데이터 세트에 관한 것입니다. 그러나 상황은 변하고 있으며 오늘날 이 문제는 그다지 심각하지 않습니다. 시력은 다양한 인종의 사람들에게 문제가 되지 않습니다.

얼굴 인식은 우리 기술의 다양한 응용 프로그램 중 하나일 뿐이며 Vision은 무엇이든 인식하도록 훈련될 수 있습니다. 예를 들어, 알고리즘이 어려운 조건(예리한 각도, 더럽고 읽기 어려운 번호판)을 포함한 번호판입니다.

2. 실제 사용 사례

2.1. 물리적 출입통제 : 두 사람이 동일한 출입증을 사용하는 경우

Vision의 도움으로 직원의 도착 및 출발을 기록하는 시스템을 구현할 수 있습니다. 전자 출입증을 기반으로 한 기존 시스템에는 하나의 배지를 사용하여 두 사람을 출입할 수 있다는 명백한 단점이 있습니다. 출입통제시스템(ACS)에 비전을 접목하면 누가 왔는지, 언제 왔는지 솔직하게 기록한다.

2.2. 시간 추적

이 Vision 사용 사례는 이전 사례와 밀접한 관련이 있습니다. 얼굴 인식 서비스로 출입 시스템을 보완하면 출입 통제 위반을 감지할 수 있을 뿐만 아니라 건물이나 시설에 있는 직원의 실제 존재를 등록할 수도 있습니다. 즉, 비전은 동료들이 상사 앞에서 그를 대신해 주었더라도 누가 언제 출근하고 퇴근했는지, 누가 일을 아예 빼먹었는지 솔직하게 고려하는 데 도움이 될 것입니다.

2.3. 비디오 분석: 사람 추적 및 보안

Vision을 사용하여 사람들을 추적하면 쇼핑 지역, 기차역, 통로, 거리 및 기타 여러 공공 장소의 실제 교통 상황을 정확하게 평가할 수 있습니다. 우리의 추적은 예를 들어 창고나 기타 중요한 사무실 건물에 대한 접근을 통제하는 데에도 큰 도움이 될 수 있습니다. 물론 사람과 얼굴을 추적하면 보안 문제를 해결하는 데 도움이 됩니다. 누군가가 당신의 가게에서 물건을 훔치는 것을 잡았나요? Vision에서 반환한 PersonID를 비디오 분석 소프트웨어의 블랙리스트에 추가하면 다음에 이 유형이 다시 나타날 경우 시스템이 즉시 보안 담당자에게 경고합니다.

2.4. 무역

소매업과 다양한 서비스 기업은 대기열 인식에 관심이 있습니다. Vision의 도움으로 이것이 임의의 군중이 아니라 대기열임을 인식하고 그 길이를 결정할 수 있습니다. 그런 다음 시스템은 담당자에게 대기열에 대해 알려 상황을 파악할 수 있도록 합니다. 방문자가 유입되어 추가 직원을 호출해야 하거나 누군가 업무를 게을리하고 있는지 여부를 파악할 수 있습니다.

또 다른 흥미로운 작업은 홀에 있는 회사 직원과 방문객을 분리하는 것입니다. 일반적으로 시스템은 특정 옷(드레스 코드)을 입고 있거나 특정 특징(브랜드 스카프, 가슴에 있는 배지 등)이 있는 개체를 분리하도록 훈련되었습니다. 이는 출석을 보다 정확하게 평가하는 데 도움이 됩니다(직원이 단순히 참석만으로 홀에 있는 사람들의 통계를 "부풀리지" 않도록).

안면 인식을 사용하면 방문자의 충성도, 즉 얼마나 많은 사람들이 시설로 돌아오는 빈도와 빈도 등 청중을 평가할 수도 있습니다. 한 달에 몇 명의 고유 방문자가 방문하는지 계산합니다. 유치 및 유지 비용을 최적화하기 위해 요일, 심지어 시간에 따른 트래픽 변화도 확인할 수 있습니다.

프랜차이즈 가맹점과 체인 회사는 다양한 소매점의 브랜드 품질 사진(로고, 표지판, 포스터, 배너 등)을 기반으로 평가를 주문할 수 있습니다.

2.5. 운송으로

비디오 분석을 사용하여 보안을 보장하는 또 다른 예는 공항 홀이나 기차역에서 버려진 물건을 식별하는 것입니다. 가구, 가방, 여행 가방, 우산, 다양한 종류의 옷, 병 등 수백 가지 클래스의 개체를 인식하도록 시력을 훈련할 수 있습니다. 영상 분석 시스템이 주인 없는 물체를 감지하고 Vision을 사용해 이를 인식하면 보안 서비스에 신호를 보냅니다. 유사한 작업은 공공 장소에서 비정상적인 상황을 자동으로 감지하는 것과 관련됩니다. 누군가가 아프거나 잘못된 장소에서 담배를 피우거나 사람이 난간에 떨어지는 등 이러한 모든 패턴은 비디오 분석 시스템에서 인식될 수 있습니다. Vision API를 통해

2.6. 문서 흐름

현재 개발 중인 Vision의 또 다른 흥미로운 향후 응용 프로그램은 문서 인식과 데이터베이스로의 자동 구문 분석입니다. 끝없는 시리즈, 숫자, 발행 날짜, 계좌 번호, 은행 정보, 생년월일 및 장소, 기타 공식화된 데이터를 수동으로 입력(또는 더 나쁘게는 입력)하는 대신 문서를 스캔하고 다음을 통해 보안 채널을 통해 자동으로 보낼 수 있습니다. 시스템이 이러한 문서를 즉시 인식하고 구문 분석한 후 데이터베이스에 자동 입력하는 데 필요한 형식의 데이터와 함께 응답을 반환하는 클라우드에 대한 API입니다. 오늘날 Vision은 문서(PDF 포함)를 분류하는 방법을 이미 알고 있습니다. 즉, 여권, SNILS, TIN, 출생 증명서, 결혼 증명서 등을 구별합니다.

물론 신경망은 이러한 모든 상황을 기본적으로 처리할 수는 없습니다. 각각의 경우 특정 고객을 위한 새로운 모델이 구축되고 다양한 요소, 미묘한 차이 및 요구 사항이 고려되고 데이터 세트가 선택되며 교육, 테스트 및 구성의 반복이 수행됩니다.

3. API 운영 방식

Vision의 사용자를 위한 "출입문"은 REST API입니다. 네트워크 카메라(RTSP 스트림)에서 사진, 비디오 파일 및 방송을 입력으로 수신할 수 있습니다.

Vision을 사용하려면 다음이 필요합니다. 레지스터 Mail.ru Cloud Solutions 서비스에서 액세스 토큰(client_id + client_secret)을 받습니다. 사용자 인증은 OAuth 프로토콜을 사용하여 수행됩니다. POST 요청 본문의 소스 데이터가 API로 전송됩니다. 이에 대한 응답으로 클라이언트는 API로부터 JSON 형식의 인식 결과를 수신하고 응답은 구조화됩니다. 여기에는 발견된 객체와 해당 좌표에 대한 정보가 포함됩니다.

샘플 답변

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

답변에는 awesomeness라는 흥미로운 매개변수가 포함되어 있습니다. 이는 사진 속 얼굴의 조건부 "멋짐"이며 이를 통해 시퀀스에서 가장 좋은 얼굴 사진을 선택할 수 있습니다. 우리는 소셜 네트워크에서 사진이 좋아요를 받을 가능성을 예측하기 위해 신경망을 훈련시켰습니다. 사진의 품질이 좋을수록, 웃는 얼굴이 많을수록 그 멋짐은 더욱 커집니다.

API Vision은 공간이라는 개념을 사용합니다. 이것은 다양한 얼굴 세트를 만드는 도구입니다. 공백의 예로는 블랙 및 화이트 목록, 방문자 목록, 직원, 고객 목록 등이 있습니다. Vision의 각 토큰에 대해 최대 10개의 공간을 만들 수 있으며, 각 공간은 최대 50개의 PersonID, 즉 최대 500개를 가질 수 있습니다. 토큰당 . 또한 계정당 토큰 수에는 제한이 없습니다.

현재 API는 다음과 같은 감지 및 인식 방법을 지원합니다.

• 인식/설정 - 얼굴을 감지하고 인식합니다. 각각의 고유한 사람에게 자동으로 PersonID를 할당하고, 검색된 사람의 PersonID와 좌표를 반환합니다.
• 삭제 - 개인 데이터베이스에서 특정 PersonID를 삭제합니다.
• 자르기 - PersonID에서 전체 공간을 지웁니다. 이는 테스트 공간으로 사용되었고 프로덕션을 위해 데이터베이스를 재설정해야 하는 경우에 유용합니다.
• 감지 - 객체, 장면, 번호판, 랜드마크, 대기열 등을 감지합니다. 발견된 객체의 클래스와 해당 좌표를 반환합니다.
• 문서 감지 - 러시아 연방의 특정 유형의 문서를 감지합니다(여권, SNILS, 세금 식별 번호 등 구별).

우리는 또한 OCR 방법, 성별, 연령 및 감정 결정, 상품화 문제 해결, 즉 매장 내 상품 진열을 자동으로 제어하는 ​​방법에 대한 작업도 곧 마무리할 예정입니다. 여기에서 전체 API 문서를 찾을 수 있습니다. https://mcs.mail.ru/help/vision-api

4. 결론

이제 공개 API를 통해 사진, 영상 속 안면인식에 접근할 수 있으며, 다양한 사물, 번호판, 랜드마크, 문서, 전체 장면 식별이 지원된다. 적용 시나리오 - 바다. 와서 우리 서비스를 테스트하고 가장 까다로운 작업을 설정하세요. 처음 5000건의 거래는 무료입니다. 아마도 그것은 귀하의 프로젝트에서 "누락된 요소"가 될 것입니다.

등록 및 연결 시 즉시 API에 액세스할 수 있습니다. 비전. 모든 Habra 사용자는 추가 거래에 대한 프로모션 코드를 받습니다. 계정 등록 시 사용한 이메일 주소를 적어주세요!

출처 : habr.com