Azure AI의 Microsoft 최신 기술은 사람뿐만 아니라 이미지도 설명합니다.

Microsoft 연구원들은 이미지 캡션을 생성할 수 있는 인공 지능 시스템을 만들었습니다. 대부분의 경우 인간이 설명하는 것보다 더 정확한 것으로 나타났습니다. 이 혁신은 모든 사용자가 포괄적이고 액세스할 수 있는 제품과 서비스를 만들기 위한 Microsoft의 약속에서 중요한 이정표를 세웠습니다.

"이미지 설명은 광범위한 서비스를 가능하게 하는 컴퓨터 비전의 주요 기능 중 하나입니다."라고 Xuedong Huang(황쉐동), 워싱턴주 레드몬드에 있는 Azure AI Cognitive Services의 Microsoft 기술 책임자 겸 CTO입니다.

새 모델은 이제 Computer Vision을 통해 소비자에게 제공됩니다. Azure 인지 서비스, Azure AI의 일부이며 개발자가 이 기능을 사용하여 서비스의 가용성을 향상시킬 수 있습니다. 또한 Seeing AI 앱에 포함되어 있으며 올해 말 Windows 및 Mac용 Microsoft Word 및 Outlook은 물론 Windows, Mac 및 웹용 PowerPoint에서도 사용할 수 있습니다.

자동 설명은 사용자가 검색 결과에 반환된 사진이든 프레젠테이션용 일러스트레이션이든 이미지의 중요한 콘텐츠에 액세스할 수 있도록 도와줍니다.

Saqib Sheikh는 "웹 페이지 및 문서에서 이미지의 내용(이른바 대체 텍스트)을 설명하는 캡션을 사용하는 것은 맹인 또는 시각 장애인에게 특히 중요합니다."라고 말했습니다.사치 브 샤이 크), Redmond에 있는 Microsoft AI Platform Group의 소프트웨어 관리자입니다.

예를 들어 그의 팀은 맹인 및 시각 장애인을 위해 앱에서 향상된 이미지 설명 기능을 사용하고 있습니다. AI보기, 카메라가 캡처하는 내용을 인식하고 이에 대해 알려줍니다. 이 앱은 생성된 캡션을 사용하여 소셜 미디어를 포함하여 사진을 설명합니다.

“이상적으로 모든 사람은 문서, 웹, 소셜 네트워크의 모든 이미지에 대체 텍스트를 추가해야 합니다. 이를 통해 시각 장애인이 콘텐츠에 액세스하고 대화에 참여할 수 있기 때문입니다. 그러나 아아, 사람들은 이렇게 하지 않습니다.”라고 셰이크는 말합니다. "그러나 누락된 대체 텍스트를 추가하기 위해 이미지 설명 기능을 사용하는 몇 가지 앱이 있습니다."
  


Microsoft Redmond Lab의 리루안 왕(Liruan Wang) 연구 총책임자는 인간의 결과를 능가하는 연구 팀을 이끌었습니다. 사진: 댄 드롱.

새 개체에 대한 설명

Liruan Wang은 "이미지를 설명하는 것은 컴퓨터 비전의 주요 작업 중 하나이며 이미지에 표시되는 주요 내용이나 동작을 이해하고 설명하기 위해 인공 지능 시스템이 필요합니다."라고 설명했습니다.리후안 왕), Microsoft Redmond 연구소의 연구 총괄 관리자입니다.

"무슨 일이 일어나고 있는지 이해하고, 물체와 행동 사이의 관계가 무엇인지 파악한 다음, 사람이 읽을 수 있는 언어로 문장으로 요약하고 설명해야 합니다."라고 그녀는 말했습니다.

Wang은 벤치마킹에서 연구팀을 이끌었습니다. 노캅스 (규모에 맞는 새로운 개체 캡션, 새로운 개체에 대한 대규모 설명) 인간과 비슷한 결과를 달성했으며 이를 능가했습니다. 이 테스트를 통해 AI 시스템이 모델이 훈련된 데이터 세트에 포함되지 않은 묘사된 개체에 대한 설명을 얼마나 잘 생성하는지 평가할 수 있습니다.

일반적으로 이미지 설명 시스템은 이러한 이미지에 대한 텍스트 설명과 함께 이미지가 포함된 데이터 세트, 즉 서명된 이미지 세트에서 학습됩니다.

"nocaps 테스트는 훈련 데이터에서 찾을 수 없는 새로운 객체를 시스템이 얼마나 잘 설명할 수 있는지 보여줍니다."라고 Wang은 말합니다.

이 문제를 해결하기 위해 Microsoft 팀은 각각 이미지의 특정 개체와 연결된 단어 태그 이미지가 포함된 대규모 데이터 세트에서 대규모 AI 모델을 사전 교육했습니다.

전체 캡션 대신 단어 태그가 있는 이미지 세트를 만드는 것이 더 효율적이므로 Wang의 팀은 모델에 많은 데이터를 공급할 수 있습니다. 이 접근 방식은 팀이 시각적 어휘라고 부르는 것을 모델에 제공했습니다.

Huang이 설명했듯이 시각적 어휘를 사용하는 사전 학습 접근 방식은 아이들이 읽기를 준비하는 것과 유사합니다. 첫째, 개별 단어가 이미지와 연결되는 그림책이 사용됩니다. 예를 들어 사과 사진 아래에 "사과"라고 쓰여 있습니다. 고양이 사진 아래에는 "고양이"라는 단어가 있습니다.

“시각적 어휘를 사용한 이 사전 교육은 본질적으로 시스템을 교육하는 데 필요한 초기 교육입니다. 이것이 우리가 일종의 운동 기억을 개발하려는 방법입니다.”라고 Huang은 말했습니다.

사전 훈련된 모델은 레이블이 지정된 이미지를 포함하는 데이터 세트로 정제됩니다. 이 훈련 단계에서 모델은 문장을 만드는 법을 배웁니다. 새로운 물체가 포함된 이미지가 나타나면 AI 시스템은 시각적 사전을 사용하여 정확한 설명을 생성합니다.

"테스트 중에 새로운 개체로 작업하기 위해 시스템은 사전 훈련과 후속 개선 중에 학습한 내용을 통합합니다."라고 Wang은 말합니다.
결과에 따르면 연구, nocaps 테스트에서 평가했을 때 AI 시스템은 동일한 이미지에 대해 인간이 수행한 것보다 더 의미 있고 정확한 설명을 생성했습니다.

작업 환경으로의 빠른 전환 

무엇보다도 새로운 이미지 설명 시스템은 다른 업계 벤치마크와 비교할 때 2015년 이후 Microsoft 제품 및 서비스에 사용된 모델보다 두 배 더 우수합니다.

Huang은 Microsoft 제품 및 서비스의 모든 사용자가 이러한 개선을 통해 받게 될 이점을 고려하여 새 모델을 Azure 작업 환경에 통합하는 속도를 높였습니다.

"우리는 더 넓은 범위의 고객에게 서비스를 제공하기 위한 플랫폼으로 Azure에 이 혁신적인 AI 기술을 도입하고 있습니다."라고 그는 말했습니다. “그리고 이것은 단지 연구의 돌파구가 아닙니다. 이 혁신을 Azure 프로덕션 환경에 통합하는 데 걸린 시간도 혁신이었습니다.”

Huang은 인간과 같은 결과를 달성하는 것이 Microsoft의 인지 지능 시스템에서 이미 확립된 추세를 계속 이어가고 있다고 덧붙였습니다.

“지난 2020년 동안 음성 인식, 기계 번역, 질문에 대한 답변, 기계 읽기 및 텍스트 이해, 그리고 19년에는 COVID-XNUMX에도 불구하고 이미지 설명 등 XNUMX개 주요 영역에서 인간과 같은 결과를 달성했습니다. ' 후안이 말했다.

주제별

• 웹 사이트 방문 Azure 인지 서비스 컴퓨터 비전에 대해 자세히 알아보려면(컴퓨터 비전)
• 기사 읽기 역사적인 성과 - Microsoft 연구원, 자동 음성 인식에서 인간 수준 달성 

시스템이 제공한 이미지 설명의 결과를 AI를 사용하여 이전과 현재 비교

게티 이미지의 사진 제공. 이전 설명: 도마에서 핫도그를 준비하는 남자의 클로즈업. 새로운 설명: 남자가 빵을 만듭니다.

게티 이미지의 사진 제공. 이전 설명: 한 남자가 석양에 앉아 있습니다. 새로운 설명: 해변의 모닥불.



게티 이미지의 사진 제공. 이전 설명: 파란색 셔츠를 입은 남자. 새로운 설명: 수술용 마스크를 쓴 여러 사람.

게티 이미지의 사진 제공. 이전 설명: 스케이트보드를 탄 남자가 벽 위로 날아갑니다. 새 설명: 야구 선수가 공을 잡습니다.

출처 : habr.com