인공 지능을 갖춘 12개의 새로운 Azure 미디어 서비스

Microsoft의 사명은 지구상의 모든 사람과 조직이 더 많은 것을 성취할 수 있도록 역량을 강화하는 것입니다. 미디어 산업은 이러한 사명을 현실로 만든 훌륭한 예입니다. 우리는 더 많은 콘텐츠가 더 많은 장치에서 더 많은 방법으로 생성되고 소비되는 시대에 살고 있습니다. IBC 2019에서 우리는 현재 진행 중인 최신 혁신 기술과 이러한 혁신이 미디어 경험을 변화시키는 데 어떻게 도움이 될 수 있는지 공유했습니다.

자세한 내용은 컷 아래에 있습니다!

이 페이지는 다음 위치에 있습니다. 우리 웹사이트.

Video Indexer는 이제 애니메이션과 다국어 콘텐츠를 지원합니다.

작년에 IBC에서 우리는 수상 경력을 쌓았습니다. Azure Media Services 비디오 인덱서, 올해는 더욱 좋아졌습니다. Video Indexer는 음성, 얼굴, 감정, 주제, 브랜드 등 미디어 파일에서 정보와 메타데이터를 자동으로 추출하며, 이를 사용하기 위해 기계 학습 전문가가 될 필요는 없습니다.

최신 제품에는 매우 인기 있고 차별화된 두 가지 기능(애니메이션 문자 인식 및 다국어 음성 전사)의 미리 보기와 현재 Video Indexer에서 사용할 수 있는 기존 모델에 대한 몇 가지 추가 기능이 포함되어 있습니다.

애니메이션 문자 인식

애니메이션 콘텐츠는 가장 인기 있는 콘텐츠 유형 중 하나이지만 사람의 얼굴을 인식하도록 설계된 표준 컴퓨터 비전 모델은 특히 콘텐츠에 사람의 얼굴 특징이 없는 캐릭터가 포함된 경우 제대로 작동하지 않습니다. 새로운 미리 보기 버전은 Video Indexer를 Microsoft의 Azure Custom Vision 서비스와 결합하여 애니메이션 캐릭터를 자동으로 감지 및 그룹화하고 통합된 사용자 지정 비전 모델을 사용하여 쉽게 레이블을 지정하고 인식할 수 있게 해주는 새로운 모델 세트를 제공합니다.

모델은 단일 파이프라인에 통합되어 기계 학습 지식이 없어도 누구나 서비스를 사용할 수 있습니다. 코드가 없는 Video Indexer 포털이나 자체 애플리케이션에 빠르게 통합할 수 있는 REST API를 통해 결과를 확인할 수 있습니다.

우리는 교육 및 테스트를 위해 실제 애니메이션 콘텐츠를 제공한 일부 소비자와 함께 애니메이션 캐릭터와 함께 작동하도록 이러한 모델을 구축했습니다. 새로운 기능의 가치는 데이터 제공자 중 한 명인 Viacom International Media Networks의 스튜디오 기술 및 포스트 프로덕션 수석 이사인 Andy Gutteridge에 의해 잘 요약되었습니다. “강력한 AI 기반 애니메이션 콘텐츠 검색 기능을 추가하면 라이브러리 콘텐츠에서 문자 메타데이터를 빠르고 효율적으로 찾고 카탈로그화할 수 있습니다.

가장 중요한 것은 우리 크리에이티브 팀이 필요한 콘텐츠를 즉시 찾을 수 있는 능력을 제공하여 미디어 관리에 소요되는 시간을 최소화하고 창의성에 집중할 수 있게 해준다는 것입니다.”

애니메이션 문자 인식에 익숙해지기 시작할 수 있습니다. 문서 페이지.

여러 언어로 된 콘텐츠 식별 및 전사

뉴스, 연대기, 인터뷰 등 일부 미디어 자료에는 다양한 언어를 사용하는 사람들의 녹음이 포함되어 있습니다. 기존의 대부분의 음성-텍스트 기능은 오디오 인식 언어를 미리 지정해야 하므로 다국어 비디오를 전사하기가 어렵습니다.

다양한 유형의 콘텐츠에 대한 새로운 자동 음성 언어 식별 기능은 기계 학습 기술을 사용하여 미디어 자산에서 발견된 언어를 식별합니다. 감지되면 각 언어 세그먼트는 자동으로 적절한 언어로 전사 프로세스를 거친 다음 모든 세그먼트가 단일 다중 언어 전사 파일로 결합됩니다.

결과 내용은 Video Indexer의 JSON 출력의 일부 및 자막 파일로 사용할 수 있습니다. 출력 내용은 Azure Search와도 통합되어 비디오에서 다양한 언어 세그먼트를 즉시 검색할 수 있습니다. 또한 Video Indexer 포털에서 작업할 때 다국어 전사를 사용할 수 있으므로 시간이 지남에 따라 스크립트와 식별된 언어를 보거나 각 언어에 대한 비디오의 특정 위치로 이동하여 비디오가 재생될 때 다국어 전사를 캡션으로 볼 수 있습니다. 포털과 API를 통해 수신된 텍스트를 사용 가능한 54개 언어 중 하나로 번역할 수도 있습니다.

새로운 다국어 콘텐츠 인식 기능과 이 기능이 Video Indexer에서 사용되는 방식에 대해 자세히 알아보세요. 문서를 읽어보세요.

추가 업데이트 및 개선된 모델

또한 Video Indexer에 새 모델을 추가하고 아래 설명된 모델을 포함하여 기존 모델을 개선하고 있습니다.

사람, 장소와 관련된 개체 추출

우리는 파리의 에펠탑, 런던의 빅벤 등 잘 알려진 이름과 위치를 포함하도록 기존 브랜드 검색 기능을 확장했습니다. 생성된 녹취록이나 광학 문자 인식(OCR)을 사용하여 화면에 표시되면 관련 정보가 추가됩니다. 이 새로운 기능을 사용하면 비디오에 등장한 모든 사람, 장소 및 브랜드를 검색하고 시간 슬롯, 설명, 자세한 내용을 볼 수 있는 Bing 검색 엔진 링크 등 해당 세부 정보를 볼 수 있습니다.

편집기용 프레임 감지 모델

이 새로운 기능은 편집 유형(예: 와이드 샷, 미디엄 샷, 클로즈업, 익스트림 클로즈업, XNUMX샷, 여러 사람)을 나타내기 위해 JSON 세부 정보의 개별 프레임에 첨부된 메타데이터에 "태그" 세트를 추가합니다. , 실외, 실내 등). 이러한 샷 유형 특성은 클립 및 예고편용 비디오를 편집하거나 예술적인 목적을 위해 특정 샷 스타일을 찾을 때 유용합니다.

더 알아보기 Video Indexer에서 프레임 유형 감지.

향상된 IPTC 매핑 세분성

우리의 주제 감지 모델은 주제가 명시적으로 지정되지 않은 경우에도 텍스트 변환, OCR(광학 문자 인식) 및 감지된 유명인을 기반으로 비디오 주제를 결정합니다. 감지된 주제를 Wikipedia, Bing, IPTC 및 IAB의 네 가지 분류 영역에 매핑합니다. 이 개선 사항을 통해 두 번째 수준 IPTC 분류를 포함할 수 있습니다.
이러한 개선 사항을 활용하는 것은 현재 Video Indexer 라이브러리를 다시 인덱싱하는 것만큼 쉽습니다.

새로운 라이브 스트리밍 기능

Azure Media Services 미리 보기에서는 라이브 스트리밍을 위한 두 가지 새로운 기능도 제공합니다.

AI 기반 실시간 전사로 라이브 스트리밍을 한 단계 더 발전시킵니다.

라이브 스트리밍을 위해 Azure Media Services를 사용하면 이제 오디오 및 비디오 콘텐츠 외에 자동 생성된 텍스트 트랙이 포함된 출력 스트림을 받을 수 있습니다. 텍스트는 인공 지능을 기반으로 한 실시간 오디오 전사를 사용하여 생성됩니다. 결과를 개선하기 위해 음성-텍스트 변환 전후에 사용자 지정 기술이 적용됩니다. 텍스트 트랙은 DASH, HLS CMAF 또는 HLS TS로 제공되는지 여부에 따라 IMSC1, TTML 또는 WebVTT로 패키지됩니다.

연중무휴 OTT 채널을 위한 실시간 라인 인코딩

v3 API를 사용하면 OTT(over-the-top) 채널을 생성, 관리 및 브로드캐스트할 수 있으며 라이브 주문형 비디오(VOD, 주문형 비디오), 패키징 및 디지털 권한 관리( DRM, 디지털 권한 관리).
이러한 기능의 미리보기 버전을 보려면 다음을 방문하세요. Azure 미디어 서비스 커뮤니티.

새로운 패키지 생성 기능

오디오 설명 트랙 지원

방송 채널을 통해 방송되는 콘텐츠에는 일반 오디오 신호 외에 화면에서 일어나는 일에 대한 음성 설명이 포함된 오디오 트랙이 있는 경우가 많습니다. 이를 통해 특히 콘텐츠가 주로 시각적인 경우 시각 장애가 있는 시청자가 프로그램에 더 쉽게 접근할 수 있습니다. 새로운 오디오 설명 기능 오디오 트랙 중 하나에 오디오 설명 트랙(AD, 오디오 설명)으로 주석을 달 수 있어 플레이어가 AD 트랙을 시청자에게 제공할 수 있습니다.

ID3 메타데이터 삽입

광고 삽입이나 사용자 정의 메타데이터 이벤트를 클라이언트 플레이어에 알리기 위해 방송사는 비디오에 포함된 시간 제한 메타데이터를 사용하는 경우가 많습니다. SCTE-35 신호 모드 외에도 이제 다음도 지원합니다. ID3v2 및 기타 맞춤 구성표, 클라이언트 애플리케이션에서 사용하기 위해 애플리케이션 개발자가 정의합니다.

Microsoft Azure 파트너가 엔드투엔드 솔루션을 시연합니다.

비트 모빈 Microsoft Azure용 Bitmovin 비디오 인코딩 및 Bitmovin 비디오 플레이어를 소개합니다. 이제 고객은 Azure에서 이러한 인코딩 및 재생 솔루션을 활용하고 1단계 인코딩, AVXNUMX/VC 코덱 지원, 다국어 자막, QoS용 사전 통합 비디오 분석, 광고 및 비디오 추적과 같은 고급 기능의 이점을 누릴 수 있습니다.

에버전트 Azure의 사용자 수명 주기 관리 플랫폼을 보여줍니다. 수익 및 고객 수명 주기 관리 솔루션의 선도적인 공급자인 Evergent는 Azure AI를 사용하여 프리미엄 엔터테인먼트 공급자가 고객 수명 주기의 중요한 지점에서 대상 서비스 패키지와 제안을 만들어 고객 확보 및 유지를 개선할 수 있도록 지원합니다.

Haivision 지능형 클라우드 기반 미디어 라우팅 서비스인 SRT Hub를 선보일 예정입니다. Azure 데이터 상자 에지 Avid, Telestream, Wowza, Cinegy 및 Make.tv의 Hublets를 통해 워크플로우를 혁신하고 있습니다.

SES 위성 및 관리형 미디어 서비스 고객을 위해 Azure 플랫폼에서 방송급 미디어 서비스 제품군을 개발했습니다. SES는 마스터 재생, 지역화된 재생, 광고 검색 및 교체, Azure의 고품질 실시간 24x7 다중 채널 인코딩을 포함하여 완전 관리형 재생 서비스를 위한 솔루션을 시연합니다.

싱크워드 Azure에서 편리한 클라우드 도구와 서명 자동화 기술을 사용할 수 있습니다. 이러한 제품을 사용하면 미디어 조직이 Azure의 라이브 및 오프라인 비디오 워크플로에 외국어 자막을 포함한 자막을 자동으로 추가하는 것이 더 쉬워집니다.
국제적인 회사 타타 엘크시기술 서비스 회사인 는 OTT SaaS 플랫폼 TEPlay를 Azure Media Services에 통합하여 클라우드에서 OTT 콘텐츠를 제공했습니다. Tata Elxsi는 또한 Falcon Eye QoE(체감 품질) 모니터링 솔루션을 Microsoft Azure에 도입하여 의사 결정을 위한 분석 및 메트릭을 제공합니다.

버라이존 미디어 은 스트리밍 플랫폼을 Azure에서 베타 릴리스로 사용할 수 있도록 만들고 있습니다. Verizon Media Platform은 DRM, 광고 삽입, 일대일 개인화 세션, 동적 콘텐츠 교체 및 비디오 전송을 포함하는 엔터프라이즈급 관리형 OTT 솔루션입니다. 통합을 통해 워크플로, 글로벌 지원 및 확장이 단순화되고 Azure에서 제공되는 고유한 기능 중 일부가 잠금 해제됩니다.

출처 : habr.com