人工知能を備えた 12 の新しい Azure Media Services

Microsoft の使命は、地球上のすべての個人と組織がより多くのことを達成できるようにすることです。 メディア業界は、この使命を実現する好例です。 私たちは、より多くのコンテンツが、より多くの方法で、より多くのデバイスで作成され、消費される時代に生きています。 IBC 2019 では、私たちが取り組んでいる最新のイノベーションと、それがメディア体験の変革にどのように役立つかを共有しました。

詳細はカットの下で！

このページは 私たちのサイト。

Video Indexer がアニメーションと多言語コンテンツをサポートするようになりました

昨年の IBC では、受賞歴のある作品を発表しました。 Azure Media Services ビデオ インデクサー、そして今年はさらに良くなりました。 Video Indexer は、話された言葉、顔、感情、トピック、ブランドなどの情報とメタデータをメディア ファイルから自動的に抽出します。これを使用するのに機械学習の専門家である必要はありません。

当社の最新の製品には、アニメーション キャラクター認識と多言語音声文字起こしという XNUMX つの非常に人気のある差別化された機能のプレビューと、現在 Video Indexer で利用できる既存のモデルへのいくつかの追加機能が含まれています。

アニメーションキャラクターの認識

アニメーション コンテンツは最も人気のある種類のコンテンツの XNUMX つですが、人間の顔を認識するように設計された標準的なコンピュータ ビジョン モデルは、アニメーション コンテンツではうまく機能しません。特に、コンテンツに人間の顔の特徴のないキャラクターが含まれている場合はそうです。 新しいプレビュー バージョンでは、Video Indexer と Microsoft の Azure Custom Vision サービスを組み合わせて、アニメーション キャラクターを自動的に検出してグループ化し、統合されたカスタム ビジョン モデルを使用してラベル付けと認識を容易にする新しいモデル セットを提供します。

モデルは単一のパイプラインに統合されているため、機械学習の知識がなくても誰でもサービスを使用できます。 結果は、コードなしの Video Indexer ポータル、または独自のアプリケーションに迅速に統合するための REST API 経由で入手できます。

私たちは、トレーニングとテスト用に実際のアニメーション コンテンツを提供した一部の消費者とともに、アニメーション キャラクターと連携するためにこれらのモデルを構築しました。 データ プロバイダーの XNUMX 人である Viacom International Media Networks のスタジオ テクノロジーおよびポストプロダクション担当シニア ディレクターである Andy Gutteridge 氏は、新機能の価値を次のようにうまく要約しています。ライブラリ コンテンツからキャラクターのメタデータを迅速かつ効率的に検索してカタログ化できます。

最も重要なことは、クリエイティブ チームが必要なコンテンツを即座に見つけられるようになり、メディアの管理に費やす時間が最小限に抑えられ、創造性に集中できるようになります。」

アニメーション キャラクター認識を始めるには、次のコマンドを使用します。 ドキュメントページ.

複数言語のコンテンツの識別と転写

ニュース、年代記、インタビューなどの一部のメディア リソースには、さまざまな言語を話す人々の録音が含まれています。 既存の音声テキスト変換機能のほとんどは、音声認識言語を事前に指定する必要があるため、多言語ビデオの文字起こしが困難になります。

さまざまなタイプのコンテンツに対する新しい自動音声言語識別機能は、機械学習テクノロジーを使用してメディア資産に含まれる言語を識別します。 各言語セグメントが検出されると、適切な言語での文字起こしプロセスが自動的に実行され、すべてのセグメントが XNUMX つの多言語文字起こしファイルに結合されます。

結果として得られるトランスクリプトは、Video Indexer の JSON 出力の一部として、また字幕ファイルとして利用できます。 出力トランスクリプトは Azure Search とも統合されているため、ビデオ内のさまざまな言語セグメントをすぐに検索できます。 さらに、Video Indexer ポータルを使用すると多言語トランスクリプションが利用できるため、トランスクリプトと特定された言語を時間の経過とともに表示したり、各言語のビデオ内の特定の場所にジャンプして、ビデオの再生中に多言語トランスクリプションをキャプションとして表示したりできます。 ポータルと API を通じて、受信したテキストを 54 の利用可能な言語のいずれかに翻訳することもできます。

新しい多言語コンテンツ認識機能と、Video Indexer でのその使用方法の詳細をご覧ください。 ドキュメントを読む.

追加の更新および改良されたモデル

また、Video Indexer に新しいモデルを追加し、以下で説明するモデルを含む既存のモデルを改善しています。

人や場所に関連付けられたエンティティの抽出

既存のブランド検出機能を拡張し、パリのエッフェル塔やロンドンのビッグ ベンなどの有名な名前や場所を含めるようにしました。 生成されたトランスクリプトまたは光学式文字認識 (OCR) を使用して画面に表示されると、関連情報が追加されます。 この新機能を使用すると、ビデオに登場したすべての人物、場所、ブランドを検索し、時間帯、説明、詳細情報を表示する Bing 検索エンジンへのリンクなど、それらに関する詳細を表示できます。

エディター用フレーム検出モデル

この新機能は、JSON 詳細内の個々のフレームに添付されたメタデータに一連の「タグ」を追加して、編集タイプ (ワイド ショット、ミディアム ショット、クローズ アップ、極クローズ アップ、ツー ショット、複数の人物など) を表します。 、屋外、屋内など）。 これらのショット タイプの特性は、クリップやトレーラーのビデオを編集する場合、または芸術的な目的で特定のショット スタイルを探す場合に役立ちます。

もっと詳しく知る Video Indexer でのフレーム タイプの検出。

IPTCマッピングの粒度の強化

当社のトピック検出モデルは、トピックが明示的に指定されていない場合でも、文字起こし、光学式文字認識 (OCR)、および検出された有名人に基づいてビデオのトピックを決定します。 これらの検出されたトピックを、Wikipedia、Bing、IPTC、IAB の XNUMX つの分類領域にマッピングします。 この機能強化により、第 XNUMX レベルの IPTC 分類を含めることができます。
これらの改善点を活用するのは、現在の Video Indexer ライブラリのインデックスを再作成するのと同じくらい簡単です。

新しいライブストリーミング機能

Azure Media Services プレビューでは、ライブ ストリーミング用の XNUMX つの新機能も提供します。

AI を活用したリアルタイム文字起こしがライブ ストリーミングを次のレベルに引き上げます

ライブ ストリーミングに Azure Media Services を使用すると、オーディオおよびビデオ コンテンツに加えて、自動生成されたテキスト トラックを含む出力ストリームを受信できるようになりました。 テキストは、人工知能に基づくリアルタイムの音声文字起こしを使用して作成されます。 結果を向上させるために、音声からテキストへの変換の前後にカスタム技術が適用されます。 テキスト トラックは、DASH、HLS CMAF、または HLS TS のいずれで提供されるかに応じて、IMSC1、TTML、または WebVTT でパッケージ化されます。

24 時間 7 日の OTT チャネルのリアルタイム ライン エンコーディング

v3 API を使用すると、OTT (オーバーザトップ) チャネルを作成、管理、ブロードキャストしたり、ライブ ビデオ オン デマンド (VOD、ビデオ オン デマンド)、パッケージ化、デジタル著作権管理などの他のすべての Azure Media Services 機能を使用したりできます ( DRM、デジタル著作権管理)。
これらの機能のプレビュー バージョンを確認するには、次のサイトにアクセスしてください。 Azure メディア サービス コミュニティ.

新しいパッケージ生成機能

音声解説トラックのサポート

ブロードキャスト チャネルを介してブロードキャストされるコンテンツには、通常の音声信号に加えて、画面上で何が起こっているかを口頭で説明する音声トラックが含まれることがよくあります。 これにより、特にコンテンツが視覚的なものである場合、視覚障害のある視聴者にとって番組がよりアクセスしやすくなります。 新しい 音声解説機能 を使用すると、オーディオ トラックの XNUMX つにオーディオ説明トラック (AD、オーディオ説明) として注釈を付けることができ、プレーヤーが AD トラックを視聴者に利用できるようにすることができます。

ID3メタデータの挿入

広告やカスタム メタデータ イベントの挿入をクライアントのプレーヤーに通知するために、放送局はビデオに埋め込まれた時間指定のメタデータを使用することがよくあります。 SCTE-35 シグナリング モードに加えて、 ID3v2 およびその他のカスタム スキーム、クライアント アプリケーションで使用するためにアプリケーション開発者によって定義されます。

Microsoft Azure パートナーがエンドツーエンドのソリューションを実証

ビットモビン Microsoft Azure 向けの Bitmovin Video Encoding と Bitmovin Video Player を紹介します。 お客様は、Azure でこれらのエンコードおよび再生ソリューションを利用できるようになり、1 段階エンコード、AVXNUMX/VC コーデックのサポート、多言語字幕、QoS、広告、ビデオ トラッキングのための事前統合されたビデオ分析などの高度な機能の恩恵を受けることができます。

エバージェント では、Azure 上のユーザー ライフサイクル管理プラットフォームをデモします。 収益および顧客ライフサイクル管理ソリューションの大手プロバイダーとして、Evergent は Azure AI を使用して、プレミアム エンターテイメント プロバイダーが顧客ライフサイクルの重要な時点で的を絞ったサービス パッケージやオファーを作成することで顧客の獲得と維持を向上できるよう支援しています。

Haivision は、インテリジェントなクラウドベースのメディア ルーティング サービスである SRT Hub を紹介します。これは、顧客が Azureデータボックスエッジ Avid、Telestream、Wowza、Cinegy、Make.tv の Hublet を使用してワークフローを変革します。

SES は、衛星およびマネージド メディア サービスの顧客向けに、Azure プラットフォーム上でブロードキャスト グレードのメディア サービス スイートを開発しました。 SES は、マスター プレイアウト、ローカライズされたプレイアウト、広告の検出と置換、Azure での高品質リアルタイム 24 時間 7 日マルチチャネル エンコーディングなど、フルマネージド プレイアウト サービスのソリューションをデモンストレーションします。

シンクワーズ 便利なクラウド ツールと署名自動化テクノロジを Azure で利用できるようにします。 これらのサービスにより、メディア組織は Azure 上のライブおよびオフライン ビデオ ワークフローに外国語字幕を含む字幕を自動的に追加することが容易になります。
国際企業 タタエルチシテクノロジー サービス会社である は、自社の OTT SaaS プラットフォーム TEPlay を Azure Media Services に統合し、クラウドから OTT コンテンツを配信します。 Tata Elxsi はまた、Falcon Eye のエクスペリエンス品質 (QoE) 監視ソリューションを Microsoft Azure に導入し、意思決定のための分析とメトリクスを提供します。

Verizon Media は、ストリーミング プラットフォームをベータ リリースとして Azure で利用できるようにしています。 Verizon Media Platform は、DRM、広告挿入、XNUMX 対 XNUMX のパーソナライズされたセッション、動的なコンテンツ置換、ビデオ配信を含むエンタープライズ グレードのマネージド OTT ソリューションです。 この統合により、ワークフロー、グローバル サポートとスケールが簡素化され、Azure にあるいくつかの独自機能が利用可能になります。

出所： habr.com