ポッドキャスト「ITMO Research_」: AR コンテンツとスタジアム全体規模のショーの同期にどのようにアプローチするか

これは、プログラムの XNUMX 回目のインタビューのテキスト記録の最初の部分です (Apple Podcasts, ヤンデックスミュージック）。 ゲストの問題 - アンドレイ・カルサコフ (kapc3d）、博士号、国立認知研究センター上級研究員、デジタルトランスフォーメーション学部准教授。

2012 年以来、アンドレイは視覚化とコンピューター グラフィックスの研究グループに所属しています。 州レベルおよび国際レベルでの大規模応用プロジェクトに従事。 会話のこの部分では、公共イベントの AR サポートにおける彼の経験について話します。

フォト This isEngineering RAEng (Unsplash.com)

プロジェクトの背景と目的

タイムコード (by オーディオバージョン) — 00:41

ドミトリカバノフ: まずはヨーロッパ大会プロジェクトから始めたいと思います。 これは複数のコンポーネントから構成されており、いくつかのチームが準備に参加しており、スタジアムでのイベント中に数千人の観客に拡張現実を提供することは非常に重要な作業です。 あなたの関与に関しては、最初はソフトウェアでしたか？

kapc3d: はい、私たちはプログラミング部分を担当し、ショー中にサポートを提供しました。 すべてをリアルタイムで追跡、監視、開始する必要があり、またテレビグループと協力する必要がありました。 このプロジェクト全体を考えると、開会式と閉会式について話すことができます。 欧州競技大会 ミンスクでのこと、そして選手権の開会式について ワールドスキルズ カザンで。 同じ作業計画でしたが、異なるイベントでした。 二人の間にはXNUMXか月の空白があった。 私たちは会社の人たちと一緒にプロジェクトを準備しました Sechenov.com.

私たちは偶然彼らに会いました サイエンスフェスト、2018年の秋に行われました。 私たちの修士課程の学生は、VR をテーマにしたコース プロジェクトを発表しました。 彼らは私たちのところにやって来て、私たちが研究室で何をしているのかと尋ねました。 次のような感じでした。

— VRを扱っていますが、拡張現実も扱えますか？

- そうですね、そうですね。

- このようなタスクがあり、そのような紹介文があります。 それできますか？

彼らはカブを少し引っ掻いてみましたが、何も非現実的なことはないようです。

- まずはすべてを勉強してから、解決策を見つけてみましょう。

ドミトリー： 彼らはメディアサポートのみを提供しますか?

アンドレイ： フルスタックを作成します。 経営と組織の観点から、演出、演出、背景の選択、ロジスティクス、その他の技術サポートに全面的に関与します。 しかし、彼らはヨーロッパ大会のために何か特別なことをしたいと考えていました。 複合現実のようなこれらの特殊効果は、かなり長い間テレビ向けに作られてきましたが、技術的な実装という点では最も予算に優しいものではありません。 したがって、彼らは代替オプションを探しました。

ドミトリー： この問題についてさらに詳しく説明しましょう。 それは何で構成されていましたか？

アンドレイ： イベントがあります。 それはXNUMX時間半続きます。 ライブで観戦している観客とスタジアムに座っている観客が、サイト上の時間と場所の点でライブ ショーと完全に同期して拡張現実効果を確認できるようにする必要があります。

多くの技術的な制限がありました。 インターネットを介して時刻同期を行うことは不可能でした。満席のスタンドでネットワークに過度の負荷がかかることや、各国首脳がイベントに出席する可能性があり、モバイル ネットワークが妨害される可能性があるためです。

アンドレイ・カルサコフ、写真提供： ITMO大学の資料
このプロジェクトには XNUMX つの重要な要素がありました。それは人々がモバイル デバイスを通じて得られる個人的な体験、もう XNUMX つはスタジアム自体のテレビ放送や情報画面に表示されるものです。

突然、人がモバイル デバイスを通じて拡張現実のエピソードを視聴し、同時に画面に表示された場合、同じ画像が表示されるはずです。

時間内に完全に同期するには、実質的に異なる XNUMX つのシステムが必要でした。 しかし、このようなショーの特徴は、多数の技術サービスが関与し、すべての操作がタイムコードに従って実行される複雑なイベントであることです。 タイムコードは、光、音、人々の退場、ステージの花びらが開くなど、何かが始まる特定の瞬間です。 すべてが適切なタイミングで開始されるように、私たちはこのシステムに適応する必要がありました。 もう XNUMX つの特徴は、拡張現実を使用したシーンやエピソードが脚本に関連していることです。

ドミトリー： しかし、不可抗力のリスクが高いため、タイムコードの使用を放棄することに決めたのでしょうか、それとも最初に電力特性を計算して、システム全体の負荷が非常に高くなることに気づいたのでしょうか?

アンドレイ： そのようなユーザー向けに同期サービスを作成する場合、それはそれほど難しいことではありません。 いずれの場合でも、リクエストが一夜にして失敗することはありません。 はい、負荷は高くなりますが、緊急ではありません。 問題は、ネットワークが突然停止した場合に、これにリソースと時間を費やす価値があるかどうかです。 こんなことは起こらないと確信していました。 最終的には、負荷による中断はありましたが、すべてが機能し、別のスキームに従ってタイムコードに従って同期しました。 これは世界的な課題の XNUMX つでした。

UXの観点から見た実装の難しさ

タイムコード (by オーディオバージョン) — 10:42

アンドレイ： また、スタジアムがクラシックなコンサート会場ではないことを考慮し、モバイル デバイス向けにスペース全体でシステムを同期する必要がありました。 それで、少し前に私はバイラルになりました 拡張現実の物語 エミネムのコンサートで、ロボダとの事件があった。

フォト ロバート・バイ (Unsplash.com)
しかし、これは常に目の前での体験です。観客全員がステージの前に立っており、同期は非常に簡単です。 スタジアムの場合、スタジアムが仮想環境に存在する空間に収まるように、自分が円のどちら側にいるのか、相対的な位置を理解する必要があります。 それは苦い挑戦でした。 彼らはさまざまな方法でこの問題を解決しようと試み、結果はロボダによって実装されたものに近いものになりましたが、すべての点でそうではありませんでした。

ユーザーがどこにいるかはユーザーに決めてもらいます。 私たちは、人々がセクター、列、場所を選択するスタジアムのマーキングを作成しました。 これらすべてを 90 回の「クリック」で実行できます。 次にステージへの方向を決める必要がありました。 これを行うために、カスタムの観点からシーンがおおよそどのように見えるかのシルエットを示しました。 彼はそれを組み合わせてタップし、それだけでステージは終了しました。 このプロセスを可能な限り簡素化するように努めました。 それでも、番組を見ようとした視聴者の XNUMX% は、拡張現実を使ったコミュニケーションの経験がある人ではありません。

ドミトリー： このプロジェクトには別の申請があったのでしょうか?

アンドレイ： はい、ストアにプッシュした iOS と Android 用のアプリケーションです。 別途プロモーションキャンペーンが行われていました。 ダウンロード方法などは以前に詳しく解説しました。

ドミトリー： このようなアプリケーションの使用方法を人が物理的にテストして学ぶ場所はないことを理解する必要があります。 したがって、聴衆を「教育」するという作業はさらに複雑になりました。

アンドレイ： はいはい。 ユーザーは、ダウンロード、インストール、起動の XNUMX 回のクリックでエクスペリエンスを得たいと考えているため、UX に関しては多くの困難を経験しましたが、それはうまくいきました。 多くの人は、複雑なチュートリアルに従ったり、チュートリアルを読んだりするのが面倒です。 また、チュートリアルではできる限りすべてをユーザーに説明しようとはしませんでした。ここでウィンドウが開き、ここでカメラにアクセスします。そうしないと機能しません。などです。 どれだけ説明を書いても、どれだけ詳しく噛み砕いても、どんなGIFを挿入しても、人はそれを読みません。

ミンスクでは、この部分に関する大量のフィードバックを収集し、カザンでのアプリケーションに向けてすでに多くの変更を加えました。 私たちは、拡張現実の特定のエピソードに対応するレコードとタイム コードをそこに入れるだけでなく、すべてのレコードとタイム コードを完全に取得しました。 そのため、アプリケーションは起動時に何が起こっているかを聞き、誰かが間違ったタイミングでログインした場合、「同志、申し訳ありませんが、AR エピソードは 15 分後に始まります。」という情報を提供しました。

同期のアーキテクチャとアプローチについて少し説明します。

タイムコード (by オーディオバージョン) — 16:37

ドミトリー： 音で同期することにしましたか？

アンドレイ： はい、それは偶然に起こりました。 選択肢を検討していたところ、ある会社を見つけました シフラソフト イジェフスク出身。 特別洗練されているわけではありませんが、サウンドとタイミングを同期できる鉄工の SDK を作成しています。 このシステムは、条件付き広告のサウンドに基づいてアプリケーションで何かを表示したり、映画のトラックに基づいてインタラクティブなエクスペリエンスを提供したりできる場合に、テレビと連動するように位置づけられています。

ドミトリー： しかし、それは、あなたがリビングルームに座っているということと、何千人もの人々が集まるスタジアムという別のことです。 録音の品質とその後の評価についてはどうでしたか?

アンドレイ： たくさんの不安や疑問がありましたが、ほとんどの場合、すべてがうまく認識されました。 彼らは、巧妙なアルゴリズムを使用してオーディオ トラック上に署名を構築します。その結果、元のオーディオ ファイルよりも軽量になります。 マイクは周囲の音を聞くと、これらの特徴を見つけて、それに基づいてトラックを認識しようとします。 良好な状態では、同期精度は 0,1 ～ 0,2 秒です。 これで十分すぎるほどでした。 悪条件では、その差は最大 0,5 秒でした。

多くはデバイスに依存します。 私たちは多数のデバイスを使用して作業しました。 iPhoneの場合は10モデルしかありません。 品質やその他の機能の点でうまく機能しました。 しかし、アンドロイドにとって動物園は私の母親のようなものです。 どこでもサウンドの同期が機能したことが判明したわけではありません。 いくつかの特殊性により、異なるデバイスでは異なるトラックを聞くことができない場合がありました。 どこかで低周波が消え、どこかで高周波がゼーゼーし始めます。 ただし、デバイスのマイクにノーマライザーがあれば、同期は常に機能しました。

ドミトリー： アーキテクチャについて教えてください - プロジェクトでは何が使用されましたか?

アンドレイ： 私たちは Unity でアプリケーションを作成しました。これは、マルチプラットフォームとグラフィックスの操作という点で最も簡単なオプションです。 ARファンデーションを使用しました。 私たちはシステムを複雑にしたくないとすぐに言いました。そのため、すべてをテストする時間を確保するために、ARKit と ARCore をサポートするデバイスのフリートに限定しました。 私たちは DigitalSoft SDK のプラグインを作成しました。 GitHub にあります。 スクリプトがタイムラインに従って実行されるように、コンテンツ管理システムを作成しました。

ユーザーはいつでも特定のエピソードに入ることができ、同期した瞬間からすべてを見る必要があるため、パーティクル システムを少しいじりました。 私たちは、映画のように XNUMXD 体験を前後にスクロールできるように、シナリオを時間内に明確に再生できるシステムを工夫しました。 古典的なアニメーションではそのまま使用できますが、パーティクル システムをいじる必要がありました。 ある時点で、それらはスポーンし始めますが、スポーンポイントよりも前のどこかにいることに気づいた場合、それらはまだ生まれていないはずですが、生まれるはずです。 しかし、この問題は実際には非常に簡単に解決できます。

モバイル部分のアーキテクチャは非常にシンプルです。 テレビ放送の場合は、すべてがさらに複雑になります。 ハードウェアの制限がありました。 顧客は、「ここにはこれこれのハードウェア パークがあり、大まかに言えば、すべてがそこで動作する必要があります。」という条件を設定しました。 私たちはすぐに、比較的予算のビデオ キャプチャ カードを使用することに注目しました。 しかし、予算が悪いというわけではありません。

ハードウェア、ビデオ キャプチャ カード、および作業条件、つまり画像をどのように受信するかについて制限がありました。 キャプチャ カード - Blackmagic Design、内部キーイング スキームに従って動作します。これは、ビデオ フレームがカメラから届くときです。 カードには独自の処理チップがあり、そこにフレームも挿入され、受信したものの上に重ね合わせる必要があります。 カードはそれらを混合します。そこでは他には何も触れず、ビデオ カメラからのフレームには影響を与えません。 彼女はビデオ出力を介して結果をコントロール ルームに吐き出しました。 これは、タイトルなどをオーバーレイする場合には適した方法ですが、レンダリング パイプラインには多くの制限があるため、複合現実効果にはあまり適していません。

ドミトリー： リアルタイム コンピューティング、オブジェクト バインディング、またはその他の観点から?

アンドレイ： 品質と望ましい効果の達成の点で。 なぜなら、その写真を何の上に置くのかがわからないからです。 元のストリームに加えて色と透明度の情報を送信するだけです。 屈折、正しい透明度、追加のシャドウなどの一部の効果は、このスキームでは実現できません。 これを行うには、すべてを一緒にレンダリングする必要があります。 たとえば、火や熱いアスファルトによる空気の歪みのエフェクトを作成する方法はありません。 屈折率を考慮した透明効果の転送についても同様です。 当初はこれらの制限に基づいてコンテンツを作成し、適切なエフェクトを使用するように努めました。

この記事をInstagramで見る

ミンスクでの第XNUMX回ヨーロッパ競技大会が閉幕。

共有の投稿 アレナ・ランスカヤ (@alyonalanskaya) 30年2019月3日午後19時XNUMX分PDT

ドミトリー： ヨーロッパ競技大会の最初のプロジェクトではすでに独自のコンテンツを持っていましたか?

アンドレイ： いいえ、コンテンツ開発の主な段階は Sechenov.com のスタッフによって行われました。 グラフィック アーティストがアニメーションなどを使って基本的なコンテンツを描きました。 そして、すべてをエンジンに統合し、追加のエフェクトを追加し、すべてが正しく動作するように調整しました。

パイプラインについて言えば、テレビ放送ではすべてを Unreal Engine 4 で組み立てました。偶然にも、ちょうどその瞬間に、彼らは複合現実のためのツールを強化し始めました。 すべてがそれほど単純ではないことが判明しました。 今でも道具はすべて生のままで、多くの部分を手作業で仕上げなければなりません。 ミンスクでは、エンジンのカスタム ビルドに取り組みました。つまり、エンジン内の一部を書き換えて、たとえば実際のオブジェクトの上に影を描画できるようにしました。 当時のエンジンのバージョンには、標準ツールを使用してこれを実行できる機能がありませんでした。 このため、当社のスタッフは、極めて必要なものをすべて提供するために独自のカスタム アセンブリを作成しました。

その他のニュアンスとカザンの技能五輪への適応

タイムコード (by オーディオバージョン) — 31:37

ドミトリー： しかし、これらすべてがかなり短期間で行われるのでしょうか?

アンドレイ： 締め切りが厳しかった カザンプロジェクト、ミンスクによれば、正常です。 開発期間は約XNUMXカ月ですが、XNUMX人が関わったことを考慮すると。 同時に、モバイル部分の作成やテレビ制作用のツールの開発も行っていました。 映像出力だけではありませんでした。 たとえば、光学系を備えた追跡システムでは、独自のツールを作成する必要がありました。

ドミトリー： あるプロジェクトから別のプロジェクトへの適応はありましたか? XNUMX か月半の間に、開発状況を利用して、新しいコンテンツを含むプロジェクトを新しいサイトに移行する必要がありましたか?

アンドレイ： はい、一ヶ月半でした。 私たちはミンスクのプロジェクト後にチーム全体で XNUMX 週間の休暇を取る計画を立てていました。 しかし、閉店直後に Sechenov.com の人たちがやって来て、「それではカザンをやろう」と言います。 まだ少し休むことができましたが、すぐにこのプロジェクトに切り替えました。 いくつかの技術的な作業を完了しました。 ほとんどの時間はコンテンツに費やされました。WorldSkills に関しては、制作チームと調整するだけですべてを私たちが行ったためです。 彼ら側には台本しかありませんでした。 しかし、それは簡単でした。追加の反復を行う必要はありませんでした。 自分でコンテンツを作成すると、それがエンジン内でどのように機能するかがすぐにわかり、すぐに編集して調整することができます。

モバイル部分に関しては、ミンスクでの微妙な点をすべて考慮しました。 新しいアプリケーション設計を作成し、アーキテクチャを少し再設計し、チュートリアルを追加しましたが、できるだけ短く明確にするよう努めました。 アプリケーションの起動からコンテンツの閲覧までのユーザーのステップ数を削減しました。 適切なプロジェクトを完了するには XNUMX か月半で十分でした。 XNUMX週間半で現場に到着しました。 プロジェクトの管理はすべて主催者の手に委ねられており、他の委員会と調整する必要がなかったため、そこでの作業は容易でした。 カザンでの仕事はよりシンプルで簡単で、時間が少ないのはごく普通のことでした。

ドミトリー： しかし、音をベースにした同期のアプローチはそのままにしておくことにしたのでしょうか？

アンドレイ： はい、音で残しました。 うまくいきました。 よく言われるように、それが機能する場合は、触らないでください。 私たちはオーディオ トラックの品質の微妙な違いを考慮しただけです。 彼らがイントロを演奏したとき、ショーが始まる前に人々が試すためのトレーニングエピソードがありました。 スタジアムでトラックを再生する瞬間に嵐のような拍手が起こったとき、「ライブ」であることは驚きでした。システムにより、このトラックとうまく同期することができますが、この瞬間に録音された拍手がトラックに混合されている場合、トラックが捕まらなくなりました。 そういったニュアンスも考慮されていて、音的にもすごくシンクロしていました。

PS この号の後半では、科学データの視覚化、他のプロジェクトでのプロセス モデリング、ゲーム開発、修士課程について話します。コンピュータゲーム開発技術」 続きは次回の記事で掲載させていただきます。 こちらから聞いてサポートしていただけます:

• Apple Podcasts

• ヤンデックスミュージック

• ポドエフム

PPS 一方、Habr の英語版については次のようになります。 ITMO大学を詳しく見る.

出所： habr.com