テキストの説明に基づいてオリジナルのビデオを作成するニューラル ネットワークはすでに存在します。 そして、彼らはまだ映画制作者やアニメーターを完全に置き換えることはできませんが、この方向ではすでに進歩があります。 ディズニーリサーチとラトガース テキスト スクリプトから大まかなストーリーボードとビデオを作成できるニューラル ネットワーク。
前述したように、このシステムは自然言語で動作するため、教育ビデオの作成など、さまざまな分野で使用できるようになります。 これらのシステムは、脚本家がアイデアを視覚化するのにも役立ちます。 同時に、目標は作家やアーティストを置き換えることではなく、彼らの仕事をより効率的にし、退屈さを軽減することであるとも述べられています。
開発者らは、入力データと出力データには固定構造がないため、テキストをアニメーションに変換するのは簡単な作業ではないと述べています。 したがって、そのようなシステムのほとんどは複雑な文を処理できません。 以前の同様のプログラムの制限を克服するために、開発者は、いくつかのコンポーネントで構成されるモジュール式ニューラル ネットワークを構築しました。 これらには、自然言語処理モジュール、スクリプト解析モジュール、アニメーションを生成するモジュールが含まれます。
まず、システムはテキストを分析し、複雑な文を単純な文に翻訳します。 この後、3Dアニメーションが作成されます。 作業には、52 個のアニメーション ブロックのライブラリが使用されます。そのリストは、同様の要素を追加することで 92 個に拡張されました。 アニメーションを作成するには、プリロードされたオブジェクトとモデルに依存する Unreal Engine ゲーム エンジンが使用されます。 システムはこれらの中から適切な要素を選択し、ビデオを生成します。
システムをトレーニングするために、研究者らは、IMSDb、SimplyScripts、および ScriptORama996 の 1000 以上のスクリプトから取得した 5 個の要素の一連の記述を編集しました。 この後、定性テストが実施され、22 人の参加者が 20 のアニメーションを評価する機会が得られました。 同時に、68% が、システムが入力テキストに基づいてかなりまともなアニメーションを作成したと回答しました。
しかし、チームはこのシステムが完璧ではないことを認めました。 アクションとオブジェクトのリストは網羅的ではなく、場合によっては語彙の簡略化が類似のアニメーションを持つ動詞と一致しないことがあります。 研究者らは、将来の研究でこれらの欠点に対処する予定です。
出所： 3dnews.ru