ニューラルネットワークを使用したアニメーション合成のオープンコード

上海理工大学の研究者グループ опубликовала ツール なりすましこれにより、機械学習手法を使用して、静止画像を使用して人の動きをシミュレートしたり、衣服を交換したり、別の環境に移動したり、オブジェクトが見える角度を変更したりすることができます。 コードはPythonで書かれています
フレームワークを使用する パイトーチ。 組み立ても必要です トーチビジョン CUDA ツールキット。

ツールキットは XNUMX 次元画像を入力として受け取り、選択されたモデルに基づいて変更された結果を合成します。 次の XNUMX つの変換オプションがサポートされています。
モデルがトレーニングされた動きに従う移動オブジェクトを作成します。 外観の要素をモデルからオブジェクトに移すこと (たとえば、衣服の変更)。 新規アングルの生成（例：顔写真を元に横顔画像を合成）。 XNUMX つの方法はすべて組み合わせることができ、たとえば、さまざまな服を着た複雑なアクロバティックなトリックのパフォーマンスをシミュレートするビデオを写真から生成できます。

合成処理では、写真の中のオブジェクトを選択する作業と、移動時に欠けている背景要素を形成する作業が同時に行われます。 ニューラル ネットワーク モデルは一度トレーニングすると、さまざまな変換に使用できます。 積載用 利用可能 既製のモデルを使用すると、事前のトレーニングなしでツールをすぐに使用できます。 少なくとも 8GB のメモリを搭載した GPU が必要です。

XNUMX 次元空間内の身体の位置を記述するキーポイントによる変換に基づく変換手法とは異なり、Impersonator は機械学習手法を使用して身体の記述を含む XNUMX 次元メッシュを合成しようとします。
提案手法により、個人の体型や現在の姿勢を考慮した操作が可能となり、手足の自然な動きを再現します。

変換プロセス中にテクスチャ、スタイル、色、顔認識などの元の情報を保持するため、 敵対的生成ニューラル ネットワーク (液体ワーピング GAN）。 ソース オブジェクトに関する情報とその正確な識別のためのパラメータは、適用することによって抽出されます。 畳み込みニューラル ネットワーク.

出所： オープンネット.ru