テルアビブ大学の研究者チームは、リアルな人間の動きを生成できるMDM（モーション拡散モデル）機械学習システムに関連するソースコードを公開した。 コードは PyTorch フレームワークを使用して Python で記述され、MIT ライセンスの下で配布されます。 実験を行うには、既製のモデルを使用することも、提案されたスクリプトを使用してモデルを自分でトレーニングすることもできます (たとえば、3 次元人物画像の HumanMLXNUMXD コレクションを使用します)。 システムをトレーニングするには、CUDA をサポートする GPU が必要です。
人間の動きをアニメーション化するために従来の機能を使用することは、考えられる動きの多種多様に伴う複雑さ、それらを正式に記述することの難しさ、そして不自然な動きに対する人間の知覚の非常に敏感なため、困難です。 生成機械学習モデルを使用するこれまでの試みでは、品質と表現力の制限に問題がありました。
提案されたシステムは、拡散モデルを使用して動きを生成しようとしています。これは本質的に人間の動きをシミュレートするのにより適していますが、高い計算要件や制御の複雑さなどの欠点がないわけではありません。 拡散モデルの欠点を最小限に抑えるために、MDM は各段階でノイズ予測の代わりにトランスフォーマー ニューラル ネットワークとサンプル予測を使用し、足との表面接触の損失などの異常を防ぎやすくします。
生成を制御するには、自然言語でのアクションのテキスト記述 (たとえば、「人は地面から何かを拾うために前に歩き、かがむ」) を使用するか、「走る」や「」などの標準的なアクションを使用することができます。ジャンピング。" このシステムは、動きを編集したり、失われた詳細を埋めたりするためにも使用できます。 研究者らは、参加者にいくつかの選択肢からより良い結果を選択するよう求めたテストを実施しました。42% のケースで、人々は実際の動きよりも合成された動きを好みました。
出所： オープンネット.ru