特拉維夫大學的一組研究人員開放了與 MDM（運動擴散模型）機器學習系統相關的原始程式碼，該系統可以產生逼真的人體運動。 該程式碼是使用 PyTorch 框架用 Python 編寫的，並根據 MIT 許可證分發。 要進行實驗，您可以使用現成的模型，並使用建議的腳本自行訓練模型，例如，使用三維人體影像的 HumanML3D 集合。 為了訓練系統，需要支援 CUDA 的 GPU。
由於與多種可能的運動相關的複雜性和正式描述它們的難度，以及人類感知對非自然運動的高度敏感性，使用傳統能力來動畫人類運動是困難的。 先前使用生成機器學習模型的嘗試存在品質問題和表達能力有限。
所提出的系統嘗試使用擴散模型來產生運動，這種模型本質上更適合模擬人體運動，但也有缺點，例如高運算要求和控制複雜性。 為了最大限度地減少擴散模型的缺點，MDM 在每個階段都使用變壓器神經網路和樣本預測來代替雜訊預測，更容易防止諸如腳部表面接觸丟失等異常情況。
為了控制生成，可以使用自然語言對動作的文本描述（例如，“一個人向前走，彎腰從地上撿起東西”）或使用標準動作，例如“跑步”和“跳躍。” 該系統還可用於編輯動作並填充丟失的細節。 研究人員進行了一項測試，要求參與者從多個選項中選擇一個更好的結果——在 42% 的情況下，人們更喜歡合成動作而不是真實動作。
來源： opennet.ru