Группа исследователей из Тель-Авивского университета открыла исходные тексты, связанные с системой машинного обучения MDM (Motion Diffusion Model), позволяющей генерировать реалистичные движения человека. Код написан на языке Python с использованием фреймворка PyTorch и распространяется под лицензией MIT. Для проведения экспериментов можно использовать как готовые модели, так и провести тренировку моделей самостоятельно при помощи предлагаемых скриптов, например, используя коллекцию трёхмерных изображений человека HumanML3D. Для обучения системы требуется GPU с поддержкой CUDA.
Применение традиционных возможностей для анимирования движений человека затруднено из-за усложнений, связанных с большим разнообразием возможных движений и трудностью их формального описания, а также из-за большой чувствительности человеческого восприятия к неестественным движениям. Ранее предпринимаемые попытки использования генеративных моделей машинного обучения имели проблемы с качеством и ограниченной выразительностью.
В предложенной системе предпринята попытка использования для генерации движений диффузионных моделей, которые по своей сути лучше подходят для симуляции человеческих движений, но не лишены недостатков, таких как высокие требования к вычислительным ресурсам и сложность управления. Для минимизации недостатков диффузионных моделей в MDM задействована нейронная сеть с архитектурой «трансформер» и прогнозирование образца (sample) вместо прогнозирования шума на каждом этапе, что упрощает предотвращение аномалий, таких как потеря контакта поверхности с ногой.
Для управления генерацией предусмотрена возможность применения текстового описания действия на естественном языке (например, «человек идёт вперёд и наклоняется чтобы поднять что-то с земли») или использование типовых действий, таких как «бег» и «прыжки». Систему также можно применять для редактирования движений и восполнения утраченных деталей. Исследователями было проведено тестирование, участникам которого предлагалось выбрать из нескольких вариантов более качественный результат — в 42% случаев люди отдали предпочтение синтезированным движениям, а не реальным.
Foinse: oscailtenet.ru