Група дослідників з Тель-Авівського університету відкрила вихідні тексти, пов'язані із системою машинного навчання MDM (Motion Diffusion Model), що дозволяє генерувати реалістичні рухи людини. Код написаний мовою Python з використанням фреймворку PyTorch та поширюється під ліцензією MIT. Для проведення експериментів можна використовувати як готові моделі, так і провести тренування моделей самостійно за допомогою скриптів, наприклад, використовуючи колекцію тривимірних зображень людини HumanML3D. Для навчання системи потрібний GPU з підтримкою CUDA.
Застосування традиційних можливостей для анімування рухів людини утруднено через ускладнення, пов'язані з великою різноманітністю можливих рухів і складністю їх формального опису, а також через велику чутливість людського сприйняття до неприродних рухів. Раніше спроби використання генеративних моделей машинного навчання мали проблеми з якістю та обмеженою виразністю.
У запропонованій системі зроблено спробу використання для генерації рухів дифузійних моделей, які за своєю суттю краще підходять для симуляції людських рухів, але не позбавлені недоліків, таких як високі вимоги до обчислювальних ресурсів та складність управління. Для мінімізації недоліків дифузійних моделей MDM задіяна нейронна мережа з архітектурою «трансформер» і прогнозування зразка (sample) замість прогнозування шуму на кожному етапі, що спрощує запобігання аномаліям, таким як втрата контакту поверхні з ногою.
Для управління генерацією передбачена можливість застосування текстового опису дії природною мовою (наприклад, «людина йде вперед і нахиляється щоб підняти щось із землі») або використання типових дій, таких як «біг» та «стрибки». Систему також можна застосовувати для редагування рухів та заповнення втрачених деталей. Дослідниками було проведено тестування, учасникам якого пропонувалося вибрати з кількох варіантів якісніший результат — у 42% випадків люди віддали перевагу синтезованим рухам, а не реальним.
Джерело: opennet.ru