Отворен е кодът на системата за машинно обучение за генериране на реалистични движения на човека

Група изследователи от Университета в Тел Авив откриха изходни текстове, свързани с системата за машинно обучение MDM (Motion Diffusion Model), която позволява генерирането на реалистични движения на хората. Кодът е написан на Python с използване на фреймворка PyTorch и се разпространява под лицензия MIT. За провеждане на експерименти може да се използват както готови модели, така и да се проведе обучение на модели самостоятелно с предлаганите скриптове, например, използвайки колекцията от триизмерни изображения на хора HumanML3D. За обучението на системата е необходим GPU с поддръжка на CUDA.

Прилагането на традиционните възможности за анимация на движенията на хората е затруднено поради усложнения, свързани с голямото разнообразие от възможни движения и трудностите при тяхното формално описание, както и поради голямата чувствителност на човешкото възприятие към неестествени движения. Предишни опити за използване на генеративни модели на машинно обучение срещнаха проблеми с качеството и ограничената изразителност.

В предложената система е направен опит за използване на дифузионни модели за генериране на движения, които по своята същност по-добре подхождат за симулация на човешките движения, но не са лишени от недостатъци, като високи изисквания към изчислителни ресурси и сложност на управлението. За минимизиране на недостатъците на дифузионните модели в MDM е ангажирана невронна мрежа с архитектура "трансформер" и прогнозиране на проба (sample) вместо прогнозиране на шум на всеки етап, което улеснява предотвратяването на аномалии, като загубата на контакт на повърхността с крака.

За управлението на генерирането е предвидена възможността за прилагане на текстово описание на действието на естествен език (например, «човек върви напред и се накланя, за да вдигне нещо от земята») или използване на типични действия, като «бягане» и «скокове». Системата може да се използва и за редактиране на движения и възстановяване на изгубени детайли. Изследователите проведоха тест, на участниците в който беше предложено да избират между няколко варианта, за да определят по-качествения резултат — в 42% от случаите хората предпочетоха синтезираните движения пред истинските.

Източник: opennet.ru