Un equipo de investigadores da Universidade de Tel Aviv abriu o código fonte asociado ao sistema de aprendizaxe automática MDM (Motion Diffusion Model), que permite xerar movementos humanos realistas. O código está escrito en Python usando o framework PyTorch e distribúese baixo a licenza MIT. Para levar a cabo experimentos, podes usar modelos xa preparados e adestrar os modelos ti mesmo usando os guións propostos, por exemplo, usando a colección HumanML3D de imaxes humanas tridimensionais. Para adestrar o sistema, é necesaria unha GPU con soporte CUDA.
O uso das capacidades tradicionais para animar os movementos humanos é difícil debido ás complicacións asociadas á gran variedade de movementos posibles e á dificultade de describilos formalmente, así como á gran sensibilidade da percepción humana aos movementos non naturais. Os intentos anteriores de utilizar modelos xerativos de aprendizaxe automática tiveron problemas de calidade e expresividade limitada.
O sistema proposto tenta utilizar modelos de difusión para xerar movementos, que son inherentemente máis adecuados para simular movementos humanos, pero non exentos de inconvenientes, como altos requisitos computacionais e complexidade de control. Para minimizar as deficiencias dos modelos de difusión, MDM utiliza unha rede neuronal transformadora e unha predición de mostras en lugar da predición de ruído en cada etapa, o que facilita a prevención de anomalías como a perda de contacto superficial co pé.
Para controlar a xeración, é posible utilizar unha descrición de texto dunha acción en linguaxe natural (por exemplo, "unha persoa camiña cara adiante e inclínase para coller algo do chan") ou usar accións estándar como "correr" e " saltando". O sistema tamén se pode usar para editar movementos e cubrir detalles perdidos. Os investigadores realizaron unha proba na que se pediu aos participantes que elixan un mellor resultado entre varias opcións: nun 42% dos casos, a xente prefería os movementos sintetizados sobre os reais.
Fonte: opennet.ru