Un grupo de investigadores de la Universidad de Tel Aviv ha publicado los textos fuente relacionados con el sistema de aprendizaje automático MDM (Motion Diffusion Model), que permite generar movimientos humanos realistas. El código está escrito en Python utilizando el marco PyTorch y se distribuye bajo la licencia MIT. Para llevar a cabo experimentos, se pueden utilizar tanto modelos preentrenados como realizar el entrenamiento de modelos por cuenta propia utilizando los scripts ofrecidos, por ejemplo, utilizando la colección de imágenes tridimensionales de humanos HumanML3D. Se requiere una GPU con soporte CUDA para entrenar el sistema.
La aplicación de capacidades tradicionales para animar los movimientos humanos se ve obstaculizada por las complicaciones relacionadas con la gran diversidad de movimientos posibles y la dificultad para describirlos formalmente, así como por la alta sensibilidad de la percepción humana a los movimientos no naturales. Los intentos previos de usar modelos generativos de aprendizaje automático han encontrado problemas con la calidad y la expresividad limitada.
En el sistema propuesto, se ha intentado utilizar modelos de difusión para la generación de movimientos, que son inherentemente más adecuados para simular los movimientos humanos, pero no están exentos de desventajas, como altas demandas de recursos computacionales y la complejidad de su control. Para minimizar las desventajas de los modelos de difusión, el MDM emplea una red neuronal con arquitectura de 'transformador' y predicción de muestra en lugar de la predicción de ruido en cada etapa, lo que facilita la prevención de anomalías, como la pérdida de contacto de la superficie con el pie.
Para controlar la generación, se prevé la posibilidad de aplicar descripciones textuales de acciones en lenguaje natural (por ejemplo, 'una persona camina hacia adelante y se inclina para recoger algo del suelo') o el uso de acciones tipo, como 'correr' y 'saltar'. El sistema también se puede utilizar para editar movimientos y completar detalles perdidos. Los investigadores realizaron pruebas en las que se pidió a los participantes que eligieran entre varias opciones el resultado de mayor calidad; en el 42% de los casos, las personas prefirieron los movimientos sintetizados en lugar de los reales.
Fuente: opennet.ru
