Un equipo de investigadores de la Universidad de Tel Aviv ha abierto el código fuente asociado al sistema de aprendizaje automático MDM (Motion Diffusion Model), que permite generar movimientos humanos realistas. El código está escrito en Python utilizando el marco PyTorch y se distribuye bajo la licencia MIT. Para realizar experimentos, puede utilizar modelos ya preparados y entrenar los modelos usted mismo utilizando los scripts propuestos, por ejemplo, utilizando la colección HumanML3D de imágenes humanas tridimensionales. Para entrenar el sistema, se requiere una GPU con soporte CUDA.
El uso de capacidades tradicionales para animar movimientos humanos es difícil debido a las complicaciones asociadas con la gran variedad de movimientos posibles y la dificultad de describirlos formalmente, así como la gran sensibilidad de la percepción humana a los movimientos antinaturales. Los intentos anteriores de utilizar modelos generativos de aprendizaje automático han tenido problemas de calidad y expresividad limitada.
El sistema propuesto intenta utilizar modelos de difusión para generar movimientos, que son inherentemente más adecuados para simular movimientos humanos, pero no están exentos de inconvenientes, como altos requisitos computacionales y complejidad de control. Para minimizar las deficiencias de los modelos de difusión, MDM utiliza una red neuronal transformadora y predicción de muestras en lugar de predicción de ruido en cada etapa, lo que facilita la prevención de anomalías como la pérdida de contacto de la superficie con el pie.
Para controlar la generación, es posible utilizar una descripción textual de una acción en lenguaje natural (por ejemplo, “una persona camina hacia adelante y se inclina para recoger algo del suelo”) o utilizar acciones estándar como “correr” y “ saltando”. El sistema también se puede utilizar para editar movimientos y completar detalles perdidos. Los investigadores realizaron una prueba en la que se pidió a los participantes que eligieran el mejor resultado entre varias opciones: en el 42% de los casos, las personas prefirieron los movimientos sintetizados a los reales.
Fuente: opennet.ru