Une équipe de chercheurs de l'Université de Tel Aviv a découvert le code source associé au système d'apprentissage automatique MDM (Motion Diffusion Model), qui permet de générer des mouvements humains réalistes. Le code est écrit en Python à l'aide du framework PyTorch et est distribué sous licence MIT. Pour mener des expériences, vous pouvez utiliser à la fois des modèles prêts à l'emploi et entraîner les modèles vous-même à l'aide des scripts proposés, par exemple en utilisant la collection HumanML3D d'images humaines en trois dimensions. Pour entraîner le système, un GPU avec prise en charge CUDA est requis.
L'utilisation des capacités traditionnelles d'animation des mouvements humains est difficile en raison des complications associées à la grande variété de mouvements possibles et à la difficulté de les décrire formellement, ainsi que de la grande sensibilité de la perception humaine aux mouvements non naturels. Les tentatives précédentes d’utilisation de modèles d’apprentissage automatique génératifs ont rencontré des problèmes de qualité et d’expressivité limitée.
Le système proposé tente d'utiliser des modèles de diffusion pour générer des mouvements, qui sont intrinsèquement mieux adaptés à la simulation des mouvements humains, mais ne sont pas sans inconvénients, tels que des exigences de calcul élevées et une complexité de contrôle. Pour minimiser les défauts des modèles de diffusion, MDM utilise un réseau neuronal de transformateur et une prédiction d'échantillons au lieu de la prédiction du bruit à chaque étape, ce qui facilite la prévention des anomalies telles que la perte de contact de surface avec le pied.
Pour contrôler la génération, il est possible d'utiliser une description textuelle d'une action en langage naturel (par exemple, « une personne avance et se penche pour ramasser quelque chose par terre ») ou d'utiliser des actions standards telles que « courir » et « sauter. » Le système peut également être utilisé pour modifier les mouvements et compléter les détails perdus. Les chercheurs ont mené un test dans lequel les participants devaient choisir un meilleur résultat parmi plusieurs options : dans 42 % des cas, les gens préféraient les mouvements synthétisés aux mouvements réels.
Source: opennet.ru