Der Code des Systems für maschinelles Lernen zur Generierung realistischer menschlicher Bewegungen wurde geöffnet.

Eine Gruppe von Forschern der Universität Tel Aviv hat die Quelltexte zur MDM (Motion Diffusion Model) System, das realistische menschliche Bewegungen generieren kann, veröffentlicht. Der Code ist in Python geschrieben und verwendet das PyTorch-Framework, und wird unter der MIT-Lizenz verbreitet. Für Experimente können sowohl vorgefertigte Modelle als auch eigene Modelltrainings mithilfe der bereitgestellten Skripte durchgeführt werden, zum Beispiel mit der Sammlung dreidimensionaler menschlicher Bilder HumanML3D. Ein GPU mit CUDA-Unterstützung ist für das Training des Systems erforderlich.

Die Anwendung traditioneller Möglichkeiten zur Animation von menschlichen Bewegungen ist aufgrund der Komplexität, die mit der Vielzahl möglicher Bewegungen und der Schwierigkeit ihrer formalen Beschreibung einhergeht, sowie wegen der hohen Empfindlichkeit des menschlichen Wahrnehmungsvermögens gegenüber unnatürlichen Bewegungen erschwert. Frühere Versuche, generative Modelle des maschinellen Lernens zu nutzen, wiesen Qualitätsprobleme und eingeschränkte Ausdruckskraft auf.

In dem vorgeschlagenen System wird ein Versuch unternommen, Diffusionsmodelle zur Generierung von Bewegungen zu verwenden, die von Natur aus besser zur Simulation menschlicher Bewegungen geeignet sind, jedoch auch Nachteile wie hohe Anforderungen an die Rechenressourcen und eine komplexe Steuerung aufweisen. Um die Nachteile der Diffusionsmodelle im MDM zu minimieren, wird ein neuronales Netzwerk mit einer 'Transformator'-Architektur und Stichprobenvorhersage (sample prediction) anstelle der Vorhersage von Rauschen in jedem Schritt eingesetzt, was die Vermeidung von Anomalien wie dem Verlust des Kontakts zwischen Oberfläche und Fuß erleichtert.

Um die Generierung zu steuern, besteht die Möglichkeit, eine Textbeschreibung der Handlung in natürlicher Sprache anzuwenden (z. B. 'eine Person geht vorwärts und beugt sich, um etwas vom Boden aufzuheben') oder Standardaktionen wie 'Laufen' und 'Springen' zu verwenden. Das System kann auch zur Bearbeitung von Bewegungen und zur Wiederherstellung verlorener Details eingesetzt werden. Die Forscher führten Tests durch, in denen die Teilnehmer aus mehreren Optionen das qualitativ hochwertigere Ergebnis wählten – in 42 % der Fälle zogen die Menschen synthetisierte Bewegungen den realen vor.

Quelle: opennet.ru