Eine Gruppe von Forschern der Universität Tel Aviv hat die Quelltexte des MDM (Motion Diffusion Model) veröffentlicht, einem System für maschinelles Lernen, das realistische menschliche Bewegungen generiert. Der Code ist in Python geschrieben und verwendet das Framework PyTorch, und wird unter der MIT-Lizenz verbreitet. Für die Durchführung von Experimenten können sowohl vorgefertigte Modelle als auch eigene Trainingseinheiten mithilfe der bereitgestellten Skripte verwendet werden, zum Beispiel mit der Sammlung von dreidimensionalen Bildern des Menschen, HumanML3D. Für das Training des Systems wird eine GPU mit CUDA-Unterstützung benötigt.
Die Anwendung traditioneller Methoden zur Animation menschlicher Bewegungen gestaltet sich schwierig, da es viele unterschiedliche Bewegungsmuster gibt und die formale Beschreibung dieser herausfordernd ist. Zudem reagiert das menschliche Wahrnehmungsvermögen sehr empfindlich auf unnatürliche Bewegungen. Frühere Versuche, generative Modelle des maschinellen Lernens zu nutzen, hatten Probleme mit der Qualität und der eingeschränkten Ausdruckskraft.
Im vorgeschlagenen System wird versucht, die Verwendung von Diffusionsmodellen zur Generierung von Bewegungen zu integrieren, die besser für die Simulation menschlicher Bewegungen geeignet sind, jedoch auch Nachteile aufweisen, wie hohe Anforderungen an die Rechenressourcen und Komplexität in der Handhabung. Um die Nachteile der Diffusionsmodelle zu minimieren, wird in MDM ein neuronales Netzwerk mit einer "Transformer"-Architektur eingesetzt, das stattdessen die Musterprognose anstelle der Geräuschprognose in jedem Schritt verwendet, was die Vermeidung von Anomalien wie dem Verlust des Kontakts zwischen der Oberfläche und dem Fuß erleichtert.
Zur Steuerung der Generierung besteht die Möglichkeit, eine textliche Beschreibung der Aktion in natürlicher Sprache zu verwenden (zum Beispiel "eine Person geht vorwärts und beugt sich, um etwas vom Boden aufzuheben") oder Standardaktionen wie "laufen" und "springen" zu nutzen. Das System kann auch eingesetzt werden, um Bewegungen zu bearbeiten und verlorene Details wiederherzustellen. In einer durchgeführten Untersuchung entschieden sich 42 % der Teilnehmer für die synthetisierten Bewegungen anstelle der realen.
Quelle: opennet.ru
