Een groep onderzoekers van de Universiteit van Tel Aviv heeft de oorspronkelijke teksten vrijgegeven die verband houden met het Motion Diffusion Model (MDM), een systeem voor machinaal leren dat het mogelijk maakt om realistische menselijke bewegingen te genereren. De code is geschreven in Python met behulp van het PyTorch-framework en wordt verspreid onder de MIT-licentie. Voor experimenten kunnen zowel kant-en-klare modellen worden gebruikt als modellen zelf worden getraind met de aangeboden scripts, bijvoorbeeld met de collectie van driedimensionale menselijke beelden HumanML3D. Voor de training van het systeem is een GPU met CUDA-ondersteuning vereist.
Het gebruik van traditionele mogelijkheden voor het animeren van menselijke bewegingen is bemoeilijkt door complicaties, die voortkomen uit de grote diversiteit aan mogelijke bewegingen en de moeilijkheid om deze formeel te beschrijven, evenals door de hoge gevoeligheid van de menselijke perceptie voor onnatuurlijke bewegingen. Eerdere pogingen om generatieve modellen van machinaal leren te gebruiken hadden problemen met de kwaliteit en een beperkte expressiviteit.
In het voorgestelde systeem is een poging gedaan om diffusie-modellen te gebruiken voor het genereren van bewegingen, die van nature beter geschikt zijn voor het simuleren van menselijke bewegingen, maar die niet zonder tekortkomingen zijn, zoals hoge eisen aan computermiddelen en de complexiteit van de bediening. Om de tekortkomingen van de diffusie-modellen in MDM te minimaliseren, wordt een neuraal netwerk met een transformer-architectuur gebruikt, en wordt er een monster voorspeld in plaats van ruis op elke stap te voorspellen, wat het eenvoudiger maakt om anomalieƫn te voorkomen, zoals het verlies van contact tussen de voet en het oppervlak.
Voor het beheersen van de generatie is het mogelijk om een tekstuele beschrijving van de actie in natuurlijke taal te gebruiken (bijvoorbeeld: 'een persoon loopt vooruit en bukt om iets van de grond op te tillen') of typologische acties zoals 'rennen' en 'springen' in te zetten. Het systeem kan ook worden gebruikt voor het bewerken van bewegingen en het aanvullen van verloren details. De onderzoekers hebben testen uitgevoerd waaraan deelnemers deelnamen om uit verschillende opties de van betere kwaliteit te kiezen ā in 42% van de gevallen gaven mensen de voorkeur aan gesynthetiseerde bewegingen boven echte.
Bron: opennet.ru
