Zespół badaczy z Uniwersytetu w Tel Awiwie otworzył kod źródłowy związany z systemem uczenia maszynowego MDM (Motion Diffusion Model), który umożliwia generowanie realistycznych ruchów człowieka. Kod napisany jest w języku Python przy użyciu frameworka PyTorch i jest rozpowszechniany na licencji MIT. Do prowadzenia eksperymentów można wykorzystać zarówno gotowe modele, jak i samodzielnie wytrenować modele korzystając z proponowanych skryptów, np. korzystając z kolekcji trójwymiarowych obrazów ludzi HumanML3D. Do wyszkolenia systemu wymagany jest procesor graficzny ze wsparciem CUDA.
Wykorzystanie tradycyjnych możliwości animacji ruchów człowieka jest utrudnione ze względu na komplikacje związane z dużą różnorodnością możliwych ruchów i trudnością w ich formalnym opisaniu, a także dużą wrażliwością ludzkiej percepcji na nienaturalne ruchy. Poprzednie próby wykorzystania generatywnych modeli uczenia maszynowego wiązały się z problemami z jakością i ograniczoną wyrazistością.
Proponowany system próbuje wykorzystać modele dyfuzyjne do generowania ruchów, które z natury lepiej nadają się do symulacji ruchów człowieka, ale nie są pozbawione wad, takich jak wysokie wymagania obliczeniowe i złożoność sterowania. Aby zminimalizować wady modeli dyfuzyjnych, MDM wykorzystuje transformatorową sieć neuronową i przewidywanie próbek zamiast przewidywania hałasu na każdym etapie, co ułatwia zapobieganie anomaliom, takim jak utrata kontaktu powierzchniowego ze stopą.
Do sterowania generacją można zastosować tekstowy opis czynności w języku naturalnym (np. „osoba podchodzi do przodu i pochyla się, żeby podnieść coś z ziemi”) lub zastosować standardowe akcje, takie jak „bieganie” i „ skoki." System umożliwia także edycję ruchów i uzupełnianie utraconych danych. Naukowcy przeprowadzili test, w którym uczestnicy zostali poproszeni o wybranie lepszego wyniku spośród kilku opcji – w 42% przypadków osoby wolały ruchy syntetyczne od rzeczywistych.
Źródło: opennet.ru