Отворен е кодът на системата за машинно обучение за генериране на реалистични човешки движения.

Група изследователи от Телекомския университет откриха изходния код, свързан с системата за машинно обучение MDM (Motion Diffusion Model), която позволява генериране на реалистични човешки движения. Кодът е написан на Python, използвайки рамката PyTorch и се разпространява под MIT лиценз. За провеждане на експерименти могат да се използват както готови модели, така и възможност за обучение на модели самостоятелно с помощта на предоставените скриптове, например, използвайки колекцията от тримерни изображения на човек HumanML3D. За обучение на системата е необходима GPU с поддръжка на CUDA.

Приложението на традиционните възможности за анимиране на човешки движения е затруднено заради сложността, свързана с голямото разнообразие от възможни движения и трудността на формалното им описание, а също и заради голямата чувствителност на човешкото възприятие към неестествени движения. По-рано опитите за използване на генеративни модели на машинно обучение се сблъскаха с проблеми с качеството и ограничена изразителност.

В предложената система е направен опит за използване на дифузионни модели за генериране на движения, които по същество са по-подходящи за симулация на човешки движения, но не са лишени от недостатъци, като високи изисквания за изчислителни ресурси и сложност в управлението. За да се минимизират недостатъците на дифузионните модели, в MDM е ангажирана невронна мрежа с архитектура 'трансформер' и прогнозиране на шаблона (sample) вместо прогнозиране на шум на всеки етап, което опростява предотвратяването на аномалии, като загуба на контакт между повърхността и крака.

За управление на генерирането е предвидена възможност за приложение на текстово описание на действие на естествен език (например, 'човек върви напред и се навежда, за да вдигне нещо от земята') или използване на типични действия, като 'бягане' и 'скокове'. Системата също може да се прилага за редактиране на движения и попълване на загубените детайли. Изследователите проведоха тестиране, при което на участниците бяха предложени да изберат от няколко варианта по-качественият резултат — в 42% от случаите хората предпочитаха синтезирани движения, а не реални.

Източник: opennet.ru