Um grupo de pesquisadores da Universidade de Tel Aviv revelou os códigos-fonte relacionados ao sistema de aprendizado de máquina MDM (Motion Diffusion Model), que permite gerar movimentos humanos realistas. O código é escrito em Python utilizando o framework PyTorch e é distribuído sob a licença MIT. Para a realização de experimentos, é possível usar modelos prontos ou treinar modelos de forma autônoma com a ajuda de scripts oferecidos, por exemplo, utilizando a coleção de imagens tridimensionais de humanos HumanML3D. Um GPU com suporte a CUDA é necessário para o treinamento do sistema.
A aplicação dos métodos tradicionais para animar os movimentos humanos é dificultada pelas complexidades relacionadas à grande variedade de movimentos possíveis e à dificuldade de sua descrição formal, além da alta sensibilidade da percepção humana a movimentos não naturais. Tentativas anteriores de usar modelos gerativos de aprendizado de máquina enfrentaram problemas com qualidade e expressividade limitada.
No sistema proposto, foi feita uma tentativa de utilizar modelos de difusão para a geração de movimentos, que, por sua essência, são mais adequados para simular movimentos humanos, mas não são isentos de desvantagens, como altas exigências de recursos computacionais e complexidade de controle. Para minimizar as desvantagens dos modelos de difusão, o MDM utiliza uma rede neural com arquitetura de transformador e previsão de amostra (sample) em vez de previsão de ruído em cada etapa, o que simplifica a prevenção de anomalias, como a perda de contato da superfície com o pé.
Para gerenciar a geração, existe a possibilidade de aplicar uma descrição textual da ação em linguagem natural (por exemplo, "uma pessoa anda para frente e se inclina para pegar algo do chão") ou utilizar ações padrão, como "correr" e "pular". O sistema também pode ser aplicado para editar movimentos e preencher detalhes perdidos. Os pesquisadores realizaram testes, onde aos participantes foi solicitado que escolhessem entre várias opções o resultado de maior qualidade — em 42% dos casos, as pessoas preferiram os movimentos sintetizados em vez dos reais.
Fonte: opennet.ru
