Uma equipe de pesquisadores da Universidade de Tel Aviv abriu o código-fonte associado ao sistema de aprendizado de máquina MDM (Motion Diffusion Model), que permite gerar movimentos humanos realistas. O código é escrito em Python usando a estrutura PyTorch e é distribuído sob a licença MIT. Para realizar experimentos, você pode usar modelos prontos e treinar você mesmo os modelos usando os scripts propostos, por exemplo, usando a coleção HumanML3D de imagens humanas tridimensionais. Para treinar o sistema, é necessária uma GPU com suporte CUDA.
A utilização de capacidades tradicionais de animação de movimentos humanos é difícil devido às complicações associadas à grande variedade de movimentos possíveis e à dificuldade de descrevê-los formalmente, bem como à grande sensibilidade da percepção humana aos movimentos não naturais. Tentativas anteriores de usar modelos generativos de aprendizado de máquina tiveram problemas de qualidade e expressividade limitada.
O sistema proposto tenta usar modelos de difusão para gerar movimentos, que são inerentemente mais adequados para simular movimentos humanos, mas apresentam desvantagens, como altos requisitos computacionais e complexidade de controle. Para minimizar as deficiências dos modelos de difusão, o MDM utiliza uma rede neural de transformador e previsão de amostra em vez de previsão de ruído em cada estágio, facilitando a prevenção de anomalias como perda de contato da superfície com o pé.
Para controlar a geração, é possível usar uma descrição textual de uma ação em linguagem natural (por exemplo, “uma pessoa anda para frente e se abaixa para pegar algo do chão”) ou usar ações padrão como “correr” e “ pulando.” O sistema também pode ser usado para editar movimentos e preencher detalhes perdidos. Os pesquisadores realizaram um teste no qual os participantes foram solicitados a escolher o melhor resultado entre várias opções – em 42% dos casos, as pessoas preferiram movimentos sintetizados aos reais.
Fonte: opennet.ru