Un gruppo di ricercatori dell'Università di Tel Aviv ha rilasciato i codici sorgente relativi al sistema di apprendimento automatico MDM (Motion Diffusion Model), che consente di generare movimenti umani realistici. Il codice è scritto in Python utilizzando il framework PyTorch ed è distribuito con licenza MIT. Per eseguire esperimenti, è possibile utilizzare sia modelli preaddestrati che addestrare autonomamente i modelli utilizzando gli script forniti, ad esempio, utilizzando la collezione di immagini 3D umane HumanML3D. Per addestrare il sistema è necessaria una GPU con supporto CUDA.
L'applicazione delle tradizionali capacità di animazione dei movimenti umani è ostacolata da complicazioni legate alla grande varietà di possibili movimenti e alla difficoltà della loro descrizione formale, oltre alla grande sensibilità della percezione umana ai movimenti innaturali. Precedenti tentativi di utilizzare modelli generativi di apprendimento automatico hanno avuto problemi di qualità e limitata espressività.
Nel sistema proposto è stato tentato l'uso di modelli di diffusione per la generazione di movimenti, che per loro natura sono più adatti alla simulazione dei movimenti umani, ma non sono privi di svantaggi, come l'elevata richiesta di risorse computazionali e la complessità di gestione. Per minimizzare gli svantaggi dei modelli di diffusione, nel MDM è impiegata una rete neurale con un'architettura a 'trasformatore' e la previsione di un campione invece della previsione del rumore a ogni passaggio, il che semplifica la prevenzione di anomalie, come la perdita di contatto della superficie con il piede.
Per gestire la generazione, è prevista la possibilità di utilizzare una descrizione testuale dell'azione in linguaggio naturale (ad esempio, 'una persona cammina in avanti e si sporge per raccogliere qualcosa da terra') oppure di ricorrere a azioni standard come 'corsa' e 'salti'. Il sistema può anche essere applicato per modificare i movimenti e ripristinare dettagli mancanti. I ricercatori hanno condotto un test in cui ai partecipanti è stato chiesto di scegliere tra diverse opzioni il risultato di qualità superiore: nel 42% dei casi, le persone hanno preferito i movimenti sintetizzati piuttosto che quelli reali.
Fonte: opennet.ru
