Sebuah tim peneliti dari Universitas Tel Aviv telah membuka kode sumber yang terkait dengan sistem pembelajaran mesin MDM (Motion Diffusion Model), yang memungkinkan menghasilkan gerakan manusia yang realistis. Kode ini ditulis dengan Python menggunakan kerangka PyTorch dan didistribusikan di bawah lisensi MIT. Untuk melakukan eksperimen, Anda dapat menggunakan model yang sudah jadi dan melatih sendiri model tersebut menggunakan skrip yang diusulkan, misalnya, menggunakan kumpulan gambar manusia tiga dimensi HumanML3D. Untuk melatih sistem, diperlukan GPU dengan dukungan CUDA.
Penggunaan kemampuan tradisional untuk menganimasikan gerakan manusia sulit dilakukan karena komplikasi yang terkait dengan banyaknya variasi kemungkinan gerakan dan sulitnya mendeskripsikannya secara formal, serta kepekaan persepsi manusia yang besar terhadap gerakan yang tidak wajar. Upaya sebelumnya untuk menggunakan model pembelajaran mesin generatif memiliki masalah dengan kualitas dan ekspresi yang terbatas.
Sistem yang diusulkan mencoba menggunakan model difusi untuk menghasilkan gerakan, yang secara inheren lebih cocok untuk mensimulasikan gerakan manusia, namun bukannya tanpa kelemahan, seperti persyaratan komputasi yang tinggi dan kompleksitas kontrol. Untuk meminimalkan kekurangan model difusi, MDM menggunakan jaringan saraf transformator dan prediksi sampel, bukan prediksi kebisingan di setiap tahap, sehingga memudahkan untuk mencegah anomali seperti hilangnya kontak permukaan dengan kaki.
Untuk mengontrol generasi, dimungkinkan untuk menggunakan deskripsi teks dari suatu tindakan dalam bahasa alami (misalnya, βseseorang berjalan maju dan membungkuk untuk mengambil sesuatu dari tanahβ) atau menggunakan tindakan standar seperti βberlariβ dan β melompat.β Sistem ini juga dapat digunakan untuk mengedit gerakan dan mengisi detail yang hilang. Para peneliti melakukan tes di mana peserta diminta untuk memilih hasil yang lebih baik dari beberapa pilihan - dalam 42% kasus, orang lebih menyukai gerakan yang disintesis daripada gerakan nyata.
Sumber: opennet.ru