Tel Aviv Üniversitesi'nden bir araştırma ekibi, gerçekçi insan hareketleri oluşturmaya olanak tanıyan MDM (Hareket Difüzyon Modeli) makine öğrenimi sistemiyle ilişkili kaynak kodunu açtı. Kod Python'da PyTorch çerçevesi kullanılarak yazılmıştır ve MIT lisansı altında dağıtılmaktadır. Deneyler yapmak için hem hazır modelleri kullanabilir hem de önerilen komut dosyalarını kullanarak, örneğin HumanML3D üç boyutlu insan görüntüleri koleksiyonunu kullanarak modelleri kendiniz eğitebilirsiniz. Sistemi eğitmek için CUDA destekli bir GPU gereklidir.
İnsan hareketlerini canlandırmak için geleneksel yeteneklerin kullanılması, olası hareketlerin çok çeşitli olmasıyla ilişkili zorluklar ve bunları resmi olarak tanımlamanın zorluğunun yanı sıra, insan algısının doğal olmayan hareketlere karşı büyük hassasiyeti nedeniyle zordur. Üretken makine öğrenimi modellerini kullanmaya yönelik önceki girişimlerde kalite ve sınırlı ifade gücü sorunları vardı.
Önerilen sistem, doğası gereği insan hareketlerini simüle etmek için daha uygun olan ancak yüksek hesaplama gereksinimleri ve kontrol karmaşıklığı gibi dezavantajlardan da yoksun olmayan hareketler üretmek için difüzyon modellerini kullanmaya çalışmaktadır. Difüzyon modellerinin eksikliklerini en aza indirmek için MDM, her aşamada gürültü tahmini yerine transformatör sinir ağı ve örnek tahmini kullanarak ayakla yüzey temasının kaybı gibi anormalliklerin önlenmesini kolaylaştırır.
Üretimi kontrol etmek için, bir eylemin doğal dilde bir metin açıklamasını kullanmak (örneğin, "bir kişi öne doğru yürür ve yerden bir şey almak için eğilir") veya "koşma" ve "" gibi standart eylemleri kullanmak mümkündür. atlama." Sistem aynı zamanda hareketleri düzenlemek ve kayıp ayrıntıları doldurmak için de kullanılabilir. Araştırmacılar, katılımcılardan çeşitli seçenekler arasından daha iyi bir sonuç seçmelerinin istendiği bir test gerçekleştirdi; vakaların %42'sinde insanlar sentezlenmiş hareketleri gerçek hareketlere tercih etti.
Kaynak: opennet.ru