Təl-Əviv Universitetinin tədqiqatçılar qrupu real insan hərəkətlərini yaratmağa imkan verən MDM (Motion Diffusion Model) maşın öyrənmə sistemi ilə əlaqəli mənbə kodunu açıb. Kod PyTorch çərçivəsindən istifadə edərək Python-da yazılmışdır və MIT lisenziyası altında paylanmışdır. Təcrübələr aparmaq üçün siz həm hazır modellərdən istifadə edə, həm də təklif olunan skriptlərdən istifadə edərək, məsələn, üçölçülü insan təsvirlərinin HumanML3D kolleksiyasından istifadə edərək modelləri özünüz hazırlaya bilərsiniz. Sistemi öyrətmək üçün CUDA dəstəyi ilə GPU tələb olunur.
İnsan hərəkətlərini canlandırmaq üçün ənənəvi imkanlardan istifadə mümkün hərəkətlərin böyük çeşidi ilə əlaqəli fəsadlar və onları rəsmi şəkildə təsvir etməyin çətinliyi, habelə insan qavrayışının qeyri-təbii hərəkətlərə böyük həssaslığı səbəbindən çətindir. Generativ maşın öyrənmə modellərindən istifadə etmək üçün əvvəlki cəhdlərdə keyfiyyət və məhdud ifadəlilik ilə bağlı problemlər var idi.
Təklif olunan sistem hərəkətlər yaratmaq üçün diffuziya modellərindən istifadə etməyə çalışır, bu modellər mahiyyətcə insan hərəkətlərini simulyasiya etmək üçün daha uyğundur, lakin yüksək hesablama tələbləri və idarəetmə mürəkkəbliyi kimi çatışmazlıqlar da yoxdur. Diffuziya modellərinin çatışmazlıqlarını minimuma endirmək üçün MDM hər mərhələdə səs-küyün proqnozlaşdırılması əvəzinə transformator neyron şəbəkəsindən və nümunə proqnozundan istifadə edir, bu da ayaqla səth təmasının itməsi kimi anomaliyaların qarşısının alınmasını asanlaşdırır.
Nəsilə nəzarət etmək üçün təbii dildə hərəkətin mətn təsvirindən istifadə etmək (məsələn, “insan irəli yeriyir və yerdən bir şey götürmək üçün əyilir”) və ya “qaçış” və “qaçmaq” kimi standart hərəkətlərdən istifadə etmək olar. tullanma.” Sistem həmçinin hərəkətləri redaktə etmək və itirilmiş detalları doldurmaq üçün istifadə edilə bilər. Tədqiqatçılar iştirakçılardan bir neçə variant arasından daha yaxşı nəticə seçmələri istənildiyi test keçirib - 42% hallarda insanlar real hərəkətlərdən daha çox sintez edilmiş hərəkətlərə üstünlük veriblər.
Mənbə: opennet.ru