افتتح فريق من الباحثين من جامعة تل أبيب الكود المصدري المرتبط بنظام التعلم الآلي MDM (نموذج نشر الحركة)، والذي يسمح بتوليد حركات بشرية واقعية. تمت كتابة الكود بلغة Python باستخدام إطار عمل PyTorch ويتم توزيعه بموجب ترخيص MIT. لإجراء التجارب، يمكنك استخدام كل من النماذج الجاهزة وتدريب النماذج بنفسك باستخدام البرامج النصية المقترحة، على سبيل المثال، استخدام مجموعة HumanML3D من الصور البشرية ثلاثية الأبعاد. لتدريب النظام، يلزم وجود وحدة معالجة رسومات (GPU) تدعم CUDA.
إن استخدام القدرات التقليدية لتحريك الحركات البشرية أمر صعب بسبب التعقيدات المرتبطة بالتنوع الكبير للحركات الممكنة وصعوبة وصفها بشكل رسمي، فضلا عن الحساسية الكبيرة للإدراك البشري للحركات غير الطبيعية. واجهت المحاولات السابقة لاستخدام نماذج التعلم الآلي التوليدية مشكلات تتعلق بالجودة ومحدودية التعبير.
يحاول النظام المقترح استخدام نماذج الانتشار لتوليد الحركات، والتي هي بطبيعتها أكثر ملاءمة لمحاكاة الحركات البشرية، ولكنها لا تخلو من العيوب، مثل المتطلبات الحسابية العالية وتعقيد التحكم. لتقليل أوجه القصور في نماذج الانتشار، يستخدم MDM شبكة عصبية محولية وتنبؤ بالعينة بدلاً من التنبؤ بالضوضاء في كل مرحلة، مما يسهل منع الحالات الشاذة مثل فقدان ملامسة السطح للقدم.
للتحكم في التوليد، من الممكن استخدام وصف نصي لإجراء ما باللغة الطبيعية (على سبيل المثال، "يمشي شخص للأمام وينحني لالتقاط شيء ما من الأرض") أو استخدام الإجراءات القياسية مثل "الجري" و" القفز." يمكن أيضًا استخدام النظام لتحرير الحركات وملء التفاصيل المفقودة. أجرى الباحثون اختبارًا طُلب فيه من المشاركين اختيار نتيجة أفضل من بين عدة خيارات - في 42% من الحالات، فضل الأشخاص الحركات المركبة على الحركات الحقيقية.
المصدر: opennet.ru