مجموعة من الباحثين من جامعة شنغهاي التقنية أدوات والتي تتيح استخدام أساليب التعلم الآلي لمحاكاة حركات الأشخاص باستخدام الصور الثابتة، بالإضافة إلى استبدال الملابس ونقلها إلى بيئة أخرى وتغيير الزاوية التي يمكن رؤية الجسم منها. الكود مكتوب بلغة بايثون
باستخدام إطار . يتطلب التجميع أيضًا ومجموعة أدوات CUDA.
تتلقى مجموعة الأدوات صورة ثنائية الأبعاد كمدخلات وتقوم بتجميع نتيجة معدلة بناءً على النموذج المحدد. يتم دعم ثلاثة خيارات للتحويل:
إنشاء جسم متحرك يتبع الحركات التي تم تدريب النموذج عليها. نقل عناصر المظهر من نموذج إلى كائن (على سبيل المثال، تغيير الملابس). إنشاء زاوية جديدة (على سبيل المثال، تركيب صورة الملف الشخصي بناءً على صورة لكامل الوجه). يمكن الجمع بين الطرق الثلاث، على سبيل المثال، يمكنك إنشاء فيديو من صورة فوتوغرافية يحاكي أداء خدعة بهلوانية معقدة بملابس مختلفة.
أثناء عملية التوليف، يتم تنفيذ عمليات اختيار كائن في الصورة وتشكيل عناصر الخلفية المفقودة عند التحرك في وقت واحد. يمكن تدريب نموذج الشبكة العصبية مرة واحدة واستخدامه في تحويلات مختلفة. للتحميل نماذج جاهزة تسمح لك باستخدام الأدوات على الفور دون تدريب أولي. يلزم وجود وحدة معالجة رسومات (GPU) بحجم ذاكرة لا يقل عن 8 جيجابايت للتشغيل.
على عكس أساليب التحويل التي تعتمد على التحويل بالنقاط الرئيسية التي تصف موقع الجسم في مساحة ثنائية الأبعاد، يحاول المنتحل تجميع شبكة ثلاثية الأبعاد مع وصف الجسم باستخدام أساليب التعلم الآلي.
تسمح الطريقة المقترحة بالتلاعب مع الأخذ بعين الاعتبار شكل الجسم الشخصي ووضعيته الحالية، ومحاكاة الحركات الطبيعية للأطراف.
للحفاظ على المعلومات الأصلية مثل القوام والأسلوب والألوان والتعرف على الوجه أثناء عملية التحويل، (). يتم استخراج المعلومات حول الكائن المصدر والمعلمات لتحديد هويته بدقة من خلال التطبيق .
المصدر: opennet.ru