تم فتح الكود المصدري لنظام التعلم الآلي PIXIE، مما يسمح لك بإنشاء نماذج ثلاثية الأبعاد وصور رمزية متحركة لجسم الإنسان من صورة واحدة. يمكن إرفاق أنسجة الوجه والملابس الواقعية التي تختلف عن تلك الموضحة في الصورة الأصلية بالنموذج الناتج. يمكن استخدام النظام، على سبيل المثال، للعرض من وجهة نظر مختلفة، وإنشاء رسوم متحركة، وإعادة بناء الجسم بناءً على شكل الوجه، وإنشاء نموذج ثلاثي الأبعاد للأصابع. تمت كتابة الكود بلغة Python باستخدام إطار عمل Pytorch ويتم توزيعه بموجب ترخيص للاستخدام غير التجاري فقط.
يُذكر أنه، مقارنةً بالمشاريع المماثلة، يتيح لك PIXIE إعادة إنشاء ملامح الجسم بشكل أكثر دقة، والتي كانت مخفية في البداية بالملابس في الصورة، وشكل الوجه وموضع مفاصل اليدين. تعتمد الطريقة على استخدام الشبكة العصبية، التي تستخرج معلمات الوجه والجسم واليدين من صورة البكسل. يتم تنسيق عمل الشبكة العصبية بواسطة وحدة تحكم خاصة، والتي، بناءً على تحليل الإضاءة، تضيف معلومات حول معاملات الوزن لأجزاء مختلفة من الجسم لاستبعاد اكتشاف الأوضاع غير الطبيعية. عند إنشاء نموذج، يتم أخذ الاختلافات التشريحية بين جسم الذكر والأنثى، ومعلمات الوضعية، والإضاءة، وانعكاس السطح، ودوران الوجه في مستوى ثلاثي الأبعاد في الاعتبار.
مميزات بيكسي:
- يتم حفظ نموذج الجسم ثلاثي الأبعاد المُعاد بناؤه، بالإضافة إلى المعلومات حول الوضعية وموضع اليد وتعبيرات الوجه، كمجموعة من معلمات SMPL-X، والتي يمكن استخدامها لاحقًا في نظام نمذجة Blender عبر مكون إضافي.
- من الصورة يتم تحديد معلومات تفصيلية حول شكل الوجه وتعبيره، وكذلك ميزاته، مثل وجود التجاعيد (يتم استخدام نظام التعلم الآلي DECA، الذي طوره نفس المؤلفين، لبناء نموذج الرأس) .
- عند إنشاء نسيج الوجه، يتم تقدير بياض الكائن.
- يمكن لاحقًا تحريك نموذج الجسم المبني أو تقديمه في وضع مختلف.
- دعم بناء نموذج من الصور العادية لشخص في الظروف الطبيعية. تقوم PIXIE بعمل جيد في اكتشاف الأوضاع المختلفة وظروف الإضاءة وإعاقة رؤية أجزاء من الجسم.
- أداء عالي، مناسب للمعالجة الديناميكية لصور الكاميرا.
المصدر: opennet.ru