تم فتح الشيفرة المصدرية لنظام التعلم الآلي PIXIE، الذي يتيح إنشاء نماذج ثلاثية الأبعاد وصور رمزية متحركة لجسم الإنسان من صورة واحدة. يمكن إضافة قوام واقعي للوجه والملابس، يختلف عن تلك الموضحة في الصورة الأصلية، إلى النموذج الناتج. يمكن استخدام النظام، على سبيل المثال، للرسم من نقطة مراقبة مختلفة، وإنشاء رسوم متحركة، وإعادة بناء الجسم بناءً على شكل الوجه، وتكوين نموذج ثلاثي الأبعاد للأصابع. كُتب الشيفرة بلغة بايثون باستخدام إطار عمل Pytorch، ويُوزّع بموجب ترخيص يسمح بالاستخدام غير التجاري فقط.
يُذكر أنه مقارنةً بالمشاريع المماثلة، يسمح مشروع PIXIE بإعادة بناء أكثر دقة لملامح الجسم، التي كانت مخفية في البداية بالملابس في الصورة، وشكل الوجه وموضع مفاصل اليدين. تعتمد هذه الطريقة على استخدام شبكة عصبية تستخرج معلمات الوجه والجسم واليدين من صورة البكسل. يتم تنسيق عمل الشبكة العصبية بواسطة وحدة تحكم خاصة، والتي تضيف، بناءً على تحليل الإضاءة، معلومات حول معاملات الوزن لأجزاء مختلفة من الجسم لاستبعاد تعريف الوضعيات غير الطبيعية. عند إنشاء نموذج، تُؤخذ في الاعتبار الاختلافات التشريحية لجسم الذكر والأنثى، ومعايير الوضعية، والإضاءة، وانعكاسية السطح، ودوران الوجه في مستوى ثلاثي الأبعاد.
مميزات بيكسي:
- يتم حفظ نموذج الجسم ثلاثي الأبعاد المُعاد بناؤه، بالإضافة إلى المعلومات حول الوضعية وموضع اليد وتعبيرات الوجه، كمجموعة من معلمات SMPL-X، والتي يمكن استخدامها لاحقًا في نظام نمذجة Blender عبر مكون إضافي.
- من الصورة يتم تحديد معلومات تفصيلية حول شكل الوجه وتعبيره، وكذلك ميزاته، مثل وجود التجاعيد (يتم استخدام نظام التعلم الآلي DECA، الذي طوره نفس المؤلفين، لبناء نموذج الرأس) .
- عند إنشاء نسيج وجه، يتم تقدير بياض الكائن.
- يمكن لاحقًا تحريك نموذج الجسم المبني أو تقديمه في وضع مختلف.
- دعم بناء نموذج من الصور العادية لشخص في الظروف الطبيعية. تقوم PIXIE بعمل جيد في اكتشاف الأوضاع المختلفة وظروف الإضاءة وإعاقة رؤية أجزاء من الجسم.
- أداء عالي، مناسب للمعالجة الديناميكية لصور الكاميرا.
المصدر: opennet.ru
