PIfu هو نظام للتعلم الآلي لإنشاء نموذج ثلاثي الأبعاد للشخص بناءً على صور ثنائية الأبعاد

قام مجموعة من الباحثين من عدة جامعات أمريكية بنشر مشروع PIfu (وظيفة ضمنية محاذية للبكسل)، والتي تتيح لك تطبيق أساليب التعلم الآلي لبناء نموذج ثلاثي الأبعاد لشخص ما من صورة واحدة أو أكثر ثنائية الأبعاد. يتيح لك النظام إعادة إنشاء خيارات الملابس المعقدة، مثل التنانير ذات الثنيات والكعب العالي، وتسريحات الشعر المختلفة، واستعادة الملمس والشكل بشكل مستقل في المناطق غير المرئية في العرض الذي تم بناء النموذج ثلاثي الأبعاد منه. لزيادة جودة وتفاصيل النموذج ثلاثي الأبعاد النهائي، يمكن استخدام عدة صور من زوايا مختلفة. تمت كتابة رمز المشروع بلغة Python باستخدام إطار عمل PyTorch و وزعت من خلال بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.

PIfu - نظام تعلم آلي لبناء نموذج ثلاثي الأبعاد للشخص بناءً على صور ثنائية الأبعاد

تُستخدم الشبكة العصبية كمصدر لإعادة بناء تخطيط ثلاثي الأبعاد، مما يسمح لك باختيار الشكل الأكثر احتمالاً واختراع العناصر المخفية، بدءًا من نموذج تم تدريبه على إصدارات مختلفة من الكائنات الموجودة. بالتوازي، يوفر المشروع خوارزمية لمطابقة التخطيط الحجمي الناتج مع الأنسجة في الصور ثنائية الأبعاد المقدمة، والتي تعمل على محاذاة وحدات البكسل في الصورة ثنائية الأبعاد وفقًا لموضعها على الكائن ثلاثي الأبعاد وتولد الأنسجة المفقودة على الأرجح. يمكن ترميز أي صورة الشبكة العصبية التلافيفيةإلى
إعادة بناء السطح في الهندسة المعمارية التطبيقية "الساعة الرملية مكدسة"، أ
يتم استخدام الشبكة العصبية القائمة على الهندسة المعمارية لمطابقة النسيج دورة.

PIfu - نظام تعلم آلي لبناء نموذج ثلاثي الأبعاد للشخص بناءً على صور ثنائية الأبعاد

النموذج التدريبي الجاهز الذي استخدمه الباحثون متاح متاح للتنزيل المجاني، ولكن البيانات الأولية المستخدمة للتدريب تظل خاصة لأنها تعتمد على عمليات المسح التجارية ثلاثية الأبعاد. يمكن استخدامه كمصدر للتدريب الذاتي للنموذج قاعدة بيانات نموذجية ثلاثية الأبعاد أشخاص من مشروع Renderpeople.

المصدر: opennet.ru

إضافة تعليق