کد منبع سیستم یادگیری ماشینی PIXIE باز شده است که به شما امکان می دهد مدل های سه بعدی و آواتارهای متحرک بدن انسان را از یک عکس ایجاد کنید. بافت های واقعی صورت و لباس که با آنچه در عکس اصلی نشان داده شده متفاوت است را می توان به مدل به دست آمده متصل کرد. از این سیستم می توان برای مثال برای رندر کردن از نقطه نظر متفاوت، ایجاد انیمیشن، بازسازی بدن بر اساس شکل صورت و تولید یک مدل سه بعدی از انگشتان استفاده کرد. کد با استفاده از چارچوب Pytorch در پایتون نوشته شده است و تحت یک مجوز فقط برای استفاده غیرتجاری توزیع می شود.
بیان شده است که در مقایسه با پروژه های مشابه، PIXIE به شما امکان می دهد خطوط بدن را که در ابتدا توسط لباس در عکس پنهان شده بود، شکل صورت و موقعیت مفاصل دست ها با دقت بیشتری بازسازی کنید. این روش مبتنی بر استفاده از یک شبکه عصبی است که پارامترهای صورت، بدن و دست ها را از یک تصویر پیکسلی استخراج می کند. کار شبکه عصبی توسط یک کنترل کننده ویژه هماهنگ می شود که بر اساس تجزیه و تحلیل روشنایی، اطلاعاتی در مورد ضرایب وزنی قسمت های مختلف بدن اضافه می کند تا تشخیص حالت های غیر طبیعی را حذف کند. هنگام ایجاد یک مدل، تفاوت های آناتومیکی بین بدن مرد و زن، پارامترهای وضعیت بدن، نور، بازتاب سطح و چرخش صورت در یک صفحه سه بعدی در نظر گرفته می شود.
ویژگی های PIXIE:
- مدل بدن سه بعدی بازسازی شده، و همچنین اطلاعات مربوط به حالت، وضعیت دست و حالت صورت، به عنوان مجموعه ای از پارامترهای SMPL-X ذخیره می شود که بعداً می توان از طریق یک پلاگین در سیستم مدل سازی Blender استفاده کرد.
- از روی عکس، اطلاعات دقیقی در مورد شکل و بیان صورت و همچنین ویژگیهای آن مانند وجود چین و چروک مشخص میشود (سیستم یادگیری ماشینی DECA که توسط همان نویسندگان توسعه یافته است، برای ساخت مدل سر استفاده میشود) .
- هنگام ایجاد یک بافت چهره، آلبدوی جسم تخمین زده می شود.
- مدل بدن ساخته شده را می توان بعداً متحرک کرد یا در حالت دیگری ارائه کرد.
- پشتیبانی از ساخت مدل از عکس های معمولی یک فرد در شرایط طبیعی. PIXIE در تشخیص وضعیتهای مختلف، شرایط نوری، و مانع از دید بخشهایی از یک جسم به خوبی کار میکند.
- عملکرد بالا، مناسب برای پردازش پویا تصاویر دوربین.
منبع: opennet.ru
