گروهی از محققان دانشگاه فنی شانگهای ابزار که امکان استفاده از روش های یادگیری ماشینی را برای شبیه سازی حرکات افراد با استفاده از تصاویر ایستا و همچنین تعویض لباس ها، انتقال آنها به محیطی دیگر و تغییر زاویه دید یک شی را فراهم می کند. کد به زبان پایتون نوشته شده است
با استفاده از یک چارچوب . مونتاژ نیز نیاز دارد و CUDA Toolkit.
جعبه ابزار یک تصویر دو بعدی را به عنوان ورودی دریافت می کند و یک نتیجه اصلاح شده را بر اساس مدل انتخاب شده ترکیب می کند. سه گزینه تبدیل پشتیبانی می شود:
ایجاد یک جسم متحرک که حرکاتی را که مدل بر روی آن آموزش داده شده را دنبال می کند. انتقال عناصر ظاهری از یک مدل به یک شی (مثلاً تغییر لباس). ایجاد یک زاویه جدید (به عنوان مثال، سنتز یک تصویر پروفایل بر اساس یک عکس تمام رخ). هر سه روش را می توان با هم ترکیب کرد، به عنوان مثال، می توانید یک ویدیو از یک عکس ایجاد کنید که عملکرد یک ترفند پیچیده آکروباتیک را در لباس های مختلف شبیه سازی می کند.
در طی فرآیند سنتز، عملیات انتخاب یک شی در عکس و تشکیل عناصر پس زمینه از دست رفته هنگام حرکت به طور همزمان انجام می شود. مدل شبکه عصبی را می توان یک بار آموزش داد و برای تبدیل های مختلف استفاده کرد. برای بارگیری مدل های آماده ای که به شما امکان می دهد بلافاصله از ابزارها بدون آموزش اولیه استفاده کنید. یک GPU با حجم حافظه حداقل 8 گیگابایت برای کار کردن مورد نیاز است.
برخلاف روش‌های تبدیل مبتنی بر تبدیل توسط نقاط کلیدی که موقعیت بدن را در فضای دو بعدی توصیف می‌کنند، Impersonator تلاش می‌کند تا با استفاده از روش‌های یادگیری ماشین، یک شبکه سه‌بعدی را با توصیف بدن ترکیب کند.
روش پیشنهادی امکان دستکاری با در نظر گرفتن شکل شخصی و وضعیت فعلی بدن، شبیه سازی حرکات طبیعی اندام ها را فراهم می کند.
برای حفظ اطلاعات اصلی مانند بافت ها، سبک، رنگ ها و تشخیص چهره در طول فرآیند تبدیل، (). اطلاعات مربوط به شی منبع و پارامترهای شناسایی دقیق آن با اعمال استخراج می شود .
منبع: opennet.ru