تیمی از محققان دانشگاه تل‌آویو از HyperStyle، نسخه معکوس سیستم یادگیری ماشینی StyleGAN2 NVIDIA رونمایی کرده‌اند که برای بازسازی قسمت‌های گمشده هنگام ویرایش تصاویر واقعی، دوباره طراحی شده است. کد با استفاده از چارچوب PyTorch در پایتون نوشته شده و تحت مجوز MIT توزیع شده است.
اگر StyleGAN به شما اجازه می دهد با تنظیم پارامترهایی مانند سن، جنسیت، طول مو، الگوی لبخند، شکل بینی، رنگ پوست، عینک و زاویه عکس، چهره های واقعی افراد را با ظاهر واقعی ترکیب کنید، HyperStyle امکان تغییر پارامترهای مشابه در موجود را فراهم می کند. عکس ها بدون تغییر ویژگی های مشخصه خود و حفظ قابلیت تشخیص چهره اصلی. به عنوان مثال، با استفاده از HyperStyle، می توانید تغییر سن یک فرد در عکس را شبیه سازی کنید، مدل مو را تغییر دهید، عینک، ریش یا سبیل اضافه کنید، تصویری را شبیه به یک شخصیت کارتونی یا یک تصویر دستی کنید. حالت چهره غمگین یا شاد در این مورد، سیستم را می توان نه تنها برای تغییر چهره افراد، بلکه برای هر شی، به عنوان مثال، برای ویرایش تصاویر اتومبیل، آموزش داد.
هدف روش پیشنهادی حل مشکل بازسازی قسمت‌های از دست رفته تصویر هنگام ویرایش است. در روش‌های قبلی، سازش بین بازسازی و قابلیت ویرایش با تنظیم دقیق مولد تصویر برای جایگزینی بخش‌هایی از تصویر هدف در هنگام بازآفرینی نواحی قابل ویرایش اولیه از دست رفته حل شد. نقطه ضعف چنین رویکردهایی نیاز به آموزش هدفمند طولانی مدت شبکه عصبی برای هر تصویر است.
روش مبتنی بر الگوریتم StyleGAN امکان استفاده از یک مدل معمولی را که قبلاً بر روی مجموعه‌های متداول تصاویر آموزش داده شده است، برای تولید عناصر مشخصه تصویر اصلی با سطح اطمینان قابل مقایسه با الگوریتم‌هایی که نیاز به آموزش فردی مدل برای هر تصویر دارند، می‌سازد. . از جمله مزایای روش جدید، امکان اصلاح تصاویر با عملکرد نزدیک به زمان واقعی نیز ذکر شده است.
مدل های از پیش آموزش دیده برای صورت انسان، ماشین و حیوان بر اساس مجموعه های Flickr-Faces-HQ (FFHQ، 70k تصاویر PNG با کیفیت بالا از چهره انسان)، Stanford Cars (16k تصویر از اتومبیل) و AFHQ (عکس) تهیه شده است. از حیوانات). علاوه بر این، ابزارهایی برای آموزش مدل های آنها و همچنین مدل های آموزش دیده آماده از رمزگذارها و ژنراتورهای معمولی مناسب برای استفاده با آنها ارائه شده است. برای مثال، ژنراتورهایی برای ایجاد تصاویر به سبک Toonify، شخصیت‌های Pixar، طراحی و حتی استایل دادن به آنها مانند شاهزاده خانم‌های دیزنی در دسترس هستند.
منبع: opennet.ru