كشف فريق من الباحثين من جامعة تل أبيب النقاب عن HyperStyle ، وهو نسخة مقلوبة من نظام التعلم الآلي StyleGAN2 من NVIDIA الذي أعيد تصميمه لإعادة إنشاء الأجزاء المفقودة عند تحرير الصور الواقعية. تمت كتابة الكود بلغة Python باستخدام إطار عمل PyTorch وتوزيعه بموجب ترخيص MIT.
إذا كان StyleGAN يسمح لك بتجميع وجوه جديدة تبدو واقعية للأشخاص من خلال تعيين معايير مثل العمر والجنس وطول الشعر ونمط الابتسامة وشكل الأنف ولون البشرة والنظارات وزاوية الصورة ، فإن HyperStyle يجعل من الممكن تغيير المعلمات المماثلة في القائمة الصور دون تغيير سماتها المميزة والاحتفاظ بإمكانية التعرف على الوجه الأصلي. على سبيل المثال ، باستخدام HyperStyle ، يمكنك محاكاة تغيير في عمر شخص في صورة ما ، أو تغيير تصفيفة الشعر ، أو إضافة نظارات ، أو لحية أو شارب ، أو جعل الصورة تبدو كشخصية كرتونية أو صورة مرسومة يدويًا ، تعبير حزين أو مرح. في هذه الحالة ، يمكن تدريب النظام ليس فقط على تغيير وجوه الأشخاص ، ولكن أيضًا لأي كائنات ، على سبيل المثال ، لتحرير صور السيارات.
تهدف الطريقة المقترحة إلى حل مشكلة إعادة بناء الأجزاء المفقودة من الصورة عند التحرير. في الطرق السابقة ، تم حل التسوية بين إعادة الإعمار وإمكانية التحرير عن طريق ضبط مولد الصور لاستبدال أجزاء من الصورة المستهدفة عند إعادة إنشاء المناطق القابلة للتحرير المفقودة في البداية. عيب هذه الأساليب هو الحاجة إلى تدريب مستهدف طويل المدى للشبكة العصبية لكل صورة.
تتيح الطريقة القائمة على خوارزمية StyleGAN إمكانية استخدام نموذج نموذجي ، تم تدريبه مسبقًا على مجموعات مشتركة من الصور ، لتوليد عناصر مميزة للصورة الأصلية بمستوى من الثقة يمكن مقارنته بالخوارزميات التي تتطلب تدريبًا فرديًا للنموذج لكل صورة . من بين مزايا الطريقة الجديدة ، تمت الإشارة أيضًا إلى إمكانية تعديل الصور بأداء قريب من الوقت الفعلي.
تم إعداد النماذج المدربة مسبقًا لوجوه الإنسان والسيارة والحيوان بناءً على مجموعات Flickr-Faces-HQ (FFHQ ، 70 ألف صورة PNG عالية الجودة لوجوه بشرية) ، ستانفورد كارز (16 ألف صورة للسيارات) و AFHQ (صور) الحيوانات). بالإضافة إلى ذلك ، يتم توفير أدوات لتدريب نماذجهم ، بالإضافة إلى نماذج مدربة جاهزة من الترميز النموذجي والمولدات المناسبة للاستخدام معهم. على سبيل المثال ، تتوفر المولدات لإنشاء صور بأسلوب Toonify وشخصيات Pixar ورسم تخطيطي وحتى تصميمها مثل أميرات ديزني.
المصدر: opennet.ru