צוות חוקרים מאוניברסיטת תל אביב הציג את HyperStyle, גרסה הפוכה של מערכת למידת המכונה StyleGAN2 של NVIDIA שעוצבה מחדש כדי ליצור מחדש את החלקים החסרים בעת עריכת תמונות אמיתיות. הקוד נכתב ב-Python באמצעות מסגרת PyTorch ומופץ תחת רישיון MIT.
אם StyleGAN מאפשרת לסנתז פרצופים חדשים בעלי מראה מציאותי של אנשים על ידי ציון פרמטרים כגון גיל, מין, אורך שיער, אופי חיוך, צורת אף, צבע עור, משקפיים וזווית צילום, אז HyperStyle מאפשר לשנות פרמטרים דומים בקיימים צילומים מבלי לשנות את המאפיינים האופייניים שלהם תוך שמירה על זיהוי הפנים המקוריות. לדוגמה, באמצעות HyperStyle, אתה יכול לדמות שינוי בגיל של אדם בתמונה, לשנות את התסרוקת, להוסיף משקפיים, זקן או שפם, לתת לתמונה מראה של דמות מצוירת או ציור מצויר ביד, לעשות הבעת פנים עצובה או עליזה. יתר על כן, ניתן לאמן את המערכת לא רק לשנות פני אנשים, אלא גם לכל אובייקט, למשל, לערוך תמונות של מכוניות.
השיטה המוצעת מכוונת לפתור את הבעיה של שחזור חלקים חסרים בתמונה במהלך העריכה. בשיטות שהוצעו בעבר, ההחלפה בין שחזור לעריכה נפתרה על ידי כוונון עדין של מחולל התמונות כדי להחליף חלקים מתמונת היעד בעת יצירה מחדש של אזורים ניתנים לעריכה חסרים בתחילה. החיסרון של גישות כאלה הוא הצורך באימון ממוקד ארוך טווח של הרשת העצבית עבור כל תמונה.
השיטה המבוססת על אלגוריתם StyleGAN מאפשרת להשתמש במודל סטנדרטי, שהוכשר מראש על אוספי תמונות נפוצים, ליצירת אלמנטים האופייניים לתמונה המקורית ברמת מהימנות השווה לאלגוריתמים הדורשים הדרכה פרטנית של המודל עבור כל אחד מהם. תמונה. יתרון נוסף של השיטה החדשה הוא היכולת לשנות תמונות עם ביצועים קרובים לזמן אמת.
דגמים מוכנים מוכנים מוכנים לפנים של אנשים, מכוניות ובעלי חיים על בסיס האוספים Flickr-Faces-HQ (FFHQ, 70 אלף תמונות PNG באיכות גבוהה של פנים של אנשים), Stanford Cars (16 אלף תמונות של מכוניות) ו AFHQ (תמונות של בעלי חיים). בנוסף, מסופקים כלים להכשרת הדגמים שלך, כמו גם דגמים מוכנים של מקודדים ומגנרטורים סטנדרטיים המתאימים לשימוש איתם. לדוגמה, גנרטורים זמינים ליצירת תמונות בסגנון Toonify, דמויות של פיקסאר, יצירת סקיצות ואפילו סטיילינג של נסיכות מסרטים מצוירים של דיסני.
מקור: OpenNet.ru