NVIDIA בקוד פתוח StyleGAN3, מערכת למידת מכונה לסינתזת פנים

NVIDIA פרסמה את קוד המקור של StyleGAN3, מערכת למידת מכונה המבוססת על רשת עצבית אדוורסרית (GAN) שמטרתה לסנתז תמונות ריאליסטיות של פני אנשים. הקוד נכתב ב-Python באמצעות מסגרת PyTorch ומופץ תחת רישיון קוד המקור של NVIDIA, המטיל הגבלות על שימוש מסחרי.

דגמים מוכנים מאומנים שהוכשרו על קולקציית Flickr-Faces-HQ (FFHQ), הכוללת 70 אלף תמונות PNG באיכות גבוהה (1024x1024) של פנים של אנשים, זמינות גם כן להורדה. בנוסף, ישנם דגמים שנבנו על בסיס האוספים AFHQv2 (תמונות של פרצופים של בעלי חיים) ו- Metfaces (תמונות של פרצופים של אנשים מדיוקנאות של ציור קלאסי). מיקוד הפיתוח הוא על פרצופים, אך ניתן לאמן את המערכת ליצור כל אובייקט, כגון נופים ומכוניות. בנוסף, כלים מסופקים לאימון עצמי של רשת עצבית באמצעות אוספי תמונות משלך. דורש כרטיס מסך אחד או יותר של NVIDIA (מומלץ ל-Tesla V100 או A100 GPU), לפחות 12 GB של זיכרון RAM, PyTorch 1.9 ו-CUDA 11.1+ ערכת כלים. כדי לקבוע את האופי המלאכותי של הפרצופים המתקבלים, מפתחים גלאי מיוחד.

המערכת מאפשרת לסנתז תמונה של פנים חדשות על בסיס אינטרפולציה של תכונות של כמה פרצופים, שילוב של תכונות אופייניות שלהן, כמו גם התאמת התמונה הסופית לגיל הנדרש, למין, אורך השיער, אופי החיוך, צורת האף, צבע עור, משקפיים וזווית צילום. המחולל מחשיב את התמונה כאוסף של סגנונות, מפריד אוטומטית פרטים אופייניים (נמשים, שיער, משקפיים) מתכונות נפוצות ברמה גבוהה (תנוחה, מגדר, שינויי גיל) ומאפשר לשלב אותם בכל צורה עם הנחישות של דומיננטיות. תכונות באמצעות מקדמי ניפוח. כתוצאה מכך נוצרות תמונות שאי אפשר להבחין בהן מתמונות אמיתיות.

הגרסה הראשונה של טכנולוגיית StyleGAN פורסמה בשנת 2019, ולאחר מכן הוצעה מהדורה משופרת של StyleGAN2020 בשנת 2, המאפשרת איכות תמונה משופרת ומבטלת כמה חפצים. יחד עם זאת, המערכת נותרה סטטית, כלומר. לא אפשרו השגת אנימציה מציאותית ותנועת פנים. בעת פיתוח StyleGAN3, המטרה העיקרית הייתה להתאים את הטכנולוגיה לשימוש שלה באנימציה ווידאו.

StyleGAN3 משתמש בארכיטקטורת יצירת תמונות שעוצבה מחדש, ללא כינויים, ומציע תרחישים חדשים לאימון רשתות עצביות. הוא כולל כלי עזר חדשים להדמיה אינטראקטיבית (visualizer.py), ניתוח (avg_spectra.py) ויצירת וידאו (gen_video.py). היישום גם מפחית את צריכת הזיכרון ומאיץ את תהליך הלמידה.

מאפיין מרכזי של ארכיטקטורת StyleGAN3 היה המעבר לפירוש כל האותות ברשת העצבית בצורה של תהליכים מתמשכים, מה שאיפשר, בעת יצירת חלקים, לתמרן מיקומים יחסיים שאינם קשורים לקואורדינטות המוחלטות של פיקסלים בודדים ב. התמונה, אך מקובעת על פני השטח של האובייקטים המתוארים. ב-StyleGAN וב-StyleGAN2, קישור לפיקסלים במהלך היצירה הוביל לבעיות במהלך רינדור דינמי, למשל, כאשר התמונה זזה, הייתה חוסר התאמה של פרטים קטנים, כגון קמטים ושערות, שנראה כי נעו בנפרד משאר הפנים . ב-StyleGAN3, בעיות אלו נפתרות והטכנולוגיה הפכה מתאימה למדי ליצירת וידאו.

בנוסף, אנו יכולים לציין את ההכרזה על היצירה על ידי NVIDIA ומיקרוסופט של מודל השפה הגדול ביותר MT-NLG המבוסס על רשת עצבית עמוקה עם ארכיטקטורת "שנאי". המודל מכסה 530 מיליארד פרמטרים, ואשכול של 4480 GPUs (560 שרתי DGX A100 עם 8 A100 80GB GPUs כל אחד) שימש לאימון. יישומי המודל כוללים פתרון בעיות של עיבוד שפה טבעית, כגון חיזוי השלמת משפטים לא גמורים, מענה על שאלות, הבנת הנקרא, הסקת מסקנות בשפה טבעית, וביעור משמעותן של מילים.

מקור: OpenNet.ru