NVIDIA פותחת את הקוד למערכת למידת מכונה המסנתזת נופים מסקיצות

חברת NVIDIA опубликовала קודי מקור של מערכת למידת מכונה חרבות (GauGAN), המאפשרת לסנתז נופים ריאליסטיים על סמך סקיצות גסות, כמו גם אלו הקשורים לפרויקט דגמים מאומנים. המערכת הייתה הפגין במרץ בכנס GTC 2019, אך הקוד פורסם רק אתמול. התפתחויות לִפְתוֹחַ תחת רישיון קנייני CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), המאפשר שימוש לא מסחרי בלבד. הקוד נכתב ב-Python באמצעות ה-framework PyTorch.

הסקיצות משורטטות בצורה של מפה מפולחת הקובעת את המיקום של עצמים משוערים על הסצנה. אופי האובייקטים שנוצרו מצוין באמצעות סימני צבע. לדוגמה, מילוי כחול הופך לשמים, כחול למים, ירוק כהה לעצים, ירוק בהיר לדשא, חום בהיר לסלעים, חום כהה להרים, אפור לשלג, קו חום הופך לכביש וכחול. קו לתוך הנהר בנוסף, בהתבסס על בחירת תמונות התייחסות, סגנון הקומפוזיציה הכולל והשעה ביום נקבעים. הכלי המוצע ליצירת עולמות וירטואליים יכול להיות שימושי למגוון רחב של מומחים, מאדריכלים ומתכנני ערים ועד למפתחי משחקים ומעצבי נוף.

אובייקטים מסונתזים על ידי רשת עצבית יוצרת יוצרת (גן), שיוצרת תמונות ריאליסטיות המבוססות על מפה סכמטית מפולחת, בהשאלה פרטים מדגם שהוכשר מראש על כמה מיליוני תצלומים. בניגוד למערכות סינתזת תמונה שפותחו בעבר, השיטה המוצעת מבוססת על שימוש בטרנספורמציה מרחבית אדפטיבית ואחריה טרנספורמציה המבוססת על למידת מכונה. עיבוד מפה מפולחת במקום סימון סמנטי מאפשר לך להשיג תוצאות התאמה מדויקות ולשלוט בסגנון.

כדי להשיג ריאליזם, שתי רשתות עצביות מתחרות ביניהן: מחולל ומאפיין. המחולל יוצר תמונות המבוססות על ערבוב אלמנטים של תצלומים אמיתיים, והמבדיל מזהה סטיות אפשריות מתמונות אמיתיות. כתוצאה מכך נוצר משוב, שעל בסיסו מתחיל המחולל להרכיב דגימות טובות יותר ויותר עד שהמאבחן מפסיק להבחין בינם לבין האמיתיים.

מקור: OpenNet.ru