קוד פתוח לסינתזה של אנימציה באמצעות רשתות עצביות

קבוצת חוקרים מהאוניברסיטה הטכנית בשנחאי опубликовала כלים מתחזה, המאפשר שימוש בשיטות למידת מכונה כדי לדמות תנועות של אנשים באמצעות תמונות סטטיות, כמו גם להחליף בגדים, להעביר אותם לסביבה אחרת ולשנות את הזווית שממנה אובייקט נראה. הקוד כתוב בפייתון
באמצעות מסגרת PyTorch. גם הרכבה דורשת לפיד ו-CUDA Toolkit.

ערכת הכלים מקבלת תמונה דו מימדית כקלט ומסנתזת תוצאה ששונתה על סמך המודל הנבחר. שלוש אפשרויות טרנספורמציה נתמכות:
יצירת אובייקט נע העוקב אחר התנועות שעליהן הוכשר הדגם. העברת אלמנטים של מראה מדגם לאובייקט (למשל, החלפת לבוש). יצירת זווית חדשה (לדוגמה, סינתזה של תמונת פרופיל על סמך צילום פנים מלא). ניתן לשלב את כל שלוש השיטות, למשל, ניתן להפיק סרטון מתצלום המדמה ביצוע של טריק אקרובטי מורכב בבגדים שונים.

במהלך תהליך הסינתזה מתבצעות במקביל פעולות בחירת אובייקט בתצלום ויצירת מרכיבי הרקע החסרים בעת התנועה. ניתן לאמן את מודל הרשת העצבית פעם אחת ולהשתמש בו עבור טרנספורמציות שונות. לטעינה זמין מודלים מוכנים המאפשרים לך להשתמש מיד בכלים ללא הכשרה מקדימה. זה דורש GPU עם לפחות 8GB של זיכרון.

בניגוד לשיטות טרנספורמציה המבוססות על טרנספורמציה לפי נקודות מפתח המתארות את מיקומו של הגוף במרחב הדו מימדי, החקיין מנסה לסנתז רשת תלת מימדית עם תיאור הגוף באמצעות שיטות למידת מכונה.
השיטה המוצעת מאפשרת מניפולציות תוך התחשבות במבנה הגוף המותאם אישית וביציבה הנוכחית, המדמה את התנועות הטבעיות של הגפיים.

כדי לשמר מידע מקורי כגון טקסטורות, סגנון, צבעים וזיהוי פנים במהלך תהליך השינוי, רשת עצבית יריבתית גנרטיבית (עיוות נוזלי GAN). מידע על אובייקט המקור ופרמטרים לזיהוי המדויק שלו נשלפים על ידי יישום רשת נוירונים מפותלת.

מקור: OpenNet.ru