קוד המקור של מערכת למידת המכונה PIXIE נפתח, ומאפשר לך ליצור מודלים תלת מימדיים ואווטארים מונפשים של גוף האדם מתמונה אחת. לדגם המתקבל ניתן לצרף טקסטורות פנים ולבוש מציאותיות השונות מאלה המתוארות בתצלום המקורי. המערכת יכולה לשמש, למשל, לעיבוד מנקודת תצפית אחרת, ליצור אנימציה, לשחזר את הגוף על סמך צורת הפנים, וליצור מודל תלת מימד של האצבעות. הקוד נכתב ב-Python באמצעות מסגרת Pytorch ומופץ ברישיון לשימוש לא מסחרי בלבד.
נאמר כי בהשוואה לפרויקטים דומים, PIXIE מאפשרת לשחזר בצורה מדויקת יותר את קווי המתאר של הגוף, המוסתרים בתחילה על ידי לבוש בתצלום, צורת הפנים ומיקום מפרקי הידיים. השיטה מבוססת על שימוש ברשת עצבית, השואבת מתמונת פיקסל את הפרמטרים של הפנים, הגוף והידיים. העבודה של הרשת העצבית מתואמת על ידי בקר מיוחד, אשר, בהתבסס על ניתוח תאורה, מוסיף מידע על מקדמי הניפוח של חלקים שונים בגוף כדי למנוע זיהוי של תנוחות לא טבעיות. בעת יצירת דגם, נלקחים בחשבון ההבדלים האנטומיים בין הגוף הגברי והנקבי, פרמטרי יציבה, תאורה, רפלקטיביות פני השטח וסיבוב הפנים במישור תלת מימדי.
תכונות של PIXIE:
- מודל הגוף התלת מימדי המשוחזר, כמו גם מידע על תנוחה, תנוחת היד והבעת הפנים, נשמר כסט של פרמטרים של SMPL-X, שניתן להשתמש בהם מאוחר יותר במערכת הדוגמנות של בלנדר באמצעות תוסף.
- מהתצלום נקבע מידע מפורט על הצורה וההבעה של הפנים, כמו גם תכונותיה, כגון נוכחות של קמטים (מערכת למידת מכונה DECA, שפותחה על ידי אותם מחברים, משמשת לבניית מודל ראש) .
- בעת יצירת מרקם פנים, האלבדו של האובייקט מוערך.
- את מודל הגוף הבנוי ניתן מאוחר יותר להנפשה או להציג בתנוחה אחרת.
- תמיכה בבניית דגם מתצלומים רגילים של אדם בתנאים טבעיים. PIXIE עושה עבודה טובה בזיהוי תנוחות שונות, תנאי תאורה, וחסימת הנראות של חלקים של אובייקט.
- ביצועים גבוהים, מתאים לעיבוד דינמי של תמונות מצלמה.
מקור: OpenNet.ru
