PIFu היא מערכת למידת מכונה לבניית מודל תלת מימד של אדם המבוסס על צילומי דו מימד

קבוצת חוקרים מכמה אוניברסיטאות אמריקאיות פרסמה פרויקט PIFu (Pixel-Aligned Implicit Function), המאפשרת ליישם שיטות למידת מכונה לבניית מודל תלת מימדי של אדם מתוך תמונה דו מימדית אחת או יותר. המערכת מאפשרת לשחזר אפשרויות לבוש מורכבות כמו חצאיות ועקבים קפלים ותסרוקות שונות, תוך שיקום עצמאי של מרקם וצורה באזורים בלתי נראים בהקרנה שממנה בנוי דגם התלת מימד. כדי להגביר את האיכות והפירוט של דגם התלת-ממד הסופי, ניתן להשתמש במספר תמונות מזוויות שונות. קוד הפרויקט נכתב ב-Python באמצעות המסגרת של PyTorch ו מופץ על ידי תחת רישיון MIT.

PIFu - מערכת למידת מכונה לבניית מודל תלת מימד של אדם על בסיס צילומי דו מימד

רשת עצבית משמשת כמקור לשחזור פריסה תלת מימדית, המאפשרת לבחור את הצורה הסבירה ביותר ולהמציא אלמנטים נסתרים, החל ממודל מאומן על גרסאות שונות של אובייקטים קיימים. במקביל, הפרויקט מספק אלגוריתם להתאמת הפריסה הנפחית המתקבלת עם טקסטורות בתמונות הדו-ממדיות שסופקו, אשר מיישר את הפיקסלים של התמונה הדו-ממדית בהתאם למיקומם על האובייקט התלת-ממדי ויוצר את המרקמים החסרים ככל הנראה. ניתן לקודד כל תמונה רשת נוירונים מפותלתעבור
ארכיטקטורה יישומית של שחזור פני השטח"שעון חול מוערם", א
רשת עצבית מבוססת ארכיטקטורה משמשת להתאמת טקסטורה CycleGAN.

PIFu - מערכת למידת מכונה לבניית מודל תלת מימד של אדם על בסיס צילומי דו מימד

המודל הכשרה המוכן המשמש את החוקרים זמין זמין להורדה בחינם, אך הנתונים הגולמיים המשמשים לאימון נשארים פרטיים מכיוון שהם מבוססים על סריקות תלת מימד מסחריות. יכול לשמש כמקור לאימון עצמי של הדגם מסד נתונים של מודלים תלת מימדיים אנשים מפרויקט Renderpeople.

מקור: OpenNet.ru

הוספת תגובה