הקוד של מערכת למידת מכונה ליצירת תנועות אנושיות מציאותיות נפתח

צוות חוקרים מאוניברסיטת תל אביב פתח את קוד המקור הקשור למערכת למידת המכונה MDM (Motion Diffusion Model), המאפשרת יצירת תנועות אנושיות מציאותיות. הקוד נכתב ב-Python באמצעות מסגרת PyTorch ומופץ תחת רישיון MIT. כדי לערוך ניסויים, אתה יכול להשתמש בשני מודלים מוכנים ולאמן את המודלים בעצמך באמצעות התסריטים המוצעים, למשל, באמצעות אוסף HumanML3D של תמונות אנושיות תלת מימדיות. כדי להכשיר את המערכת, נדרש GPU עם תמיכה ב-CUDA.

השימוש ביכולות המסורתיות להנפשת תנועות אנושיות קשה בשל הסיבוכים הנלווים למגוון הגדול של תנועות אפשריות והקושי לתאר אותן באופן רשמי, כמו גם הרגישות הרבה של התפיסה האנושית לתנועות לא טבעיות. לניסיונות קודמים להשתמש במודלים של למידת מכונה גנרטיבית היו בעיות באיכות ובכושר ביטוי מוגבל.

המערכת המוצעת מנסה להשתמש במודלים של דיפוזיה כדי ליצור תנועות, אשר מטבען מתאימות יותר להדמיית תנועות אנושיות, אך אינן נטולות חסרונות, כגון דרישות חישוביות גבוהות ומורכבות בקרה. כדי למזער את החסרונות של מודלים של דיפוזיה, MDM משתמש ברשת עצבית שנאי וחיזוי מדגם במקום חיזוי רעש בכל שלב, מה שמקל על מניעת חריגות כגון אובדן מגע פני השטח עם כף הרגל.

כדי לשלוט בדור, אפשר להשתמש בתיאור טקסט של פעולה בשפה טבעית (לדוגמה, "אדם הולך קדימה ומתכופף להרים משהו מהקרקע") או להשתמש בפעולות סטנדרטיות כמו "ריצה" ו" קופץ." המערכת יכולה לשמש גם כדי לערוך תנועות ולמלא פרטים שאבדו. החוקרים ערכו בדיקה שבה המשתתפים התבקשו לבחור תוצאה טובה יותר מכמה אפשרויות - ב-42% מהמקרים אנשים העדיפו תנועות מסונתזות על פני אמיתיות.

מקור: OpenNet.ru