ה-AI של דיסני יוצר קריקטורות המבוססות על תיאורי טקסט

כבר קיימות רשתות עצביות שיוצרות סרטונים מקוריים על סמך תיאורי טקסט. ולמרות שהם עדיין לא מסוגלים להחליף לגמרי יוצרי סרטים או אנימטורים, כבר יש התקדמות בכיוון הזה. דיסני מחקר וראטגרס מפותח רשת עצבית שיכולה ליצור לוח סיפור ווידאו מחוספס מתסריט טקסט.

כאמור, המערכת עובדת עם שפה טבעית, שתאפשר שימוש בה במספר תחומים, כמו יצירת סרטוני לימוד. מערכות אלו גם יעזרו לתסריטאים לדמיין את הרעיונות שלהם. יחד עם זאת, נאמר כי המטרה אינה להחליף סופרים ואמנים, אלא להפוך את עבודתם ליעילה יותר ופחות מייגעת.

המפתחים אומרים שתרגום טקסט לאנימציה אינו משימה קלה מכיוון שלנתוני הקלט והפלט אין מבנה קבוע. לכן, רוב המערכות הללו אינן יכולות לעבד משפטים מורכבים. כדי להתגבר על המגבלות של תוכניות דומות קודמות, המפתחים בנו רשת עצבית מודולרית המורכבת ממספר רכיבים. אלה כוללים מודול עיבוד שפה טבעית, מודול ניתוח סקריפט ומודול שיוצר אנימציה.

ראשית, המערכת מנתחת את הטקסט ומתרגמת משפטים מורכבים לפשוטים. לאחר מכן, נוצרת אנימציה תלת מימדית. לעבודה, נעשה שימוש בספרייה של 3 בלוקים מונפשים, שרשימתם הורחבה ל-52 על ידי הוספת אלמנטים דומים. כדי ליצור אנימציה, נעשה שימוש במנוע המשחק Unreal Engine, המסתמך על אובייקטים ומודלים טעונים מראש. מתוך אלו, המערכת בוחרת אלמנטים מתאימים ומפיקה סרטון.

כדי להכשיר את המערכת, החוקרים ערכו קבוצה של תיאורים של 996 אלמנטים שנלקחו מיותר מ-1000 סקריפטים מ-IMSDb, SimplyScripts ו-ScriptORama5. לאחר מכן, נערכו מבחנים איכותיים, בהם ניתנה הזדמנות ל-22 משתתפים להעריך 20 אנימציות. יחד עם זאת, 68% אמרו שהמערכת יצרה אנימציה ראויה למדי על סמך טקסטי הקלט.

עם זאת, הצוות הודה שהמערכת אינה מושלמת. רשימת הפעולות והאובייקטים שלו אינה ממצה, ולעיתים הפישוט המילוני אינו תואם פעלים עם אנימציות דומות. החוקרים מתכוונים לטפל בחסרונות הללו בעבודה עתידית.

מקור: 3dnews.ru