🥇פודקאסט "ITMO Research_": איך לגשת לסנכרון של תוכן AR עם מופע בקנה מידה של אצטדיון שלם

זהו החלק הראשון של תמלול הטקסט של הראיון השני לתוכנית שלנו (Apple Podcasts, Yandex.Music). נושא אורח - אנדריי קרסקוב (kapc3d), Ph.D., חוקר בכיר במרכז הלאומי למחקר קוגניטיבי, פרופסור חבר בפקולטה לטרנספורמציות דיגיטליות.

מאז 2012, אנדריי עובד בקבוצת המחקר ויזואליזציה וגרפיקה ממוחשבת. עוסקת בפרויקטים יישומיים גדולים ברמה הממלכתית והבינלאומית. בחלק זה של השיחה, אנו מדברים על הניסיון שלו בתמיכת AR לאירועים ציבוריים.

תצלום זוהי הנדסת RAEng (Unsplash.com)

הקשר ויעדים של הפרויקט

קוד זמן (על ידי גרסאות שמע) — 00:41

דמיטריקבאנוב: הייתי רוצה להתחיל עם פרויקט משחקי אירופה. זה מרובה רכיבים, כמה קבוצות לקחו חלק בהכנה, ומתן מציאות רבודה לקהל של אלפים ממש בזמן אירוע באצטדיון זו משימה רצינית למדי. מבחינת המעורבות שלך, זו הייתה תוכנה קודם?

kapc3d: כן, עשינו את חלק התכנות וסיפקנו תמיכה במהלך המופע. היה צורך לעקוב, לנטר ולהשיק הכל בזמן אמת, וגם לעבוד עם קבוצת הטלוויזיה. אם ניקח בחשבון את הפרויקט הזה כמכלול, אז נוכל לדבר על טקסי הפתיחה והסיום משחקי אירופה במינסק, וכן על טקס הפתיחה של האליפות WorldSkills בקאזאן. זו הייתה אותה תכנית עבודה, אבל אירועים שונים. היה ביניהם פער של חודשיים. הכנו את הפרויקט יחד עם החבר'ה מהחברה Sechenov.com.

פגשנו אותם במקרה חג המדע, שהתקיים בסתיו 2018. תלמידי התואר השני שלנו הציגו את פרויקט הקורס שלהם בנושא VR. החבר'ה ניגשו אלינו ושאלו מה אנחנו עושים במעבדה שלנו. זה נראה בערך כך:

- אתה עובד עם VR, אבל האם אתה יכול לעבוד עם מציאות רבודה?

- ובכן, בערך, כן.

- יש משימה כזו, עם הערות מבוא כאלה. האם אתה יכול לעשות את זה?

הם שרטו קצת את הלפת שלהם, לא נראה שיש משהו לא מציאותי:

- ננסה קודם כל ללמוד הכל, ואז נמצא פתרון.

דמיטרי: האם הם מספקים רק תמיכה במדיה?

אנדריי: הם יוצרים ערימה מלאה. מנקודת מבט של ניהול וארגון, הם מעורבים לחלוטין בבימוי, בימוי, בחירת תפאורה, לוגיסטיקה ותמיכה טכנית אחרת. אבל הם רצו לעשות משהו מיוחד למשחקי אירופה. האפקטים המיוחדים האלה, כמו מציאות מעורבת, נוצרו לטלוויזיה כבר די הרבה זמן, אבל הם לא הכי ידידותיים לתקציב מבחינת יישום טכני. לכן, החבר'ה חיפשו אפשרויות חלופיות.

דמיטרי: בואו נדון בבעיה ביתר פירוט. ממה זה היה מורכב?

אנדריי: יש אירוע. זה נמשך שעה וחצי. אנחנו צריכים לוודא שהקהל הצופה בה בשידור חי והיושבים באצטדיון יוכלו לראות את אפקטי המציאות הרבודה בסנכרון מלא עם המופע החי מבחינת זמן ומיקום באתר.

היו מספר מגבלות טכניות. אי אפשר היה לבצע סנכרון זמן דרך האינטרנט, כי היו חשש לעומס מופרז על הרשת עם דוכנים מלאים והסיכוי להשתתפות ראשי מדינות באירוע, מה שעלול לתקוע את הרשתות הסלולריות.

אנדריי קרסקוב, תמונה מאת חומר מאוניברסיטת ITMO
היו לנו שני מרכיבים מרכזיים לפרויקט הזה - החוויה האישית שאנשים יכולים לקבל דרך מכשירים ניידים, ומה שנכנס לשידורי הטלוויזיה ולמסכי המידע באצטדיון עצמו.

אם פתאום אדם צופה בפרקים של מציאות רבודה דרך מכשיר נייד ובו זמנית עולה על המסך, הוא אמור לראות את אותה תמונה.

היינו צריכים שתי מערכות שונות למעשה כדי להיות מסונכרנות לחלוטין בזמן. אבל המוזרות של מופעים כאלה היא שמדובר באירועים מורכבים שבהם מעורבים מספר רב של שירותים טכניים וכל הפעולות מבוצעות לפי קודי זמן. קוד זמן הוא רגע מסוים בזמן שבו משהו מתחיל: אור, צליל, אנשים עוזבים, עלי כותרת של הבמה נפתחים וכו'. היינו צריכים להסתגל למערכת הזו כדי שהכל יתחיל בזמן הנכון. מאפיין נוסף היה שהסצנות והפרקים עם מציאות רבודה היו קשורים לתסריט.

דמיטרי: אבל האם החלטתם לנטוש את השימוש בקודי זמן בגלל הסיכונים הגבוהים של כוח עליון, או שחישבתם בהתחלה כמה מאפייני הספק והבנתם שהעומס על המערכת כולה יהיה די גבוה?

אנדריי: אם אתה עושה שירות סנכרון עבור קהל כזה, אז זה לא מאוד קשה. בכל מקרה, בקשות לא ייכשלו בן לילה. כן, העומס גבוה, אבל זה לא מקרה חירום. השאלה היא האם כדאי להשקיע בזה משאבים וזמן אם הרשת תכבה פתאום. לא היינו בטוחים שזה לא יקרה. בסופו של דבר, הכל עבד, עם הפרעות בגלל העומס, אבל זה עבד, וסנכרנו לפי קוד הזמן לפי סכמה אחרת. זה היה אחד האתגרים העולמיים.

קשיים ביישום מנקודת מבט של UX

קוד זמן (על ידי גרסאות שמע) — 10:42

אנדריי: היינו צריכים גם לקחת בחשבון שהאצטדיון אינו מקום קונצרטים קלאסי, ולסנכרן את המערכות על פני החלל למכשירים ניידים. אז לפני זמן מה הפכתי לוויראלי סיפור מציאות רבודה בקונצרטים של אמינם, אז היה מקרה עם לובודה.

תצלום רוברט ביי (Unsplash.com)
אבל זו תמיד חוויה לפניכם - כל הקהל עומד מול הבמה, הסנכרון די פשוט. במקרה של אצטדיון צריך להבין באיזה צד של המעגל אתם נמצאים, המיקום היחסי, כדי שהאצטדיון ישתלב במרחב הקיים בסביבה הוירטואלית. זה היה אתגר חמוץ. הם ניסו לפתור את זה בדרכים שונות, והתוצאה הייתה מקרה קרוב למה שיישם לובודה, אבל לא בכל המובנים.

אנו נותנים למשתמש להחליט היכן הוא נמצא. עשינו סימונים לאצטדיון, שבו אנשים בחרו גזרה, שורה, מקום. כל זה בארבע "קליקים". בשלב הבא היינו צריכים לקבוע את הכיוון לבמה. כדי לעשות זאת, הראנו צללית של איך הסצנה צריכה להיראות בערך מנקודת מבט מותאמת אישית. הוא שילב את זה, טפח וזהו - הבמה התיישבה. ניסינו לפשט את התהליך הזה ככל האפשר. ובכל זאת, 90% מהצופים שרצו לצפות בתוכנית הם לא אותם אנשים שיש להם ניסיון בתקשורת עם מציאות רבודה.

דמיטרי: האם הייתה בקשה נפרדת לפרויקט זה?

אנדריי: כן, אפליקציה ל-iOS ולאנדרואיד, שדחפנו לחנות. היה עבורו קמפיין קידום מכירות נפרד. תואר בעבר בפירוט כיצד להוריד וכן הלאה.

דמיטרי: אתה צריך להבין שאין מקום לאדם לבדוק פיזית וללמוד כיצד להשתמש באפליקציה כזו. לכן, המשימה של "חינוך" הקהל הפכה מסובכת יותר.

אנדריי: כן כן. עם UX, תפסנו הרבה מהמורות, כי המשתמש רוצה לקבל את החוויה בשלוש לחיצות: הורדה, הותקן, השקה - זה עבד. אנשים רבים מתעצלים לעקוב אחר הדרכות מורכבות, לקרוא מדריכים וכו'. ולא ניסינו להסביר הכל למשתמש כמה שיותר במדריך: ייפתח כאן חלון, גישה למצלמה כאן, אחרת זה לא יעבוד וכו'. לא משנה כמה הסברים אתה כותב, לא משנה כמה מפורט אתה לועס, לא משנה איזה גיפים אתה מכניס, אנשים לא קוראים את זה.

במינסק אספנו מאגר גדול של משוב על החלק הזה, וכבר שינו הרבה עבור האפליקציה בקאזאן. שמנו שם לא רק את הפונוגרמות ואת קודי הזמן שמתאימים לפרק ספציפי של מציאות רבודה, אלא לקחנו את כל הפונוגרמות וקודי הזמן בשלמותם. אז האפליקציה שמעה מה קרה בזמן ההשקה, ואם אדם נכנס ברגע הלא נכון - היא מסרה את המידע: "חבר, אני מצטער, פרק ה-AR שלך יהיה בעוד 15 דקות."

קצת על הארכיטקטורה והגישה לסנכרון

קוד זמן (על ידי גרסאות שמע) — 16:37

דמיטרי: החלטתם לסנכרן לפי סאונד?

אנדריי: כן, זה קרה במקרה. בדקנו אפשרויות ונתקלנו בחברה Cifrasoft מאיז'בסק. הם מייצרים SDK לא מתוחכם במיוחד, אבל עובד בברזל, שמאפשר לסנכרן את הסאונד עם התזמון. המערכת עמדה לעבוד עם טלוויזיה, כאשר ניתן להציג משהו באפליקציה על סמך צליל של פרסומת מותנית או לתת חוויה אינטראקטיבית על סמך רצועת הסרט.

דמיטרי: אבל זה דבר אחד - אתה יושב בסלון שלך, ודבר אחר - אצטדיון עם אלפי אנשים. איך הדברים הסתדרו עבורך עם איכות הקלטת הקול והזיהוי שלה לאחר מכן?

אנדריי: היו הרבה פחדים וספקות, אבל ברוב המקרים הכל זוהה היטב. הם בונים חתימות על רצועת האודיו עם האלגוריתמים הערמומיים שלהם - התוצאה שוקלת פחות מקובץ האודיו המקורי. כאשר המיקרופון מקשיב לצליל שמסביב, הוא מנסה למצוא את התכונות הללו ולזהות את הרצועה על בסיסן. בתנאים טובים, דיוק הסנכרון הוא 0,1-0,2 שניות. זה היה די והותר. בתנאים גרועים הפער היה עד 0,5 שניות.

הרבה תלוי במכשיר. עבדנו עם צי גדול של מכשירים. לאייפון יש רק 10 דגמים. הם עבדו מצוין מבחינת איכות ותכונות אחרות. אבל עם אנדרואידים גן החיות הוא כמו אמא שלי. לא בכל מקום התברר שסנכרון הסאונד עבד. היו מקרים שבהם אי אפשר היה לשמוע רצועות שונות במכשירים שונים בגלל כמה מוזרויות. איפשהו התדרים הנמוכים נעלמים, באיזשהו מקום התדרים הגבוהים מתחילים לצרוח. אבל אם למכשיר היה מנרמל על המיקרופון, הסנכרון תמיד עבד.

דמיטרי: אנא ספר לנו על הארכיטקטורה - מה שימש בפרויקט?

אנדריי: את האפליקציה עשינו ב-Unity - האפשרות הפשוטה ביותר מבחינת ריבוי פלטפורמות ועבודה עם גרפיקה. קרן AR משומשת. מיד אמרנו שאנחנו לא רוצים לסבך את המערכת, אז הגבלנו את עצמנו לצי מכשירים שתומכים ב-ARKit ו-ARCore כדי שיהיה לנו זמן לבדוק הכל. יצרנו תוסף עבור DigitalSoft SDK, זה נמצא ב-GitHub שלנו. יצרנו מערכת ניהול תוכן כדי שתסריטים יפעלו לפי ציר הזמן.

התעסקנו קצת במערכת החלקיקים, כי המשתמש יכול להיכנס בכל זמן בפרק מסוים, ואנחנו צריכים שהוא יראה הכל מהרגע שממנו הסתנכרן. התעסקנו עם מערכת שמאפשרת לשחק תרחישים בצורה ברורה בזמן, כך שניתן יהיה לגלול את חווית התלת מימד קדימה ואחורה, כמו בסרט. למרות שזה עובד מחוץ לקופסה עם אנימציות קלאסיות, היינו צריכים להתעסק עם מערכות חלקיקים. בשלב מסוים, הם מתחילים להשריץ, ואם אתה מוצא את עצמך איפשהו לפני נקודת השרצים, הם עדיין לא נולדו, למרות שנראה שהם צריכים להיות. אבל הבעיה הזו היא למעשה די קלה לפתרון.

עבור החלק הנייד, הארכיטקטורה די פשוטה. עבור שידורי טלוויזיה הכל יותר מסובך. היו לנו הגבלות חומרה. הלקוח הציב תנאי: "הנה יש לנו פארק חומרה כזה וכזה, בערך, הכל צריך לעבוד עליו". מיד התמקדנו בעובדה שנעבוד עם כרטיסי לכידת וידאו תקציביים יחסית. אבל התקציב לא אומר שהם גרועים.

היו הגבלות על חומרה, על כרטיסי לכידת וידאו ועל תנאי העבודה - איך אנחנו צריכים לקבל את התמונה. כרטיסי לכידה - Blackmagic Design, עבדו לפי סכמת המפתחות הפנימית - זה כאשר מגיע אליך פריים וידאו מהמצלמה. לכרטיס יש שבב עיבוד משלו, שבו מוכנסת גם מסגרת, אותה יש להרכיב על גבי הכרטיס הנכנס. הכרטיס מערבב אותם - אנחנו לא נוגעים בשום דבר אחר שם ולא משפיעים על הפריים ממצלמת הווידאו. היא יורקת את התוצאה לחדר הבקרה באמצעות פלט הווידאו. זוהי שיטה טובה לשכבת-על של כותרות ודברים דומים אחרים, אבל היא לא מתאימה במיוחד לאפקטים של מציאות מעורבת מכיוון שיש מגבלות רבות על צינור העיבוד.

דמיטרי: במונחים של מחשוב בזמן אמת, קשירת אובייקטים או משהו אחר?

אנדריי: מבחינת איכות והשגת ההשפעות הרצויות. כי אנחנו לא יודעים על מה אנחנו שמים את התמונה. אנחנו פשוט שולחים מידע על צבע ושקיפות על גבי הזרם המקורי. לא ניתן להשיג השפעות מסוימות כגון שבירה, שקיפות נכונה וצללים נוספים עם תכנית זו. כדי לעשות זאת, אתה צריך לרנדר הכל ביחד. למשל, אין דרך ליצור אפקט של עיוות אוויר משריפה או מאספלט חם. כך גם לגבי העברת אפקט השקיפות תוך התחשבות במקדם השבירה. בתחילה יצרנו תוכן על סמך ההגבלות הללו וניסינו להשתמש באפקטים מתאימות.

צפה בהודעה זו על

סיום משחקי אירופה השניים במינסק.

פוסט ששותף על ידי אלנה לנסקאיה (@alyonalanskaya) ב-30 ביוני 2019 בשעה 3:19 PDT

דמיטרי: האם כבר היה לך תוכן משלך בפרויקט הראשון למשחקי אירופה?

אנדריי: לא, השלב העיקרי של פיתוח התוכן נעשה על ידי החבר'ה מ-Sechenov.com. הגרפיקאים שלהם ציירו את התוכן הבסיסי עם אנימציות ודברים אחרים. שילבנו הכל במנוע, הוספנו אפקטים נוספים, התאמנו כך שהכל יעבוד כמו שצריך.

אם אנחנו מדברים על הצינור, אז בשביל שידורי הטלוויזיה הרכבנו הכל על Unreal Engine 4. במקרה, הם בדיוק באותו רגע התחילו להגביר את הכלים שלהם למציאות מעורבת. התברר שהכל לא כל כך פשוט. גם עכשיו כל הכלים גולמיים, היינו צריכים לסיים הרבה ביד. במינסק עבדנו על מבנה מותאם אישית של המנוע, כלומר, שכתבנו כמה דברים בתוך המנוע כדי שנוכל, למשל, לצייר צללים על גבי אובייקטים אמיתיים. לגרסת המנוע שהייתה עדכנית באותה תקופה לא היו תכונות שיאפשרו לעשות זאת באמצעות כלים סטנדרטיים. מסיבה זו, החבר'ה שלנו הכינו הרכבה אישית משלהם כדי לספק את כל מה שהיה חיוני.

ניואנסים נוספים והתאמה ל-WorldSkills בקאזאן

קוד זמן (על ידי גרסאות שמע) — 31:37

דמיטרי: אבל כל זה בפרק זמן קצר למדי?

אנדריי: המועדים היו צפופים פרויקט קאזאן, לפי מינסק - נורמלי. כחצי שנה לפיתוח, אך בהתחשב בעובדה שהיו מעורבים שישה אנשים. במקביל, עשינו את החלק הנייד ופיתחנו כלים להפקת טלוויזיה. לא היה רק פלט תמונה. לדוגמה, מערכת מעקב עם אופטיקה, בשביל זה היית צריך ליצור כלים משלך.

דמיטרי: האם הייתה התאמה מפרויקט אחד למשנהו? תוך חודש וחצי היה צורך לנצל את ההתפתחויות ולהעביר את הפרויקט עם תוכן חדש לאתר חדש?

אנדריי: כן, זה היה לחודש וחצי. תכננו חופשה של שבועיים לכל הצוות לאחר פרויקט מינסק. אבל מיד לאחר הסגירה, החבר'ה מ-Sechenov.com באים ואומרים: "טוב, אז בוא נעשה את קאזאן". עוד הצלחנו לנוח מעט, אבל עברנו לפרויקט הזה די מהר. השלמנו כמה עבודה טכנית. רוב הזמן הושקע בתוכן, כי עבור WorldSkills עשינו את זה לגמרי, רק תיאמנו את זה עם צוות ההפקה. היה רק תסריט מצידם. אבל זה היה קל יותר - לא היה צורך באיטרציות נוספות. כשאתה יוצר תוכן בעצמך, אתה רואה מיד איך הוא עובד במנוע, ותוכל לערוך ולתאם במהירות.

לגבי החלק הנייד, לקחנו בחשבון את כל הדקויות שהיו לנו במינסק. עשינו עיצוב אפליקציה חדש, עיצבנו קצת את הארכיטקטורה, הוספנו מדריכים, אבל ניסינו לעשות את זה כמה שיותר קצר וברור. צמצמנו את מספר שלבי המשתמש מהשקת האפליקציה לצפייה בתוכן. חודש וחצי הספיקו להשלמת פרויקט הולם. תוך שבוע וחצי הגענו לאתר. היה קל יותר לעבוד שם כי כל השליטה על הפרויקט הייתה בידי המארגנים, לא היה צורך בתיאום עם ועדות אחרות. זה היה פשוט וקל יותר לעבוד בקאזאן וזה היה די נורמלי שהיה פחות זמן.

דמיטרי: אבל האם החלטת להשאיר את הגישה לסינכרון כפי שהייתה, על סמך סאונד?

אנדריי: כן, עזבנו את זה בצליל. זה עבד טוב. כמו שאומרים, אם זה עובד, אל תיגע בזה. פשוט לקחנו בחשבון את הניואנסים של איכות רצועת האודיו. כשהם עשו את ההקדמה, היה פרק אימון שאנשים ניסו לנסות לפני שהתוכנית התחילה. זה היה מפתיע שכאשר ברגע ההשמעה במסלול באצטדיון יש מחיאות כפיים סוערות, "חי", המערכת מאפשרת להסתנכרן היטב עם המסלול הזה, אך אם ברגע זה מתערבבות מחיאות כפיים מוקלטות עם המסלול, אזי. המסלול כבר לא נתפס. ניואנסים כאלה נלקחו בחשבון, והכל היה מסונכרן די טוב מבחינת הסאונד.

נ.ב. בחלק השני של הגיליון אנו מדברים על הדמיית נתונים מדעיים, מודל תהליכים בפרויקטים אחרים, פיתוח משחקים ותכנית המאסטר "טכנולוגיה לפיתוח משחקי מחשב" נפרסם המשך בכתבה הבאה. תוכלו להאזין ולתמוך בנו כאן: