🥇Подкаст „ITMO Research_“: како да се пристапи кон синхронизација на содржината во AR со шоу во размери на цел стадион

Ова е првиот дел од текстуалниот транскрипт од второто интервју за нашата програма (Епл Подкасти, Yandex.Музиќ). Издадете гостин - Андреј Карсаков (kapc3d), д-р, виш истражувач во Националниот центар за когнитивни истражувања, вонреден професор на Факултетот за дигитални трансформации.

Од 2012 година, Андреј работи во истражувачката група Визуелизација и компјутерска графика. Ангажирани во големи применети проекти на државно и меѓународно ниво. Во овој дел од разговорот зборуваме за неговото искуство во AR поддршка за јавни настани.

Фото Ова е инженерство RAEng (Unsplash.com)

Контекст и цели на проектот

Временски код (од аудио верзии) — 00:41 часот

Дмитрикабанов: Би сакал да започнам со проектот Европски игри. Тој е повеќекомпонентен, неколку тимови учествуваа во подготовката, а обезбедувањето на зголемена реалност за илјадна публика токму за време на настан на стадионот е доста сериозна задача. Во однос на вашата вклученост, дали тоа беше прво софтвер?

kapc3d: Да, го направивме програмскиот дел и дадовме поддршка за време на шоуто. Беше неопходно да се следи, следи и стартува сè во реално време, а исто така и да се работи со телевизиската група. Ако го земеме предвид овој проект како целина, тогаш можеме да зборуваме за свеченото отворање и затворање Европски игри во Минск, како и за свеченото отворање на првенството WorldSkills во Казан. Тоа беше иста шема на работа, но различни настани. Меѓу нив имаше пауза од два месеци. Проектот го подготвивме заедно со момците од компанијата Сеченов.com.

Случајно ги запознавме Наука Фест, што се одржа во есента 2018 година. Нашите магистерски студенти го прикажаа својот курс проект на тема VR. Момците дојдоа кај нас и прашаа што правиме во нашата лабораторија. Изгледаше нешто вака:

— Работите со VR, но дали можете да работите со проширена реалност?

- Па, некако, да.

- Има таква задача, со вакви воведни белешки. Можете ли да го направите тоа?

Малку ги изгребаа репата, се чини дека нема ништо нереално:

- Да се обидеме прво да проучиме се, па потоа да најдеме решение.

Дмитриј: Дали тие даваат само медиумска поддршка?

Андреј: Тие прават целосен оџак. Од гледна точка на менаџментот и организацијата, тие се целосно вклучени во режија, сценографија, избор на сценографија, логистика и друга техничка поддршка. Но, тие сакаа да направат нешто посебно за Европските игри. Овие специјални ефекти, како мешаната реалност, се направени за телевизија прилично долго време, но тие не се најбуџетските во однос на техничката имплементација. Затоа, момците бараа алтернативни опции.

Дмитриј: Ајде да разговараме за проблемот подетално. Од што се состоеше?

Андреј: Има настан. Трае час и половина. Треба да се погрижиме публиката што го гледа во живо и оние што седат на стадионот да можат да ги видат ефектите од проширената реалност во целосна синхронизација со шоуто во живо во однос на времето и локацијата на локацијата.

Имаше голем број технички ограничувања. Невозможно беше да се направи синхронизација на времето преку Интернет, бидејќи имаше стравувања од прекумерно оптоварување на мрежата со полни трибини и изгледи на шефови на држави да присуствуваат на настанот, што може да ги заглави мобилните мрежи.

Андреј Карсаков, фотографија од материјал од Универзитетот ITMO
Имавме две клучни компоненти на овој проект - личното искуство што луѓето можат да го добијат преку мобилните уреди и она што оди во телевизискиот пренос и информативните екрани на самиот стадион.

Ако одеднаш некое лице гледа епизоди од проширена реалност преку мобилен уред и во исто време се качи на екранот, треба да ја види истата слика.

Ни требаа два практично различни системи за да бидат целосно синхронизирани на време. Но, особеноста на ваквите емисии е што се работи за сложени настани каде се вклучени голем број технички служби и сите операции се вршат според временски шифри. Временски код е специфичен момент во времето кога нешто започнува: светлина, звук, луѓе кои заминуваат, ливчиња на сцената се отвораат итн. Моравме да се прилагодиме на овој систем за се да започне во вистинско време. Друга карактеристика беше тоа што сцените и епизодите со зголемена реалност беа поврзани со сценарио.

Дмитриј: Но, дали решивте да ја напуштите употребата на временски шифри поради високите ризици од виша сила или првично пресметавте некои карактеристики на моќноста и сфативте дека оптоварувањето на целиот систем ќе биде доста големо?

Андреј: Ако направите услуга за синхронизација за таква публика, тогаш тоа не е многу тешко. Во секој случај, барањата нема да пропаднат преку ноќ. Да, оптоварувањето е големо, но не е итен случај. Прашањето е дали вреди да се трошат ресурси и време на ова ако мрежата одеднаш се исклучи. Не бевме сигурни дека ова нема да се случи. На крајот на краиштата, сè функционираше, со прекини поради оптоварувањето, но работеше и се синхронизиравме според временскиот код по друга шема. Ова беше еден од глобалните предизвици.

Тешкотии при имплементација од гледна точка на UX

Временски код (од аудио верзии) — 10:42 часот

Андреј: Моравме да земеме предвид и дека стадионот не е класично концертно место и да ги синхронизираме системите низ просторот за мобилни уреди. Така, пред некое време станав вирална приказна за проширена реалност на концертите на Еминем, тогаш имаше случај со Лобода.

Фото Роберт Бај (Unsplash.com)
Но, ова е секогаш искуство пред вас - целата толпа стои пред сцената, синхронизацијата е прилично едноставна. Во случај на стадион, треба да разберете на која страна од кругот сте, релативната положба, така што стадионот се вклопува во просторот што постои во виртуелната средина. Тоа беше кисел предизвик. Се обидоа да го решат на различни начини, а резултатот беше случај близок до она што го спроведе Лобода, но не во сите погледи.

Му дозволуваме на корисникот да одлучи каде е. Направивме ознаки за стадионот, каде луѓето избираа сектор, ред, место. Сето ова во четири „кликања“. Следно, требаше да го одредиме правецот до сцената. За да го направите ова, покажавме силуета на тоа како би требало да изгледа сцената од приспособена перспектива. Го спои, чука и готово - седна сцената. Се обидовме да го поедноставиме овој процес што е можно повеќе. Сепак, 90% од гледачите кои сакаа да го гледаат шоуто не се оние луѓе кои имаат искуство во комуникација со проширена реалност.

Дмитриј: Имаше ли посебна апликација за овој проект?

Андреј: Да, апликација за iOS и Android, која ја турнавме во продавницата. За него имаше посебна промотивна кампања. Претходно беше детално опишано како да се преземе и така натаму.

Дмитриј: Треба да разберете дека нема место за човек физички да тестира и да научи како да користи таква апликација. Затоа, задачата за „едуцирање“ на публиката стана посложена.

Андреј: Да Да. Со UX фативме многу нерамнини, бидејќи корисникот сака да го добие искуството со три кликања: преземено, инсталирано, стартувано - функционираше. Многу луѓе се премногу мрзливи да следат сложени упатства, да читаат упатства итн. И не се обидовме да му објасниме сè на корисникот колку што е можно повеќе во упатството: ќе се отвори прозорец овде, пристап до камерата овде, инаку нема да работи итн. Без разлика колку објаснувања пишувате, без разлика колку детално ги џвакате, без разлика какви гифови ставате, луѓето не ги читаат.

Во Минск собравме голем број повратни информации за овој дел и веќе сме промениле многу за апликацијата во Казан. Ги ставивме таму не само оние фонограми и оние временски шифри што одговараат на одредена епизода на зголемена реалност, туку ги зедовме сите фонограми и временски шифри во целост. Така, апликацијата слушна што се случува во моментот на лансирање и - ако некое лице се најави во погрешен момент - ги даде информациите: „Другар, извини, твојата епизода AR ќе биде за 15 минути“.

Малку за архитектурата и пристапот кон синхронизацијата

Временски код (од аудио верзии) — 16:37 часот

Дмитриј: Дали решивте да синхронизирате по звук?

Андреј: Да, тоа се случи случајно. Ги разгледувавме опциите и наидовме на една компанија Цифрасофт од Ижевск. Тие прават не особено софистициран, но работен SDK на железо, кој ви овозможува да го синхронизирате звукот со времето. Системот беше позициониран да работи со ТВ, кога можете да прикажете нешто во апликација врз основа на звукот на условна реклама или да дадете интерактивно искуство врз основа на филмската песна.

Дмитриј: Но, едно е - седите во вашата дневна соба, а друга работа - стадион со илјадници луѓе. Како се одвиваа работите кај вас со квалитетот на снимањето на звукот и неговото последователно препознавање?

Андреј: Имаше многу стравови и сомнежи, но во повеќето случаи се беше добро препознаено. Тие градат потписи на аудио траката со нивните лукави алгоритми - резултатот тежи помалку од оригиналната аудио датотека. Кога микрофонот го слуша околниот звук, се обидува да ги пронајде овие карактеристики и да ја препознае песната врз основа на нив. Во добри услови, точноста на синхронизацијата е 0,1-0,2 секунди. Ова беше повеќе од доволно. Во лоши услови несовпаѓањето беше до 0,5 секунди.

Многу зависи од уредот. Работевме со голема флота уреди. За iPhone има само 10 модели. Тие работеа добро во однос на квалитетот и другите карактеристики. Но, со андроиди зоолошката градина е како мајка ми. Не секаде се покажа дека синхронизацијата на звукот функционира. Имаше случаи кога беше невозможно да се слушнат различни песни на различни уреди поради некои особености. Некаде ниските фреквенции исчезнуваат, некаде високите фреквенции почнуваат да отежнуваат. Но, ако уредот имал нормализатор на микрофонот, синхронизацијата секогаш работела.

Дмитриј: Ве молиме кажете ни за архитектурата - што беше искористено во проектот?

Андреј: Апликацијата ја направивме во Unity - наједноставната опција во однос на мулти-платформа и работа со графика. Користена AR Foundation. Веднаш рековме дека не сакаме да го комплицираме системот, па се ограничивме на флота уреди што поддржуваат ARKit и ARCore за да имаме време да тестираме сè. Направивме додаток за DigitalSoft SDK, тоа е на нашиот GitHub. Создадовме систем за управување со содржина, така што скриптите ќе работат според временската линија.

Малку се помешавме со системот на честички, затоа што корисникот може да влезе во секое време во одредена епизода и ни треба да види сè од моментот од кој синхронизирал. Направивме систем кој овозможува сценаријата да се играат јасно во времето, така што XNUMXD искуството може да се движи напред-назад, како на филм. Иако работи надвор од кутијата со класични анимации, моравме да се помешаме со системите за честички. Во одреден момент, тие почнуваат да се мрестат, а ако се најдете некаде пред точката на мрестење, тие сè уште не се родени, иако изгледа дека треба да бидат. Но, овој проблем всушност е прилично лесен за решавање.

За мобилниот дел, архитектурата е прилично едноставна. За телевизиско емитување сè е покомплицирано. Имавме хардверски ограничувања. Клиентот постави услов: „Тука имаме таков и таков хардверски парк, грубо кажано, сè треба да работи на тоа“. Веднаш се фокусиравме на фактот дека ќе работиме со релативно буџетски картички за снимање видео. Но, буџетот не значи дека тие се лоши.

Имаше ограничувања за хардверот, за картичките за снимање видео и за работните услови - како треба да ја примиме сликата. Картички за фотографирање - Blackmagic Design, работени според шемата за внатрешно копирање - ова е кога ви доаѓа видео рамка од камерата. Картичката има свој процесорски чип, каде што е вметната и рамка, која мора да биде надредена над влезната. Картичката ги меша - ние не допираме ништо друго таму и не влијаеме на рамката од видео камерата. Таа го плука резултатот во контролната соба преку видео излезот. Ова е добар метод за преклопување на наслови и други слични работи, но не е многу погоден за ефекти на мешана реалност бидејќи има многу ограничувања на рендерската линија.

Дмитриј: Во однос на пресметување во реално време, врзување на објекти или нешто друго?

Андреј: Во однос на квалитетот и постигнувањето на посакуваните ефекти. Затоа што не знаеме на што ја ставаме сликата на врвот. Едноставно испраќаме информации за боја и транспарентност на врвот на оригиналниот пренос. Некои ефекти како што се прекршување, правилна транспарентност и дополнителни сенки не може да се постигнат со оваа шема. За да го направите ова, треба да направите сè заедно. На пример, не постои начин да се создаде ефект на дисторзија на воздухот од пожар или врел асфалт. Истото важи и за преносот на ефектот на транспарентност земајќи го предвид индексот на рефракција. Првично направивме содржина врз основа на овие ограничувања и се обидовме да користиме соодветни ефекти.

Погледнете го овој пост на Instagram

Затворање на II Европски игри во Минск.

Пост дели од Алена Ланскаја (@alyonalanskaya) на 30 јуни 2019 во 3:19 PDT

Дмитриј: Дали веќе имавте своја содржина во првиот проект за Европските игри?

Андреј: Не, главната фаза на развој на содржина ја направија момците од Sechenov.com. Нивните графичари основната содржина ја цртаа со анимации и други работи. И вградивме сè во моторот, додадовме дополнителни ефекти, го адаптиравме така што сè работи правилно.

Ако зборуваме за гасоводот, тогаш за телевизиско емитување склопивме сè на Unreal Engine 4. Случајно, тие токму во тој момент почнаа да ги засилуваат своите алатки за мешана реалност. Се испостави дека сè не е толку едноставно. Дури и сега сите алатки се сирови, моравме многу да завршиме со рака. Во Минск работевме на приспособена конструкција на моторот, односно препишувавме некои работи внатре во моторот за, на пример, да цртаме сенки врз вистински предмети. Верзијата на моторот што беше актуелна во тоа време немаше карактеристики што ќе овозможат тоа да се направи со користење на стандардни алатки. Поради оваа причина, нашите момци направија сопствена прилагодена склоп за да обезбедат сè што беше витално неопходно.

Други нијанси и адаптација на WorldSkills во Казан

Временски код (од аудио верзии) — 31:37 часот

Дмитриј: Но, сето ова за прилично краток временски период?

Андреј: Роковите беа тесни Казански проект, според Минск - нормално. Околу шест месеци за развој, но земајќи го предвид фактот дека беа вклучени шест лица. Во исто време, го правевме мобилниот дел и развивавме алатки за телевизиска продукција. Немаше само излез на слика. На пример, систем за следење со оптика, за ова требаше да креирате свои алатки.

Дмитриј: Имаше ли адаптација од еден во друг проект? За месец и половина беше потребно да се искористи развојот на настаните и да се пренесе проектот со нова содржина на нов сајт?

Андреј: Да, тоа беше за месец и половина. Имавме планирано двонеделен одмор за целиот тим по проектот Минск. Но, веднаш по затворањето, момците од Sechenov.com доаѓаат и велат: „Па, тогаш да го направиме Казан“. Сè уште успеавме малку да се одмориме, но доста брзо се префрливме на овој проект. Завршивме некои технички работи. Поголемиот дел од времето беше потрошено на содржина, бидејќи за WorldSkills го направивме тоа целосно, само го координиравме со продукцискиот тим. Имаше само сценарио од нивна страна. Но, беше полесно - немаше потреба од дополнителни повторувања. Кога сами креирате содржина, веднаш гледате како функционира во моторот и можете брзо да уредувате и координирате.

Во однос на мобилниот дел, ги земавме предвид сите суптилности што ги имавме во Минск. Направивме нов дизајн на апликацијата, малку ја редизајниравме архитектурата, додадовме упатства, но се обидовме да го направиме што е можно пократко и појасно. Го намаливме бројот на кориснички чекори од стартување на апликацијата до прегледување на содржината. Месец и пол беа доволни за да се заврши адекватен проект. За недела и пол стигнавме до локацијата. Таму беше полесно да се работи бидејќи целата контрола над проектот беше во рацете на организаторите, немаше потреба да се координираат со други комитети. Во Казан беше поедноставно и полесно да се работи и беше сосема нормално што имаше помалку време.

Дмитриј: Но, дали решивте да го оставите пристапот кон синхронизација како што беше, базиран на звук?

Андреј: Да, го оставивме по звук. Работеше добро. Како што велат, ако работи, не го допирајте. Едноставно ги земавме предвид нијансите на квалитетот на аудио песната. Кога го направија воведот, имаше епизода за обука за луѓето да се обидат пред да започне шоуто. Изненадувачки беше што кога во моментот на играње на патеката на стадионот има бурен аплауз, „во живо“, системот ви овозможува добро да се синхронизирате со оваа патека, но ако во овој момент снимениот аплауз се измеша со патеката, тогаш патеката повеќе не е фатена. Ваквите нијанси беа земени предвид, а сè беше доста добро синхронизирано во однос на звукот.

П.С Во вториот дел од изданието зборуваме за научна визуелизација на податоци, моделирање на процеси во други проекти, развој на игри и магистерска програма "Технологија за развој на компјутерски игри" Продолжението ќе го објавиме во следната статија. Можете да не слушате и да не поддржите овде: