To je prvi del besedilnega zapisa drugega intervjuja za našo oddajo (, ). Gost izdaje - (), dr., višja raziskovalka v Nacionalnem centru za kognitivne raziskave, izredna profesorica na Fakulteti za digitalne transformacije.
Od leta 2012 deluje v raziskovalni skupini Vizualizacija in računalniška grafika. Ukvarja se z velikimi aplikativnimi projekti na državni in mednarodni ravni. V tem delu pogovora se pogovarjamo o njegovih izkušnjah pri AR podpori javnim dogodkom.
Photo Shoot (Unsplash.com)
Kontekst in cilji projekta
Časovna koda (avtor ) — 00:41
: Rad bi začel s projektom Evropskih iger. Je večkomponenten, pri pripravi je sodelovalo več ekip in zagotavljanje razširjene resničnosti za večtisočglavo publiko kar med dogodkom na stadionu je resna naloga. Je bila v smislu vašega sodelovanja najprej programska oprema?
: Da, opravili smo programski del in nudili podporo med oddajo. Vse je bilo treba sproti spremljati, spremljati in zagnati ter sodelovati s televizijsko skupino. Če obravnavamo ta projekt kot celoto, potem lahko govorimo o otvoritveni in zaključni slovesnosti v Minsku, pa tudi o otvoritveni slovesnosti prvenstva v Kazanu. Bila je ista shema dela, a različni dogodki. Med njima je bila dva meseca razlike. Projekt smo pripravili skupaj s fanti iz podjetja .
Srečali smo jih po naključju , ki je potekal jeseni 2018. Naši magistrski študenti so predstavili svojo tečajno nalogo na temo VR. Fantje so prišli do nas in nas vprašali, kaj delamo v našem laboratoriju. Videti je bilo nekako takole:
— Delate z VR, a lahko delate z razširjeno resničnostjo?
- No, nekako ja.
- Obstaja taka naloga, s takimi uvodnimi opombami. Lahko to storite?
Malo so si popraskali repo, ni videti nič nerealnega:
- Poskusimo najprej vse preučiti, potem pa najti rešitev.
Dmitrij: Ali zagotavljajo le medijsko podporo?
Andrew: Naredijo poln kup. Z vidika vodenja in organizacije so v celoti vključeni v režijo, scenografijo, izbiro scenografije, logistiko in ostalo tehnično podporo. Za evropske igre pa so želeli narediti nekaj posebnega. Ti posebni efekti, tako kot mešana resničnost, so narejeni za televizijo že precej dolgo, vendar niso najbolj proračunski glede tehnične izvedbe. Zato so fantje iskali alternativne možnosti.
Dmitrij: Pogovorimo se o problemu podrobneje. Kaj je sestavljalo?
Andrew: Obstaja dogodek. Traja uro in pol. Zagotoviti moramo, da lahko gledalci, ki jo spremljajo v živo, in tisti, ki sedijo na stadionu, vidijo učinke razširjene resničnosti v popolni sinhronizaciji s predstavo v živo glede na čas in lokacijo na spletnem mestu.
Bilo je kar nekaj tehničnih omejitev. Prek interneta je bilo nemogoče opraviti časovno sinhronizacijo, saj so se pojavili strahovi pred preveliko obremenitvijo omrežja ob polnih tribunah in možnostjo udeležbe voditeljev držav, kar bi lahko motilo mobilna omrežja.
Andrej Karsakov, fotografija iz
Pri tem projektu smo imeli dve ključni komponenti – osebno izkušnjo, ki jo ljudje lahko dobijo prek mobilnih naprav, in tisto, kar gre v televizijski prenos in informacijske zaslone na samem stadionu.
Če oseba nenadoma gleda epizode razširjene resničnosti prek mobilne naprave in hkrati pride na zaslon, bi morala videti isto sliko.
Potrebovali smo dva praktično različna sistema, ki sta bila časovno popolnoma sinhronizirana. Toda posebnost takšnih predstav je, da gre za kompleksne dogodke, kjer sodeluje veliko število tehničnih služb in vse operacije potekajo po časovnih kodah. Časovna koda je določen trenutek v času, ko se nekaj začne: svetloba, zvok, ljudje odhajajo, odpirajo se cvetni listi itd. Temu sistemu smo se morali prilagoditi, da se je vse začelo ob pravem času. Druga značilnost je bila, da so bili prizori in epizode z razširjeno resničnostjo povezani s scenarijem.
Dmitrij: Toda ali ste se odločili za opustitev uporabe časovnih kod zaradi visokih tveganj višje sile ali ste na začetku izračunali nekatere karakteristike moči in ugotovili, da bo obremenitev celotnega sistema precej velika?
Andrew: Če ustvarite storitev sinhronizacije za takšno občinstvo, potem to ni zelo težko. Vsekakor zahteve ne bodo propadle čez noč. Da, obremenitev je velika, vendar ni nujno. Vprašanje je, ali je vredno porabiti sredstva in čas za to, če omrežje nenadoma izgine. Nismo bili prepričani, da se to ne bo zgodilo. Na koncu je vse delovalo, s prekinitvami zaradi obremenitve, vendar je delovalo in smo se sinhronizirali po časovni kodi po drugi shemi. To je bil eden izmed globalnih izzivov.
Težave pri implementaciji z vidika UX
Časovna koda (avtor ) — 10:42
Andrew: Upoštevati smo morali tudi, da stadion ni klasično koncertno prizorišče, in sinhronizirati sisteme po prostoru za mobilne naprave. Tako sem pred časom postal viralen na koncertih Eminema, potem je bil primer z Lobodo.
Photo Shoot (Unsplash.com)
A to je vedno doživetje pred tabo - cela množica stoji pred odrom, sinhronizacija je čisto preprosta. V primeru stadiona morate razumeti, na kateri strani kroga ste, relativni položaj, tako da se stadion prilega prostoru, ki obstaja v virtualnem okolju. To je bil kisel izziv. Poskušali so ga rešiti na različne načine, rezultat pa je bil primer, ki je blizu temu, kar je izvajal Loboda, vendar ne v vseh pogledih.
Uporabniku pustimo, da se odloči, kje se nahaja. Naredili smo oznake za stadion, kjer so si ljudje izbrali sektor, vrsto, mesto. Vse to v štirih »klikih«. Nato smo morali določiti smer do odra. Da bi to naredili, smo pokazali silhueto, kako naj bi prizor približno izgledal iz prilagojene perspektive. Kombiniral je, tapkal in to je to - oder se je usedel. Ta postopek smo skušali čim bolj poenostaviti. Kljub temu 90% gledalcev, ki so si želeli ogledati oddajo, ni tistih ljudi, ki imajo izkušnje s komuniciranjem z obogateno resničnostjo.
Dmitrij: Ali je bila za ta projekt ločena prijava?
Andrew: Da, aplikacija za iOS in Android, ki smo jo potisnili v trgovino. Za to je bila ločena promocijska kampanja. Prej je bilo podrobno opisano, kako prenesti in tako naprej.
Dmitrij: Morate razumeti, da ni mesta, kjer bi oseba fizično testirala in se naučila uporabljati takšno aplikacijo. Zato se je naloga »vzgoje« občinstva zapletla.
Andrew: Da Da. Pri UX-u smo ujeli veliko zapletov, saj želi uporabnik dobiti izkušnjo v treh klikih: prenesel, namestil, zagnal – uspelo je. Mnogi ljudje so preleni, da bi spremljali zapletene vaje, brali vaje itd. In uporabniku v vadnici nismo poskušali čim bolj razložiti vsega: tukaj se bo odprlo okno, tukaj dostop do kamere, sicer ne bo delovalo in tako naprej. Ne glede na to, koliko razlag napišeš, ne glede na to, kako podrobno prežvečiš, ne glede na to, kakšne gife vstaviš, ljudje tega ne berejo.
V Minsku smo zbrali veliko povratnih informacij o tem delu in smo že veliko spremenili za aplikacijo v Kazanu. Vanj nismo dali le tistih fonogramov in časovnih kod, ki ustrezajo določeni epizodi razširjene resničnosti, ampak smo vzeli vse fonograme in časovne kode v celoti. Tako je aplikacija slišala, kaj se dogaja ob zagonu, in - če se je oseba prijavila ob napačnem trenutku - je izdala informacijo: "Tovariš, oprosti, tvoja epizoda AR bo čez 15 minut."
Malo o arhitekturi in pristopu k sinhronizaciji
Časovna koda (avtor ) — 16:37
Dmitrij: Ste se odločili za sinhronizacijo po zvoku?
Andrew: Ja, zgodilo se je po naključju. Iskali smo možnosti in naleteli na podjetje iz Iževska. Izdelujejo ne posebej prefinjen, a železen SDK, ki vam omogoča sinhronizacijo zvoka s časom. Sistem je bil postavljen za delo s televizijo, ko lahko nekaj prikažete v aplikaciji na podlagi zvoka pogojnega oglasa ali omogočite interaktivno izkušnjo na podlagi filmskega posnetka.
Dmitrij: Toda ena stvar je - sedite v svoji dnevni sobi, in druga stvar - stadion s tisoči ljudi. Kako vam je šlo s kakovostjo snemanja zvoka in njegovo kasnejšo prepoznavo?
Andrew: Bilo je veliko strahov in dvomov, a v večini primerov je bilo vse dobro prepoznano. Z zvitimi algoritmi na zvočnem posnetku ustvarijo podpise – rezultat tehta manj kot izvirna zvočna datoteka. Ko mikrofon posluša okoliški zvok, poskuša najti te značilnosti in na podlagi njih prepoznati skladbo. V dobrih pogojih je natančnost merjenja časa 0,1-0,2 sekunde. To je bilo več kot dovolj. V slabih pogojih je odstopanje znašalo do 0,5 sekunde.
Veliko je odvisno od naprave. Delali smo z veliko floto naprav. Za iPhone je samo 10 modelov. Delovali so dobro glede kakovosti in drugih lastnosti. Toda z androidi je živalski vrt kot moja mama. Ni povsod izkazalo, da je sinhronizacija zvoka delovala. Bili so primeri, ko zaradi nekaterih posebnosti ni bilo mogoče slišati različnih skladb na različnih napravah. Nekje nizke frekvence izginejo, nekje začnejo piskati visoke frekvence. Če pa je imela naprava normalizator na mikrofonu, je sinhronizacija vedno delovala.
Dmitrij: Prosim, povejte nam o arhitekturi – kaj je bilo uporabljeno v projektu?
Andrew: Aplikacijo smo naredili v Unityju - najpreprostejši možnosti v smislu multi-platforme in dela z grafiko. Rabljena fundacija AR. Takoj smo rekli, da ne želimo komplicirati sistema, zato smo se omejili na floto naprav, ki podpirajo ARKit in ARCore, da bi imeli čas vse preizkusiti. Naredili smo vtičnik za DigitalSoft SDK, to . Izdelali smo sistem za upravljanje vsebin, da bi se skripte izvajale po časovnici.
Malo smo se poigrali s sistemom delcev, saj lahko uporabnik kadarkoli vstopi v določeno epizodo in potrebujemo, da vidi vse od trenutka, od katerega je sinhroniziral. Izdelali smo sistem, ki omogoča jasno predvajanje scenarijev v času, tako da se lahko 3D-izkušnja pomika naprej in nazaj, kot v filmu. Medtem ko s klasičnimi animacijami deluje takoj, smo se morali poigrati s sistemi delcev. Na neki točki se začnejo drstiti in če se znajdete nekje pred točko drstitve, se še niso skotile, čeprav se zdi, da bi morale biti. Toda ta problem je pravzaprav zelo enostavno rešiti.
Za mobilni del je arhitektura precej preprosta. Za televizijsko oddajanje je vse bolj zapleteno. Imeli smo strojne omejitve. Stranka je postavila pogoj: "Tukaj imamo tak in tak park strojne opreme, grobo rečeno, vse mora delovati na tem." Takoj smo se osredotočili na dejstvo, da bomo delali z razmeroma poceni karticami za zajem videa. Toda proračun ne pomeni, da so slabi.
Omejitve so bile glede strojne opreme, kartic za zajem videa in delovnih pogojev - kako naj sprejmemo sliko. Kartice za zajem - Blackmagic Design, delujejo po notranji shemi ključavnic - to je, ko vam iz kamere pride video okvir. Kartica ima lasten procesorski čip, kamor je vstavljen tudi okvir, ki mora biti naložen nad vhodno. Kartica jih pomeša - tam se ne dotikamo ničesar drugega in ne vplivamo na okvir iz video kamere. Prek video izhoda izpljune rezultat v nadzorno sobo. To je dobra metoda za prekrivanje naslovov in drugih podobnih stvari, vendar ni zelo primerna za učinke mešane resničnosti, ker obstaja veliko omejitev za cevovod upodabljanja.
Dmitrij: V smislu računalništva v realnem času, vezave objektov ali česa drugega?
Andrew: V smislu kakovosti in doseganja želenih učinkov. Ker ne vemo, na kaj postavljamo sliko. Preprosto pošljemo informacije o barvi in prosojnosti na vrhu izvirnega toka. S to shemo ni mogoče doseči nekaterih učinkov, kot so lom, pravilna prosojnost in dodatne sence. Če želite to narediti, morate upodobiti vse skupaj. Na primer, ni mogoče ustvariti učinka popačenja zraka zaradi ognja ali vročega asfalta. Enako velja za prenos učinka prosojnosti ob upoštevanju lomnega količnika. Sprva smo vsebine izdelali na podlagi teh omejitev in poskušali uporabiti ustrezne učinke.
Dmitrij: Ste imeli že v prvem projektu za evropske igre svojo vsebino?
Andrew: Ne, glavno stopnjo razvoja vsebine so opravili fantje iz Sechenov.com. Njihovi grafiki so narisali osnovno vsebino z animacijami in drugim. In vse smo integrirali v motor, dodali dodatne efekte, prilagodili, da je vse pravilno delovalo.
Če govorimo o plinovodu, potem smo za televizijsko oddajanje vse sestavili na Unreal Engine 4. Po naključju so ravno v tistem trenutku začeli krepiti svoja orodja za mešano resničnost. Izkazalo se je, da vse ni tako preprosto. Tudi zdaj so vsa orodja surova, veliko smo morali obdelati ročno. V Minsku smo delali na izdelavi motorja po meri, to pomeni, da smo nekatere stvari znotraj motorja prepisali, tako da smo na primer lahko narisali sence na resnične predmete. Različica motorja, ki je bila takrat aktualna, ni imela funkcij, ki bi omogočale to s standardnimi orodji. Iz tega razloga so naši fantje naredili lastno sestavo po meri, ki je zagotovila vse, kar je življenjsko potrebno.
Druge nianse in prilagoditev na WorldSkills v Kazanu
Časovna koda (avtor ) — 31:37
Dmitrij: A vse to v dokaj kratkem času?
Andrew: Roki so bili tesni , glede na Minsk - normalno. Približno šest mesecev za razvoj, vendar ob upoštevanju dejstva, da je sodelovalo šest ljudi. Hkrati smo izdelovali mobilni del in razvijali orodja za televizijsko produkcijo. Ni bilo samo slikovnega izhoda. Na primer sistem za sledenje z optiko, za to ste morali ustvariti lastna orodja.
Dmitrij: Je prišlo do prilagajanja od enega projekta k drugemu? V mesecu in pol je bilo treba izkoristiti razvoj in prenesti projekt z novo vsebino na novo stran?
Andrew: Ja, trajalo je mesec in pol. Po projektu v Minsku smo načrtovali dvotedenski dopust za celotno ekipo. Toda takoj po zaprtju pridejo fantje iz Sechenov.com in rečejo: "No, potem naredimo Kazan." Sicer smo si vseeno uspeli malo odpočiti, a kar hitro prešli na ta projekt. Opravili smo nekaj tehničnih del. Največ časa je šlo za vsebino, saj smo jo za WorldSkills naredili v celoti, le uskladili smo jo s produkcijsko ekipo. Z njihove strani je bil samo scenarij. Vendar je bilo lažje – dodatne iteracije niso bile potrebne. Ko sami ustvarite vsebino, takoj vidite, kako deluje v motorju, in jo lahko hitro urejate in usklajujete.
Kar zadeva mobilni del, smo upoštevali vse podrobnosti, ki smo jih imeli v Minsku. Naredili smo novo zasnovo aplikacije, malo preoblikovali arhitekturo, dodali tutoriale, a se trudili, da je bila čim krajša in jasna. Zmanjšali smo število korakov uporabnika od zagona aplikacije do ogleda vsebine. Mesec in pol je bil dovolj za izvedbo ustreznega projekta. V tednu in pol smo prispeli do lokacije. Tam je bilo lažje delati, saj je bil ves nadzor nad projektom v rokah organizatorjev, ni bilo treba usklajevati z drugimi komisijami. V Kazanu je bilo enostavneje in lažje delati in čisto normalno je bilo, da je bilo manj časa.
Dmitrij: Toda ali ste se odločili, da pustite pristop k sinhronizaciji tak, kot je bil, na podlagi zvoka?
Andrew: Da, zapustili smo ga z zvokom. Delovalo je dobro. Kot pravijo, če deluje, se ga ne dotikajte. Preprosto smo upoštevali nianse kakovosti zvočnega posnetka. Ko so naredili uvod, je sledila epizoda usposabljanja, ki so jo ljudje poskusili pred začetkom predstave. Presenetljivo je bilo, da ko je v trenutku predvajanja skladbe na stadionu nevihten aplavz, "v živo", sistem omogoča dobro sinhronizacijo s to skladbo, če pa se v tem trenutku posneti aplavz pomeša s skladbo, potem sled ni več ujeta. Takšne nianse so bile upoštevane in zvočno je bilo vse kar dobro sinhronizirano.
P.S. V drugem delu številke govorimo o znanstveni vizualizaciji podatkov, modeliranju procesov v drugih projektih, razvoju iger in magistrskem programu "" Nadaljevanje bomo objavili v naslednjem članku. Tukaj nas lahko poslušate in podprete:
P.P.S. Medtem pa na angleški različici Habra: .
Vir: www.habr.com