Dëst ass den éischten Deel vum Text Transkript vum zweeten Interview fir eise Programm (, ). Ausgab Gaascht - (), Ph.D., Senior Fuerscher am National Center for Cognitive Research, Associate Professor an der Fakultéit fir Digital Transformationen.
Zënter 2012 schafft den Andrey an der Fuerschungsgrupp Visualiséierung a Computergrafik. Engagéiert a grousse applizéierte Projeten um staatlechen an internationalem Niveau. An dësem Deel vum Gespréich schwätze mir iwwer seng Erfahrung an der AR Ënnerstëtzung fir ëffentlech Eventer.
Foto (Unsplash.com)
Projet Kontext an Ziler
Zäitcode (vum ) — 00:41
: Ech wéilt gär mam Projet European Games ufänken. Et ass Multi-Komponent, e puer Teams hunn un der Virbereedung deelgeholl, an eng augmentéiert Realitéit fir e Publikum vun Dausende direkt während engem Event am Stadion ubidden ass eng zimlech sérieux Aufgab. Wat Är Bedeelegung ugeet, war et als éischt Software?
: Jo, mir hunn de Programméierungsdeel gemaach an hunn Ënnerstëtzung während der Show geliwwert. Et war néideg alles an Echtzäit ze verfolgen, ze iwwerwaachen an ze starten, an och mat der Televisiounsgrupp ze schaffen. Wa mir dëse Projet als Ganzt betruechten, da kënne mir iwwer d'Ouverture an d'Ofschlosszeremonien schwätzen zu Minsk, wéi och iwwer d'Eröffnungszeremonie vum Championnat zu Kazan. Et war déi selwecht Aarbecht Schema, mä verschidden Evenementer. Et war eng Spalt vun zwee Méint tëscht hinnen. Mir hunn de Projet zesumme mat de Kärelen aus der Firma virbereet .
Mir hunn hinnen zoufälleg begéint , déi am Hierscht 2018 stattfonnt huet. Eis Masterstudenten hunn hire Coursprojet zum Thema VR virgestallt. D'Jongen sinn bei eis komm a gefrot wat mir an eisem Labo maachen. Et huet sou eppes ausgesinn:
- Dir schafft mat VR, awer kënnt Dir mat augmentéierter Realitéit schaffen?
- Ma, iergendwéi, jo.
- Et gëtt esou eng Aufgab, mat esou Aféierungscoursen. Kënnt Dir et maachen?
Si hunn hir Rüben e bësse kraazt, et schéngt näischt onrealistesch ze sinn:
- Loosst eis probéieren alles fir d'éischt ze studéieren, an dann eng Léisung ze fannen.
Dmitriy: Ginn se nëmmen Medien Ënnerstëtzung?
Andrew: Si maachen e vollen Stack. Aus der Siicht vun der Gestioun an der Organisatioun si se komplett an der Direktioun, Inszenéierung, Auswiel vun Kuliss, Logistik an aner technesch Ënnerstëtzung involvéiert. Mee si wollten eppes Besonnesches fir d'Europaspiller maachen. Dës Spezialeffekter, wéi d'Mixed Reality, si fir d'Televisioun scho laang gemaach, awer si sinn net déi budgetfrëndlechst wat d'technesch Ëmsetzung ugeet. Dofir hunn d'Jongen no alternativen Optiounen gesicht.
Dmitriy: Loosst eis de Problem méi am Detail diskutéieren. Aus wat huet et besteet?
Andrew: Et gëtt en Event. Et dauert eng Stonn an eng hallef. Mir mussen dofir suergen datt d'Publikum dat live kuckt an déi, déi am Stadion sëtzen, déi augmentéiert Realitéit Effekter a voller Synchroniséierung mat der Live Show a punkto Zäit a Plaz um Site gesinn.
Et waren eng Rei vun technesch Aschränkungen. Et war onméiglech Zäit Synchroniséierung iwwer Internet ze maachen, well et Ängschte iwwer exzessiv Belaaschtung op de Reseau mat voll Stänn an d'Perspektiv vun Staatschef d'Evenement deelhuelende waren, déi mobil Netzwierker Stau.
Andrey Karsakov, Foto vun
Mir haten zwee Schlësselkomponenten zu dësem Projet - déi perséinlech Erfahrung déi d'Leit iwwer mobilen Apparater kréien, a wat an d'Televisiounssendung an Informatiounsscreens am Stadion selwer geet.
Wann op eemol eng Persoun Episode vun der augmentéierter Realitéit iwwer e mobilen Apparat kuckt a gläichzäiteg op den Ecran kënnt, da sollt hien datselwecht Bild gesinn.
Mir hunn zwee quasi verschidde Systemer gebraucht fir an der Zäit komplett synchroniséiert ze sinn. Awer d'Besonderheet vun esou Shows ass datt dëst komplex Eventer sinn, wou eng grouss Zuel vun technesche Servicer involvéiert sinn an all Operatiounen no Zäitcodes ausgefouert ginn. Zäitcode ass e spezifesche Moment an der Zäit wou eppes ufänkt: Liicht, Toun, Leit déi verloossen, Bühnebléieblieder opmaachen, asw. Mir hu missen un dësem System upassen, fir datt alles zum richtegen Zäitpunkt ufänkt. Eng aner Feature war datt d'Szenen an d'Episoden mat der augmentéierter Realitéit Skriptbezunn waren.
Dmitriy: Awer hutt Dir decidéiert d'Benotzung vun Zäitcoden opzeginn wéinst den héije Risiken vu Force Majeure, oder hutt Dir am Ufank e puer Kraaftcharakteristike berechent a gemierkt datt d'Laascht op de ganze System zimlech héich wier?
Andrew: Wann Dir e Synchroniséierungsservice fir sou e Publikum erstellt, ass et net ganz schwéier. Op jidde Fall falen d'Demande net iwwer Nuecht. Jo, d'Laascht ass héich, awer et ass keen Noutfall. D'Fro ass ob et derwäert ass Ressourcen an Zäit ze verbréngen, wann d'Netz op eemol erausgeet. Mir waren net sécher datt dëst net géif geschéien. Schlussendlech huet alles geschafft, mat Ënnerbriechungen wéinst der Belaaschtung, awer et huet geschafft, a mir hunn dem Zäitcode no engem anere Schema synchroniséiert. Dëst war eng vun de weltwäiten Erausfuerderunge.
Schwieregkeeten vun der Implementatioun aus enger UX Siicht
Zäitcode (vum ) — 10:42
Andrew: Mir mussen och Rechnung droen datt de Stadion keng klassesch Concertsplaz ass, an d'Systemer iwwer de Raum fir mobilen Apparater synchroniséieren. Also, virun enger Zäit sinn ech viral gaang op Eminem Concerten, dann war et e Fall mat Loboda.
Foto (Unsplash.com)
Awer dëst ass ëmmer en Erliefnes virun Iech - de ganze Publikum steet virun der Bühn, d'Synchroniséierung ass ganz einfach. Am Fall vun engem Stadion musst Dir verstoen op wéi enger Säit vum Krees Dir sidd, déi relativ Positioun, sou datt de Stadion an de Raum passt, deen am virtuellen Ëmfeld existéiert. Et war eng sauer Erausfuerderung. Si hu probéiert et op verschidde Manéieren ze léisen, an d'Resultat war e Fall no bei deem wat vum Loboda ëmgesat gouf, awer net an allen Hisiichten.
Mir loossen de Benotzer entscheeden wou hien ass. Mir hunn Markéierunge fir de Stadion gemaach, wou d'Leit e Secteur, eng Rei, eng Plaz gewielt hunn. All dëst a véier "klickt". Als nächst musse mir d'Richtung op d'Bühn bestëmmen. Fir dëst ze maachen, hu mir eng Silhouette gewisen wéi d'Szen ongeféier aus enger personaliséierter Perspektiv soll ausgesinn. Hien huet et kombinéiert, getippt an dat ass et - d'Bühn souz. Mir hu probéiert dëse Prozess sou vill wéi méiglech ze vereinfachen. Trotzdem sinn 90% vun den Zuschauer, déi d'Show kucke wollten, net déi Leit, déi Erfahrung hunn mat der augmentéierter Realitéit ze kommunizéieren.
Dmitriy: War et eng separat Demande fir dëse Projet?
Andrew: Jo, eng Applikatioun fir iOS an Android, déi mir an de Buttek gedréckt hunn. Et gouf eng separat Promotiounskampagne dofir. Et gouf virdru am Detail beschriwwen wéi een eroflueden an sou weider.
Dmitriy: Dir musst verstoen datt et keng Plaz ass fir eng Persoun kierperlech ze testen a léiere wéi een esou eng Applikatioun benotzt. Dofir ass d'Aufgab vum "Erzéihung" vum Publikum méi komplizéiert ginn.
Andrew: Jo Jo. Mat UX hu mir vill Bumps gefaangen, well de Benotzer d'Erfahrung an dräi Klicks wëllt kréien: erofgelueden, installéiert, lancéiert - et huet geschafft. Vill Leit sinn ze faul fir komplex Tutorials ze verfollegen, Tutorials ze liesen, asw. A mir hunn net probéiert alles dem Benotzer sou vill wéi méiglech am Tutorial z'erklären: eng Fënster gëtt hei op, Zougang zu der Kamera hei, soss funktionnéiert et net, a sou weider. Egal wéivill Erklärungen Dir schreift, egal wéi detailléiert Dir et kauen, egal wéi eng Giffe Dir asetzt, d'Leit liesen et net.
Zu Minsk gesammelt mir e grousse Pool vu Feedback op dësem Deel, an hu scho vill fir d'Applikatioun am Kazan geännert. Mir hunn net nëmmen déi Phonogrammen an déi Zäitcoden dohinner gesat, déi zu enger spezifescher Episod vun der augmentéierter Realitéit entspriechen, mee mir hunn all d'Phonogramme an d'Zäitcoden an hirer Ganzheet geholl. Also huet d'Applikatioun héieren wat geschitt ass an der Zäit vum Start, an - wann eng Persoun am falsche Moment ageloggt ass - et huet d'Informatioun erausginn: "Komerode, et deet mir leed, Är AR Episod wäert a 15 Minutten sinn."
E bëssen iwwer d'Architektur an d'Approche fir d'Synchroniséierung
Zäitcode (vum ) — 16:37
Dmitriy: Hutt Dir décidéiert mam Toun ze synchroniséieren?
Andrew: Jo, et ass duerch Zoufall geschitt. Mir hunn duerch Optiounen gesicht a koumen op eng Firma vun Izhevsk. Si maachen eng net besonnesch sophistikéiert, awer Eisenaarbecht SDK, déi Iech erlaabt den Sound mat der Timing ze synchroniséieren. De System gouf positionéiert fir mam Fernseh ze schaffen, wann Dir eppes an enger Applikatioun kënnt baséieren op de Sound vun enger bedingte Reklamm oder eng interaktiv Erfahrung op der Filmstreck ginn.
Dmitriy: Awer et ass eng Saach - Dir sëtzt an Ärem Wunnzëmmer, an eng aner Saach - e Stadion mat Dausende vu Leit. Wéi hunn d'Saache fir Iech mat der Qualitéit vun der Tounopnam a senger spéiderer Unerkennung geklappt?
Andrew: Et goufe vill Ängscht an Zweifel, mee meeschtens gouf alles gutt erkannt. Si bauen Ënnerschrëften op der Audiostreck mat hiren lëschtegen Algorithmen - d'Resultat weegt manner wéi d'Original Audiodatei. Wann de Mikro op den Ëmgéigend Toun lauschtert, probéiert et dës Funktiounen ze fannen an d'Streck op Basis vun hinnen z'erkennen. A gudde Konditiounen ass d'Synchroniséierungsgenauegkeet 0,1-0,2 Sekonnen. Dëst war méi wéi genuch. Bei schlechte Konditiounen war d'Diskrepanz bis zu 0,5 Sekonnen.
Vill hänkt vum Apparat of. Mir hunn mat enger grousser Flott vun Apparater geschafft. Fir iPhones ginn et nëmmen 10 Modeller. Si hunn gutt geschafft wat d'Qualitéit an aner Funktiounen ugeet. Awer mat Androiden ass den Zoo wéi meng Mamm. Net iwwerall huet sech erausgestallt datt d'Synchroniséierung vum Sound funktionnéiert. Et waren Fäll wou et onméiglech war verschidde Tracks op verschiddenen Apparater ze héieren wéinst e puer Eegenheeten. Iergendwou verschwannen déi niddreg Frequenzen, iergendwou fänken d'Héichfrequenzen un ze päifen. Awer wann den Apparat en Normalisator um Mikrofon hat, huet d'Synchroniséierung ëmmer geschafft.
Dmitriy: Sot eis w.e.g. iwwer d'Architektur - wat gouf am Projet benotzt?
Andrew: Mir hunn d'Applikatioun an Unity gemaach - déi einfachst Optioun a punkto Multi-Plattform a mat Grafiken ze schaffen. Benotzt AR Foundation. Mir hunn direkt gesot datt mir de System net komplizéiere wëllen, also hu mir eis limitéiert op eng Flott vun Apparater déi ARKit an ARCore ënnerstëtzen fir Zäit ze hunn fir alles ze testen. Mir hunn e Plugin fir den DigitalSoft SDK gemaach, et . Mir hunn en Inhaltsmanagementsystem erstallt fir datt Skripte laut der Timeline lafen.
Mir hunn e bëssen mam Partikelsystem gepickt, well de Benotzer kann zu all Moment an eng bestëmmten Episod erakommen, a mir brauche hien alles ze gesinn, vun deem hien synchroniséiert huet. Mir hu mat engem System gepaff, deen et erlaabt datt Szenarie kloer an der Zäit gespillt ginn, sou datt d'3D-Erfahrung, wéi an engem Film, hin an hier scrolle kann. Wärend et mat klassesche Animatiounen aus der Këscht funktionnéiert, hu mir misse mat Partikelsystemer nidderloossen. Irgendwann fänken se un ze spawnen, a wann Dir Iech iergendwou virum Spawnpunkt fannt, sinn se nach net gebuer, obwuel et schéngt wéi se sollten sinn. Mä dëse Problem ass eigentlech relativ einfach ze léisen.
Fir den mobilen Deel ass d'Architektur relativ einfach. Fir Fernsehsendung ass alles méi komplizéiert. Mir haten Hardware Restriktiounen. De Client huet eng Conditioun gesat: "Hei hu mir esou en Hardwarepark, ongeféier geschwat, alles muss dru schaffen." Mir konzentréieren direkt op d'Tatsaach, datt mir mat relativ Budget Video Capture Kaarte géif schaffen. Awer Budget heescht net datt se schlecht sinn.
Et waren Restriktiounen op Hardware, op Video Capture Kaarten an op Aarbechtskonditiounen - wéi mir sollen d'Bild kréien. Capture Kaarten - Blackmagic Design, geschafft no dem Interne Schlësselschema - dëst ass wann e Videoframe vun der Kamera bei Iech kënnt. D'Kaart huet säin eegene Veraarbechtungschip, wou och e Frame agebaut ass, deen op der Entrée muss iwwerlagert ginn. D'Kaart vermëscht se - mir beréieren näischt anescht do an beaflossen net de Frame vun der Videokamera. Si späizt d'Resultat an de Kontrollraum iwwer de Videoausgang. Dëst ass eng gutt Method fir iwwerlageren Titelen an aner ähnlech Saachen, awer et ass net ganz gëeegent fir gemëscht Realitéit Effekter well et vill Restriktiounen op der Render-Pipeline sinn.
Dmitriy: Am Sënn vun Echtzäit Computing, Objektverbindung oder soss eppes?
Andrew: Wat d'Qualitéit ugeet an déi gewënschte Effekter z'erreechen. Well mir wëssen net wat mir d'Bild drop setzen. Mir schécken einfach Faarf- an Transparenzinformatioun uewen um Original Stream. E puer Effekter wéi Refraktiounen, korrekt Transparenz an zousätzlech Schatten kënnen net mat dësem Schema erreecht ginn. Fir dëst ze maachen, musst Dir alles zesumme maachen. Zum Beispill gëtt et kee Wee fir den Effekt vun der Loftverzerrung aus engem Feier oder waarmen Asphalt ze kreéieren. Datselwecht gëlt fir den Transfer vum Transparenzeffekt ënner Beuechtung vum Brechungsindex. Mir hunn am Ufank Inhalt baséiert op dëse Restriktiounen a probéiert entspriechend Effekter ze benotzen.
Dmitriy: Hutt Dir schonn Ären eegenen Inhalt am éischte Projet fir d'European Games?
Andrew: Nee, d'Haaptstadium vun der Inhaltentwécklung gouf vun de Kärelen vun Sechenov.com gemaach. Hir Grafiker hunn de Grondinhalt mat Animatiounen an aner Saachen gezeechent. A mir hunn alles an de Motor integréiert, zousätzlech Effekter bäigefüügt, ugepasst sou datt alles richteg funktionnéiert.
Wa mir iwwer d'Pipeline schwätzen, dann hu mir fir d'Televisiounssendung alles op Unreal Engine 4 versammelt. Zoufälleg hunn se just dee Moment ugefaang hir Tools fir gemëscht Realitéit ze boosten. Et huet sech erausgestallt datt alles net sou einfach ass. Och elo sinn all Tools rau, mir hu vill mat der Hand fäerdeg gemaach. Zu Minsk hu mir un engem personaliséierte Bau vum Motor geschafft, dat heescht, mir hunn e puer Saachen am Motor ëmgeschriwwen, fir datt mir zum Beispill Schatten op realen Objeten zéien kënnen. D'Versioun vum Motor, deen zu där Zäit aktuell war, huet keng Features déi et erlaben mat Standard Tools ze maachen. Aus dësem Grond hunn eis Kärelen hir eege personaliséiert Versammlung gemaach fir alles ze bidden wat vital noutwendeg war.
Aner Nuancen an Upassung un WorldSkills zu Kazan
Zäitcode (vum ) — 31:37
Dmitriy: Mä dat alles an enger relativ kuerzer Zäit?
Andrew: D'Deadline ware knapp , laut Minsk - normal. Ongeféier sechs Méint fir Entwécklung, awer mat der Tatsaach, datt sechs Leit involvéiert waren. Zur selwechter Zäit hu mir de mobilen Deel gemaach an Tools fir Fernsehproduktioun entwéckelt. Et war net nëmmen e Bildausgang. Zum Beispill e Tracking System mat Optik, dofir musst Dir Är eegen Tools erstellen.
Dmitriy: Gëtt et eng Adaptatioun vun engem Projet zum aneren? An engem Mount an en halleft war et néideg, vun den Entwécklungen ze profitéieren an de Projet mat neien Inhalter op en neie Site ze transferéieren?
Andrew: Jo, et war fir e Mount an en halleft. Nom Minsk Projet hate mir eng zwou Woche Vakanz fir déi ganz Equipe geplangt. Awer direkt nom Ofschloss kommen d'Jongen vun Sechenov.com op a soen: "Ma, loosst eis dann Kazan maachen." Mir hunn et nach e bëssen ausroue gelooss, awer relativ séier op dëse Projet ëmgewiesselt. Mir hunn e puer technesch Aarbechten ofgeschloss. Déi meescht vun der Zäit gouf un Inhalt verbruecht, well fir WorldSkills hu mir et ganz gemaach, mir hunn et just mat der Produktiounsteam koordinéiert. Et war nëmmen e Skript vun hirer Säit. Awer et war méi einfach - et war kee Besoin fir extra Iteratiounen. Wann Dir Inhalt selwer erstellt, gesitt Dir direkt wéi et am Motor funktionnéiert, an Dir kënnt séier änneren a koordinéieren.
Wat den mobilen Deel ugeet, hu mir all d'Subtletien berücksichtegt, déi mir zu Minsk haten. Mir hunn en neien Applikatiounsdesign gemaach, d'Architektur e bëssen nei designt, Tutorials bäigefüügt, awer probéiert et sou kuerz a kloer wéi méiglech ze maachen. Mir hunn d'Zuel vun de Benotzer Schrëtt reduzéiert vum Start vun der Applikatioun fir den Inhalt ze gesinn. Ee Mount an en halleft war genuch fir en adäquate Projet ofzeschléissen. An enger Woch an eng hallef hu mir de Site ukomm. Et war méi einfach do ze schaffen, well all Kontroll iwwer de Projet war an den Hänn vun den Organisateuren, et war net néideg mat anere Comitée ze koordinéieren. Et war méi einfach a méi einfach am Kazan ze schaffen an et war ganz normal datt et manner Zäit war.
Dmitriy: Awer hutt Dir décidéiert d'Approche fir d'Synchroniséierung ze loossen wéi se war, baséiert op Toun?
Andrew: Jo, mir hunn et duerch Toun verlooss. Et huet gutt geschafft. Wéi se soen, wann et funktionnéiert, beréiert et net. Mir hunn einfach d'Nuancen vun der Qualitéit vun der Audio Streck berücksichtegt. Wéi se den Intro gemaach hunn, gouf et eng Trainingsepisode fir d'Leit ze probéieren ier d'Show ugefaang huet. Et war iwwerraschend, datt wann am Moment vun der Streck am Stadion stiermesch Applaus gëtt, "live", de System erlaabt Iech gutt mat dëser Streck ze synchroniséieren, awer wann an dësem Moment opgeholl Applaus mat der Streck gemëscht gëtt, dann Streck ass net méi gefaangen. Esou Nuancen goufen Rechnung gedroen, an alles war relativ gutt synchroniséiert am Sënn vun Toun.
PS Am zweeten Deel vun der Ausgab schwätze mir iwwer wëssenschaftlech Datenvisualiséierung, Prozessmodelléierung an anere Projeten, Spillentwécklung an de Masterprogramm "" Mir publizéieren eng Fortsetzung am nächsten Artikel. Dir kënnt eis hei lauschteren an ënnerstëtzen:
PPS Mëttlerweil, op der englescher Versioun vum Habr: .
Source: will.com