Dit is die eerste deel van die tekstranskripsie van die tweede onderhoud vir ons program (, ). Kwessie Gas - (), Ph.D., senior navorser by die Nasionale Sentrum vir Kognitiewe Navorsing, medeprofessor by die Fakulteit Digitale Transformasies.
Sedert 2012 werk Andrey in die navorsingsgroep Visualisering en Rekenaargrafika. Betrokke by groot toegepaste projekte op staats- en internasionale vlak. In hierdie deel van die gesprek praat ons oor sy ervaring in AR-ondersteuning vir openbare geleenthede.
Фото (Unsplash.com)
Projek konteks en doelwitte
Tydkode (deur ) — 00:41
: Ek wil graag met die Europese Spele-projek begin. Dit is multi-komponent, verskeie spanne het aan die voorbereiding deelgeneem, en die verskaffing van verhoogde werklikheid vir 'n gehoor van duisende reg tydens 'n geleentheid by die stadion is nogal 'n ernstige taak. In terme van jou betrokkenheid, was dit sagteware eerste?
: Ja, ons het die programmeringsgedeelte gedoen en ondersteuning verskaf tydens die vertoning. Dit was nodig om alles intyds op te spoor, te monitor en bekend te stel, en ook saam met die televisiegroep te werk. As ons hierdie projek as 'n geheel beskou, kan ons oor die openings- en afsluitingseremonies praat in Minsk, asook oor die openingseremonie van die kampioenskap in Kazan. Dit was dieselfde werkskema, maar verskillende gebeurtenisse. Daar was 'n gaping van twee maande tussen hulle. Ons het die projek saam met die ouens van die maatskappy voorberei .
Ons het hulle toevallig ontmoet , wat in die herfs van 2018 plaasgevind het. Ons meestersgraadstudente het hul kursusprojek oor die onderwerp van VR ten toon gestel. Die ouens het na ons toe gekom en gevra wat ons in ons laboratorium doen. Dit het so iets gelyk:
— Jy werk met VR, maar kan jy met verhoogde werklikheid werk?
- Wel, soort van, ja.
- Daar is so 'n taak, met sulke inleidende notas. Kan jy dit doen?
Hulle het 'n bietjie oor hul raap gekrap, dit lyk of daar niks onrealisties is nie:
- Kom ons probeer eers alles bestudeer, en dan 'n oplossing vind.
Dmitriy: Bied hulle net media-ondersteuning?
Andrew: Hulle maak 'n volle stapel. Uit die oogpunt van bestuur en organisasie is hulle heeltemal betrokke by regie, opvoering, seleksie van natuurskoon, logistiek en ander tegniese ondersteuning. Maar hulle wou iets spesiaals vir die Europese Spele doen. Hierdie spesiale effekte, soos gemengde werklikheid, is al lankal vir televisie gemaak, maar hulle is nie die mees begrotingsvriendelike in terme van tegniese implementering nie. Daarom het die ouens alternatiewe opsies gesoek.
Dmitriy: Kom ons bespreek die probleem in meer detail. Waaruit het dit bestaan?
Andrew: Daar is 'n gebeurtenis. Dit duur 'n uur en 'n half. Ons moet seker maak dat die gehoor wat dit regstreeks kyk en diegene wat in die stadion sit die volgemaakte werklikheidseffekte in volle sinchronisasie met die regstreekse vertoning kan sien in terme van tyd en ligging op die terrein.
Daar was 'n aantal tegniese beperkings. Dit was onmoontlik om tydsinchronisasie via die internet te doen, want daar was vrese oor oormatige las op die netwerk met vol erwe en die vooruitsig dat staatshoofde die geleentheid sou bywoon, wat die mobiele netwerke kon vassit.
Andrey Karsakov, foto van
Ons het twee sleutelkomponente vir hierdie projek gehad - die persoonlike ervaring wat mense deur mobiele toestelle kan kry, en wat in die televisie-uitsending en inligtingskerms in die stadion self ingaan.
As 'n persoon skielik episodes van verhoogde werklikheid deur 'n mobiele toestel kyk en terselfdertyd op die skerm kom, behoort hy dieselfde prentjie te sien.
Ons het twee feitlik verskillende stelsels nodig gehad om betyds heeltemal gesinchroniseer te word. Maar die eienaardigheid van sulke vertonings is dat dit komplekse gebeure is waar 'n groot aantal tegniese dienste betrokke is en alle operasies volgens tydkodes uitgevoer word. Tydkode is 'n spesifieke tydstip waarop iets begin: lig, klank, mense wat vertrek, verhoogblare wat oopmaak, ensovoorts. Ons moes by hierdie stelsel aanpas sodat alles op die regte tyd sou begin. Nog 'n kenmerk was dat die tonele en episodes met verhoogde werklikheid draaiboekverwant was.
Dmitriy: Maar het jy besluit om die gebruik van tydkodes te laat vaar weens die hoë risiko's van force majeure, of het jy aanvanklik sekere krageienskappe bereken en besef dat die las op die hele stelsel redelik hoog sou wees?
Andrew: As jy 'n sinchronisasiediens vir so 'n gehoor maak, dan is dit nie baie moeilik nie. In elk geval sal versoeke nie oornag misluk nie. Ja, die vrag is hoog, maar dit is nie 'n noodgeval nie. Die vraag is of dit die moeite werd is om hulpbronne en tyd hieraan te bestee as die netwerk skielik uitgaan. Ons was nie seker dat dit nie sou gebeur nie. Uiteindelik het alles gewerk, met onderbrekings as gevolg van die las, maar dit het gewerk, en ons het volgens die tydkode volgens 'n ander skema gesinchroniseer. Dit was een van die wêreldwye uitdagings.
Moeilikhede van implementering vanuit 'n UX-oogpunt
Tydkode (deur ) — 10:42
Andrew: Ons moes ook in ag neem dat die stadion nie 'n klassieke konsertplek is nie, en die stelsels oor die ruimte vir mobiele toestelle sinchroniseer. So, 'n ruk gelede het ek viraal gegaan by Eminem-konserte, toe was daar 'n saak met Loboda.
Фото (Unsplash.com)
Maar hierdie is altyd 'n ervaring voor jou - die hele skare staan voor die verhoog, die sinchronisasie is redelik eenvoudig. In die geval van 'n stadion moet jy verstaan aan watter kant van die sirkel jy is, die relatiewe posisie, sodat die stadion inpas in die ruimte wat in die virtuele omgewing bestaan. Dit was 'n suur uitdaging. Hulle het probeer om dit op verskeie maniere op te los, en die resultaat was 'n geval naby aan wat deur Loboda geïmplementeer is, maar nie in alle opsigte nie.
Ons laat die gebruiker besluit waar hy is. Ons het merke gemaak vir die stadion, waar mense 'n sektor, 'n ry, 'n plek gekies het. Dit alles in vier “klikke”. Volgende moes ons die rigting na die verhoog bepaal. Om dit te doen, het ons 'n silhoeët gewys van hoe die toneel rofweg vanuit 'n pasgemaakte perspektief moet lyk. Hy het dit gekombineer, getik en dit is dit - die verhoog het gaan sit. Ons het probeer om hierdie proses soveel as moontlik te vereenvoudig. Tog is 90% van die kykers wat na die program wou kyk nie daardie mense wat ondervinding het om met verhoogde werklikheid te kommunikeer nie.
Dmitriy: Was daar 'n aparte aansoek vir hierdie projek?
Andrew: Ja, 'n toepassing vir iOS en Android, wat ons na die winkel gestoot het. Daar was 'n aparte promosieveldtog daarvoor. Dit is voorheen in detail beskryf hoe om af te laai en so aan.
Dmitriy: Jy moet verstaan dat daar geen plek is vir 'n persoon om fisies te toets en te leer hoe om so 'n toepassing te gebruik nie. Daarom het die taak om die gehoor te "opvoed" meer ingewikkeld geword.
Andrew: Ja ja. Met UX het ons baie stampe gevang, want die gebruiker wil die ervaring in drie klikke kry: afgelaai, geïnstalleer, geloods - dit het gewerk. Baie mense is te lui om komplekse tutoriale te volg, tutoriale te lees, ensovoorts. En ons het nie probeer om alles soveel as moontlik aan die gebruiker in die tutoriaal te verduidelik nie: 'n venster sal hier oopmaak, toegang tot die kamera hier, anders sal dit nie werk nie, ensovoorts. Maak nie saak hoeveel verduidelikings jy skryf nie, maak nie saak hoe gedetailleerd jy dit kou nie, maak nie saak watter gifs jy insit nie, mense lees dit nie.
In Minsk het ons 'n groot poel terugvoer oor hierdie deel versamel, en het reeds baie verander vir die toepassing in Kazan. Ons het nie net daardie fonogramme en daardie tydkodes wat ooreenstem met 'n spesifieke episode van verhoogde werklikheid daar ingesit nie, maar ons het al die fonogramme en tydkodes in hul geheel geneem. Die toepassing het dus gehoor wat gebeur het ten tyde van die bekendstelling, en - as 'n persoon op die verkeerde oomblik aangemeld het - dit het die inligting gegee: "Kameraad, ek is jammer, jou AR-episode sal oor 15 minute wees."
'n Bietjie oor die argitektuur en benadering tot sinchronisasie
Tydkode (deur ) — 16:37
Dmitriy: Het jy besluit om met klank te sinchroniseer?
Andrew: Ja, dit het per ongeluk gebeur. Ons het deur opsies gekyk en op 'n maatskappy afgekom van Izhevsk. Hulle maak 'n nie besonder gesofistikeerde, maar ysterwerkende SDK, wat jou toelaat om die klank met die tydsberekening te sinchroniseer. Die stelsel is geposisioneer om met TV te werk, wanneer jy iets in 'n toepassing kan vertoon gebaseer op die klank van 'n voorwaardelike advertensie of 'n interaktiewe ervaring kan gee gebaseer op die flieksnit.
Dmitriy: Maar dit is een ding - jy sit in jou sitkamer, en 'n ander ding - 'n stadion met duisende mense. Hoe het dinge vir jou uitgewerk met die kwaliteit van klankopname en die daaropvolgende herkenning?
Andrew: Daar was baie vrese en twyfel, maar in die meeste gevalle is alles goed herken. Hulle bou handtekeninge op die oudiosnit met hul slinkse algoritmes – die resultaat weeg minder as die oorspronklike oudiolêer. Wanneer die mikrofoon na die omringende klank luister, probeer dit om hierdie kenmerke te vind en die snit op grond daarvan te herken. In goeie toestande is die sinchronisasie-akkuraatheid 0,1-0,2 sekondes. Dit was meer as genoeg. In slegte toestande was die verskil tot 0,5 sekondes.
Baie hang af van die toestel. Ons het met 'n groot vloot toestelle gewerk. Vir iPhones is daar net 10 modelle. Hulle het goed gewerk wat kwaliteit en ander kenmerke betref. Maar met Androids is die dieretuin soos my ma. Nie oral het dit geblyk dat die klanksinchronisasie gewerk het nie. Daar was gevalle waar dit onmoontlik was om verskillende snitte op verskillende toestelle te hoor as gevolg van sekere eienaardighede. Iewers verdwyn die lae frekwensies, iewers begin die hoë frekwensies piep. Maar as die toestel 'n normaliseerder op die mikrofoon gehad het, het die sinchronisasie altyd gewerk.
Dmitriy: Vertel ons asseblief van die argitektuur - wat is in die projek gebruik?
Andrew: Ons het die toepassing in Unity gemaak - die eenvoudigste opsie in terme van multi-platform en werk met grafika. AR Foundation gebruik. Ons het dadelik gesê dat ons nie die stelsel wil kompliseer nie, daarom het ons ons beperk tot 'n vloot toestelle wat ARKit en ARCore ondersteun om tyd te hê om alles te toets. Ons het 'n inprop vir die DigitalSoft SDK gemaak, dit . Ons het 'n inhoudbestuurstelsel geskep sodat skrifte volgens die tydlyn loop.
Ons het 'n bietjie met die partikelstelsel gepeuter, want die gebruiker kan enige tyd in 'n bepaalde episode ingaan, en ons het nodig dat hy alles sien vanaf die oomblik waaruit hy gesinchroniseer het. Ons het gepeuter met 'n stelsel wat toelaat dat scenario's betyds duidelik afgespeel word, sodat die XNUMXD-ervaring heen en weer gerol kan word, soos in 'n fliek. Terwyl dit uit die boks werk met klassieke animasies, moes ons met partikelstelsels peuter. Op 'n stadium begin hulle kuit, en as jy jouself iewers voor die kuitpunt bevind, is hulle nog nie gebore nie, alhoewel dit lyk asof hulle moet wees. Maar hierdie probleem is eintlik redelik maklik om op te los.
Vir die mobiele deel is die argitektuur redelik eenvoudig. Vir televisie-uitsending is alles meer ingewikkeld. Ons het hardewarebeperkings gehad. Die kliënt het 'n voorwaarde gestel: "Hier het ons so en so 'n hardewarepark, rofweg gesproke moet alles daaraan werk." Ons het dadelik gefokus op die feit dat ons met relatief begroting video-opnamekaarte sou werk. Maar begroting beteken nie dat hulle sleg is nie.
Daar was beperkings op hardeware, op video-opnamekaarte en op werksomstandighede – hoe ons die prentjie moet ontvang. Vang kaarte - Blackmagic Design, gewerk volgens die interne sleutelskema - dit is wanneer 'n videoraam van die kamera af na jou toe kom. Die kaart het sy eie verwerkingskyfie, waar 'n raam ook ingesit word, wat bo-op die inkomende een geplaas moet word. Die kaart meng hulle deurmekaar - ons raak niks anders daar aan nie en beïnvloed nie die raam van die videokamera nie. Sy spoeg die resultaat uit na die beheerkamer via die video-uitset. Dit is 'n goeie metode om titels en ander soortgelyke dinge oor te lê, maar dit is nie baie geskik vir gemengde werklikheidseffekte nie, want daar is baie beperkings op die leweringspyplyn.
Dmitriy: In terme van intydse rekenaar, objekbinding, of iets anders?
Andrew: In terme van kwaliteit en die bereiking van die gewenste effekte. Want ons weet nie wat ons die prentjie bo-op sit nie. Ons stuur eenvoudig kleur- en deursigtigheidsinligting bo-op die oorspronklike stroom. Sommige effekte soos brekings, korrekte deursigtigheid en bykomende skaduwees kan nie met hierdie skema bereik word nie. Om dit te doen, moet jy alles saam weergee. Daar is byvoorbeeld geen manier om die effek van lugvervorming van 'n brand of warm asfalt te skep nie. Dieselfde geld vir die oordrag van die deursigtigheidseffek met inagneming van die brekingsindeks. Ons het aanvanklik inhoud gemaak op grond van hierdie beperkings en probeer om toepaslike effekte te gebruik.
Dmitriy: Het jy reeds jou eie inhoud gehad in die eerste projek vir die Europese Spele?
Andrew: Nee, die hoofstadium van inhoudontwikkeling is deur die ouens van Sechenov.com gedoen. Hul grafiese kunstenaars het die basiese inhoud met animasies en ander dinge geteken. En ons het alles in die enjin geïntegreer, bykomende effekte bygevoeg, dit aangepas sodat alles reg werk.
As ons oor die pyplyn praat, dan het ons vir televisie-uitsaaiery alles op Unreal Engine 4 saamgestel. Toevallig het hulle net op daardie oomblik hul gereedskap vir gemengde werklikheid begin versterk. Dit het geblyk dat alles nie so eenvoudig is nie. Selfs nou is al die gereedskap rou; ons moes baie met die hand afwerk. In Minsk het ons gewerk aan 'n pasgemaakte bou van die enjin, dit wil sê, ons het 'n paar dinge binne die enjin herskryf sodat ons byvoorbeeld skaduwees bo-op werklike voorwerpe kon teken. Die weergawe van die enjin wat op daardie tydstip huidige was, het nie kenmerke gehad wat dit moontlik sou maak om dit met standaardgereedskap te doen nie. Om hierdie rede het ons ouens hul eie pasgemaakte samestelling gemaak om alles te voorsien wat noodsaaklik was.
Ander nuanses en aanpassing by WorldSkills in Kazan
Tydkode (deur ) — 31:37
Dmitriy: Maar dit alles in 'n redelike kort tydperk?
Andrew: Die spertye was kort , volgens Minsk - normaal. Sowat ses maande vir ontwikkeling, maar met inagneming van die feit dat ses mense betrokke was. Terselfdertyd het ons die mobiele deel gemaak en gereedskap vir televisieproduksie ontwikkel. Daar was nie net 'n prentuitset nie. Byvoorbeeld, 'n opsporingstelsel met optika, hiervoor moes jy jou eie gereedskap skep.
Dmitriy: Was daar enige aanpassing van een projek na 'n ander? In 'n maand en 'n half was dit nodig om voordeel te trek uit die ontwikkelings en die projek met nuwe inhoud na 'n nuwe webwerf oor te dra?
Andrew: Ja, dit was vir 'n maand en 'n half. Ons het 'n vakansie van twee weke vir die hele span beplan ná die Minsk-projek. Maar onmiddellik na die sluiting, kom die ouens van Sechenov.com op en sê: "Wel, kom ons doen Kazan dan." Ons kon nog 'n bietjie rus, maar het redelik vinnig na hierdie projek oorgeskakel. Ons het 'n paar tegniese werk voltooi. Die meeste van die tyd is aan inhoud bestee, want vir WorldSkills het ons dit heeltemal gedoen, ons het dit net met die produksiespan gekoördineer. Daar was net 'n draaiboek van hulle kant af. Maar dit was makliker – dit was nie nodig vir ekstra herhalings nie. Wanneer jy self inhoud skep, sien jy dadelik hoe dit in die enjin werk, en jy kan vinnig redigeer en koördineer.
Wat die mobiele deel betref, het ons al die subtiliteite wat ons in Minsk gehad het, in ag geneem. Ons het 'n nuwe toepassingsontwerp gemaak, die argitektuur 'n bietjie herontwerp, tutoriale bygevoeg, maar probeer om dit so kort en duidelik as moontlik te maak. Ons het die aantal gebruikersstappe verminder van die bekendstelling van die toepassing tot die bekyk van die inhoud. 'n Maand en 'n half was genoeg om 'n voldoende projek te voltooi. Binne 'n week en 'n half het ons die terrein bereik. Dit was makliker om daar te werk omdat alle beheer oor die projek in die hande van die organiseerders was; dit was nie nodig om met ander komitees te koördineer nie. Dit was eenvoudiger en makliker om in Kazan te werk en dit was heel normaal dat daar minder tyd was.
Dmitriy: Maar het jy besluit om die benadering tot sinchronisasie te laat soos dit was, gebaseer op klank?
Andrew: Ja, ons het dit per klank gelos. Dit het goed gewerk. Soos hulle sê, as dit werk, moenie daaraan raak nie. Ons het bloot die nuanses van die kwaliteit van die klanksnit in ag geneem. Toe hulle die intro gedoen het, was daar 'n opleidingsepisode vir mense om te probeer voordat die program begin het. Dit was verbasend dat wanneer daar op die oomblik van speel van die baan in die stadion stormagtige applous is, "live", die stelsel jou toelaat om goed met hierdie baan te sinchroniseer, maar as op hierdie oomblik opgeneemde applous met die baan gemeng word, dan spoor word nie meer gevang nie. Sulke nuanses is in ag geneem, en alles is redelik goed gesinchroniseer wat klank betref.
NS In die tweede deel van die uitgawe praat ons oor wetenskaplike datavisualisering, prosesmodellering in ander projekte, spelontwikkeling en die meestersprogram "" Ons sal 'n voortsetting in die volgende artikel publiseer. U kan ons hier luister en ondersteun:
PPS Intussen, op die Engelse weergawe van Habr: .
Bron: will.com