Jen la unua parto de la teksta transskribo de la dua intervjuo por nia programo (, ). Eldona gasto - (), Ph.D., altranga esploristo ĉe la Nacia Centro por Kogna Esplorado, lektoro ĉe la Fakultato de Ciferecaj Transformoj.
Ekde 2012, Andrey laboras en la esplorgrupo Vidigo kaj Komputila Grafiko. Engaĝita en grandaj aplikataj projektoj sur la ŝtata kaj internacia nivelo. En ĉi tiu parto de la konversacio, ni parolas pri lia sperto pri AR-subteno por publikaj eventoj.
Foto (Unsplash.com)
Projekta kunteksto kaj celoj
Tempokodo (de ) — 00:41
: Mi ŝatus komenci kun la projekto de Eŭropaj Ludoj. Ĝi estas multkomponenta, pluraj teamoj partoprenis en la preparado, kaj provizi pliigitan realecon por miloj da publiko ĝuste dum evento ĉe la stadiono estas sufiĉe serioza tasko. Laŭ via engaĝiĝo, ĉu ĝi unue estis programaro?
: Jes, ni faris la programan parton kaj donis subtenon dum la spektaklo. Necesis spuri, monitori kaj lanĉi ĉion en reala tempo, kaj ankaŭ labori kun la televida grupo. Se ni konsideras ĉi tiun projekton kiel tuton, tiam ni povas paroli pri la malfermaj kaj fermaj ceremonioj en Minsko, same kiel pri la malferma ceremonio de la ĉampioneco en Kazan. Estis la sama laborskemo, sed malsamaj eventoj. Inter ili estis interspaco de du monatoj. Ni preparis la projekton kune kun la uloj de la firmao .
Ni renkontis ilin hazarde , kiu okazis en la aŭtuno de 2018. Niaj majstraj studentoj montris sian kursprojekton pri la temo de VR. La uloj venis al ni kaj demandis, kion ni faras en nia laboratorio. Ĝi aspektis kiel ĉi tio:
— Vi laboras kun VR, sed ĉu vi povas labori kun pliigita realeco?
- Nu, iel, jes.
— Estas tia tasko, kun tiaj enkondukaj notoj. Ĉu vi povas fari ĝin?
Ili iomete gratis siajn rapojn, ŝajnas nenio nereala:
— Ni provu unue studi ĉion, kaj poste trovi solvon.
Dmitrij: Ĉu ili nur provizas amaskomunikilan subtenon?
Andreo: Ili faras plenan stakon. El la vidpunkto de administrado kaj organizo, ili estas tute implikitaj en reĝisorado, surscenigo, elekto de pejzaĝo, loĝistiko kaj alia teknika subteno. Sed ili volis fari ion specialan por la Eŭropaj Ludoj. Ĉi tiuj specialaj efektoj, kiel miksita realeco, estis faritaj por televido dum sufiĉe longa tempo, sed ili ne estas la plej buĝetaj laŭ teknika efektivigo. Tial la infanoj serĉis alternativajn eblojn.
Dmitrij: Ni diskutu la problemon pli detale. El kio ĝi konsistis?
Andreo: Estas evento. Ĝi daŭras unu horon kaj duonon. Ni devas certigi, ke la spektantaro spektanta ĝin vive kaj tiuj, kiuj sidas en la stadiono, povas vidi la efektojn de pliigita realeco en plena sinkronigo kun la viva spektaklo laŭ tempo kaj loko en la retejo.
Ekzistis kelkaj teknikaj limigoj. Estis neeble fari temposinkronadon per Interreto, ĉar estis timoj pri troa ŝarĝo en la reto kun plenaj standoj kaj la perspektivo de ŝtatestroj ĉeestantaj la eventon, kio povus bloki la moveblajn retojn.
Andrej Karsakov, foto de
Ni havis du ŝlosilajn komponentojn al ĉi tiu projekto - la personan sperton, kiun homoj povas akiri per porteblaj aparatoj, kaj kio eniras la televidelsendon kaj informekranoj en la stadiono mem.
Se subite homo spektas epizodojn de pliigita realeco per poŝtelefono kaj samtempe aperas sur la ekranon, li devus vidi la saman bildon.
Ni bezonis du preskaŭ malsamajn sistemojn por esti tute sinkronigitaj ĝustatempe. Sed la propreco de tiaj spektakloj estas, ke ĉi tiuj estas kompleksaj eventoj, kie granda nombro da teknikaj servoj estas implikitaj kaj ĉiuj operacioj estas faritaj laŭ tempokodoj. Tempokodo estas specifa tempo en kiu io komenciĝas: lumo, sono, homoj foriras, scenpetaloj malfermiĝas, ktp. Ni devis adaptiĝi al ĉi tiu sistemo, por ke ĉio komenciĝu en la ĝusta tempo. Alia trajto estis ke scenoj kaj epizodoj kun pliigita realeco estis manuskripto-rilataj.
Dmitrij: Sed ĉu vi decidis forlasi la uzadon de tempokodoj pro la altaj riskoj de forto-majoro, aŭ ĉu vi komence kalkulis iujn potencajn trajtojn kaj rimarkis, ke la ŝarĝo sur la tuta sistemo estus sufiĉe alta?
Andreo: Se vi faras sinkronigan servon por tia publiko, tiam ĝi ne estas tre malfacila. Ĉiukaze, petoj ne malsukcesos dum la nokto. Jes, la ŝarĝo estas alta, sed ĝi ne estas krizo. La demando estas ĉu indas elspezi rimedojn kaj tempon por ĉi tio, se la reto subite estingiĝas. Ni ne estis certaj, ke ĉi tio ne okazos. Finfine ĉio funkciis, kun interrompoj pro la ŝarĝo, sed ĝi funkciis, kaj ni sinkronigis laŭ la tempokodo laŭ malsama skemo. Ĉi tio estis unu el la tutmondaj defioj.
Malfacilaĵoj de efektivigo de UX-perspektivo
Tempokodo (de ) — 10:42
Andreo: Ni ankaŭ devis konsideri, ke la stadiono ne estas klasika koncertejo, kaj sinkronigi la sistemojn tra la spaco por porteblaj aparatoj. Do, antaŭ iom da tempo mi iĝis viral ĉe Eminem-koncertoj, tiam estis kazo kun Loboda.
Foto (Unsplash.com)
Sed ĉi tio ĉiam estas sperto antaŭ vi - la tuta homamaso staras antaŭ la scenejo, la sinkronigo estas sufiĉe simpla. En la kazo de stadiono, vi devas kompreni sur kiu flanko de la cirklo vi estas, la relativan pozicion, por ke la stadiono konvenu en la spacon kiu ekzistas en la virtuala medio. Estis acida defio. Ili provis solvi ĝin diversmaniere, kaj la rezulto estis kazo proksima al tio, kio estis efektivigita de Loboda, sed ne ĉiurilate.
Ni lasas la uzanton decidi kie li estas. Ni faris markojn por la stadiono, kie homoj elektis sektoron, vicon, lokon. Ĉio ĉi en kvar "klakoj". Poste ni devis determini la direkton al la scenejo. Por fari tion, ni montris silueton de kia la sceno devus proksimume aspekti el kutima perspektivo. Li kombinis ĝin, frapetis kaj jen - la scenejo sidiĝis. Ni provis simpligi ĉi tiun procezon kiel eble plej multe. Tamen, 90% de la spektantoj kiuj volis spekti la spektaklon ne estas tiuj homoj kiuj havas sperton komuniki kun pliigita realeco.
Dmitrij: Ĉu estis aparta aplikaĵo por ĉi tiu projekto?
Andreo: Jes, aplikaĵo por iOS kaj Android, kiun ni puŝis al la vendejo. Ekzistis aparta varba kampanjo por ĝi. Oni antaŭe detale priskribis kiel elŝuti ktp.
Dmitrij: Vi devas kompreni, ke ne ekzistas loko por persono por fizike testi kaj lerni kiel uzi tian aplikaĵon. Tial, la tasko "eduki" la publikon iĝis pli komplika.
Andreo: Jes Jes. Kun UX, ni kaptis multajn ŝvelaĵojn, ĉar la uzanto volas akiri la sperton per tri klakoj: elŝutita, instalita, lanĉita - ĝi funkciis. Multaj homoj estas tro maldiligentaj por sekvi kompleksajn lernilojn, legi lernilojn ktp. Kaj ni ne provis klarigi ĉion al la uzanto kiel eble plej multe en la lernilo: fenestro malfermiĝos ĉi tie, aliro al la fotilo ĉi tie, alie ĝi ne funkcios, ktp. Kiom ajn vi skribas klarigojn, kiom ajn detale vi maĉas, kiom ajn gifojn vi enmetas, homoj ne legas ĝin.
En Minsko ni kolektis grandan kvanton da sugestoj pri ĉi tiu parto, kaj jam multe ŝanĝis por la aplikaĵo en Kazan. Ni enmetis tien ne nur tiujn fonogramojn kaj tiujn tempokodojn, kiuj respondas al specifa epizodo de pliigita realeco, sed ni prenis ĉiujn fonogramojn kaj tempokodojn en sia tutaĵo. Do la aplikaĵo aŭdis, kio okazis ĉe la lanĉo, kaj - se persono ensalutis en la malĝusta momento - ĝi donis la informon: "Kamarado, mi bedaŭras, via AR-epizodo estos post 15 minutoj."
Iom pri la arkitekturo kaj alproksimiĝo al sinkronigo
Tempokodo (de ) — 16:37
Dmitrij: Ĉu vi decidis sinkronigi per sono?
Andreo: Jes, ĝi okazis hazarde. Ni trarigardis eblojn kaj renkontis kompanion el Ijevsk. Ili faras ne precipe sofistikan, sed ferlaboran SDK, kiu ebligas al vi sinkronigi la sonon kun la tempo. La sistemo estis poziciigita por labori kun televido, kiam vi povas montri ion en aplikaĵo bazita sur la sono de kondiĉa reklamo aŭ doni interagan sperton bazitan sur la filmtrako.
Dmitrij: Sed estas unu afero - vi sidas en via salono, kaj alia afero - stadiono kun miloj da homoj. Kiel la aferoj funkciis por vi kun la kvalito de sonregistrado kaj ĝia posta rekono?
Andreo: Estis multaj timoj kaj duboj, sed plejofte ĉio estis bone rekonita. Ili konstruas subskribojn sur la sontrako per siaj ruzaj algoritmoj - la rezulto pezas malpli ol la originala sondosiero. Kiam la mikrofono aŭskultas la ĉirkaŭan sonon, ĝi provas trovi ĉi tiujn funkciojn kaj rekoni la trakon bazitan sur ili. En bonaj kondiĉoj, la sinkroniga precizeco estas 0,1-0,2 sekundoj. Ĉi tio estis pli ol sufiĉa. En malbonaj kondiĉoj la diferenco estis ĝis 0,5 sekundoj.
Multe dependas de la aparato. Ni laboris kun granda aro da aparatoj. Por iPhones ekzistas nur 10 modeloj. Ili funkciis bone laŭ kvalito kaj aliaj trajtoj. Sed ĉe androidoj la zoo estas kiel mia patrino. Ne ĉie montriĝis, ke la sonsinkronigo funkciis. Estis kazoj kiam estis neeble aŭdi malsamajn trakojn sur malsamaj aparatoj pro iuj proprecoj. Ie la malaltfrekvencoj malaperas, ie la altfrekvencoj komencas sibili. Sed se la aparato havis normaligilon sur la mikrofono, la sinkronigo ĉiam funkciis.
Dmitrij: Bonvolu rakonti al ni pri la arkitekturo - kio estis uzata en la projekto?
Andreo: Ni faris la aplikaĵon en Unity - la plej simpla opcio laŭ plurplatformo kaj laborado kun grafikaĵoj. Uzita AR-Fondaĵo. Ni tuj diris, ke ni ne volas kompliki la sistemon, do ni limigis nin al aro da aparatoj, kiuj subtenas ARKit kaj ARCore por havi tempon por provi ĉion. Ni faris kromaĵon por la DigitalSoft SDK, ĝi . Ni kreis enhavadministran sistemon por ke skriptoj ruliĝu laŭ la templinio.
Ni iomete tuŝis la partiklan sistemon, ĉar la uzanto povas eniri iam ajn en apartan epizodon, kaj ni bezonas, ke li vidu ĉion ekde la momento, de kiu li sinkronigis. Ni tuŝis sistemon, kiu ebligas ke scenaroj estu klare luditaj en tempo, tiel ke la XNUMXD-sperto povas ruliĝi tien kaj reen, kiel en filmo. Dum ĝi funkcias ekstere de la skatolo kun klasikaj kuraĝigoj, ni devis ludi kun partiklosistemoj. Iam ili komencas generi, kaj se vi trovas vin ie antaŭ la genera punkto, ili ankoraŭ ne naskiĝis, kvankam ŝajnas, ke ili devus esti. Sed ĉi tiu problemo estas fakte sufiĉe facile solvebla.
Por la movebla parto, la arkitekturo estas sufiĉe simpla. Por televidelsendo ĉio estas pli komplika. Ni havis limigojn pri aparataro. La kliento metis kondiĉon: "Ĉi tie ni havas tian kaj tian aparataron, proksimume, ĉio devas labori pri ĝi." Ni tuj koncentriĝis pri tio, ke ni laborus per relative buĝetaj videokaptaj kartoj. Sed buĝeto ne signifas, ke ili estas malbonaj.
Estis limigoj pri aparataro, pri videokaptkartoj kaj pri laborkondiĉoj - kiel ni devus ricevi la bildon. Kaptkartoj - Blackmagic Design, funkciis laŭ la Interna klavada skemo - jen kiam videokadro venas al vi de la fotilo. La karto havas sian propran pretigan blaton, kie ankaŭ estas enmetita kadro, kiu devas esti supermetita super la envenanta. La karto miksas ilin - ni tuŝas nenion alian tie kaj ne influas la kadron de la videokamerao. Ŝi kraĉas la rezulton al la kontrolĉambro per la videoproduktaĵo. Ĉi tio estas bona metodo por supermeti titolojn kaj aliajn similajn aferojn, sed ĝi ne tre taŭgas por miksitaj realecaj efikoj ĉar estas multaj limigoj pri la bildigo.
Dmitrij: Koncerne realtempan komputadon, objektoligadon, aŭ io alia?
Andreo: En terminoj de kvalito kaj atingado de la dezirataj efikoj. Ĉar ni ne scias, kion ni metas la bildon supre. Ni simple sendas informojn pri koloro kaj travidebleco supre de la originala fluo. Iuj efikoj kiel refraktoj, ĝusta travidebleco kaj pliaj ombroj ne povas esti atingitaj per ĉi tiu skemo. Por fari tion, vi devas redoni ĉion kune. Ekzemple, ne ekzistas maniero krei la efikon de aermisformo de fajro aŭ varma asfalto. La sama validas por la translokigo de la travidebleco konsiderante la refraktan indicon. Ni komence faris enhavon bazitan sur ĉi tiuj limigoj kaj provis uzi taŭgajn efikojn.
Dmitrij: Ĉu vi jam havis vian propran enhavon en la unua projekto por la Eŭropaj Ludoj?
Andreo: Ne, la ĉefa etapo de enhava disvolviĝo estis farita de la uloj de Sechenov.com. Iliaj grafikaj artistoj desegnis la bazan enhavon kun kuraĝigoj kaj aliaj aferoj. Kaj ni integris ĉion en la motoron, aldonis pliajn efikojn, adaptis ĝin por ke ĉio funkciis ĝuste.
Se ni parolas pri la dukto, tiam por televidelsendo ni kunvenis ĉion sur Unreal Engine 4. Hazarde, ili ĝuste en tiu momento komencis plifortigi siajn ilojn por miksita realo. Montriĝis, ke ĉio ne estas tiel simpla. Eĉ nun ĉiuj iloj estas krudaj; ni devis fini multe mane. En Minsko ni laboris pri kutima konstruo de la motoro, tio estas, ni reverkis kelkajn aferojn ene de la motoro por ke, ekzemple, ni povu desegni ombrojn sur veraj objektoj. La versio de la motoro kiu estis aktuala en tiu tempo ne havis ecojn kiuj permesus tion esti farita uzante normajn ilojn. Tial, niaj infanoj faris sian propran laŭmendan asembleon por provizi ĉion, kio estis esence necesa.
Aliaj nuancoj kaj adapto al WorldSkills en Kazan
Tempokodo (de ) — 31:37
Dmitrij: Sed ĉio ĉi en sufiĉe mallonga tempodaŭro?
Andreo: La limdatoj estis streĉaj , laŭ Minsko - normala. Ĉirkaŭ ses monatoj por disvolviĝo, sed konsiderante la fakton, ke ses homoj estis implikitaj. Samtempe ni faris la moveblan parton kaj disvolvis ilojn por televida produktado. Estis ne nur bilda eligo. Ekzemple, spursistemo kun optiko, por tio vi devis krei viajn proprajn ilojn.
Dmitrij: Ĉu estis iu adapto de unu projekto al alia? Post monato kaj duono, necesis profiti la evoluojn kaj translokigi la projekton kun nova enhavo al nova retejo?
Andreo: Jes, estis dum monato kaj duono. Ni planis dusemajnan ferion por la tuta teamo post la Minska projekto. Sed tuj post fermo, la uloj de Sechenov.com venas kaj diras: "Nu, tiam ni faru Kazan." Ni tamen sukcesis iom ripozi, sed sufiĉe rapide ŝanĝis al ĉi tiu projekto. Ni kompletigis kelkajn teknikajn laborojn. Plejparto de la tempo estis elspezita por enhavo, ĉar por WorldSkills ni faris ĝin tute, ni nur kunordigis ĝin kun la produktteamo. Estis nur skripto de ilia flanko. Sed estis pli facile - ne necesis kromaj ripetoj. Kiam vi mem kreas enhavon, vi tuj vidas kiel ĝi funkcias en la motoro, kaj vi povas rapide redakti kaj kunordigi.
Pri la movebla parto, ni konsideris ĉiujn subtilaĵojn, kiujn ni havis en Minsko. Ni faris novan aplikan dezajnon, iomete restrukturis la arkitekturon, aldonis lernilojn, sed provis fari ĝin kiel eble plej mallonga kaj klara. Ni reduktis la nombron da uzantpaŝoj de lanĉo de la aplikaĵo ĝis spektado de la enhavo. Monato kaj duono sufiĉis por plenumi taŭgan projekton. Post unu semajno kaj duono ni atingis la lokon. Estis pli facile labori tie ĉar la tuta kontrolo de la projekto estis en la manoj de la organizantoj; ne necesis kunordigi kun aliaj komitatoj. Estis pli simple kaj pli facile labori en Kazan kaj estis tute normale, ke estis malpli da tempo.
Dmitrij: Sed ĉu vi decidis lasi la aliron al sinkronigado tia, kia ĝi estis, bazita sur sono?
Andreo: Jes, ni lasis ĝin per sono. Ĝi funkciis bone. Kiel oni diras, se ĝi funkcias, ne tuŝu ĝin. Ni simple konsideris la nuancojn de la kvalito de la sontrako. Kiam ili faris la enkondukon, ekzistis trejna epizodo por homoj por provi antaŭ ol la spektaklo komenciĝis. Estis surprize, ke kiam en la momento de ludi la aŭtoveturejon en la stadiono estas ŝtorma aplaŭdo, "vive", la sistemo permesas vin bone sinkronigi kun ĉi tiu aŭtoveturejo, sed se en ĉi tiu momento registrita aplaŭdo estas miksita kun la aŭtoveturejo, tiam la spuro ne plu estas kaptita. Tiaj nuancoj estis enkalkulitaj, kaj ĉio estis sufiĉe bone sinkronigita laŭ sono.
PS En la dua parto de la numero ni parolas pri scienca datuma bildigo, proceza modelado en aliaj projektoj, lud-disvolviĝo kaj la majstra programo "" Ni publikigos daŭrigon en la sekva artikolo. Vi povas aŭskulti kaj subteni nin ĉi tie:
PPS Dume, en la angla versio de Habr: .
fonto: www.habr.com