Dit is it earste diel fan it teksttranskript fan it twadde ynterview foar ús programma (, ). Kwestje Gast - (), Ph.D., senior ûndersiker by it Nasjonaal Sintrum foar Kognityf Undersyk, associate professor by de Fakulteit fan Digitale Transformaasjes.
Sûnt 2012 wurket Andrey yn 'e ûndersyksgroep Visualization and Computer Graphics. Meidwaan oan grutte tapaste projekten op steats- en ynternasjonaal nivo. Yn dit diel fan it petear prate wy oer syn ûnderfining yn AR-stipe foar iepenbiere eveneminten.
foto (Unsplash.com)
Projektkontekst en doelstellingen
Tiidkoade (by ) — 00:41
: Ik soe graach begjinne mei it projekt European Games. It is multi-komponint, ferskate teams namen diel oan 'e tarieding, en it leverjen fan augmented reality foar in publyk fan tûzenen rjochts tidens in evenemint yn it stadion is in heul serieuze taak. Wat jo belutsenens oanbelanget, wie it earst software?
: Ja, wy diene it programmeardiel en joegen stipe tidens de show. It wie nedich om alles yn realtime te folgjen, te kontrolearjen en te starten, en ek te wurkjen mei de televyzjegroep. As wy dit projekt as gehiel beskôgje, dan kinne wy prate oer de iepenings- en slutingsseremoanjes yn Minsk, en ek oer de iepeningsseremoanje fan it kampioenskip yn Kazan. It wie itselde wurkskema, mar ferskate eveneminten. Der siet in gat fan twa moanne tusken harren. Wy hawwe it projekt gear makke mei de jonges fan it bedriuw .
Wy moete se by kâns op , dy't yn 'e hjerst fan 2018 plakfûn. Us masterstudinten lieten har kursusprojekt sjen oer it ûnderwerp fan VR. De jonges kamen nei ús ta en fregen wat wy yn ús laboratoarium diene. It seach der sa út:
- Jo wurkje mei VR, mar kinne jo wurkje mei augmented reality?
- No, sa'n bytsje, ja.
- Der is sa'n taak, mei sokke ynliedende notysjes. Kinne jo it dwaan?
Se skrasten har raapkes in bytsje, der liket neat ûnrealistysk te wêzen:
- Litte wy besykje alles earst te bestudearjen, en dan in oplossing fine.
Dmitriy: Biede se allinich mediastipe?
Andrew: Se meitsje in folsleine steapel. Fanút it eachpunt fan behear en organisaasje binne se folslein belutsen by rezjy, staging, seleksje fan lânskip, logistyk en oare technyske stipe. Mar se woene wat spesjaal dwaan foar de Europeeske Spelen. Dizze spesjale effekten, lykas mingde werklikheid, binne makke foar televyzje foar in lange tiid, mar se binne net de meast budzjet-freonlik yn termen fan technyske ymplemintaasje. Dêrom sochten de jonges nei alternative opsjes.
Dmitriy: Litte wy it probleem yn mear detail beprate. Wêr bestie it út?
Andrew: Der is in evenemint. It duorret oardel oere. Wy moatte der foar soargje dat it publyk dat it live sjocht en degenen dy't yn it stadion sitte, de augmented reality-effekten kinne sjen yn folsleine syngronisaasje mei de live show yn termen fan tiid en lokaasje op 'e side.
Der wiene in oantal technyske beheinings. It wie ûnmooglik om tiidsyngronisaasje fia it ynternet te dwaan, om't d'r eangsten wiene oer oermjittige lading op it netwurk mei folsleine tribunes en it perspektyf fan steatshaden dy't it evenemint bywenje, wat de mobile netwurken koe blokkearje.
Andrey Karsakov, foto fan
Wy hienen twa wichtige komponinten foar dit projekt - de persoanlike ûnderfining dy't minsken kinne krije fia mobile apparaten, en wat giet yn 'e televyzje-útstjoering en ynformaasjeskermen yn it stadion sels.
As in persoan ynienen ôfleverings fan augmented reality besjocht fia in mobyl apparaat en tagelyk op it skerm komt, moat hy deselde foto sjen.
Wy hiene twa praktysk ferskillende systemen nedich om yn 'e tiid folslein syngronisearre te wurden. Mar de eigenaardichheid fan sokke shows is dat dit komplekse eveneminten binne wêrby't in grut oantal technyske tsjinsten belutsen binne en alle operaasjes wurde útfierd neffens tiidkoades. Tiidkoade is in spesifyk momint yn 'e tiid wêrop wat begjint: ljocht, lûd, minsken dy't fuortgeane, iepening fan poadiumblêden, ensfh. Wy moasten ús oanpasse oan dit systeem sadat alles op it krekte momint begjinne soe. In oare eigenskip wie dat de sênes en ôfleverings mei augmented reality wiene skript-relatearre.
Dmitriy: Mar hawwe jo besletten om it gebrûk fan tiidkoades te ferlitten fanwegen de hege risiko's fan oermacht, of hawwe jo yn earste ynstânsje wat machtskaaimerken berekkene en realisearre dat de lading op it heule systeem frij heech wêze soe?
Andrew: As jo in syngronisaasjetsjinst meitsje foar sa'n publyk, dan is it net heul lestich. Yn alle gefallen sille oanfragen net fan 'e nacht mislearje. Ja, de lading is heech, mar it is gjin need. De fraach is oft it wurdich is om hjir middels en tiid oan te besteegjen as it netwurk ynienen útgiet. Wy wiene der net wis fan dat dit net barre soe. Uteinlik wurke alles, mei ûnderbrekkingen troch de lading, mar it wurke, en wy syngronisearre neffens de tiidkoade neffens in oar skema. Dit wie ien fan 'e wrâldwide útdagings.
Swierrichheden fan ymplemintaasje út in UX eachpunt
Tiidkoade (by ) — 10:42
Andrew: Wy moasten ek rekken hâlde mei dat it stadion is net in klassike konsert plak, en syngronisearje de systemen oer de romte foar mobile apparaten. Dus, in skoft lyn gie ik firaal by Eminem konserten, doe wie der in saak mei Loboda.
foto (Unsplash.com)
Mar dit is altyd in ûnderfining foar jo - it hiele publyk stiet foar it poadium, de syngronisaasje is frij simpel. Yn it gefal fan in stadion moatte jo begripe hokker kant fan 'e sirkel jo binne, de relative posysje, sadat it stadion past yn' e romte dy't bestiet yn 'e firtuele omjouwing. It wie in soere útdaging. Se besochten it op ferskate manieren op te lossen, en it resultaat wie in saak tichtby wat troch Loboda útfierd waard, mar net yn alle opsichten.
Wy litte de brûker beslute wêr't hy is. Wy makken markearrings foar it stadion, dêr't minsken in sektor, in rige, in plak kieze. Dit alles yn fjouwer "klikken". Dêrnei moasten wy de rjochting nei it poadium bepale. Om dit te dwaan, hawwe wy in silhouet sjen litten fan hoe't it toaniel rûchwei útsjen moat út in oanpast perspektyf. Hy kombinearre it, tikte en dat is it - it poadium gie sitten. Wy hawwe besocht dit proses safolle mooglik te ferienfâldigjen. Dochs binne 90% fan 'e sjoggers dy't de show woene, net dy minsken dy't ûnderfining hawwe mei kommunikaasje mei augmented reality.
Dmitriy: Wie der in aparte oanfraach foar dit projekt?
Andrew: Ja, in applikaasje foar iOS en Android, dy't wy nei de winkel skood hawwe. Der wie in aparte promoasjekampanje foar. It waard earder yn detail beskreaun hoe te downloaden en sa fierder.
Dmitriy: Jo moatte begripe dat d'r gjin plak is foar in persoan om fysyk te testen en te learen hoe't jo sa'n applikaasje kinne brûke. Dêrom waard de taak fan it publyk "oplieding" yngewikkelder.
Andrew: Ja Ja. Mei UX fongen wy in protte bulten, om't de brûker de ûnderfining yn trije klikken wol krije: ynladen, ynstalleare, lansearre - it wurke. In protte minsken binne te lui om komplekse tutorials te folgjen, tutorials te lêzen, ensfh. En wy hawwe net besocht om de brûker safolle mooglik út te lizzen yn 'e tutorial: hjir sil in finster iepenje, tagong ta de kamera hjir, oars wurket it net, ensfh. Hoefolle ferklearrings jo ek skriuwe, hoe detaillearre jo it ek kauwen, hokker gifs jo ek ynfoegje, minsken lêze it net.
Yn Minsk sammele wy in grutte pool fan feedback oer dit diel, en hawwe al in protte feroare foar de applikaasje yn Kazan. Wy sette dêr net allinnich dy fonogrammen en dy tiid koades dy't oerienkomme mei in spesifike ôflevering fan augmented reality, mar wy namen alle fonogrammen en tiid koades yn harren gehiel. Dat de applikaasje hearde wat der barde op it momint fan lansearring, en - as in persoan op it ferkearde momint oanmelde - joech it de ynformaasje út: "Kameraat, it spyt my, jo AR-ôflevering sil oer 15 minuten wêze."
In bytsje oer de arsjitektuer en oanpak fan syngronisaasje
Tiidkoade (by ) — 16:37
Dmitriy: Hawwe jo besletten om te syngronisearje mei lûd?
Andrew: Ja, it barde tafallich. Wy sochten troch opsjes en kamen in bedriuw tsjin út Izhevsk. Se meitsje in net bysûnder ferfine, mar izeren wurkjende SDK, wêrtroch jo it lûd kinne syngronisearje mei de timing. It systeem waard gepositioneerd te wurkjen mei TV, as jo kinne werjaan wat yn in applikaasje basearre op it lûd fan in betingst advertinsje of jou in ynteraktive ûnderfining basearre op de film spoar.
Dmitriy: Mar it is ien ding - jo sitte yn jo wenkeamer, en in oar ding - in stadion mei tûzenen minsken. Hoe binne dingen foar jo útwurke mei de kwaliteit fan lûdopname en de dêropfolgjende erkenning?
Andrew: Der wiene in soad eangsten en twifels, mar yn de measte gefallen waard alles goed erkend. Se bouwe hantekeningen op it audiospoar mei har slûchslimme algoritmen - it resultaat waacht minder dan it orizjinele audiobestân. As de mikrofoan harket nei it omlizzende lûd, besiket it dizze funksjes te finen en it spoar te werkennen op basis dêrfan. Yn goede omstannichheden, de syngronisaasje krektens is 0,1-0,2 sekonden. Dit wie mear as genôch. Yn minne omstannichheden wie de diskrepânsje oant 0,5 sekonden.
In protte hinget ôf fan it apparaat. Wy wurken mei in grutte float fan apparaten. Foar iPhones binne d'r mar 10 modellen. Se wurken goed yn termen fan kwaliteit en oare funksjes. Mar mei androiden is de bistetún as myn mem. Net oeral die bliken dat de lûdsyngronisaasje wurke. D'r wiene gefallen dat it ûnmooglik wie om ferskate spoaren op ferskate apparaten te hearren fanwegen guon eigenaardichheden. Earne ferdwine de lege frekwinsjes, earne begjinne de hege frekwinsjes te pisjen. Mar as it apparaat in normalisator op 'e mikrofoan hie, wurke de syngronisaasje altyd.
Dmitriy: Fertel ús asjebleaft oer de arsjitektuer - wat waard brûkt yn it projekt?
Andrew: Wy hawwe de applikaasje makke yn Unity - de ienfâldichste opsje yn termen fan multi-platfoarm en wurkjen mei grafiken. AR Foundation brûkt. Wy hawwe fuortendaliks sein dat wy it systeem net wolle komplisearje, dus beheine wy ússels ta in float fan apparaten dy't ARKit en ARCore stypje om tiid te hawwen om alles te testen. Wy makken in plugin foar de DigitalSoft SDK, it . Wy hawwe in ynhâldbehearsysteem makke sadat skripts neffens de tiidline rinne.
Wy tinke in bytsje mei it partikelsysteem, om't de brûker op elk momint yn in bepaalde ôflevering kin ynfiere, en wy moatte him alles sjen fanôf it momint dat hy syngronisearre. Wy tinzen mei in systeem wêrmei't senario's yn 'e tiid dúdlik ôfspielje kinne, sadat de 3D-ûnderfining hinne en wer rôlje kin, lykas yn in film. Wylst it út 'e doaze wurket mei klassike animaasjes, moasten wy mei partikelsystemen tinke. Op in stuit begjinne se te spawnen, en as jo josels earne foar it spawnpunt fine, binne se noch net berne, hoewol it liket dat se moatte wêze. Mar dit probleem is eins frij maklik op te lossen.
Foar it mobile diel is de arsjitektuer frij simpel. Foar televyzje-útstjoeringen is alles yngewikkelder. Wy hiene hardware beheinings. De klant stelde in betingst: "Hjir hawwe wy sa'n en sa'n hardwarepark, rûchwei, alles moat der oan wurkje." Wy rjochte ús fuortendaliks op it feit dat wy soene wurkje mei relatyf budzjet video capture kaarten. Mar budzjet betsjut net dat se min binne.
D'r wiene beheiningen op hardware, op fideo-opnamekaarten en op wurkomstannichheden - hoe't wy de foto moatte ûntfange. Capture cards - Blackmagic Design, wurke neffens it ynterne toetsskema - dit is as in fideoframe nei jo komt fan 'e kamera. De kaart hat in eigen ferwurkjen chip, dêr't ek in frame wurdt ynfoege, dat moat wurde boppe op 'e ynkommende. De kaart mingt se - wy reitsje neat oars en hawwe gjin ynfloed op it frame fan 'e fideokamera. Se spuit it resultaat út nei de kontrôlekeamer fia de fideo-útfier. Dit is in goede metoade foar overlaying titels en oare ferlykbere dingen, mar it is net hiel geskikt foar mingde werklikheid effekten omdat der in protte beheinings op de render pipeline.
Dmitriy: Yn termen fan real-time computing, objektbinding, of wat oars?
Andrew: Yn termen fan kwaliteit en it berikken fan de winske effekten. Om't wy net witte wêr't wy de foto boppe op sette. Wy stjoere gewoan kleur- en transparânsje-ynformaasje boppe op 'e orizjinele stream. Guon effekten lykas brekingen, juste transparânsje en ekstra skaden kinne net berikt wurde mei dit skema. Om dit te dwaan, moatte jo alles gearwurkje. Bygelyks, d'r is gjin manier om it effekt fan luchtferfoarming te meitsjen fan in fjoer of hyt asfalt. Itselde jildt foar de oerdracht fan it transparânsje-effekt mei rekkening mei de brekingsyndeks. Wy makken ynearsten ynhâld basearre op dizze beheiningen en besochten passende effekten te brûken.
Dmitriy: Hasto al dyn eigen ynhâld yn it earste projekt foar de Europeeske Spullen?
Andrew: Nee, it haadpoadium fan ynhâldûntwikkeling waard dien troch de jonges fan Sechenov.com. Har grafyske keunstners tekene de basisynhâld mei animaasjes en oare dingen. En wy yntegrearre alles yn 'e motor, tafoege ekstra effekten, oanpast it sadat alles goed wurke.
As wy it oer de pipeline hawwe, dan hawwe wy foar televyzje-útstjoeringen alles gearstald op Unreal Engine 4. Tafallich begûnen se krekt op dat stuit har ark te stimulearjen foar mingde realiteit. It die bliken dat alles net sa ienfâldich is. Ek no is al it ark rau, wy moasten in protte mei de hân ôfmeitsje. Yn Minsk hawwe wy wurke oan in oanpaste bou fan 'e motor, dat is, wy hawwe wat dingen yn' e motor opnij skreaun, sadat wy bygelyks skaden op echte objekten tekenje kinne. Op 'e ferzje fan' e motor dy't op dat stuit aktueel wie, wiene d'r gjin funksjes dy't dit koenen dwaan mei standert ark. Om dizze reden makken ús jonges har eigen oanpaste gearstalling om alles te leverjen dat fan libbensbelang wie.
Oare nuânses en oanpassing oan WorldSkills yn Kazan
Tiidkoade (by ) — 31:37
Dmitriy: Mar dit alles yn in frij koarte tiid?
Andrew: De deadlines wiene strak , neffens Minsk - normaal. Sa'n seis moanne foar ûntwikkeling, mar rekken hâldend mei it feit dat seis minsken belutsen wiene. Tagelyk makken wy it mobile diel en ûntwikkelen wy ark foar televyzjeproduksje. D'r wie net allinich in ôfbyldingsútfier. Bygelyks in trackingsysteem mei optyk, dêrfoar moasten jo jo eigen ark meitsje.
Dmitriy: Wie der in oanpassing fan it iene projekt nei it oare? Yn in moanne en in heal wie it nedich om te profitearjen fan 'e ûntwikkelingen en it projekt mei nije ynhâld oer te bringen nei in nije side?
Andrew: Ja, it wie foar in moanne en in heal. Wy hienen nei it Minsk-projekt in fakânsje fan twa wiken pland foar it hiele team. Mar fuort nei it sluten komme de jonges fan Sechenov.com en sizze: "Nou, lit ús dan Kazan dwaan." Wy koenen noch wat rêste, mar gongen frij gau oer op dit projekt. Wy hawwe wat technysk wurk dien. De measte tiid waard bestege oan ynhâld, want foar WorldSkills diene wy it folslein, wy koördinearren it gewoan mei it produksjeteam. Der wie mar in skript fan har kant. Mar it wie makliker - d'r wie gjin ferlet fan ekstra iteraasjes. As jo sels ynhâld meitsje, sjogge jo fuortendaliks hoe't it wurket yn 'e motor, en jo kinne fluch bewurkje en koördinearje.
Wat it mobile diel oanbelanget, hawwe wy rekken holden mei alle subtiliteiten dy't wy yn Minsk hiene. Wy hawwe in nij applikaasjeûntwerp makke, de arsjitektuer in bytsje opnij ûntwurpen, tutorials tafoege, mar besocht it sa koart en dúdlik mooglik te meitsjen. Wy hawwe it oantal brûkersstappen fermindere fan it starten fan de applikaasje oant it besjen fan de ynhâld. In moanne en in heal wie genôch om in adekwaat projekt te foltôgjen. Yn oardel wike berikten wy de side. It wie makliker om dêr te wurkjen, om't alle kontrôle oer it projekt yn 'e hannen wie fan 'e organisatoaren; d'r wie gjin needsaak om te koördinearjen mei oare kommisjes. It wie ienfâldiger en makliker om te wurkjen yn Kazan en it wie hiel normaal dat der minder tiid wie.
Dmitriy: Mar hawwe jo besletten om de oanpak fan syngronisaasje te litten sa't it wie, basearre op lûd?
Andrew: Ja, wy lieten it by lûd. It wurke goed. As se sizze, as it wurket, net oanreitsje it. Wy hawwe gewoan rekken holden mei de nuânses fan 'e kwaliteit fan it audiospoar. Doe't se de yntro diene, wie d'r in trainingsôflevering foar minsken om te besykjen foardat de show begon. It wie ferrassend dat doe't op it momint fan it spyljen fan de baan yn it stadion stoarmich applaus is, "live", it systeem lit jo goed syngronisearje mei dit spoar, mar as op dit stuit opnommen applaus wurdt mingd mei it spoar, dan is de spoar wurdt net mear fongen. Sokke nuânses waarden rekken holden, en alles wie goed syngronisearre yn termen fan lûd.
PS Yn it twadde diel fan 'e útjefte prate wy oer fisualisaasje fan wittenskiplike gegevens, prosesmodellering yn oare projekten, spultsjeûntwikkeling en it masterprogramma "" Wy sille in ferfolch yn it folgjende artikel publisearje. Jim kinne ús hjir harkje en stypje:
PPS Underwilens, oer de Ingelske ferzje fan Habr: .
Boarne: www.habr.com