Hau da gure programako bigarren elkarrizketaren testu-transkripzioaren lehen zatia (, ). Arazoa gonbidatua - (), doktorea, Ikerketa Kognitiboko Zentro Nazionaleko ikertzaile seniorra, Eraldaketa Digitalen Fakultateko irakasle elkartua.
2012tik, Andrey Visualization and Computer Graphics ikerketa taldean dihardu lanean. Estatuko eta nazioarteko mailan aplikatutako proiektu handietan dihardu. Solasaldiaren zati honetan, ekitaldi publikoetarako AR laguntzan izandako esperientziari buruz hitz egiten dugu.
Photo Shoot (Unsplash.com)
Proiektuaren testuingurua eta helburuak
Denbora-kodea (egilea ) - 00:41
: Europako Jokoen proiektuarekin hasi nahiko nuke. Osagai anitzekoa da, hainbat taldek parte hartu zuten prestaketan, eta errealitate areagotua eskaintzea milaka ikusleri estadioko ekitaldi batean zehar nahiko lan serioa da. Zure inplikazioari dagokionez, softwarea izan zen lehenik?
: Bai, programazioa egin genuen eta laguntza eman genuen emanaldian. Beharrezkoa zen dena denbora errealean jarraitzea, kontrolatzea eta martxan jartzea, eta telebista taldearekin ere lan egitea. Proiektu hau bere osotasunean kontuan hartzen badugu, hasierako eta amaierako ekitaldiei buruz hitz egin dezakegu Minsken, baita txapelketaren hasiera ekitaldiari buruz ere Kazanen. Lan eskema bera zen, baina ekitaldi desberdinak. Bi hilabeteko tartea zegoen haien artean. Proiektua konpainiako mutilekin batera prestatu genuen .
Kasualitatez ezagutu ditugu , 2018ko udazkenean izan zena. Gure masterreko ikasleek VR gaiari buruzko ikastaroaren proiektua erakutsi zuten. Mutilak guregana hurbildu eta gure laborategian zer egiten ari ginen galdetu zuten. Honelako itxura zuen:
— VRrekin lan egiten duzu, baina lan egin dezakezu errealitate areagotuarekin?
- Beno, nolabait, bai.
- Bada halako zeregin bat, halako sarrerako oharrekin. Egin dezakezu?
Arbiak apur bat urratu zituzten, ez dirudi errealistarik dagoenik:
- Saia gaitezen dena aztertzen lehenik, eta gero irtenbidea aurkitzen.
Dmitriy: Komunikabideen laguntza soilik ematen al dute?
Andrew: Pila osoa egiten dute. Kudeaketa eta antolakuntzaren ikuspuntutik, erabat parte hartzen dute zuzendaritzan, eszenaratzean, eszenografia hautatzean, logistikan eta bestelako laguntza teknikoetan. Baina zerbait berezia egin nahi zuten Europako Jokoetarako. Efektu berezi hauek, errealitate mistoa bezala, denbora luzez egin dira telebistarako, baina ez dira inplementazio teknikoari dagokionez aurrekonturik errespetatzen dituenak. Hori dela eta, mutilek aukera alternatiboak bilatu zituzten.
Dmitriy: Azter dezagun arazoa xehetasun gehiagorekin. Zertan osatua zegoen?
Andrew: Ekitaldi bat dago. Ordu eta erdi irauten du. Ziurtatu behar dugu zuzenean ikusten ari diren ikusleek eta estadioan eserita daudenek errealitate areagotuaren efektuak zuzeneko ikuskizunarekin sinkronizatuta ikus ditzaketela guneko denborari eta kokapenari dagokionez.
Hainbat muga tekniko zeuden. Ezinezkoa zen denbora sinkronizazioa Internet bidez egitea, sarean gehiegizko kargaren beldur baitzegoen harmailak beteta eta estatuburuak ekitaldira joateko aukera, sare mugikorrak traba zezakeelako.
Andrey Karsakov, erabiltzailearen argazkia
Proiektu honetan funtsezko bi osagai izan genituen: jendeak gailu mugikorren bidez lor dezakeen esperientzia pertsonala eta estadioan bertan telebistako emankizunetan eta informazio-pantailetan sartzen dena.
Bat-batean pertsona bat gailu mugikor baten bidez errealitate areagotuko pasarteak ikusten ari bada eta aldi berean pantailara sartzen bada, argazki bera ikusi beharko luke.
Denboran zeharo sinkronizatzeko bi sistema ia ezberdin behar genituen. Baina horrelako ikuskizunen berezitasuna da ekitaldi konplexuak direla, non zerbitzu tekniko ugarik parte hartzen duten eta eragiketa guztiak denbora-kodeen arabera egiten diren. Denbora-kodea zerbait hasten den une zehatz bat da: argia, soinua, jendea irteten, eszena-petaloak irekitzen, etab. Sistema horretara egokitu behar izan genuen, dena momentu egokian hasteko. Beste ezaugarri bat zen errealitate areagotua duten eszenak eta pasarteak gidoiarekin zerikusia zutela.
Dmitriy: Baina denbora-kodeen erabilerari uztea erabaki zenuen ezinbesteko kasuen arrisku handiengatik, edo hasieran potentzia-ezaugarri batzuk kalkulatu eta sistema osoaren karga nahiko handia izango zela konturatu zinen?
Andrew: Sinkronizazio-zerbitzu bat egiten baduzu halako publiko batentzat, orduan ez da oso zaila. Nolanahi ere, eskaerak ez dira egun batetik bestera huts egingo. Bai, karga handia da, baina ez da larrialdi bat. Kontua da ea merezi duen baliabideak eta denbora horretan gastatzea sarea bat-batean itzaltzen bada. Ez geunden ziur hau gertatuko ez zenik. Azken batean, dena funtzionatu zuen, kargaren ondorioz etenekin, baina funtzionatu zuen, eta denbora-kodearen arabera sinkronizatu genuen beste eskema baten arabera. Hau izan zen mundu mailako erronketako bat.
Ezartzeko zailtasunak UX ikuspegitik
Denbora-kodea (egilea ) - 10:42
Andrew: Gainera, kontuan izan behar izan dugu estadioa ez dela kontzertu-areto klasiko bat, eta gailu mugikorrentzako espazioan zehar sistemak sinkronizatu. Beraz, duela denbora pixka bat biral bihurtu nintzen Eminem kontzertuetan, gero Lobodarekin kasu bat egon zen.
Photo Shoot (Unsplash.com)
Baina hau beti da zure aurrean esperientzia bat - jendetza osoa eszenatokiaren aurrean dago, sinkronizazioa nahiko erraza da. Estadio baten kasuan, zirkuluaren zein aldetan zauden ulertu behar duzu, posizio erlatiboa, estadioa ingurune birtualean dagoen espazioan sartu dadin. Erronka garratza izan zen. Modu ezberdinetan saiatu ziren konpontzen, eta emaitza Lobodak ezarri zuenetik hurbil dagoen kasua izan zen, baina ez alderdi guztietan.
Erabiltzaileari uzten diogu non dagoen erabakitzen. Estadiorako markaketak egin genituen, non jendeak aukeratzen zuen sektore bat, ilara bat, leku bat. Hori guztia lau "klik"tan. Ondoren, eszenatokiaren nondik norakoak zehaztu behar izan genituen. Horretarako, eszenak, gutxi gorabehera, ikuspegi pertsonalizatutik nolakoa izan behar duenaren silueta bat erakutsi dugu. Konbinatu, kolpatu eta kitto - eszenatokia eseri zen. Prozesu hau ahalik eta gehien errazten saiatu gara. Hala ere, ikuskizuna ikusi nahi izan duten ikusleen % 90 ez dira errealitate areagotuarekin komunikatzeko esperientzia duten pertsonak.
Dmitriy: Ba al zen proiektu honetarako aparteko aplikaziorik?
Andrew: Bai, iOS eta Androiderako aplikazio bat, dendara bultzatu genuena. Sustapen kanpaina bereizi bat egin zen. Aurretik xehetasunez deskribatu zen nola deskargatu eta abar.
Dmitriy: Ulertu behar duzu ez dagoela lekurik pertsona batek fisikoki probatzeko eta aplikazio hori nola erabiltzen ikasteko. Hori dela eta, publikoa “hezitzeko” lana zaildu egin zen.
Andrew: Bai bai. UX-rekin, kolpe asko harrapatu ditugu, erabiltzaileak esperientzia hiru kliketan lortu nahi duelako: deskargatu, instalatu, abiarazi - funtzionatu zuen. Jende asko alferra da tutorial konplexuak jarraitzeko, tutorialak irakurtzeko, etab. Eta ez gara saiatu dena erabiltzaileari ahalik eta gehien azaltzen tutorialean: hemen leiho bat irekiko da, hemen kamerarako sarbidea, bestela ez du funtzionatuko, etab. Ez du axola zenbat azalpen idazten dituzun, zein zehatz-mehatz murtxikatzen duzun, edozein gif sartzen duzun ere, jendeak ez du irakurtzen.
Minsken parte honi buruzko iritzi multzo handia bildu dugu, eta dagoeneko asko aldatu dugu Kazan-eko aplikaziorako. Errealitate areagotuaren pasarte zehatz bati dagozkion fonograma eta denbora-kode horiek ez ezik, fonograma eta denbora-kode guztiak osorik hartu ditugu bertan. Beraz, aplikazioak abiarazteko unean gertatzen ari zena entzun zuen, eta, pertsona batek momentu okerrean saioa hasi bazen, informazioa eman zuen: "Kamarada, barkatu, zure AR atala 15 minutu barru izango da".
Apur bat arkitekturari eta sinkronizazioari buruz
Denbora-kodea (egilea ) - 16:37
Dmitriy: Soinuaren bidez sinkronizatzea erabaki al zenuen?
Andrew: Bai, ustekabean gertatu da. Aukerak aztertzen ari ginen eta enpresa batekin egin genuen topo Izhevsketik. SDK ez bereziki sofistikatua baina burdinazkoa egiten dute, soinua denborarekin sinkronizatzeko aukera ematen duena. Sistema telebistarekin lan egiteko kokatu zen, baldintzapeko iragarki baten soinuan oinarritutako aplikazio batean zerbait bistaratu dezakezunean edo filmaren pistan oinarritutako esperientzia interaktibo bat eman.
Dmitriy: Baina gauza bat da - zure egongelan eserita zaude, eta beste gauza bat - milaka laguneko estadio bat. Nola atera zitzaizkizun gauzak soinu-grabaketaren kalitatearekin eta ondorengo aitorpenarekin?
Andrew: Beldur eta zalantza asko zeuden, baina kasu gehienetan dena ongi aitortzen zen. Audio-pistan sinadurak eraikitzen dituzte beren algoritmo maltzurrekin; emaitzak jatorrizko audio-fitxategiak baino pisu txikiagoa du. Mikrofonoak inguruko soinua entzuten duenean, ezaugarri horiek aurkitzen saiatzen da eta haietan oinarritutako pista ezagutzen saiatzen da. Baldintza onetan, sinkronizazioaren zehaztasuna 0,1-0,2 segundokoa da. Hau nahikoa baino gehiago zen. Baldintza txarretan desadostasuna 0,5 segundora iritsi zen.
Asko gailuaren araberakoa da. Gailu flota handi batekin lan egin genuen. iPhoneetarako 10 modelo baino ez daude. Kalitatearen eta beste ezaugarri batzuen aldetik ondo funtzionatu zuten. Baina androidekin zooa nire ama bezalakoa da. Ez zen leku guztietan soinuaren sinkronizazioa funtzionatu zuenik. Baziren kasuak gailu ezberdinetan pista desberdinak entzutea ezinezkoa zen berezitasun batzuengatik. Nonbait maiztasun baxuak desagertzen dira, non maiztasun altuak txistuka hasten dira. Baina gailuak mikrofonoan normalizatzaile bat bazuen, sinkronizazioak beti funtzionatu zuen.
Dmitriy: Mesedez, konta iezaguzu arkitekturaz - zer erabili zen proiektuan?
Andrew: Aplikazioa Unity-n egin dugu, plataforma anitzeko eta grafikoekin lan egiteko aukerarik errazena. Erabilitako AR Fundazioa. Berehala esan genuen ez genuela sistema konplikatu nahi, beraz, ARKit eta ARCore onartzen duten gailu flota batera mugatu ginen dena probatzeko denbora izateko. DigitalSoft SDK-rako plugin bat egin dugu . Edukiak kudeatzeko sistema bat sortu genuen, gidoiak denbora-lerroaren arabera exekutatzeko.
Partikula sistemarekin pixka bat moldatu dugu, erabiltzailea edozein unetan sar daitekeelako atal jakin batean, eta sinkronizatu den unetik dena ikusi behar dugu. Eszenatokiak denboran argi eta garbi erreproduzitzea ahalbidetzen duen sistema bat landu dugu, XNUMXD esperientzia aurrera eta atzera mugitu ahal izateko, pelikula batean bezala. Animazio klasikoekin kaxatik kanpo funtzionatzen duen bitartean, partikula sistemak aldatu behar izan ditugu. Noizbait, sortzen hasten dira, eta sorkuntza puntua baino lehen nonbait aurkitzen bazara, oraindik ez dira jaio, hala izan beharko luketela dirudien arren. Baina arazo hau benetan konpontzen nahiko erraza da.
Mugikorrari dagokionez, arkitektura nahiko erraza da. Telebista emateko dena konplikatuagoa da. Hardware murrizketak genituen. Bezeroak baldintza bat jarri zuen: "Hemen badugu halako eta halako hardware parke bat, gutxi gorabehera, dena landu behar da". Berehala zentratu ginen nahiko aurrekontuko bideoak harrapatzeko txartelekin lan egingo genuela. Baina aurrekontuak ez du esan nahi txarra direnik.
Hardwarean, bideoak harrapatzeko txarteletan eta lan baldintzetan murrizketak zeuden: argazkia nola jaso behar genuen. Harrapaketa-txartelak - Blackmagic Design, Barne teklatze-eskemaren arabera lan eginda - hau da kameratik bideo-fotograma bat etortzen zaizunean. Txartelak bere prozesatzeko txipa du, non marko bat ere sartzen den, sarrerakoaren gainean jarri behar dena. Txartelak nahasten ditu: ez dugu beste ezer ukitzen bertan eta ez dugu bideokameraren fotograma eragiten. Emaitza kontrol gelara igortzen du bideo irteeraren bidez. Metodo ona da izenburuak eta antzeko beste gauza batzuk gainjartzeko, baina ez da oso egokia errealitate mistoko efektuetarako, errendatze kanalizazioan murrizketa asko daudelako.
Dmitriy: Denbora errealeko konputazioari, objektuen loturari edo beste zerbaitei dagokienez?
Andrew: Kalitate aldetik eta nahi diren ondorioak lortzeari dagokionez. Ez dakigulako zer jartzen dugun argazkia gainean. Kolore- eta gardentasun-informazioa jatorrizko korrontearen gainean bidaltzen dugu. Errefrakzioak, gardentasun zuzena eta itzal gehigarriak bezalako efektu batzuk ezin dira lortu eskema honekin. Horretarako, dena batera errendatu behar duzu. Esaterako, ez dago sute edo asfalto bero baten airearen distortsioaren eragina sortzeko modurik. Berdin gertatzen da gardentasun efektuaren transferentziarekin, errefrakzio indizea kontuan hartuta. Hasieran murrizketa horietan oinarritutako edukia egin genuen eta efektu egokiak erabiltzen saiatu ginen.
Dmitriy: Zure edukia bazenuen jada Europako Jokoetarako lehen proiektuan?
Andrew: Ez, edukien garapenaren fase nagusia Sechenov.com-eko mutilek egin zuten. Beren artista grafikoek oinarrizko edukia animazio eta beste gauza batzuekin marraztu zuten. Eta motorrean dena integratu genuen, efektu osagarriak gehitu, moldatu genuen dena ondo funtziona zedin.
Hodiari buruz hitz egiten badugu, telebistako emisiorako dena Unreal Engine 4-n muntatu genuen. Kasualitatez, momentu horretan hasi ziren errealitate mistorako tresnak bultzatzen. Agertu zen dena ez dela hain erraza. Orain ere erreminta guztiak gordin daude; eskuz asko amaitu behar izan genuen. Minsken motorraren eraikuntza pertsonalizatu bat landu genuen, hau da, motorraren barruan gauza batzuk berridatzi genituen, adibidez, objektu errealen gainean itzalak marraztu ahal izateko. Garai hartan egungo motorraren bertsioak ez zuen tresna estandarrak erabiliz hori egiteko aukera emango zuten ezaugarririk. Hori dela eta, gure mutilek beren muntaketa pertsonalizatua egin zuten ezinbestekoa zen guztia eskaintzeko.
Beste ñabardura eta moldaketa WorldSkills-en Kazan
Denbora-kodea (egilea ) - 31:37
Dmitriy: Baina hori guztia denbora nahiko laburrean?
Andrew: Epeak estuak ziren , Minsk-en arabera - normala. Sei hilabete inguru garatzeko, baina sei lagunek parte hartu zutela kontuan hartuta. Aldi berean, mugikorraren zatia egiten eta telebista ekoizteko tresnak garatzen ari ginen. Ez zegoen argazki irteera bat bakarrik. Adibidez, jarraipen-sistema bat optikarekin, horretarako zure tresnak sortu behar zenituen.
Dmitriy: Egokitzapenik egon al zen proiektu batetik bestera? Hilabete eta erdian, garapenak aprobetxatu eta proiektua eduki berriekin gune berri batera eraman behar zen?
Andrew: Bai, hilabete eta erdirako izan zen. Minsk proiektuaren ostean talde osoarentzat bi asteko oporrak antolatu genituen. Baina itxi eta berehala, Sechenov.com-eko mutilak hurbildu eta esaten dute: "Beno, egin dezagun Kazan orduan". Oraindik atseden pixka bat hartzea lortu genuen, baina nahiko azkar aldatu ginen proiektu honetara. Lan tekniko batzuk burutu ditugu. Denbora gehiena edukietan pasatzen zen, WorldSkills-erako oso-osorik egin genuelako, ekoizpen taldearekin koordinatu genuen. Haien aldetik gidoi bat baino ez zegoen. Baina errazagoa zen - ez zegoen iterazio gehigarririk behar. Edukia zuk zeuk sortzen duzunean, berehala ikusten duzu nola funtzionatzen duen motorrean, eta azkar editatu eta koordinatu dezakezu.
Mugikorraren zatiari dagokionez, Minsken genituen ñabardura guztiak kontuan hartu genituen. Aplikazioen diseinu berri bat egin genuen, arkitektura apur bat birdiseinatu, tutorialak gehitu, baina ahalik eta laburren eta argien egiten saiatu ginen. Aplikazioa abiarazten denetik edukia ikustera arte erabiltzaileen urratsen kopurua murriztu dugu. Hilabete eta erdi nahikoa izan zen proiektu egoki bat burutzeko. Aste eta erdian gunera iritsi ginen. Errazagoa zen bertan lan egitea, proiektuaren kontrol guztia antolatzaileen esku zegoelako, ez zegoen beste batzorde batzuekin koordinatzerik. Kazanen lan egitea errazagoa eta errazagoa zen eta nahiko normala zen denbora gutxiago egotea.
Dmitriy: Baina erabaki al zenuen sinkronizazioaren ikuspegia bere horretan uztea, soinuan oinarrituta?
Andrew: Bai, soinuz utzi dugu. Ondo funtzionatu zuen. Esan bezala, funtzionatzen badu, ez ukitu. Besterik gabe, audio-pistaren kalitatearen ñabardurak hartu ditugu kontuan. Sarrera egin zutenean, entrenamendu atal bat zegoen jendeak saioa hasi aurretik probatzeko. Harrigarria izan zen estadioko pista jotzeko momentuan ekaitz txaloak daudenean, “zuzenekoa”, sistemak pista honekin ondo sinkronizatzeko aukera ematea, baina momentu honetan grabatutako txaloak pistarekin nahasten badira, orduan pista ez da jada harrapatzen. Horrelako ñabardurak hartzen ziren kontuan, eta soinu aldetik dena nahiko ondo sinkronizatuta zegoen.
PS Gaiaren bigarren zatian datu zientifikoen bistaratzeaz, prozesuen modelizazioaz beste proiektu batzuetan, jokoen garapenaz eta masterrari buruz hitz egiten dugu "" Hurrengo artikuluan jarraipen bat argitaratuko dugu. Hemen entzun eta lagundu gaitzazu:
PPS Bitartean, Habr-en ingelesezko bertsioan: .
Iturria: www.habr.com