Kini ang unang bahin sa text transcript sa ikaduhang interbyu para sa among programa (, ). Isyu Bisita - (), Ph.D., senior researcher sa National Center for Cognitive Research, associate professor sa Faculty of Digital Transformations.
Sukad sa 2012, nagtrabaho si Andrey sa grupo sa panukiduki nga Visualization ug Computer Graphics. Nag-apil sa dagkong mga proyekto nga gipadapat sa estado ug internasyonal nga lebel. Niini nga bahin sa panag-istoryahanay, naghisgot kami bahin sa iyang kasinatian sa suporta sa AR alang sa publiko nga mga panghitabo.
litrato (Unsplash.com)
Konteksto ug tumong sa proyekto
Timecode (ni ) β 00:41
: Gusto kong magsugod sa proyekto sa European Games. Kini usa ka multi-component, daghang mga team ang miapil sa pag-andam, ug ang paghatag og dugang nga kamatuoran alang sa usa ka mamiminaw sa liboan sa panahon mismo sa usa ka kalihokan sa estadyum usa ka seryoso nga buluhaton. Sa mga termino sa imong pag-apil, una ba ang software?
: Oo, gibuhat namo ang bahin sa programming ug naghatag suporta sa panahon sa pasundayag. Gikinahanglan ang pagsubay, pag-monitor ug paglansad sa tanan sa tinuud nga oras, ug pagtrabaho usab sa grupo sa telebisyon. Kung atong tagdon kini nga proyekto sa kinatibuk-an, mahimo natong hisgutan ang mahitungod sa pagbukas ug pagtapos sa mga seremonyas sa Minsk, ingon man mahitungod sa pagbukas nga seremonyas sa championship sa Kazan. Parehas kadto nga laraw sa trabaho, apan lainlain nga mga panghitabo. Duha ka buwan ang gintang nila. Giandam namo ang proyekto kauban ang mga lalaki gikan sa kompanya .
Nakahibalag mi nila , nga nahitabo sa tingdagdag sa 2018. Gipakita sa mga estudyante sa among agalon ang ilang proyekto sa kurso sa hilisgutan sa VR. Ang mga lalaki miduol kanamo ug nangutana kung unsa ang among gibuhat sa among laboratoryo. Kini tan-awon sama niini:
- Nagtrabaho ka sa VR, apan mahimo ka ba nga magtrabaho uban ang gipadako nga kamatuoran?
- Aw, matang sa, oo.
- Adunay ingon nga buluhaton, nga adunay ingon nga pasiuna nga mga nota. Mahimo ba nimo kini?
Ilang gikaskas gamay ang ilang mga singkamas, morag walay bisan unsa nga dili realistiko:
- Atong sulayan nga tun-an una ang tanan, ug dayon mangita usa ka solusyon.
Dmitriy: Naghatag ra ba sila og suporta sa media?
Andrew: Naghimo sila usa ka bug-os nga stack. Gikan sa punto sa panglantaw sa pagdumala ug organisasyon, sila hingpit nga nalambigit sa pagdumala, pagpahigayon, pagpili sa mga talan-awon, logistics ug uban pang teknikal nga suporta. Apan gusto nila nga maghimo usa ka butang nga espesyal alang sa mga Dula sa Europa. Kini nga mga espesyal nga epekto, sama sa nagkasagol nga realidad, gihimo alang sa telebisyon sa dugay nga panahon, apan dili kini ang labing mahigalaon sa badyet sa mga termino sa teknikal nga pagpatuman. Busa, ang mga lalaki nangita alang sa alternatibong mga kapilian.
Dmitriy: Atong hisgotan ang problema sa mas detalyado. Unsa ang gilangkuban niini?
Andrew: Adunay usa ka panghitabo. Molungtad kini ug usa ka oras ug tunga. Kinahanglan natong sigurohon nga ang mga tumatan-aw nga nagtan-aw niini nga buhi ug kadtong naglingkod sa estadyum makakita sa gipadako nga mga epekto sa kamatuoran sa bug-os nga pag-synchronize sa live show sa termino sa oras ug lokasyon sa site.
Adunay ubay-ubay nga teknikal nga mga limitasyon. Imposible nga buhaton ang pag-synchronize sa oras pinaagi sa Internet, tungod kay adunay mga kahadlok bahin sa sobra nga pagkarga sa network nga adunay bug-os nga mga baroganan ug ang paglaom sa mga pangulo sa estado nga motambong sa kalihokan, nga mahimong mag-jam sa mga mobile network.
Andrey Karsakov, litrato gikan
Adunay kami duha ka hinungdanon nga sangkap sa kini nga proyekto - ang personal nga kasinatian nga makuha sa mga tawo pinaagi sa mga mobile device, ug kung unsa ang naa sa broadcast sa telebisyon ug mga screen sa impormasyon sa estadyum mismo.
Kung kalit nga ang usa ka tawo nagtan-aw sa mga yugto sa gipadako nga kamatuoran pinaagi sa usa ka mobile device ug sa parehas nga oras naa sa screen, kinahanglan niya nga makita ang parehas nga litrato.
Nagkinahanglan kami og duha ka magkalahi nga sistema aron hingpit nga ma-synchronize sa panahon. Apan ang peculiarity sa maong mga pasundayag mao nga kini mao ang mga komplikado nga mga panghitabo diin ang usa ka dako nga gidaghanon sa mga teknikal nga mga serbisyo nga nalangkit ug ang tanan nga mga operasyon gihimo sumala sa time code. Ang time code maoy usa ka espesipikong gutlo sa panahon diin nagsugod ang usa ka butang: kahayag, tingog, mga tawo nga nanglakaw, pag-abli sa mga petals sa entablado, ug uban pa. Kinahanglan namon nga ipahiangay kini nga sistema aron ang tanan magsugod sa husto nga oras. Ang laing bahin mao nga ang mga eksena ug mga yugto nga adunay gipadako nga realidad adunay kalabotan sa script.
Dmitriy: Apan nakahukom ka ba nga biyaan ang paggamit sa mga time code tungod sa taas nga peligro sa force majeure, o sa sinugdan imong gikalkulo ang pipila ka mga kinaiya sa gahum ug nahibal-an nga ang pagkarga sa tibuuk nga sistema labi ka taas?
Andrew: Kung maghimo ka usa ka serbisyo sa pag-synchronize alang sa ingon nga mamiminaw, nan kini dili kaayo lisud. Sa bisan unsa nga kaso, ang mga hangyo dili mapakyas sa tibuok gabii. Oo, ang load taas, apan dili kini usa ka emerhensya. Ang pangutana mao kung angay ba nga mogahin og mga kapanguhaan ug oras niini kung ang network kalit nga mawala. Dili kami sigurado nga dili kini mahitabo. Sa katapusan, ang tanan nagtrabaho, nga adunay mga pagkabalda tungod sa pagkarga, apan kini nagtrabaho, ug kami nag-synchronize sumala sa time code sumala sa lahi nga laraw. Usa kini sa mga hagit sa kalibutan.
Mga kalisud sa pagpatuman gikan sa usa ka punto sa UX
Timecode (ni ) β 10:42
Andrew: Kinahanglan usab namon nga tagdon nga ang istadyum dili usa ka klasiko nga lugar sa konsyerto, ug i-synchronize ang mga sistema sa tibuuk nga wanang alang sa mga mobile device. Mao nga, pipila ka mga panahon ang milabay nag-viral ako sa Eminem concerts, unya naay kaso sa Loboda.
litrato (Unsplash.com)
Apan kini kanunay usa ka kasinatian sa imong atubangan - ang tibuuk nga panon nagbarug sa atubangan sa entablado, ang pag-synchronize yano ra. Sa kaso sa usa ka istadyum, kinahanglan nimo nga masabtan kung asa nga kilid sa lingin ikaw anaa, ang relatibong posisyon, aron ang estadyum mohaum sa luna nga anaa sa virtual nga palibot. Kini usa ka maaslom nga hagit. Gisulayan nila kini nga sulbaron sa lainlaing mga paagi, ug ang sangputanan usa ka kaso nga hapit sa gipatuman sa Loboda, apan dili sa tanan nga bahin.
Gitugotan namon ang tiggamit kung asa siya. Naghimo kami og mga marka alang sa estadyum, diin ang mga tawo mipili sa usa ka sektor, usa ka laray, usa ka dapit. Kining tanan sa upat ka "pag-klik". Sunod kinahanglan namon nga mahibal-an ang direksyon sa entablado. Aron mahimo kini, gipakita namon ang usa ka silhouette kung unsa ang hitsura sa talan-awon gikan sa usa ka naandan nga panan-aw. Gihiusa niya kini, gipitik ug mao na - ang entablado milingkod. Gisulayan namon nga pasimplehon kini nga proseso kutob sa mahimo. Bisan pa, 90% sa mga tumatan-aw nga gusto motan-aw sa salida dili kadtong mga tawo nga adunay kasinatian sa pagpakigsulti sa gipadako nga kamatuoran.
Dmitriy: Aduna bay lain nga aplikasyon alang niini nga proyekto?
Andrew: Oo, usa ka aplikasyon alang sa iOS ug Android, nga among giduso sa tindahan. Adunay usa ka lahi nga kampanya sa promosyon alang niini. Gihulagway kini kaniadto sa detalye kung unsaon pag-download ug uban pa.
Dmitriy: Kinahanglan nimong masabtan nga walaβy lugar alang sa usa ka tawo nga pisikal nga pagsulay ug pagkat-on kung giunsa paggamit ang ingon nga aplikasyon. Busa, ang tahas sa "pag-edukar" sa mamiminaw nahimong mas komplikado.
Andrew: Oo Oo. Uban sa UX, nakakuha kami daghang mga bumps, tungod kay gusto sa user nga makuha ang kasinatian sa tulo ka mga pag-klik: gi-download, gi-install, gilunsad - kini nagtrabaho. Daghang mga tawo ang tapulan kaayo sa pagsunod sa komplikado nga mga panudlo, pagbasa sa mga panudlo, ug uban pa. Ug wala kami mosulay sa pagpatin-aw sa tanan sa user kutob sa mahimo sa tutorial: ang usa ka bintana mag-abli dinhi, ang pag-access sa camera dinhi, kung dili kini dili molihok, ug uban pa. Bisag unsa pa ka daghang mga pagpatin-aw ang imong gisulat, bisan unsa ka detalyado ang imong pag-usap, bisan unsa nga gif ang imong ibutang, ang mga tawo dili magbasa niini.
Sa Minsk nakolekta namo ang usa ka dako nga pool sa feedback niini nga bahin, ug daghan na ang nausab alang sa aplikasyon sa Kazan. Gibutang namo didto dili lang kadtong mga phonograms ug kadtong mga time code nga katumbas sa usa ka piho nga yugto sa augmented reality, apan gikuha namo ang tanan nga mga ponograma ug mga time code sa ilang kinatibuk-an. Mao nga ang aplikasyon nakadungog kung unsa ang nahitabo sa oras sa paglansad, ug - kung ang usa ka tawo naka-log in sa sayup nga higayon - naghatag kini kasayuran: "Kauban, pasensya, ang imong yugto sa AR naa sa 15 minuto."
Usa ka gamay bahin sa arkitektura ug pamaagi sa pag-synchronize
Timecode (ni ) β 16:37
Dmitriy: Nakahukom ka ba nga mag-synchronize pinaagi sa tunog?
Andrew: Oo, kini nahitabo sa aksidente. Nagtan-aw kami sa mga kapilian ug nakit-an namon ang usa ka kompanya gikan sa Izhevsk. Naghimo sila usa ka dili labi ka sopistikado, apan nagtrabaho nga puthaw nga SDK, nga nagtugot kanimo nga i-synchronize ang tunog sa oras. Ang sistema gipahimutang aron magtrabaho sa TV, kung mahimo nimo ipakita ang usa ka butang sa usa ka aplikasyon base sa tunog sa usa ka kondisyon nga ad o maghatag usa ka interactive nga kasinatian base sa track sa sine.
Dmitriy: Apan kini usa ka butang - naglingkod ka sa imong sala, ug usa pa ka butang - usa ka istadyum nga adunay liboan ka mga tawo. Sa unsang paagi nahimo ang mga butang alang kanimo sa kalidad sa sound recording ug sa sunod nga pag-ila niini?
Andrew: Adunay daghang mga kahadlok ug pagduhaduha, apan sa kadaghanan nga mga kaso ang tanan naila nga maayo. Nagtukod sila og mga pirma sa audio track gamit ang ilang maliputon nga mga algorithm - ang resulta mas ubos kay sa orihinal nga audio file. Kung ang mikropono maminaw sa naglibot nga tingog, kini mosulay sa pagpangita niini nga mga bahin ug sa pag-ila sa track base niini. Sa maayo nga mga kahimtang, ang katukma sa pag-synchronize mao ang 0,1-0,2 segundos. Kini labaw pa sa igo. Sa dili maayo nga mga kahimtang ang kalainan hangtod sa 0,5 segundos.
Daghan ang nagdepende sa aparato. Nagtrabaho kami sa usa ka dako nga panon sa mga aparato. Alang sa mga iPhone adunay 10 ra nga mga modelo. Nagtrabaho sila og maayo sa mga termino sa kalidad ug uban pang mga bahin. Apan sa mga android ang zoo sama sa akong inahan. Dili bisan asa nahimo nga ang sound synchronization nagtrabaho. Adunay mga kaso nga imposible nga makadungog sa lainlaing mga track sa lainlaing mga aparato tungod sa pipila nga mga lahi. Sa usa ka dapit ang ubos nga frequency mawala, sa usa ka dapit ang taas nga frequency magsugod sa wheeze. Apan kung ang aparato adunay normalizer sa mikropono, ang pag-synchronize kanunay nga nagtrabaho.
Dmitriy: Palihug sultihi kami bahin sa arkitektura - unsa ang gigamit sa proyekto?
Andrew: Gihimo namon ang aplikasyon sa Unity - ang pinakasimple nga kapilian sa mga termino sa multi-platform ug pagtrabaho kauban ang mga graphic. Gigamit ang AR Foundation. Gisulti dayon namon nga dili namon gusto nga komplikado ang sistema, mao nga gilimitahan namon ang among kaugalingon sa usa ka panon sa mga aparato nga nagsuporta sa ARKit ug ARCore aron adunay oras sa pagsulay sa tanan. Naghimo kami usa ka plugin alang sa DigitalSoft SDK, kini . Naghimo kami og sistema sa pagdumala sa sulod aron ang mga script modagan sumala sa timeline.
Gisusi namon ang gamay sa sistema sa partikulo, tungod kay ang tiggamit makasulod bisan unsang oras sa usa ka partikular nga yugto, ug kinahanglan namon nga makita niya ang tanan gikan sa higayon nga iyang gi-synchronize. Gipili namo ang usa ka sistema nga nagtugot sa mga senaryo nga maklaro sa oras, aron ang kasinatian sa XNUMXD mahimong ma-scroll balik-balik, sama sa usa ka salida. Samtang kini nagtrabaho sa gawas sa kahon nga adunay klasiko nga mga animation, kinahanglan namon nga mag-tinker sa mga sistema sa partikulo. Sa usa ka punto, nagsugod sila sa pagpamulak, ug kung makit-an nimo ang imong kaugalingon sa usa ka lugar sa wala pa ang punto sa pagpamunga, wala pa sila matawo, bisan kung ingon kini kinahanglan. Apan kini nga problema sa tinuud dali ra masulbad.
Alang sa mobile nga bahin, ang arkitektura yano ra. Alang sa pagsibya sa telebisyon ang tanan mas komplikado. Kami adunay mga pagdili sa hardware. Ang kustomer nagbutang usa ka kondisyon: "Ania kami adunay ingon ug ingon niana nga hardware nga parke, sa halos pagsulti, ang tanan kinahanglan nga magtrabaho niini." Gipunting dayon namo ang kamatuoran nga magtrabaho kami sa medyo badyet nga mga video capture card. Apan ang badyet wala magpasabut nga sila dili maayo.
Adunay mga pagdili sa hardware, sa mga video capture card ug sa mga kondisyon sa pagtrabaho - kung giunsa naton madawat ang litrato. Pagkuha og mga kard - Blackmagic Design, nagtrabaho sumala sa Internal keying scheme - kini kung ang usa ka video frame moabut kanimo gikan sa camera. Ang kard adunay kaugalingon nga pagproseso nga chip, diin gisal-ot usab ang usa ka frame, nga kinahanglan ipatong sa ibabaw sa umaabot nga usa. Gisagol kini sa kard - wala kami magtandog sa bisan unsang butang didto ug dili makaapekto sa frame gikan sa video camera. Iyang giluwa ang resulta ngadto sa control room pinaagi sa video output. Kini usa ka maayo nga pamaagi alang sa pag-overlay sa mga titulo ug uban pang parehas nga mga butang, apan dili kaayo angay alang sa nagkasagol nga mga epekto sa realidad tungod kay adunay daghang mga pagdili sa render pipeline.
Dmitriy: Sa mga termino sa real-time nga pag-compute, pagbugkos sa butang, o uban pa?
Andrew: Sa mga termino sa kalidad ug pagkab-ot sa gitinguha nga mga epekto. Tungod kay wala kami kahibalo kung unsa ang among gibutang sa litrato sa ibabaw. Nagpadala lang kami og kolor ug transparency nga impormasyon sa ibabaw sa orihinal nga sapa. Ang ubang mga epekto sama sa mga repraksyon, hustong transparency, ug dugang nga mga anino dili makab-ot niini nga laraw. Aron mahimo kini, kinahanglan nimo nga i-render ang tanan nga magkauban. Pananglitan, wala'y paagi sa paghimo sa epekto sa pagtuis sa hangin gikan sa kalayo o init nga aspalto. Ang sama nga moadto alang sa pagbalhin sa transparency nga epekto nga gikonsiderar ang refractive index. Naghimo kami sa una nga sulud base sa kini nga mga pagdili ug misulay sa paggamit sa angay nga mga epekto.
Dmitriy: Aduna ka na ba sa imong kaugalingon nga sulud sa una nga proyekto alang sa mga Dula sa Europa?
Andrew: Dili, ang panguna nga yugto sa pag-uswag sa sulud gihimo sa mga lalaki gikan sa Sechenov.com. Ang ilang mga graphic artist nagdrowing sa batakang sulod sa mga animation ug uban pang mga butang. Ug gisagol namon ang tanan sa makina, gidugang ang dugang nga mga epekto, gipahiangay kini aron ang tanan molihok sa husto.
Kung maghisgot kami bahin sa pipeline, unya alang sa pag-broadcast sa telebisyon among gitigum ang tanan sa Unreal Engine 4. Sulagma, niadtong higayona nagsugod sila sa pagpadako sa ilang mga himan alang sa nagkasagol nga kamatuoran. Kini nahimo nga ang tanan dili kaayo yano. Bisan karon ang tanan nga mga himan hilaw; kinahanglan namon nga tapuson ang daghan pinaagi sa kamot. Sa Minsk nagtrabaho kami sa usa ka naandan nga pagtukod sa makina, nga mao, among gisulat pag-usab ang pipila ka mga butang sa sulod sa makina aron, pananglitan, makadrowing kami og mga anino sa ibabaw sa tinuod nga mga butang. Sa bersyon sa makina nga kasamtangan niadtong panahona, wala'y mga bahin nga magtugot niini nga buhaton gamit ang standard nga mga himan. Tungod niini nga hinungdan, ang among mga lalaki naghimo sa ilang kaugalingon nga kostumbre nga asembliya aron mahatagan ang tanan nga kinahanglanon kaayo.
Ang ubang mga nuances ug pagpahiangay sa WorldSkills sa Kazan
Timecode (ni ) β 31:37
Dmitriy: Apan kining tanan sa mubo nga panahon?
Andrew: Hugot ang mga deadline , sumala sa Minsk - normal. Mga unom ka bulan alang sa kalamboan, apan gikonsiderar ang kamatuoran nga unom ka mga tawo ang nalambigit. Sa samang higayon, naghimo kami sa mobile nga bahin ug nagpalambo sa mga himan alang sa produksyon sa telebisyon. Adunay dili lamang usa ka hulagway nga output. Pananglitan, usa ka sistema sa pagsubay nga adunay mga optika, alang niini kinahanglan nimo nga maghimo imong kaugalingon nga mga himan.
Dmitriy: Aduna bay adaptasyon gikan sa usa ka proyekto ngadto sa lain? Sa usa ka bulan ug tunga, kinahanglan ba nga pahimuslan ang mga pag-uswag ug ibalhin ang proyekto nga adunay bag-ong sulud sa usa ka bag-ong site?
Andrew: Oo, kini sulod sa usa ka bulan ug tunga. Nagplano kami og duha ka semana nga bakasyon alang sa tibuok team human sa proyekto sa Minsk. Apan diha-diha dayon human sa pagsira, ang mga lalaki gikan sa Sechenov.com miduol ug miingon: "Bueno, buhaton ta ang Kazan." Nakapahuway gihapon kami og gamay, apan dali ra nga mibalhin sa kini nga proyekto. Nahuman namo ang pipila ka teknikal nga trabaho. Kadaghanan sa oras gigugol sa sulud, tungod kay alang sa WorldSkills nahimo namon kini sa hingpit, nakig-coordinate lang kami niini sa team sa produksiyon. Adunay usa ra ka script sa ilang bahin. Apan mas sayon ββ- wala na kinahanglana ang dugang nga mga pag-uli. Kung maghimo ka sa imong kaugalingon nga sulud, makita dayon nimo kung giunsa kini molihok sa makina, ug mahimo ka dali nga mag-edit ug mag-coordinate.
Mahitungod sa mobile nga bahin, among gikonsiderar ang tanan nga mga subtleties nga naa namo sa Minsk. Naghimo kami usa ka bag-ong disenyo sa aplikasyon, gidesinyo pag-usab ang arkitektura sa gamay, gidugang nga mga panudlo, apan gisulayan nga himuon kini nga mubo ug tin-aw kutob sa mahimo. Among gipakunhod ang gidaghanon sa mga lakang sa tiggamit gikan sa paglansad sa aplikasyon ngadto sa pagtan-aw sa sulod. Ang usa ka bulan ug tunga igo na aron makompleto ang usa ka igong proyekto. Sa usa ka semana ug tunga nakaabot mi sa site. Mas sayon ββang pagtrabaho didto tungod kay ang tanang kontrol sa proyekto anaa sa mga kamot sa mga organizer; dili na kinahanglan nga makig-coordinate sa ubang mga komite. Mas simple ug mas sayon ββang pagtrabaho sa Kazan ug normal ra nga gamay ra ang oras.
Dmitriy: Apan nakahukom ka ba nga biyaan ang pamaagi sa pag-synchronize ingon kaniadto, base sa tunog?
Andrew: Oo, gibiyaan namo kini pinaagi sa tingog. Nagtrabaho kini og maayo. Sama sa giingon nila, kung kini molihok, ayaw paghikap niini. Gihunahuna ra namon ang mga nuances sa kalidad sa audio track. Sa dihang gihimo nila ang intro, adunay usa ka yugto sa pagbansay nga sulayan sa mga tawo sa wala pa magsugod ang pasundayag. Katingad-an nga kung sa panahon sa pagdula sa track sa istadyum adunay makusog nga palakpak, "live", gitugotan ka sa sistema nga ma-synchronize kini nga maayo sa kini nga track, apan kung niining higayona ang natala nga pagpalakpak gisagol sa track, nan ang wala na madakpi ang track. Ang ingon nga mga nuances gikonsiderar, ug ang tanan na-synchronize nga maayo sa mga termino sa tunog.
PS Sa ikaduhang bahin sa isyu naghisgot kami mahitungod sa siyentipikong datos nga paghanduraw, proseso sa pagmodelo sa ubang mga proyekto, pagpalambo sa dula ug programa sa agalon "" Magpatik mi ug sumpay sa sunod nga artikulo. Mahimo nimong paminawon ug suportahan kami dinhi:
PPS Samtang, sa English nga bersyon sa Habr: .
Source: www.habr.com