Din hija l-ewwel parti tat-traskrizzjoni tat-test tat-tieni intervista għall-programm tagħna (, ). Mistieden tal-Ħruġ - (), Ph.D., riċerkatur anzjan fiċ-Ċentru Nazzjonali għar-Riċerka Konjittiva, professur assoċjat fil-Fakultà tat-Trasformazzjonijiet Diġitali.
Mill-2012, Andrey ilu jaħdem fil-grupp ta 'riċerka Viżwalizzazzjoni u Grafika tal-Kompjuter. Involut fi proġetti kbar applikati fil-livell statali u internazzjonali. F'din il-parti tal-konversazzjoni, nitkellmu dwar l-esperjenza tiegħu fl-appoġġ AR għal avvenimenti pubbliċi.
Фото (Unsplash.com)
Il-kuntest u l-għanijiet tal-proġett
Kodiċi tal-ħin (minn ) — 00:41
: Nixtieq nibda bil-proġett tal-Logħob Ewropew. Huwa b'ħafna komponenti, diversi timijiet ħadu sehem fil-preparazzjoni, u l-għoti ta 'realtà miżjuda għal udjenza ta' eluf proprju waqt avveniment fl-istadium huwa kompitu pjuttost serju. F'termini tal-involviment tiegħek, kien l-ewwel software?
: Iva, għamilna l-parti tal-ipprogrammar u pprovdejna appoġġ waqt l-ispettaklu. Kien meħtieġ li jintraċċa, jimmonitorja u jniedi kollox f'ħin reali, u jaħdem ukoll mal-grupp tat-televiżjoni. Jekk inqisu dan il-proġett kollu kemm hu, allura nistgħu nitkellmu dwar iċ-ċerimonji tal-ftuħ u tal-għeluq f’Minsk, kif ukoll dwar i/-/erimonja tal-ftu[ tal-kampjonat f'Kazan. Kienet l-istess skema tax-xogħol, iżda avvenimenti differenti. Kien hemm vojt ta’ xahrejn bejniethom. Ħejjejna l-proġett flimkien mal-guys mill-kumpanija .
Iltqajna magħhom b’kumbinazzjoni , li seħħet fil-ħarifa tal-2018. L-istudenti tal-kaptan tagħna wrew il-proġett tal-kors tagħhom dwar is-suġġett tal-VR. Il-ġuvini ġew għandna u staqsew x’qed nagħmlu fil-laboratorju tagħna. Deher xi ħaġa bħal din:
— Inti taħdem mal-VR, imma tista 'taħdem b'realtà miżjuda?
- Ukoll, tip ta ', iva.
- Hemm tali kompitu, b'tali noti introduttorji. Tista' tagħmel dan?
Ħarfu ftit in-nevew tagħhom, ma jidhirx li hemm xejn mhux realistiku:
- Ejja nippruvaw nistudjaw kollox l-ewwel, u mbagħad insibu soluzzjoni.
Dmitrij: Jipprovdu biss appoġġ tal-midja?
Andrew: Huma jagħmlu munzell sħiħ. Mil-lat tal-ġestjoni u l-organizzazzjoni, huma kompletament involuti fid-direzzjoni, l-istadji, l-għażla ta 'xenarju, loġistika u appoġġ tekniku ieħor. Imma riedu jagħmlu xi ħaġa speċjali għal-Logħob Ewropew. Dawn l-effetti speċjali, bħar-realtà mħallta, ilhom isiru għat-televiżjoni għal żmien pjuttost twil, iżda mhumiex l-aktar favur il-baġit f'termini ta 'implimentazzjoni teknika. Għalhekk, il-guys fittxew għażliet alternattivi.
Dmitrij: Ejja niddiskutu l-problema f'aktar dettall. Fiex kienet tikkonsisti?
Andrew: Hemm avveniment. Iddum siegħa u nofs. Irridu niżguraw li l-udjenza li qed taraha live u dawk bilqiegħda fil-grawnd jistgħu jaraw l-effetti tar-realtà miżjuda f'sinkronizzazzjoni sħiħa mal-ispettaklu dirett f'termini ta 'ħin u post fuq is-sit.
Kien hemm numru ta' limitazzjonijiet tekniċi. Kien impossibbli li ssir sinkronizzazzjoni tal-ħin permezz tal-Internet, minħabba li kien hemm biżgħat dwar tagħbija eċċessiva fuq in-netwerk bi stands sħaħ u l-prospett ta 'kapijiet ta' stat li jattendu l-avveniment, li jista 'jamm in-netwerks mobbli.
Andrey Karsakov, ritratt minn
Kellna żewġ komponenti ewlenin għal dan il-proġett - l-esperjenza personali li n-nies jistgħu jiksbu permezz tal-apparat mobbli, u dak li jidħol fix-xandir televiżiv u l-iskrins tal-informazzjoni fl-istadium innifsu.
Jekk f'daqqa waħda persuna tkun qed tara episodji ta 'realtà miżjuda permezz ta' apparat mobbli u fl-istess ħin tidħol fuq l-iskrin, għandha tara l-istess stampa.
Kellna żewġ sistemi prattikament differenti biex ikunu kompletament sinkronizzati fil-ħin. Iżda l-partikolarità ta 'wirjiet bħal dawn hija li dawn huma avvenimenti kumplessi fejn numru kbir ta' servizzi tekniċi huma involuti u l-operazzjonijiet kollha huma mwettqa skond il-kodiċi tal-ħin. Il-kodiċi tal-ħin huwa mument speċifiku fiż-żmien li fih xi ħaġa tibda: dawl, ħoss, in-nies jitilqu, il-ftuħ tal-petali tal-palk, eċċ. Kellna naddattaw għal din is-sistema biex kollox jibda fil-ħin it-tajjeb. Karatteristika oħra kienet li x-xeni u l-episodji b’realtà miżjuda kienu relatati mal-iskript.
Dmitrij: Imma ddeċidejt li tabbanduna l-użu tal-kodiċijiet tal-ħin minħabba r-riskji għoljin ta 'force majeure, jew inizjalment ikkalkulajt xi karatteristiċi tal-qawwa u rrealizzajt li t-tagħbija fuq is-sistema kollha tkun pjuttost għolja?
Andrew: Jekk tagħmel servizz ta 'sinkronizzazzjoni għal udjenza bħal din, allura ma jkunx diffiċli ħafna. Fi kwalunkwe każ, it-talbiet ma jfallux mil-lum għal għada. Iva, it-tagħbija hija għolja, iżda mhix emerġenza. Il-mistoqsija hija jekk jaqbilx li tonfoq riżorsi u ħin fuq dan jekk in-netwerk jintefa f'daqqa. Aħna ma konniex ċerti li dan mhux se jiġri. Fl-aħħarnett, kollox ħadem, b'interruzzjonijiet minħabba t-tagħbija, iżda ħadem, u sinkronizzajna skont il-kodiċi tal-ħin skont skema differenti. Din kienet waħda mill-isfidi globali.
Diffikultajiet ta' implimentazzjoni mil-lat UX
Kodiċi tal-ħin (minn ) — 10:42
Andrew: Kellna nqisu wkoll li l-istadium mhuwiex post tal-kunċert klassiku, u nissinkronizzaw is-sistemi madwar l-ispazju għall-apparat mobbli. Allura, xi żmien ilu mort virali fil-kunċerti ta’ Eminem, imbagħad kien hemm każ ma’ Loboda.
Фото (Unsplash.com)
Iżda din hija dejjem esperjenza quddiemek - il-folla kollha toqgħod quddiem il-palk, is-sinkronizzazzjoni hija pjuttost sempliċi. Fil-każ ta 'stadium, trid tifhem fuq liema naħa taċ-ċirku inti, il-pożizzjoni relattiva, sabiex l-istadium jidħol fl-ispazju li jeżisti fl-ambjent virtwali. Kienet sfida qarsa. Ippruvaw isolvuha b’diversi modi, u r-riżultat kien każ qrib dak li ġie implimentat minn Loboda, iżda mhux f’kull aspett.
Aħna nħallu lill-utent jiddeċiedi fejn hu. Għamilna markings għall-grawnd, fejn in-nies għażlu settur, ringiela, post. Dan kollu f'erba '"klikks". Sussegwentement kellna niddeterminaw id-direzzjoni għall-palk. Biex nagħmlu dan, urejna siluwett ta’ kif għandha tidher bejn wieħed u ieħor ix-xena minn perspettiva tad-dwana. Huwa għaqqadha, sfruttat u dak hu - l-istadju poġġa bilqiegħda. Ippruvajna nissimplifikaw dan il-proċess kemm jista' jkun. Xorta waħda, 90% tat-telespettaturi li riedu jaraw l-ispettaklu mhumiex dawk in-nies li għandhom esperjenza ta’ komunikazzjoni bir-realtà miżjuda.
Dmitrij: Kien hemm applikazzjoni separata għal dan il-proġett?
Andrew: Iva, applikazzjoni għall-iOS u l-Android, li aħna imbuttat lejn il-maħżen. Kien hemm kampanja promozzjonali separata għaliha. Preċedentement kien deskritt fid-dettall kif tniżżel u l-bqija.
Dmitrij: Trid tifhem li m'hemm l-ebda post biex persuna tittestja fiżikament u titgħallem kif tuża tali applikazzjoni. Għalhekk, il-kompitu li "teduka" l-udjenza sar aktar ikkumplikat.
Andrew: Iva Iva. Bl-UX, qbidna ħafna ħotob, minħabba li l-utent irid jikseb l-esperjenza fi tliet klikks: niżżel, installat, imniedi - ħadem. Ħafna nies huma għażżien wisq biex isegwu tutorials kumplessi, jaqraw tutorials, eċċ. U aħna ma ppruvajniex nispjegaw kollox lill-utent kemm jista 'jkun fit-tutorja: tieqa tinfetaħ hawn, aċċess għall-kamera hawn, inkella ma taħdimx, eċċ. Tikteb kemm tikteb spjegazzjonijiet, tomgħod kemm iddettaljat, xi gifs iddaħħal, in-nies ma jaqrawhiex.
F'Minsk ġbarna ġabra kbira ta 'feedback dwar din il-parti, u diġà nbidlu ħafna għall-applikazzjoni f'Kazan. Daħħalna hemmhekk mhux biss dawk il-fonogrammi u dawk il-kodiċi tal-ħin li jikkorrispondu għal episodju speċifiku ta 'realtà miżjuda, iżda ħadna l-fonogrammi u l-kodiċi tal-ħin kollha fl-intier tagħhom. Allura l-applikazzjoni semgħet x'kien qed jiġri fil-ħin tat-tnedija, u - jekk persuna illoggjat fil-mument ħażin - tat l-informazzjoni: "Sħabi, jiddispjaċini, l-episodju AR tiegħek se jkun fi 15-il minuta."
Ftit dwar l-arkitettura u l-approċċ għas-sinkronizzazzjoni
Kodiċi tal-ħin (minn ) — 16:37
Dmitrij: Iddeċidejt li tissinkronizza bil-ħoss?
Andrew: Iva, ġara b'inċident. Konna qed infittxu għażliet u ltqajna ma’ kumpanija minn Izhevsk. Huma jagħmlu SDK mhux partikolarment sofistikat, iżda li jaħdem bil-ħadid, li jippermettilek tissinkronizza l-ħoss mal-ħin. Is-sistema kienet pożizzjonata biex taħdem mat-TV, meta tista 'turi xi ħaġa f'applikazzjoni bbażata fuq il-ħoss ta' reklam kondizzjonali jew tagħti esperjenza interattiva bbażata fuq it-track tal-film.
Dmitrij: Iżda hija ħaġa waħda - int bilqiegħda fil-kamra tal-għixien tiegħek, u ħaġa oħra - grawnd b'eluf ta 'nies. Kif ħarġu l-affarijiet għalik bil-kwalità tar-reġistrazzjoni tal-ħoss u r-rikonoxximent sussegwenti tiegħu?
Andrew: Kien hemm ħafna biżgħat u dubji, iżda fil-biċċa l-kbira tal-każijiet kollox kien rikonoxxut tajjeb. Jibnu firem fuq il-binarju awdjo bl-algoritmi cunning tagħhom - ir-riżultat jiżen inqas mill-fajl awdjo oriġinali. Meta l-mikrofonu jisma 'l-ħoss tal-madwar, jipprova jsib dawn il-karatteristiċi u jagħraf it-track ibbażat fuqhom. F'kundizzjonijiet tajbin, l-eżattezza tas-sinkronizzazzjoni hija 0,1-0,2 sekondi. Dan kien aktar minn biżżejjed. F'kundizzjonijiet ħżiena d-diskrepanza kienet sa 0,5 sekondi.
Jiddependi ħafna fuq l-apparat. Ħdimna ma’ flotta kbira ta’ apparati. Għall-iPhones hemm biss 10 mudelli. Huma ħadmu tajjeb f'termini ta 'kwalità u karatteristiċi oħra. Imma bl-androids iż-zoo huwa bħal ommi. Mhux kullimkien irriżulta li s-sinkronizzazzjoni tal-ħoss ħadmet. Kien hemm każijiet meta kien impossibbli li tisma’ binarji differenti fuq apparati differenti minħabba xi partikolaritajiet. X'imkien il-frekwenzi baxxi jisparixxu, x'imkien il-frekwenzi għoljin jibdew tħarħir. Imma jekk l-apparat kellu normalizer fuq il-mikrofonu, is-sinkronizzazzjoni dejjem ħadmet.
Dmitrij: Jekk jogħġbok għidilna dwar l-arkitettura - x'intuża fil-proġett?
Andrew: Għamilna l-applikazzjoni f'Unity - l-iktar għażla sempliċi f'termini ta 'multi-pjattaforma u xogħol bil-grafika. Fondazzjoni AR użata. Mill-ewwel għidna li ma ridniex nikkomplikaw is-sistema, għalhekk illimitajna ruħna għal flotta ta 'apparati li jappoġġaw ARKit u ARCore sabiex ikollna ħin biex nittestjaw kollox. Għamilna plugin għall-SDK DigitalSoft, it . Ħloqna sistema ta’ ġestjoni tal-kontenut sabiex l-iskripts jimxu skont il-kalendarju.
Aħna tinkered ftit mas-sistema tal-partiċelli, għaliex l-utent jista 'jidħol fi kwalunkwe ħin f'episodju partikolari, u għandna bżonnu biex tara kollox mill-mument li minnu huwa sinkronizzat. Ħajjna sistema li tippermetti li x-xenarji jintlagħbu b'mod ċar fil-ħin, sabiex l-esperjenza XNUMXD tkun tista' tiskrollja 'l quddiem u lura, bħal fil-film. Waqt li taħdem barra mill-kaxxa b'animazzjonijiet klassiċi, kellna nimxu ma 'sistemi ta' partiċelli. F'xi punt, jibdew ibid, u jekk issib ruħek x'imkien qabel il-punt ta 'spawn, għadhom ma twieldux, għalkemm jidher li għandhom ikunu. Iżda din il-problema fil-fatt hija pjuttost faċli biex tissolva.
Għall-parti mobbli, l-arkitettura hija pjuttost sempliċi. Għax-xandir televiżiv kollox huwa aktar ikkumplikat. Kellna restrizzjonijiet fuq hardware. Il-klijent stabbilixxa kundizzjoni: "Hawn għandna xi hardware park bħal dan, bejn wieħed u ieħor, jeħtieġ li kollox jaħdem fuqu." Immedjatament iffukajna fuq il-fatt li se naħdmu b'karti tal-qbid tal-vidjo relattivament baġitarji. Iżda l-baġit ma jfissirx li huma ħżiena.
Kien hemm restrizzjonijiet fuq hardware, fuq video capture cards u fuq il-kundizzjonijiet tax-xogħol - kif għandna nirċievu l-istampa. Capture cards - Blackmagic Design, maħduma skont l-iskema Internal keying - dan meta jiġilek frame tal-vidjo mill-kamera. Il-karta għandha ċ-ċippa ta 'l-ipproċessar tagħha stess, fejn tiddaħħal ukoll qafas, li għandu jiġi superimpost fuq dak li jkun dieħel. Il-karta tħallathom - ma tmissx xi ħaġa oħra hemmhekk u ma taffettwax il-qafas mill-kamera tal-vidjo. Hi bżiq ir-riżultat lejn il-kamra tal-kontroll permezz tal-output tal-vidjo. Dan huwa metodu tajjeb għall-overlaying titoli u affarijiet simili oħra, iżda mhuwiex adattat ħafna għal effetti ta 'realtà mħallta minħabba li hemm ħafna restrizzjonijiet fuq il-pipeline tar-rendi.
Dmitrij: F'termini ta' kompjuters f'ħin reali, rbit ta' oġġetti, jew xi ħaġa oħra?
Andrew: F'termini ta 'kwalità u l-kisba tal-effetti mixtieqa. Għax ma nafux fuq xiex qed inpoġġu l-istampa. Aħna sempliċiment nibagħtu informazzjoni dwar il-kulur u t-trasparenza fuq il-fluss oriġinali. Xi effetti bħal rifrazzjonijiet, trasparenza korretta, u dellijiet addizzjonali ma jistgħux jinkisbu b'din l-iskema. Biex tagħmel dan, trid tirrendi kollox flimkien. Per eżempju, m'hemm l-ebda mod kif jinħoloq l-effett ta 'distorsjoni ta' l-arja minn nar jew asfalt sħun. L-istess jgħodd għat-trasferiment tal-effett tat-trasparenza b'kont meħud tal-indiċi refrattiv. Inizjalment għamilna kontenut ibbażat fuq dawn ir-restrizzjonijiet u ppruvajna nużaw effetti xierqa.
Dmitrij: Diġà kellek il-kontenut tiegħek fl-ewwel proġett għal-Logħob Ewropew?
Andrew: Le, l-istadju ewlieni tal-iżvilupp tal-kontenut sar mill-guys minn Sechenov.com. L-artisti grafiċi tagħhom ġibdu l-kontenut bażiku b'animazzjonijiet u affarijiet oħra. U integrajna kollox fil-magna, żidna effetti addizzjonali, adattajna biex kollox ħadem b'mod korrett.
Jekk nitkellmu dwar il-pipeline, allura għax-xandir televiżiv immuntajna kollox fuq Unreal Engine 4. B'kumbinazzjoni, huma biss f'dak il-mument bdew jagħtu spinta lill-għodod tagħhom għar-realtà mħallta. Irriżulta li kollox mhux daqshekk sempliċi. Anke issa l-għodod kollha huma mhux maħduma; kellna nispiċċaw ħafna bl-idejn. F'Minsk ħdimna fuq build apposta tal-magna, jiġifieri, ktibna mill-ġdid xi affarijiet ġewwa l-magna sabiex, pereżempju, inkunu nistgħu niġbdu dellijiet fuq oġġetti reali. Il-verżjoni tal-magna li kienet kurrenti dak iż-żmien ma kellhiex karatteristiċi li jippermettu li dan isir bl-użu ta 'għodod standard. Għal din ir-raġuni, guys tagħna għamlu l-assemblaġġ tad-dwana tagħhom stess biex jipprovdu dak kollu li kien vitalment meħtieġ.
Sfumaturi oħra u adattament għal WorldSkills f'Kazan
Kodiċi tal-ħin (minn ) — 31:37
Dmitrij: Imma dan kollu f’perjodu ta’ żmien pjuttost qasir?
Andrew: L-iskadenzi kienu stretti , skond Minsk - normali. Madwar sitt xhur għall-iżvilupp, iżda meta wieħed iqis il-fatt li sitt persuni kienu involuti. Fl-istess ħin, konna nagħmlu l-parti mobbli u niżviluppaw għodod għall-produzzjoni tat-televiżjoni. Ma kienx hemm biss output ta 'stampa. Per eżempju, sistema ta 'traċċar bl-ottika, għal dan kellek toħloq l-għodda tiegħek.
Dmitrij: Kien hemm xi adattament minn proġett għal ieħor? F'xahar u nofs, kien meħtieġ li jittieħed vantaġġ mill-iżviluppi u jittrasferixxi l-proġett b'kontenut ġdid għal sit ġdid?
Andrew: Iva, kien għal xahar u nofs. Konna ppjanajna vaganza ta’ ġimgħatejn għat-tim kollu wara l-proġett ta’ Minsk. Imma immedjatament wara l-għeluq, il-ġuvini minn Sechenov.com joħorġu u jgħidu: "Well, ejja nagħmlu Kazan allura." Xorta rnexxielna nistrieħu ftit, iżda qlibna għal dan il-proġett pjuttost malajr. Lestejna xi xogħol tekniku. Il-biċċa l-kbira tal-ħin intefaq fuq il-kontenut, għax għal WorldSkills għamilna dan kollu, aħna biss ikkoordinajna mat-tim tal-produzzjoni. Kien hemm biss script min-naħa tagħhom. Iżda kien aktar faċli - ma kienx hemm bżonn ta' iterazzjonijiet żejda. Meta toħloq kontenut lilek innifsek, immedjatament tara kif taħdem fil-magna, u tista 'malajr teditja u tikkoordina.
Rigward il-parti mobbli, ħadna kont tal-irqaq kollha li kellna f'Minsk. Għamilna disinn ġdid ta 'applikazzjoni, fassalna mill-ġdid l-arkitettura ftit, żidna tutorials, iżda ppruvajna nagħmluha qasira u ċara kemm jista' jkun. Naqqasna n-numru ta’ passi tal-utent mit-tnedija tal-applikazzjoni sal-vista tal-kontenut. Xahar u nofs kien biżżejjed biex jitlesta proġett adegwat. F’ġimgħa u nofs wasalna fis-sit. Kien aktar faċli li taħdem hemm għax il-kontroll kollu fuq il-proġett kien f’idejn l-organizzaturi; ma kienx hemm bżonn ta’ koordinazzjoni ma’ kumitati oħra. Kien aktar sempliċi u faċli biex taħdem f'Kazan u kien pjuttost normali li kien hemm inqas ħin.
Dmitrij: Imma ddeċidejt li tħalli l-approċċ għas-sinkronizzazzjoni kif kien, ibbażat fuq il-ħoss?
Andrew: Iva, ħallejna bil-ħoss. Ħadem tajjeb. Kif jgħidu, jekk taħdem, tmissx. Aħna sempliċiment ħadna in kunsiderazzjoni l-sfumaturi tal-kwalità tal-korsa tal-awdjo. Meta għamlu l-intro, kien hemm episodju ta 'taħriġ għan-nies biex jippruvaw qabel ma beda l-ispettaklu. Kien sorprendenti li meta fil-mument tad-daqq tal-korsa fl-istadium ikun hemm applause maltemp, "live", is-sistema tippermettilek tissinkronizza tajjeb ma 'din il-korsa, imma jekk f'dan il-mument applaws irreġistrat jitħallat mal-korsa, allura l- track m'għadhiex maqbuda. Sfumaturi bħal dawn ġew ikkunsidrati, u kollox kien sinkronizzat pjuttost tajjeb f'termini ta 'ħoss.
PS Fit-tieni parti tal-ħarġa nitkellmu dwar il-viżwalizzazzjoni tad-dejta xjentifika, l-immudellar tal-proċess fi proġetti oħra, l-iżvilupp tal-logħob u l-programm tal-kaptan "" Se nippubblikaw kontinwazzjoni fl-artiklu li jmiss. Tista' tisma' u tappoġġa hawn:
PPS Intant, fuq il-verżjoni bl-Ingliż ta’ Habr: .
Sors: www.habr.com