Podcast "ITMO Research_": faʻafefea ona faʻafeiloaʻi le tuʻufaʻatasia o mea AR ma se faʻaaliga i luga o le fua o se taʻaloga atoa

O le vaega muamua lea o tusitusiga o le faatalanoaga lona lua mo la tatou polokalame (Apple Podcasts, Yandex.Musika). Tu'u mai tagata asiasi - Andrey Karsakov (kapc3d), Ph.D., tagata suʻesuʻe sinia i le National Center for Cognitive Research, polofesa lagolago i le Faculty of Digital Transformations.

Talu mai le 2012, sa galue Andrey i le vaega suʻesuʻe Visualization ma Computer Graphics. Auai i galuega tetele faʻaaogaina i le setete ma tulaga faʻavaomalo. I lenei vaega o le talanoaga, matou te talanoa e uiga i lona poto masani i le lagolago a le AR mo mea lautele.

Podcast "ITMO Research_": faʻafefea ona faʻafeiloaʻi le tuʻufaʻatasia o mea AR ma se faʻaaliga i luga o le fua o se taʻaloga atoa
ata O le Inisinia RAEng (Unsplash.com)

Tulaga ma sini o le poloketi

Timecode (e fa'alogo leo) — 00:41

dmitrykabanov: Ou te fia amata i le poloketi Taaloga a Europa. E tele vaega, e tele 'au na auai i le sauniuniga, ma o le tuʻuina atu o mea moni faʻaopoopo mo le faitau afe o tagata i le taimi tonu o se faʻalavelave i le malae taalo o se galuega mamafa. I le tulaga o lou auai, na muamua le polokalama?

kapc3d: Ioe, sa matou faia le vaega o polokalame ma tuuina atu le lagolago i le taimi o le faaaliga. Sa tatau ona siaki, mataʻituina ma faʻalauiloa mea uma i le taimi moni, ma galulue faʻatasi ma le televise. Afai tatou te mafaufau i lenei poloketi atoa, ona mafai lea ona tatou talanoa e uiga i sauniga amata ma tapunia Taaloga a Europa i Minsk, faʻapea foʻi ma le sauniga amata o le siamupini WorldSkills i Kazan. O le faiga lava lea e tasi, ae eseese mea na tutupu. Sa i ai se va o le lua masina i lo latou va. Na matou saunia le poloketi faʻatasi ma tama mai le kamupani Sechenov.com.

Na matou feiloai faafuase'i ia i latou Fa'asaienisi Festival, lea na tupu i le tautoulu o le 2018. Na fa'aalia e tamaiti a'oga a le matou matai a latou galuega fa'atino ile autu ole VR. Na o mai tama ia i matou ma fesili mai po o le a le matou mea o fai i le matou fale suesue. Na foliga mai e pei o lenei:

- E te galue ma VR, ae e mafai ona e galue ma faʻateleina mea moni?

- Ia, ituaiga, ioe.

- O loʻo i ai se galuega faʻapea, faʻatasi ai ma ia faʻamatalaga folasaga. E mafai ona e faia?

Na latou sasaina teisi o latou tuga, e foliga mai e leai se mea e le talafeagai:

- Tatou taumafai e suʻesuʻe muamua mea uma, ona suʻe lea o se fofo.

Dmitriy: Pe na'o latou tu'uina atu le lagolago a le aufaasālalau?

Andrei: Latou te faia se faaputuga atoa. Mai le vaaiga o le pulega ma le faʻalapotopotoga, latou te aʻafia atoatoa i le faʻatonuina, faʻatulagaina, filifiliga o vaaiga, logistics ma isi lagolago faʻapitoa. Ae na latou mananao e faia se mea faapitoa mo Taaloga a Europa. O nei faʻapitoa faʻapitoa, e pei o mea moni fefiloi, ua leva ona faia mo le televise, ae e leʻo sili ona faʻafeiloaʻi tupe i tulaga o faʻatinoga faʻapitoa. O le mea lea, na suʻe e tama mo isi filifiliga.

Dmitriy: Sei o tatou talanoaina atili le faafitauli. O a mea na aofia ai?

Andrei: E iai se mea na tupu. E atoa le itula ma le afa. E tatau ona tatou mautinoa o le au maimoa o loʻo matamata i ai ola ma i latou o loʻo nonofo i totonu o le malae taʻalo e mafai ona vaʻaia le faʻateleina o aafiaga moni i le faʻamaopoopoina atoa ma le faʻaaliga ola e tusa ai ma le taimi ma le nofoaga i luga o le saite.

Sa i ai le tele o tapulaa faʻapitoa. Sa le mafai ona faia le taimi faʻatasi e ala i le Initaneti, ona sa i ai popolega e uiga i le tele o uta i luga o le upega tafaʻilagi ma tulaga atoatoa ma le faʻamoemoe o ulu o le setete e auai i le mea na tupu, lea e mafai ona faʻapipiʻi fesoʻotaʻiga feaveaʻi.

Andrey Karsakov, ata mai mea mai le Iunivesite ITMO
Podcast "ITMO Research_": faʻafefea ona faʻafeiloaʻi le tuʻufaʻatasia o mea AR ma se faʻaaliga i luga o le fua o se taʻaloga atoaE lua a matou vaega taua i lenei poloketi - o le poto masani e mafai e tagata ona maua e ala i masini feaveaʻi, ma mea e alu i faʻasalalauga televise ma faʻamatalaga faʻamatalaga i totonu o le malae lava ia.

Afai e faʻafuaseʻi ona matamata se tagata i vaega o mea moni faʻateleina e ala i se masini feaveaʻi ma i le taimi lava e tasi e alu i luga o le lau, e tatau ona ia vaʻai i le ata lava e tasi.

Sa matou mana'omia ni faiga e lua e matua'i eseese ina ia fa'amaopoopo atoatoa i le taimi. Ae o le uiga ese o ia faʻaaliga o mea nei o faʻalavelave lavelave lea o loʻo aʻafia ai le tele o auaunaga faʻapitoa ma faʻatinoina uma gaioiga e tusa ai ma tulafono o taimi. Taimi code o se taimi patino i le taimi e amata ai se mea: malamalama, leo, tagata o ese, avanoa petals tatala, ma isi. Sa tatau ona matou fetuunaʻi i lenei faiga ina ia amata ai mea uma i le taimi saʻo. O le isi fa'aaliga e fa'apea, o va'aiga ma vaega fa'atasi ma mea moni fa'aopoopo e fa'atatau i tusitusiga.

Dmitriy: Ae pe na e filifili e lafoai le faʻaaogaina o taimi faʻailoga ona o le maualuga o le lamatiaga o le malosi majeure, pe na e fuafua muamua nisi o malosiaga ma iloa ai o le avega i luga o le faiga atoa o le a maualuga tele?

Andrei: Afai e te faia se auaunaga faʻamaopoopo mo se aofia faapena, e le faigata tele. I soo se tulaga, o talosaga o le a le toilalo i le po. Ioe, e maualuga le uta, ae e le o se faʻalavelave faʻafuaseʻi. O le fesili pe aoga le faʻaaluina o punaoa ma taimi i lenei mea pe a faʻafuaseʻi ona alu ese le fesoʻotaʻiga. Matou te le'i mautinoa o le a le tupu lenei mea. Mulimuli ane, na aoga mea uma, ma faʻalavelave ona o le uta, ae na aoga, ma matou faʻamaopoopoina e tusa ai ma le taimi code e tusa ai ma se isi polokalame. O se tasi lea o luitau o le lalolagi.

Faigata o le faʻatinoga mai se vaaiga UX

Timecode (e fa'alogo leo) — 10:42

Andrei: Sa tatau fo'i ona matou fa'amanino o le malae ta'alo e le'o se nofoaga fa'afiafia fa'apitoa, ma fa'amaopoopo faiga i luga o le avanoa mo masini feavea'i. O lea, i se taimi ua mavae na ou alu ai i viral tala moni augmented i konaseti Eminem, ona i ai lea o se mataupu ma Loboda.

ata Robert Tofa (Unsplash.com)
Podcast "ITMO Research_": faʻafefea ona faʻafeiloaʻi le tuʻufaʻatasia o mea AR ma se faʻaaliga i luga o le fua o se taʻaloga atoaAe e masani lava o se mea na tupu i ou luma - o le motu o tagata uma e tutu i luma o le tulaga, o le faʻamaopoopoina e faigofie lava. I le tulaga o se malae taalo, e tatau ona e malamalama po o le a le itu o le liʻo o loʻo e i ai, le tulaga faʻapitoa, ina ia fetaui le malae i le avanoa o loʻo i ai i totonu o le siosiomaga virtual. O se luitau faigata. Na latou taumafai e foia i auala eseese, ma o le taunuuga o se mataupu e latalata i le mea na faatino e Loboda, ae le o itu uma.

Matou te tuʻuina atu i le tagata faʻaoga e filifili poʻo fea o ia. Na matou faia ni faailoga mo le malae taalo, lea e filifili ai e tagata se vaega, se laina, se nofoaga. O nei mea uma i "kiliki" e fa. Ona sosoo ai lea ma le fuafuaina o le itu i le tulaga. Ina ia faia lenei mea, matou faʻaalia se ata o le mea e tatau ona foliga mai i se vaaiga masani. Na ia tuʻufaʻatasia, tata ma o le mea lena - na nofo i lalo le tulaga. Sa matou taumafai e faafaigofie lenei faiga i le tele e mafai ai. Ae, 90% o tagata matamata na fia matamata i le faʻaaliga e le o ni tagata e iai le poto masani e fesoʻotaʻi ma faʻateleina mea moni.

Dmitriy: Sa i ai se isi talosaga mo lenei poloketi?

Andrei: Ioe, o se talosaga mo iOS ma le Android, lea na matou tuleia i le faleoloa. Sa i ai se isi fa'asalalauga fa'alauiloa mo lea fa'asalalauga. Na faʻamatalaina muamua i auiliiliga pe faʻafefea ona download ma isi.

Dmitriy: E tatau ona e malamalama e leai se nofoaga mo se tagata e suʻe ai le tino ma aʻoaʻo pe faʻapefea ona faʻaogaina sea talosaga. O le mea lea, o le galuega o le "aʻoaʻoina" o le au maimoa na sili atu ona faigata.

Andrei: Ioe Ioe. Faatasi ai ma le UX, matou te maua le tele o patupatu, aua e manaʻo le tagata faʻaoga e maua le poto masani i kiliki e tolu: sii mai, faʻapipiʻi, faʻalauiloa - na aoga. E toatele tagata ua paie e mulimuli i aoaoga lavelave, faitau aoaoga, ma isi. Ma matou te leʻi taumafai e faʻamatala mea uma i le tagata faʻaoga i le tele e mafai ai i le aʻoaʻoga: o le a tatalaina se faamalama iinei, avanoa i le mea pueata iinei, a leai o le a le aoga, ma isi. E tusa lava po o le a le tele o faʻamatalaga e te tusia, e tusa lava po o le a le auiliiliga e te lamu, tusa lava po o a gif e te faʻaofiina, e le faitau e tagata.

I Minsk matou te aoina se vaitaele tele o manatu faaalia i lenei vaega, ma ua uma ona suia tele mo le talosaga i Kazan. Matou te tuʻuina iina e le gata o na phonograms ma na taimi codes e fetaui ma se mea patino o le faʻateleina mea moni, ae na matou ave uma phonograms ma taimi code i latou atoa. O lea na faʻalogo ai le talosaga i le mea na tupu i le taimi o le faʻalauiloaina, ma - afai e saini se tagata i le taimi sese - na ia tuʻuina atu le faʻamatalaga: "Soe, faʻamalie atu, o lau vaega AR o le a i totonu o le 15 minute."

O sina mea itiiti e uiga i le fausaga ma le faʻaogaina o le synchronization

Timecode (e fa'alogo leo) — 16:37

Dmitriy: Na e filifili e fa'amaopoopo e ala i leo?

Andrei: Ioe, na tupu faafuasei. Sa matou vaʻavaʻai i filifiliga ma tau atu i se kamupani Cifrasoft mai Izhevsk. Latou te faia se SDK e le faʻapitoa, ae faʻaaogaina uʻamea, lea e mafai ai ona e faʻafetaui le leo ma le taimi. O le faiga na fa'atulagaina e galue ai ma le TV, pe a mafai ona e fa'aalia se mea i totonu o se talosaga e fa'atatau i le leo o se fa'asalalauga fa'apitoa po'o le tu'uina atu o se mea fa'afeso'ota'i e fa'atatau i le ata tifaga.

Dmitriy: Ae tasi le mea - o loʻo e nofo i lou potu malolo, ma le isi mea - o se malae taʻalo ma le faitau afe o tagata. Na fa'apefea ona lelei mea mo oe i le lelei o le pu'eina o leo ma lona iloa mulimuli ane?

Andrei: Sa i ai le tele o popolega ma masalosaloga, ae i le tele o tulaga na iloa lelei mea uma. Latou te fausia saini i luga o le leo leo ma a latou algorithms atamai - o le taunuuga e itiiti ifo nai lo le uluai faila leo. Pe a faalogo le masini faaleotele leo i le leo o loo siomia ai, e taumafai e sue nei foliga ma iloa le ala e faavae i luga. I tulaga lelei, o le saʻo saʻo o le 0,1-0,2 sekone. Sa sili atu lenei mea. I tulaga leaga o le eseesega e oʻo atu i le 0,5 sekone.

E faalagolago tele i le masini. Sa matou galulue faatasi ma se vaega tele o masini. Mo iPhones e naʻo le 10 faʻataʻitaʻiga. Sa latou galulue lelei i tulaga lelei ma isi vaega. Ae o le androids o le faleoloa e pei o loʻu tina. E le o so'o se mea na aliali mai na aoga le fa'amaopoopo leo. Sa i ai tulaga na le mafai ai ona faʻalogo i ala eseese i luga o masini eseese ona o ni mea faʻapitoa. I se isi mea e mou atu alaleo maualalo, i se mea e amata ai ona fa'afefete alaleo maualuga. Ae afai o le masini ei ai se normalizer i luga o le masini faaleotele leo, o le synchronization e galue i taimi uma.

Dmitriy: Fa'amolemole ta'u mai e uiga i le fausaga - o le a le mea na fa'aaogaina i le poloketi?

Andrei: Na matou faia le talosaga i le Unity - o le filifiliga sili ona faigofie i tulaga o le tele-platform ma galue ma ata. Fa'aaogaina AR Foundation. Na vave ona matou fai atu matou te le manaʻo e faʻalavelaveina le faiga, o lea matou te faʻatapulaʻaina ai i matou i se vaʻa o masini e lagolagoina ARKit ma ARCore ina ia maua le taimi e faʻataʻitaʻi ai mea uma. Na matou faia se masini mo le DigitalSoft SDK, o o loʻo i luga o la matou GitHub. Na matou faia se faiga e pulea ai mataupu ina ia fa'agasolo ai tusitusiga e tusa ai ma le taimi.

Na matou faʻaogaina teisi i le faiga faʻapitoa, aua e mafai e le tagata faʻaoga ona ulufale i soʻo se taimi i se mea faʻapitoa, ma matou te manaʻomia o ia e vaʻai i mea uma mai le taimi na ia tuʻufaʻatasia ai. Sa matou fa'aogaina se faiga e mafai ai ona fa'aalia manino fa'aaliga i le taimi, ina ia mafai ona fa'asolo i tua ma luma le fa'aaliga 3D, pei o se ata tifaga. A'o galue i fafo o le atigipusa ma fa'afiafiaga masani, sa tatau ona matou fa'aogaina faiga fa'apitoa. I se taimi, latou te amata ona faʻaleleia, ma afai e te mauaina oe lava i se mea aʻo leʻi oʻo i le mataʻutia, latou te leʻi fananau mai, e ui lava e foliga mai e tatau. Ae o lenei faafitauli e matua faigofie lava ona foia.

Mo le vaega feaveai, o le fausaga e fai si faigofie. Mo faʻasalalauga televise mea uma e sili atu ona faigata. Sa i ai a matou tapula'a meafaigaluega. Na tuʻuina e le tagata faʻatau se tulaga: "O iinei o loʻo i ai le matou paka faʻapitoa, pe a faʻamatalaina, e manaʻomia ona galue mea uma." Na vave ona matou taulai atu i le mea moni o le a matou galulue i kata e puʻeina ata vitio tau tupe. Ae le faapea o le paketi e leaga.

Sa i ai tapula'a i meafaigaluega, i luga o kata pu'e vitio ma tulaga faigaluega - pe fa'afefea ona maua le ata. Pu'e kata - Blackmagic Design, galue e tusa ai ma le fa'aoga ki totonu - o le taimi lea e sau ai se ata vitio ia te oe mai le mea pueata. O le kata o loʻo i ai lana lava puʻupuʻu gaioiga, lea e faʻapipiʻi ai foi se faʻavaa, lea e tatau ona faʻapipiʻi i luga o le mea o loʻo sau. E fa'afefiloi e le kata - matou te le pa'i i se isi mea iina ma e le afaina ai le fa'avaa mai le meapueata. Na te feanu i fafo le i'uga i le potu fa'atonu e ala i le ata vitio. Ole auala lelei lea mo le fa'apipi'iina o suafa ma isi mea fa'apena, ae e le'o fetaui lelei mo fa'alavelave fa'afefiloi o mea moni ona e tele fa'atapula'a ile render pipeline.

Dmitriy: E tusa ai ma le faʻaogaina o le taimi moni, mea faʻapipiʻi, poʻo se isi mea?

Andrei: I le tulaga o le lelei ma le ausia o taunuuga manaomia. Aua matou te le iloa po o le a le mea matou te tuʻuina le ata i luga. E na'o le lafo atu o fa'amatalaga lanu ma manino i luga o le ulua'i vaitafe. O nisi o a'afiaga e pei o le fe'avea'i, sa'o manino, ma ata fa'aopoopo e le mafai ona maua i lenei polokalame. Ina ia faia lenei mea, e tatau ona e faʻapipiʻi mea uma. Mo se faʻataʻitaʻiga, e leai se auala e fatuina ai le aʻafiaga o le faʻafefe o le ea mai se afi poʻo le vevela vevela. E fa'apea fo'i mo le fa'aliliuina atu o le fa'aaliga manino e fa'atatau i le fa'asino igoa. Na matou faia muamua mea e faʻavae i luga o nei tapulaʻa ma taumafai e faʻaaoga aafiaga talafeagai.

Faʻaaliga lenei post i le Instagram

Tapuni o Taaloga II Europa i Minsk.

O se meli na fefaasoaaʻi Alena Lanskaya (@alyonalanskaya) ia Iuni 30, 2019 ile 3:19pm PDT

Dmitriy: Ua uma ona i ai sau lava anotusi i le uluai poloketi mo Taaloga a Europa?

Andrei: Leai, o le vaega autu o le atinaʻeina o mea na faia e tama mai Sechenov.com. O latou tusiata ata na latou tusia mea autu i mea faʻafiafia ma isi mea. Ma matou tuʻufaʻatasia mea uma i totonu o le afi, faʻaopoopoina faʻaopoopoga faʻaopoopoga, fetuunai ina ia lelei mea uma.

Afai matou te talanoa e uiga i le paipa, ona matou faʻapotopotoina lea mo faʻasalalauga televise mea uma i luga ole Unreal Engine 4. Faʻafuaseʻi, na o le taimi lava na amata ai ona faʻamalosia a latou meafaigaluega mo mea moni fefiloi. Na aliali mai e le faigofie mea uma. E oo mai lava i le taimi nei o mea faigaluega uma e mata, e tatau ona matou faʻamaeʻaina le tele o lima. I Minsk sa matou galulue ai i luga o se fausaga masani o le afi, o lona uiga, matou te toe tusia nisi o mea i totonu o le afi ina ia, mo se faʻataʻitaʻiga, e mafai ona matou tusia ata i luga o mea moni. O le lomiga o le afi sa i ai nei i lena taimi e leai ni vaega e mafai ai ona faia lenei mea i le faaaogaina o meafaigaluega masani. Mo lenei mafuaʻaga, na faia ai e a matou tama a latou lava faʻapotopotoga masani e tuʻuina atu mea uma e manaʻomia.

O isi nuances ma fetuunaiga i le WorldSkills i Kazan

Timecode (e fa'alogo leo) — 31:37

Dmitriy: Ae o nei mea uma i se taimi puupuu lava?

Andrei: Sa utiuti taimi e gata ai Poloketi Kazan, e tusa ai ma Minsk - masani. E tusa ma le ono masina mo le atinaʻe, ae amanaʻia le mea moni e ono tagata na aafia. I le taimi lava e tasi, sa matou faia le vaega feaveaʻi ma atinaʻe meafaigaluega mo le gaosiga o televise. E le gata o se ata na faia. Mo se faʻataʻitaʻiga, se faiga e siaki ai ma optics, mo lenei mea e tatau ona e fatuina au lava meafaigaluega.

Dmitriy: Na i ai se fetuutuunaiga mai le tasi poloketi i le isi? I totonu o le masina ma le afa, sa tatau ona faʻaogaina atinaʻe ma faʻafeiloaʻi le poloketi ma mea fou i se nofoaga fou?

Andrei: Ioe, mo le masina ma le afa. Na matou fuafuaina se lua vaiaso malolo mo le 'au atoa ina ua maeʻa le galuega a Minsk. Ae ina ua maeʻa ona tapunia, na o mai tama mai le Sechenov.com ma fai mai: "Ia, seʻi o tatou faia Kazan." Sa mafai lava ona matou malolo teisi, ae na vave ona sui i lenei poloketi. Na matou fa'amae'aina nisi o galuega fa'apitoa. O le tele o le taimi na faʻaalu i mea e aofia ai, aua mo le WorldSkills na matou faia atoa, naʻo matou faʻamaopoopoina ma le au gaosiga. Sa na o se tusitusiga i la latou vaega. Ae sa sili atu ona faigofie - e le manaʻomia ni faʻaopoopoga faʻaopoopo. A e fatuina oe lava ia mea, e vave ona e vaʻai pe faʻapefea ona galue i totonu o le afi, ma e mafai ona e vave faʻasaʻo ma faʻamaopoopo.


E tusa ai ma le vaega feaveaʻi, matou te amanaʻia uma mea faʻapitoa na matou maua i Minsk. Na matou faia se mamanu faʻaoga fou, toe faʻaleleia le fausaga faʻapitoa, faʻaopoopo aʻoaʻoga, ae taumafai e faʻapuupuu ma manino pe a mafai. Na matou faʻaititia le numera o tagata faʻaoga laasaga mai le faʻalauiloaina o le talosaga i le matamataina o mea. Na lava le masina ma le afa e faʻamaeʻa ai se galuega faʻatino. I le vaiaso ma le afa na matou taunuu ai i le nofoaga. Sa sili atu ona faigofie le galue ai iina ona o le pulea uma o le poloketi o loʻo i lima o le faʻatulagaina, e leai se manaʻoga e faʻamaopoopo ma isi komiti. Sa sili atu ona faigofie ma faigofie le galue i Kazan ma o se mea masani lava e itiiti se taimi.

Dmitriy: Ae na e filifili e tuʻu le auala i le faʻamaopoopoina e pei ona i ai, faʻavae i luga o le leo?

Andrei: Ioe, na matou tuua i le leo. Sa aoga lelei. E pei ona latou fai mai, afai e aoga, aua le tago i ai. Naʻo matou manatu i le nuances o le lelei o le leo leo. Ina ua latou faia le folasaga, sa i ai se aoaoga mo tagata e taumafai a o lei amataina le faaaliga. O se mea e ofo ai pe a i ai i le taimi e taʻalo ai le taʻaloga i totonu o le malae taalo o loʻo i ai le patipati matagi, "ola", o le polokalama e mafai ai ona e faʻamaopoopo lelei ma lenei ala, ae afai o le taimi nei o loʻo faʻapipiʻiina le patipati e fefiloi ma le ala, ona ua le toe maua le ala. O ia nuances na amanaia, ma o mea uma na faʻafetaui lelei i tulaga o le leo.

PS I le vaega lona lua o le mataupu matou te talanoa e uiga i faʻamatalaga faʻasaienisi faʻamatalaga, faʻataʻitaʻiga faʻagasologa i isi poloketi, atinaʻe taʻaloga ma le polokalame a le matai "Tekinolosi atinae taaloga komepiuta" O le a tatou lomia se faaauauga i le mataupu o sosoo mai. E mafai ona e fa'alogo ma lagolagoina i matou iinei:

PPS I le taimi nei, i luga o le gagana Peretania o Habr: se va'aiga toto'a ile Iunivesite ITMO.

puna: www.habr.com

Faaopoopo i ai se faamatalaga