Podcast "ITMO Research_": jinsi ya kukabiliana na usawazishaji wa maudhui ya Uhalisia Ulioboreshwa na onyesho la ukubwa wa uwanja mzima

Hii ni sehemu ya kwanza ya nakala ya maandishi ya mahojiano ya pili ya programu yetu (Podcasts ya Apple, Yandex.Muziki) Suala Mgeni - Andrey Karsakov (kapc3d), Ph.D., mtafiti mkuu katika Kituo cha Kitaifa cha Utafiti wa Utambuzi, profesa mshiriki katika Kitivo cha Mabadiliko ya Kidijitali.

Tangu 2012, Andrey amekuwa akifanya kazi katika kikundi cha utafiti cha Visualization na Graphics za Kompyuta. Kushiriki katika miradi mikubwa iliyotumika katika kiwango cha serikali na kimataifa. Katika sehemu hii ya mazungumzo, tunazungumza juu ya uzoefu wake katika usaidizi wa AR kwa matukio ya umma.

Podcast "ITMO Research_": jinsi ya kukabiliana na usawazishaji wa maudhui ya Uhalisia Ulioboreshwa na onyesho la ukubwa wa uwanja mzima
picha Hii niEngineering RAEng (Unsplash.com)

Muktadha wa mradi na malengo

Msimbo wa saa (na matoleo ya sauti) - 00:41

dmitrykabanov: Ningependa kuanza na mradi wa Michezo ya Ulaya. Ni sehemu nyingi, timu kadhaa zilishiriki katika maandalizi, na kutoa ukweli uliodhabitiwa kwa hadhira ya maelfu wakati wa hafla kwenye uwanja ni kazi kubwa. Kwa upande wa uhusika wako, ilikuwa programu kwanza?

kapc3d: Ndiyo, tulifanya sehemu ya programu na kutoa usaidizi wakati wa maonyesho. Ilihitajika kufuatilia, kufuatilia na kuzindua kila kitu kwa wakati halisi, na pia kufanya kazi na kikundi cha televisheni. Ikiwa tunazingatia mradi huu kwa ujumla, basi tunaweza kuzungumza juu ya sherehe za ufunguzi na kufunga Michezo ya Ulaya huko Minsk, na pia kuhusu sherehe ya ufunguzi wa michuano hiyo WorldSkills huko Kazan. Ilikuwa mpango huo wa kazi, lakini matukio tofauti. Kulikuwa na pengo la miezi miwili kati yao. Tuliandaa mradi pamoja na wavulana kutoka kwa kampuni Sechenov.com.

Tulikutana nao kwa bahati Tamasha la Sayansi, ambayo ilifanyika katika msimu wa joto wa 2018. Wanafunzi wa bwana wetu walionyesha mradi wao wa kozi kuhusu mada ya Uhalisia Pepe. Vijana hao walitujia na kutuuliza tunachofanya katika maabara yetu. Ilionekana kitu kama hiki:

- Unafanya kazi na Uhalisia Pepe, lakini unaweza kufanya kazi na ukweli uliodhabitiwa?

- Naam, aina ya, ndiyo.

- Kuna kazi kama hiyo, na maelezo kama hayo ya utangulizi. Je, unaweza kuifanya?

Walikuna zamu zao kidogo, haionekani kuwa na kitu chochote kisicho cha kweli:

- Hebu jaribu kujifunza kila kitu kwanza, na kisha kupata suluhisho.

Dmitry: Je, wanatoa msaada wa vyombo vya habari pekee?

Andrew: Wanatengeneza safu kamili. Kutoka kwa mtazamo wa usimamizi na shirika, wanahusika kabisa katika kuelekeza, kupiga hatua, uteuzi wa mazingira, vifaa na msaada mwingine wa kiufundi. Lakini walitaka kufanya kitu maalum kwa Michezo ya Uropa. Athari hizi maalum, kama ukweli mseto, zimetengenezwa kwa televisheni kwa muda mrefu, lakini sio rahisi zaidi kwa bajeti katika suala la utekelezaji wa kiufundi. Kwa hivyo, wavulana walitafuta chaguzi mbadala.

Dmitry: Hebu tujadili tatizo kwa undani zaidi. Ilijumuisha nini?

Andrew: Kuna tukio. Inachukua saa moja na nusu. Tunahitaji kuhakikisha kuwa hadhira inayoitazama moja kwa moja na wale walioketi kwenye uwanja wanaweza kuona athari za uhalisia ulioongezwa kwa ulandanishi kamili na kipindi cha moja kwa moja kulingana na wakati na eneo kwenye tovuti.

Kulikuwa na idadi ya mapungufu ya kiufundi. Haikuwezekana kufanya maingiliano ya wakati kupitia mtandao, kwa sababu kulikuwa na hofu juu ya mzigo mkubwa kwenye mtandao na kusimama kamili na matarajio ya wakuu wa nchi kuhudhuria tukio hilo, ambalo linaweza kukwama mitandao ya simu.

Andrey Karsakov, picha kutoka nyenzo kutoka Chuo Kikuu cha ITMO
Podcast "ITMO Research_": jinsi ya kukabiliana na usawazishaji wa maudhui ya Uhalisia Ulioboreshwa na onyesho la ukubwa wa uwanja mzimaTulikuwa na vipengele viwili muhimu vya mradi huu - uzoefu wa kibinafsi ambao watu wanaweza kupata kupitia vifaa vya mkononi, na kile kinachoingia kwenye matangazo ya televisheni na skrini za habari katika uwanja wenyewe.

Ikiwa ghafla mtu anatazama matukio ya ukweli uliodhabitiwa kupitia kifaa cha simu na wakati huo huo anapata skrini, anapaswa kuona picha sawa.

Tulihitaji mifumo miwili karibu tofauti ili kusawazishwa kabisa kwa wakati. Lakini upekee wa maonyesho hayo ni kwamba haya ni matukio magumu ambapo idadi kubwa ya huduma za kiufundi zinahusika na shughuli zote zinafanywa kulingana na kanuni za wakati. Msimbo wa wakati ni wakati maalum kwa wakati ambapo kitu huanza: mwanga, sauti, watu kuondoka, petals hatua kufungua, na kadhalika. Ilitubidi kuzoea mfumo huu ili kila kitu kianze kwa wakati ufaao. Kipengele kingine kilikuwa kwamba matukio na matukio yenye ukweli uliodhabitiwa vilihusiana na hati.

Dmitry: Lakini uliamua kuachana na matumizi ya nambari za wakati kwa sababu ya hatari kubwa ya nguvu majeure, au hapo awali ulihesabu sifa fulani za nguvu na kugundua kuwa mzigo kwenye mfumo wote ungekuwa wa juu kabisa?

Andrew: Ikiwa utafanya huduma ya maingiliano kwa hadhira kama hiyo, basi sio ngumu sana. Kwa hali yoyote, maombi hayatashindwa mara moja. Ndiyo, mzigo ni wa juu, lakini sio dharura. Swali ni ikiwa inafaa kutumia rasilimali na wakati kwenye hii ikiwa mtandao unatoka ghafla. Hatukuwa na uhakika kuwa hili halingefanyika. Hatimaye, kila kitu kilifanya kazi, na kukatizwa kwa sababu ya mzigo, lakini ilifanya kazi, na tukasawazisha kulingana na msimbo wa saa kulingana na mpango tofauti. Hii ilikuwa moja ya changamoto za kimataifa.

Ugumu wa utekelezaji kutoka kwa mtazamo wa UX

Msimbo wa saa (na matoleo ya sauti) - 10:42

Andrew: Pia ilitubidi kuzingatia kwamba uwanja si eneo la tamasha la kawaida, na kusawazisha mifumo kote kwenye nafasi ya vifaa vya rununu. Kwa hivyo, wakati fulani uliopita nilienda virusi hadithi ya ukweli uliodhabitiwa kwenye matamasha ya Eminem, basi kulikuwa na kesi na Loboda.

picha Robert Bye (Unsplash.com)
Podcast "ITMO Research_": jinsi ya kukabiliana na usawazishaji wa maudhui ya Uhalisia Ulioboreshwa na onyesho la ukubwa wa uwanja mzimaLakini hii daima ni uzoefu mbele yako - umati wote unasimama mbele ya hatua, maingiliano ni rahisi sana. Kwa upande wa uwanja, unahitaji kuelewa ni upande gani wa mduara uliopo, nafasi inayolingana, ili uwanja utoshee kwenye nafasi iliyopo katika mazingira ya mtandaoni. Ilikuwa changamoto chungu. Walijaribu kuitatua kwa njia mbalimbali, na matokeo yake yalikuwa kesi karibu na yale yaliyotekelezwa na Loboda, lakini si kwa mambo yote.

Tunamruhusu mtumiaji kuamua yuko wapi. Tuliweka alama kwa uwanja, ambapo watu walichagua sekta, safu, mahali. Yote hii katika "click" nne. Ifuatayo tulilazimika kuamua mwelekeo wa hatua. Ili kufanya hivyo, tulionyesha silhouette ya jinsi tukio linapaswa kuonekana kama kutoka kwa mtazamo maalum. Aliiunganisha, akagonga na ndivyo hivyo - hatua iliketi. Tulijaribu kurahisisha mchakato huu iwezekanavyo. Bado, 90% ya watazamaji ambao walitaka kutazama kipindi sio wale watu ambao wana uzoefu wa kuwasiliana na ukweli uliodhabitiwa.

Dmitry: Je, kulikuwa na maombi tofauti ya mradi huu?

Andrew: Ndiyo, programu ya iOS na Android, ambayo tulisukuma kwenye duka. Kulikuwa na kampeni tofauti ya utangazaji kwa ajili yake. Hapo awali ilielezwa kwa undani jinsi ya kupakua na kadhalika.

Dmitry: Unahitaji kuelewa kuwa hakuna mahali pa mtu kujaribu mwili na kujifunza jinsi ya kutumia programu kama hiyo. Kwa hivyo, kazi ya "kuelimisha" watazamaji ikawa ngumu zaidi.

Andrew: Ndiyo ndiyo. Kwa UX, tulipata matuta mengi, kwa sababu mtumiaji anataka kupata uzoefu katika kubofya mara tatu: kupakuliwa, kusakinishwa, kuzinduliwa - ilifanya kazi. Watu wengi ni wavivu sana kufuata mafunzo magumu, kusoma mafunzo, na kadhalika. Na hatukujaribu kuelezea kila kitu kwa mtumiaji iwezekanavyo katika mafunzo: dirisha litafungua hapa, upatikanaji wa kamera hapa, vinginevyo haitafanya kazi, na kadhalika. Haijalishi ni maelezo ngapi unayoandika, haijalishi unatafuna kwa undani kiasi gani, haijalishi ni gif gani unazoingiza, watu hawasomi.

Katika Minsk tulikusanya bwawa kubwa la maoni juu ya sehemu hii, na tayari tumebadilisha mengi kwa ajili ya maombi huko Kazan. Hatuweka huko sio tu hizo phonograms na kanuni hizo za wakati zinazofanana na sehemu maalum ya ukweli uliodhabitiwa, lakini tulichukua phonograms zote na kanuni za wakati kwa ukamilifu. Kwa hivyo ombi lilisikia kilichokuwa kikitendeka wakati wa kuzinduliwa, na - ikiwa mtu aliingia kwa wakati usiofaa - ilitoa habari: "Comrade, samahani, kipindi chako cha Uhalisia Pepe kitakuwa baada ya dakika 15."

Kidogo kuhusu usanifu na mbinu ya maingiliano

Msimbo wa saa (na matoleo ya sauti) - 16:37

Dmitry: Je, uliamua kusawazisha kwa sauti?

Andrew: Ndiyo, ilitokea kwa bahati mbaya. Tulikuwa tunatafuta chaguzi na tukakutana na kampuni Cifrasoft kutoka Izhevsk. Wanatengeneza SDK isiyo ya kisasa zaidi, lakini inayofanya kazi kwa chuma, ambayo hukuruhusu kusawazisha sauti na wakati. Mfumo uliwekwa ili kufanya kazi na TV, wakati unaweza kuonyesha kitu katika programu kulingana na sauti ya tangazo la masharti au kutoa matumizi shirikishi kulingana na wimbo wa filamu.

Dmitry: Lakini ni jambo moja - umekaa sebuleni kwako, na jambo lingine - uwanja na maelfu ya watu. Je, mambo yalikuendea vipi na ubora wa kurekodi sauti na utambuzi wake uliofuata?

Andrew: Kulikuwa na hofu nyingi na mashaka, lakini katika hali nyingi kila kitu kilitambuliwa vizuri. Wanaunda saini kwenye wimbo wa sauti na algoriti zao za ujanja - matokeo yana uzito chini ya faili asili ya sauti. Wakati kipaza sauti inasikiliza sauti inayozunguka, inajaribu kupata vipengele hivi na kutambua wimbo kulingana na wao. Katika hali nzuri, usahihi wa maingiliano ni sekunde 0,1-0,2. Hii ilikuwa zaidi ya kutosha. Katika hali mbaya, tofauti ilikuwa hadi sekunde 0,5.

Mengi inategemea kifaa. Tulifanya kazi na kundi kubwa la vifaa. Kwa iPhones kuna mifano 10 tu. Walifanya kazi vizuri katika suala la ubora na vipengele vingine. Lakini kwa androids zoo ni kama mama yangu. Sio kila mahali iliibuka kuwa maingiliano ya sauti yalifanya kazi. Kulikuwa na visa wakati haikuwezekana kusikia nyimbo tofauti kwenye vifaa tofauti kwa sababu ya upekee fulani. Mahali fulani masafa ya chini hupotea, mahali fulani masafa ya juu huanza kupiga. Lakini ikiwa kifaa kilikuwa na kawaida kwenye kipaza sauti, maingiliano daima yalifanya kazi.

Dmitry: Tafadhali tuambie kuhusu usanifu - ni nini kilitumika katika mradi huo?

Andrew: Tulifanya programu katika Umoja - chaguo rahisi zaidi katika suala la majukwaa mengi na kufanya kazi na michoro. Imetumika AR Foundation. Mara moja tulisema kwamba hatukutaka kutatiza mfumo, kwa hivyo tulijiwekea kikomo kwa kundi la vifaa vinavyotumia ARKit na ARCore ili kuwa na wakati wa kujaribu kila kitu. Tulitengeneza programu-jalizi ya DigitalSoft SDK, hivyo iko kwenye GitHub yetu. Tumeunda mfumo wa kudhibiti maudhui ili hati ziendeshwe kulingana na rekodi ya matukio.

Tulicheza kidogo na mfumo wa chembe, kwa sababu mtumiaji anaweza kuingia wakati wowote katika kipindi fulani, na tunahitaji aone kila kitu kutoka wakati ambapo alilandanisha. Tulicheza na mfumo unaoruhusu matukio kuchezwa kwa uwazi kwa wakati, ili matumizi ya XNUMXD yaweze kusogezwa mbele na nyuma, kama vile filamu. Ingawa inafanya kazi nje ya kisanduku na uhuishaji wa kawaida, ilitubidi kuchezea mifumo ya chembe. Wakati fulani, huanza kuzaa, na ikiwa unajikuta mahali fulani kabla ya hatua ya kuzaa, bado hawajazaliwa, ingawa inaonekana kama wanapaswa kuwa. Lakini tatizo hili kwa kweli ni rahisi sana kutatua.

Kwa sehemu ya rununu, usanifu ni rahisi sana. Kwa utangazaji wa televisheni kila kitu ni ngumu zaidi. Tulikuwa na vikwazo vya vifaa. Mteja aliweka sharti: "Hapa tunayo mbuga ya vifaa kama hivi, kwa kusema, kila kitu kinahitaji kufanyia kazi." Mara moja tulizingatia ukweli kwamba tutafanya kazi na kadi za kunasa video za bajeti. Lakini bajeti haimaanishi kuwa wao ni mbaya.

Kulikuwa na vikwazo kwenye vifaa, kwenye kadi za kukamata video na hali ya kazi - jinsi tunapaswa kupokea picha. Kadi za kunasa - Ubunifu wa Blackmagic, ulifanya kazi kulingana na mpango wa ufunguo wa Ndani - huu ndio wakati fremu ya video inapokujia kutoka kwa kamera. Kadi ina chip yake ya usindikaji, ambapo sura pia imeingizwa, ambayo lazima iwekwe juu ya inayoingia. Kadi inazichanganya - hatugusi kitu kingine chochote hapo na hatuathiri fremu kutoka kwa kamera ya video. Anatema matokeo kwenye chumba cha kudhibiti kupitia pato la video. Hii ni njia nzuri ya kuwekea mada na vitu vingine sawa, lakini haifai sana kwa athari za uhalisia mchanganyiko kwa sababu kuna vikwazo vingi kwenye bomba la utekelezaji.

Dmitry: Kwa upande wa kompyuta ya wakati halisi, kufunga kitu, au kitu kingine?

Andrew: Kwa upande wa ubora na kufikia athari zinazohitajika. Kwa sababu hatujui tunaweka picha gani juu yake. Tunatuma tu maelezo ya rangi na uwazi juu ya mtiririko asili. Baadhi ya athari kama vile vinyume, uwazi sahihi, na vivuli vya ziada haziwezi kupatikana kwa mpango huu. Ili kufanya hivyo, unahitaji kutoa kila kitu pamoja. Kwa mfano, hakuna njia ya kuunda athari za uharibifu wa hewa kutoka kwa moto au lami ya moto. Vile vile huenda kwa uhamisho wa athari ya uwazi kwa kuzingatia index ya refractive. Hapo awali tulitengeneza maudhui kulingana na vikwazo hivi na tukajaribu kutumia athari zinazofaa.

Tazama chapisho hili kwenye Instagram

Kufungwa kwa Michezo ya II ya Ulaya huko Minsk.

Chapisho lililoshirikiwa Alena Lanskaya (@alyonalanskaya) mnamo Juni 30, 2019 saa 3:19pm PDT

Dmitry: Je, tayari ulikuwa na maudhui yako katika mradi wa kwanza wa Michezo ya Uropa?

Andrew: Hapana, hatua kuu ya ukuzaji wa yaliyomo ilifanywa na wavulana kutoka Sechenov.com. Wasanii wao wa picha walichora yaliyomo msingi na uhuishaji na vitu vingine. Na tuliunganisha kila kitu kwenye injini, tukaongeza athari za ziada, tukaibadilisha ili kila kitu kifanye kazi kwa usahihi.

Ikiwa tunazungumza juu ya bomba, basi kwa utangazaji wa televisheni tulikusanya kila kitu kwenye Injini ya Unreal 4. Kwa bahati mbaya, wakati huo tu walianza kuongeza zana zao kwa ukweli mchanganyiko. Ilibadilika kuwa kila kitu sio rahisi sana. Hata sasa zana zote ni mbichi; tulilazimika kumaliza mengi kwa mkono. Katika Minsk tulifanya kazi kwenye ujenzi wa kawaida wa injini, yaani, tuliandika upya baadhi ya vitu ndani ya injini ili, kwa mfano, tuweze kuchora vivuli juu ya vitu halisi. Toleo la injini ambayo ilikuwa ya sasa wakati huo haikuwa na sifa ambazo zingeruhusu hii kufanywa kwa kutumia zana za kawaida. Kwa sababu hii, vijana wetu walifanya mkusanyiko wao maalum ili kutoa kila kitu ambacho kilikuwa muhimu sana.

Nuances nyingine na kukabiliana na WorldSkills katika Kazan

Msimbo wa saa (na matoleo ya sauti) - 31:37

Dmitry: Lakini yote haya katika kipindi kifupi cha muda?

Andrew: Makataa yalikuwa magumu Mradi wa Kazan, kulingana na Minsk - kawaida. Karibu miezi sita kwa maendeleo, lakini kwa kuzingatia ukweli kwamba watu sita walihusika. Wakati huo huo, tulikuwa tukitengeneza sehemu ya rununu na kutengeneza zana za utengenezaji wa televisheni. Hakukuwa na matokeo ya picha pekee. Kwa mfano, mfumo wa kufuatilia na optics, kwa hili ulipaswa kuunda zana zako mwenyewe.

Dmitry: Je, kulikuwa na marekebisho yoyote kutoka kwa mradi mmoja hadi mwingine? Katika mwezi na nusu, ilikuwa ni lazima kuchukua faida ya maendeleo na kuhamisha mradi na maudhui mapya kwenye tovuti mpya?

Andrew: Ndio, ilikuwa kwa mwezi na nusu. Tulikuwa tumepanga likizo ya wiki mbili kwa timu nzima baada ya mradi wa Minsk. Lakini mara baada ya kufunga, watu kutoka Sechenov.com wanakuja na kusema: "Kweli, wacha tufanye Kazan basi." Bado tuliweza kupumzika kidogo, lakini tukabadilisha mradi huu haraka sana. Tulikamilisha kazi fulani ya kiufundi. Muda mwingi ulitumika kwenye maudhui, kwa sababu kwa WorldSkills tulifanya hivyo kabisa, tuliratibu tu na timu ya uzalishaji. Kulikuwa na maandishi tu kwa upande wao. Lakini ilikuwa rahisi - hakukuwa na haja ya marudio ya ziada. Unapounda maudhui mwenyewe, unaona mara moja jinsi inavyofanya kazi kwenye injini, na unaweza kuhariri na kuratibu haraka.


Kuhusu sehemu ya rununu, tulizingatia hila zote ambazo tulikuwa nazo huko Minsk. Tulifanya muundo mpya wa programu, tukaunda upya usanifu kidogo, tukaongeza mafunzo, lakini tulijaribu kuifanya iwe fupi na wazi iwezekanavyo. Tulipunguza idadi ya hatua za mtumiaji kutoka kuzindua programu hadi kutazama yaliyomo. Mwezi mmoja na nusu ulitosha kukamilisha mradi wa kutosha. Katika wiki moja na nusu tulifika kwenye tovuti. Ilikuwa rahisi kufanya kazi huko kwa sababu udhibiti wote juu ya mradi ulikuwa mikononi mwa waandaaji; hakukuwa na haja ya kuratibu na kamati zingine. Ilikuwa rahisi na rahisi kufanya kazi huko Kazan na ilikuwa kawaida kwamba kulikuwa na wakati mdogo.

Dmitry: Lakini uliamua kuacha njia ya maingiliano kama ilivyokuwa, kulingana na sauti?

Andrew: Ndiyo, tuliiacha kwa sauti. Ilifanya kazi vizuri. Kama wanasema, ikiwa inafanya kazi, usiiguse. Tulizingatia tu nuances ya ubora wa wimbo wa sauti. Walipofanya utangulizi, kulikuwa na kipindi cha mafunzo kwa watu kujaribu kabla ya show kuanza. Ilikuwa ya kushangaza kwamba wakati wa kucheza wimbo kwenye uwanja kuna makofi ya dhoruba, "live", mfumo hukuruhusu kusawazisha vizuri na wimbo huu, lakini ikiwa kwa wakati huu makofi yaliyorekodiwa yamechanganywa na wimbo, basi wimbo haujakamatwa tena. Nuances kama hizo zilizingatiwa, na kila kitu kilisawazishwa vizuri kwa suala la sauti.

PS Katika sehemu ya pili ya suala tunazungumza juu ya taswira ya data ya kisayansi, muundo wa mchakato katika miradi mingine, ukuzaji wa mchezo na programu ya bwana "Teknolojia ya maendeleo ya mchezo wa kompyuta" Tutachapisha muendelezo katika makala inayofuata. Unaweza kusikiliza na kutuunga mkono hapa:

PPS Wakati huo huo, kwenye toleo la Kiingereza la Habr: kuangalia kwa karibu Chuo Kikuu cha ITMO.

Chanzo: mapenzi.com

Kuongeza maoni