Ieu mangrupikeun bagian kahiji tina transkrip téks wawancara kadua pikeun program kami (, ). Ngaluarkeun Tamu - (), Ph.D., panalungtik senior di Pusat Nasional pikeun Panalungtikan Kognitif, profesor gaul di Fakultas Transformasi Digital.
Kusabab 2012, Andrey parantos damel di grup panalungtikan Visualisasi sareng Grafik Komputer. Kalibet dina proyék terapan ageung di tingkat nagara sareng internasional. Dina ieu bagian tina paguneman, urang ngobrol ngeunaan pangalaman na di rojongan AR pikeun acara umum.
poto (Unsplash.com)
Kontéks proyék sareng tujuan
Timecode (ku ) — 00:41
: Abdi hoyong mimitian ku proyék Kaulinan Éropa. Ieu multi-komponén, sababaraha tim nyandak bagian dina persiapan, sarta nyadiakeun kanyataanana augmented pikeun panongton rébu katuhu salila hiji acara di stadion téh cukup tugas serius. Dina watesan involvement Anjeun, éta software munggaran?
: Leres, kami ngalaksanakeun bagian pamrograman sareng nyayogikeun dukungan salami acara. Éta peryogi pikeun ngalacak, ngawas sareng ngaluncurkeun sadayana sacara real waktos, sareng ogé damel sareng grup televisi. Upami urang nganggap proyék ieu sacara gembleng, maka urang tiasa ngobrol ngeunaan upacara bubuka sareng nutup di Minsk, kitu ogé ngeunaan upacara bubuka kajawaraan di Kazan. Ieu skéma gawé sarua, tapi acara béda. Aya gap dua bulan antara aranjeunna. Urang nyiapkeun proyék babarengan jeung guys ti pausahaan .
Urang patepung aranjeunna ku kasempetan on , anu lumangsung dina usum gugur 2018. Siswa master kami nunjukkeun proyék kursusna dina topik VR. Lalaki sumping ka kami sareng naroskeun naon anu kami lakukeun di laboratorium kami. Éta katingali sapertos kieu:
- Anjeun damel sareng VR, tapi anjeun tiasa damel sareng kanyataanana nambahan?
- Muhun, jenis, enya.
- Aya tugas sapertos kitu, kalayan catetan bubuka sapertos kitu. Dupi anjeun tiasa ngalakukeun eta?
Aranjeunna scratched turnips maranéhna saeutik, aya teu sigana aya nanaon unrealistic:
- Hayu urang coba diajar sagalana heula, lajeng manggihan solusi.
Dmitriy: Naha aranjeunna ngan ukur nyayogikeun dukungan média?
Andrew: Aranjeunna ngadamel tumpukan pinuh. Tina sudut pandang manajemén sareng organisasi, aranjeunna parantos aub dina ngarahkeun, pementasan, pilihan pamandangan, logistik sareng dukungan téknis anu sanés. Tapi aranjeunna hoyong ngalakukeun anu khusus pikeun Kaulinan Éropa. Épék khusus ieu, sapertos realitas campuran, parantos lami dilakukeun pikeun televisi, tapi aranjeunna sanés anu paling ramah-anggaran dina hal palaksanaan téknis. Ku alatan éta, lalaki néangan pilihan alternatif.
Dmitriy: Hayu urang ngabahas masalah dina leuwih jéntré. Naon eta diwangun ku?
Andrew: Aya acara. Ieu lasts sajam satengah. Urang kedah mastikeun yén panongton anu ningali éta langsung sareng anu linggih di stadion tiasa ningali épék kanyataanana nambahan dina sinkronisasi pinuh sareng acara langsung tina segi waktos sareng lokasi dina situs.
Aya sababaraha watesan téknis. Teu mungkin pikeun ngalakukeun sinkronisasi waktos liwat Internét, sabab aya kasieun ngeunaan beban kaleuleuwihan dina jaringan kalayan lapak pinuh sareng prospek kapala nagara anu ngahadiran acara, anu tiasa macét dina jaringan sélulér.
Andrey Karsakov, poto ti
Kami ngagaduhan dua komponén konci pikeun proyék ieu - pangalaman pribadi anu tiasa ditampi ku jalma-jalma ngalangkungan alat sélulér, sareng naon anu asup kana siaran televisi sareng layar inpormasi di stadion éta sorangan.
Upami ujug-ujug hiji jalma ningali épisode kanyataanana nambahan ngaliwatan alat sélulér sareng dina waktos anu sami dina layar, anjeunna kedah ningali gambar anu sami.
Kami peryogi dua sistem anu ampir béda pikeun disingkronkeun dina waktosna. Tapi anu peculiarity tina nempokeun misalna nyaéta yén ieu téh acara kompléks dimana sajumlah badag jasa teknis aub tur sagala operasi anu dipigawé nurutkeun kode waktu. Kodeu waktos mangrupikeun momen anu khusus dina waktosna dimimitian: cahaya, sora, jalma-jalma angkat, muka kelopak panggung, sareng sajabana. Urang kedah adaptasi sareng sistem ieu supados sadayana ngamimitian dina waktos anu pas. Fitur séjén nyaéta yén pamandangan sareng épisode kalayan realitas nambahan aya hubunganana sareng naskah.
Dmitriy: Tapi anjeun mutuskeun pikeun abandon pamakéan Konci waktu alatan resiko tinggi force majeure, atawa anjeun mimitina ngitung sababaraha ciri kakuatan tur ngartos yen beban dina sakabéh sistem bakal jadi rada luhur?
Andrew: Upami anjeun ngadamel jasa sinkronisasi pikeun pamiarsa sapertos kitu, éta henteu sesah pisan. Bisi wae, requests moal gagal sapeuting. Leres, bebanna ageung, tapi sanés darurat. Patarosanna naha éta patut nyéépkeun sumber daya sareng waktos dina ieu upami jaringan ujug-ujug kaluar. Kami teu yakin ieu moal lumangsung. Pamustunganana, sagalana digarap, kalawan interruptions alatan beban, tapi digawé, sarta kami nyingkronkeun nurutkeun kode waktu nurutkeun skéma béda. Ieu mangrupikeun salah sahiji tantangan global.
Kasusah palaksanaan ti sudut pandang UX
Timecode (ku ) — 10:42
Andrew: Urang ogé kedah tumut kana akun yén stadion sanes tempat konsér klasik, sareng nyingkronkeun sistem dina rohangan pikeun alat sélulér. Janten, sababaraha waktos ka tukang kuring viral di konser Eminem, lajeng aya kasus kalawan Loboda.
poto (Unsplash.com)
Tapi ieu salawasna pangalaman di hareup anjeun - sakabeh riungan nangtung di hareup panggung, sinkronisasi cukup basajan. Dina kasus stadion, Anjeun kudu ngarti nu sisi bunderan anjeun dina, posisi relatif, supados stadion pas kana spasi nu aya di lingkungan maya. Éta tangtangan haseum. Aranjeunna nyobian ngabéréskeunana ku sababaraha cara, sareng hasilna mangrupikeun kasus anu caket sareng anu dilaksanakeun ku Loboda, tapi henteu dina sagala hal.
Urang ngantep pamaké mutuskeun dimana anjeunna. Kami ngadamel tanda pikeun stadion, dimana jalma milih séktor, barisan, tempat. Sadaya ieu dina opat "clicks". Salajengna urang kedah nangtukeun arah ka panggung. Jang ngalampahkeun ieu, kami némbongkeun hiji silhouette ngeunaan naon pamandangan kedah kasarna kasampak kawas ti sudut pandang custom. Anjeunna ngagabungkeun deui, ketok sareng éta - panggung diuk. Urang diusahakeun simplify prosés ieu saloba mungkin. Leungit, 90% pemirsa anu hoyong ningali éta sanés jalma-jalma anu gaduh pangalaman komunikasi sareng realitas tambahan.
Dmitriy: Naha aya aplikasi anu misah pikeun proyék ieu?
Andrew: Leres, aplikasi pikeun ios sareng Android, anu kami dorong ka toko. Aya kampanye promosi anu misah pikeun éta. Éta saméméhna dijelaskeun sacara rinci kumaha cara ngaunduh sareng sajabana.
Dmitriy: Anjeun kedah ngartos yén teu aya tempat pikeun jalma pikeun nguji fisik sareng diajar kumaha ngagunakeun aplikasi sapertos kitu. Ku alatan éta, tugas "ngadidik" panongton jadi leuwih pajeulit.
Andrew: Enya enya. Kalawan UX, urang bray loba nabrak, sabab pamaké hayang meunang pangalaman dina tilu clicks: diundeur, dipasang, dibuka - éta digawé. Loba jalma teuing puguh nuturkeun tutorials kompléks, maca tutorials, jeung saterusna. Sareng kami henteu nyobian ngajelaskeun sadayana ka pangguna saloba mungkin dina tutorial: jandela bakal dibuka di dieu, aksés ka kaméra di dieu, upami henteu, éta moal jalan, sareng saterasna. Henteu masalah sabaraha katerangan anu anjeun tulis, kumaha detil anjeun mamah, henteu masalah naon gif anu anjeun selapkeun, jalma-jalma henteu maca éta.
Dina Minsk kami dikumpulkeun kolam renang badag tina eupan balik dina bagian ieu, sarta geus robah pisan pikeun aplikasi di Kazan. Urang nempatkeun di dinya teu ngan maranéhanana phonograms sarta maranéhanana Konci waktu nu pakait jeung episode husus tina augmented kanyataanana, tapi urang nyandak sakabeh phonograms sarta Konci waktu dina entirety maranéhanana. Janten aplikasina nguping naon anu kajantenan dina waktos peluncuran, sareng - upami aya jalma anu lebet dina waktos anu salah - éta masihan inpormasi: "Comrade, hapunten, épisode AR anjeun bakal aya dina 15 menit."
Sakedik ngeunaan arsitéktur sareng pendekatan kana sinkronisasi
Timecode (ku ) — 16:37
Dmitriy: Naha anjeun mutuskeun pikeun nyinkronkeun ku sora?
Andrew: Sumuhun, eta kajadian ku kacilakaan. Kami milarian pilihan sareng mendakan perusahaan ti Izhevsk. Aranjeunna ngadamel SDK anu henteu canggih, tapi tiasa dianggo beusi, anu ngamungkinkeun anjeun nyingkronkeun sora sareng waktosna. Sistim ieu diposisikan pikeun digawekeun ku TV, nalika anjeun tiasa nembongkeun hal dina aplikasi dumasar kana sora tina hiji iklan kondisional atawa masihan hiji pangalaman interaktif dumasar kana lagu pilem.
Dmitriy: Tapi éta hiji hal - anjeun calik di ruang tamu anjeun, sareng anu sanés - stadion sareng rébuan jalma. Kumaha hasil pikeun anjeun kalayan kualitas rékaman sora sareng pangakuan salajengna?
Andrew: Aya seueur kasieun sareng mamang, tapi dina kalolobaan kasus sadayana dipikanyaho ogé. Aranjeunna ngawangun tanda tangan dina lagu audio kalayan algoritma licikna - hasilna beuratna kirang tina file audio asli. Nalika mikropon ngadangukeun sora sakurilingna, éta nyobian mendakan fitur-fitur ieu sareng mikawanoh lagu dumasar kana éta. Dina kaayaan alus, akurasi sinkronisasi nyaeta 0,1-0,2 detik. Ieu leuwih ti cukup. Dina kaayaan goréng bédana nepi ka 0,5 detik.
Loba gumantung kana alat. Kami damel sareng armada alat anu ageung. Pikeun iPhones aya ngan 10 model. Aranjeunna damel saé dina hal kualitas sareng fitur sanésna. Tapi kalawan androids kebon binatang téh kawas indung kuring. Henteu di mana waé tétéla yén sinkronisasi sora tiasa dianggo. Aya kasus nalika teu mungkin ngupingkeun lagu anu béda dina alat anu béda kusabab sababaraha ciri. Di tempat anu frékuénsi handapna ngaleungit, di tempat anu frékuénsi luhur mimiti ngik. Tapi upami alatna ngagaduhan normalizer dina mikropon, sinkronisasina salawasna jalan.
Dmitriy: Punten wartosan kami ngeunaan arsitéktur - naon anu dianggo dina proyék éta?
Andrew: Kami ngadamel aplikasi dina Unity - pilihan pangbasajanna dina hal multi-platform sareng damel sareng grafik. Dipaké AR Yayasan. Kami langsung nyarios yén kami henteu hoyong ngahesekeun sistem, janten kami ngawatesan diri kana armada alat anu ngadukung ARKit sareng ARCore supados gaduh waktos pikeun nguji sadayana. Urang dijieun plugin pikeun DigitalSoft SDK, éta . Kami nyiptakeun sistem manajemén eusi supados naskah tiasa dijalankeun dumasar kana timeline.
Urang tinkered saeutik kalawan sistem partikel, sabab pamaké bisa ngasupkeun iraha wae dina episode tinangtu, sarta kami kudu anjeunna ningali sagalana ti moment ti mana anjeunna nyingkronkeun. Urang tinkered kalawan sistem anu ngamungkinkeun skenario bisa diputer kaluar jelas dina jangka waktu nu, ku kituna pangalaman XNUMXD bisa scrolled deui mudik, kawas dina pilem. Bari gawéna out of the box kalawan animasi Palasik, urang kungsi tinker kalawan sistem partikel. Di sawatara titik, aranjeunna ngawitan spawn, sarta lamun manggihan diri wae saméméh titik spawn, maranéhna teu acan dilahirkeun, sanajan sigana kawas aranjeunna kedah. Tapi masalah ieu sabenerna cukup gampang pikeun ngajawab.
Pikeun bagian mobile, arsitéktur cukup basajan. Pikeun siaran televisi sadayana langkung rumit. Kami ngagaduhan larangan hardware. Konsumén netepkeun kaayaan: "Di dieu urang gaduh taman hardware sapertos kitu, kasarna nyarios, sadayana kedah digarap." Urang langsung difokuskeun kanyataan yén urang bakal digawekeun ku kartu video newak rélatif anggaran. Tapi anggaran henteu hartosna aranjeunna goréng.
Aya larangan dina hardware, kartu néwak pidéo sareng kaayaan kerja - kumaha urang kedah nampi gambar éta. Capture kartu - Blackmagic Design, digawé nurutkeun skéma keying internal - ieu téh lamun pigura video datang ka anjeun ti kaméra. Kartu boga chip processing sorangan, dimana pigura ogé diselapkeun, nu kudu superimposed on luhureun hiji asup. Kartu éta nyampur - kami henteu nyabak naon waé anu aya di dinya sareng henteu mangaruhan pigura tina kaméra pidéo. Manehna spits kaluar hasilna ka kamar kontrol ngaliwatan kaluaran video. Ieu mangrupikeun metode anu saé pikeun overlaying judul sareng hal-hal anu sami, tapi éta henteu cocog pikeun épék realitas campuran sabab aya seueur larangan dina pipa render.
Dmitriy: Dina hal komputasi sacara real-time, ngariung obyék, atanapi anu sanés?
Andrew: Dina watesan kualitas sarta achieving efek nu dipikahoyong. Kusabab urang henteu terang naon anu urang nempatkeun gambar di luhur. Kami ngan ukur ngirim inpormasi warna sareng transparansi dina luhureun aliran aslina. Sababaraha épék sapertos réfraksi, transparansi anu leres, sareng bayangan tambahan teu tiasa dihontal ku skéma ieu. Jang ngalampahkeun ieu, anjeun kudu nyieun sagalana babarengan. Salaku conto, teu aya cara pikeun nyiptakeun pangaruh distorsi hawa tina seuneu atanapi aspal panas. Sami lumaku pikeun mindahkeun éfék transparansi nyokot kana akun indéks réfraktif. Kami mimitina ngadamel eusi dumasar kana larangan ieu sareng nyobian nganggo épék anu pas.
Dmitriy: Naha anjeun parantos gaduh eusi sorangan dina proyék munggaran pikeun Kaulinan Éropa?
Andrew: Henteu, tahap utama pangembangan kontén dilakukeun ku jalma-jalma ti Sechenov.com. Seniman grafisna ngagambar eusi dasar kalayan animasi sareng hal-hal sanés. Sareng kami ngahijikeun sadayana kana mesin, nambihan épék tambahan, diadaptasi supados sadayana tiasa dianggo leres.
Lamun urang ngobrol ngeunaan pipa, teras pikeun siaran televisi urang ngumpul sagalana on Unreal Engine 4. Coincidentally, aranjeunna ngan dina momen anu mimiti naekeun parabot maranéhanana pikeun realitas dicampur. Tétéla yén sagalana teu jadi basajan. Malahan ayeuna sadaya alatna atah; urang kedah ngabéréskeun seueur ku leungeun. Dina Minsk urang dikeureuyeuh custom ngawangun mesin, nyaeta, urang nulis balik sababaraha hal di jero mesin, ku kituna, contona, urang bisa ngagambar bayangan dina luhureun objék nyata. Versi mesin anu ayeuna dina waktos éta henteu ngagaduhan fitur anu ngamungkinkeun ieu dilakukeun nganggo alat standar. Ku sabab kitu, guys urang nyieun assembly custom sorangan nyadiakeun sagalana yén éta vitally diperlukeun.
Nuances sejen tur adaptasi kana WorldSkills di Kazan
Timecode (ku ) — 31:37
Dmitriy: Tapi sadayana ieu dina jangka waktu anu cukup pondok?
Andrew: The deadlines éta ketat , nurutkeun Minsk - normal. Ngeunaan genep bulan pikeun pangwangunan, tapi nyokot kana akun kanyataan yén genep urang aub. Dina waktos anu sami, kami ngadamel bagian mobile sareng ngembangkeun alat pikeun produksi televisi. Henteu ngan ukur kaluaran gambar. Contona, sistem tracking kalawan élmu optik, pikeun ieu anjeun kudu nyieun parabot sorangan.
Dmitriy: Naha aya adaptasi ti hiji proyék ka anu sanés? Dina sabulan satengah, éta perlu ngamangpaatkeun kamajuan sarta mindahkeun proyék kalawan eusi anyar ka loka anyar?
Andrew: Sumuhun, éta salila sabulan satengah. Kami parantos ngarencanakeun liburan dua minggu pikeun sadayana tim saatos proyék Minsk. Tapi langsung saatos nutup, lalaki ti Sechenov.com sumping sareng nyarios: "Nya, hayu urang ka Kazan teras." Simkuring masih junun ngaso saeutik, tapi pindah ka proyék ieu rada gancang. Urang réngsé sababaraha karya teknis. Kalolobaan waktu ieu spent dina eusi, sabab pikeun WorldSkills kami ngalakukeun eta sagemblengna, urang ngan koordinasi jeung tim produksi. Aya ngan hiji naskah di pihak maranéhanana. Tapi éta langkung gampang - henteu peryogi iterasi tambahan. Lamun anjeun nyieun eusi diri, Anjeun langsung ningali kumaha gawéna dina mesin, tur anjeun bisa gancang ngédit jeung koordinat.
Ngeunaan bagian mobile, urang tumut kana akun sagala subtleties nu urang tadi di Minsk. Urang nyieun desain aplikasi anyar, redesigned arsitéktur saeutik, ditambahkeun tutorials, tapi diusahakeun sangkan pondok tur jelas sabisa. Kami ngirangan jumlah léngkah pangguna tina ngaluncurkeun aplikasi pikeun ningali eusi. Hiji satengah bulan éta cukup pikeun ngarengsekeun hiji proyék nyukupan. Dina hiji satengah minggu urang ngahontal situs. Éta langkung gampil damel di dinya sabab sadaya kontrol kana proyék éta aya dina tangan panitia; teu kedah koordinasi sareng panitia sanés. Éta langkung saderhana sareng langkung gampil damel di Kazan sareng éta normal yén waktosna kirang.
Dmitriy: Tapi anjeun mutuskeun ninggalkeun pendekatan kana sinkronisasi sakumaha anu kasebut, dumasar kana sora?
Andrew: Sumuhun, urang ninggalkeun eta ku sora. Ieu digawé ogé. Sakumaha anu diomongkeun, upami jalanna, ulah noél. Kami ngan ukur nganggap nuansa kualitas lagu audio. Nalika aranjeunna ngalakukeun intro, aya episode latihan pikeun jalma-jalma pikeun dicobian sateuacan acara dimimitian. Éta héran yén nalika dina waktos maén lagu di stadion aya keprok ribut, "live", sistem ngamungkinkeun anjeun pikeun nyinkronkeun saé sareng lagu ieu, tapi upami dina waktos ieu keprok anu dirékam dicampur sareng lagu, maka lagu geus teu bray deui. Nuances sapertos dipertimbangkeun, sareng sadayana disingkronkeun saé dina hal sora.
PS Dina bagian kadua masalah urang ngobrol ngeunaan visualisasi data ilmiah, modeling prosés dina proyék séjén, ngembangkeun kaulinan jeung program master "" Urang bakal nyebarkeun tuluyan dina artikel salajengna. Anjeun tiasa ngadangukeun sareng ngadukung kami di dieu:
PPS Samentara éta, dina versi Inggris Habr: .
sumber: www.habr.com