Bu, proqramımız üçün ikinci müsahibənin mətn transkriptinin birinci hissəsidir (, ). Məsələ qonağı - (), fəlsəfə doktoru, Milli Koqnitiv Tədqiqatlar Mərkəzinin baş elmi işçisi, Rəqəmsal Transformasiyalar fakültəsinin dosenti.
2012-ci ildən Andrey Vizuallaşdırma və Kompüter Qrafikası tədqiqat qrupunda işləyir. Dövlət və beynəlxalq səviyyədə iri tətbiqi layihələrlə məşğul olur. Söhbətin bu hissəsində onun ictimai tədbirlərə AR dəstəyi ilə bağlı təcrübəsindən danışırıq.
foto (Unsplash.com)
Layihə konteksti və məqsədləri
Zaman kodu (tərəfindən ) — 00:41
: Mən Avropa Oyunları layihəsindən başlamaq istərdim. O, çoxkomponentlidir, hazırlıqda bir neçə komanda iştirak edib və birbaşa stadionda keçirilən tədbir zamanı minlərlə tamaşaçı üçün artırılmış reallığı təmin etmək kifayət qədər ciddi işdir. İştirakınız baxımından ilk olaraq proqram təminatı idi?
: Bəli, proqramlaşdırma hissəsini həyata keçirdik və veriliş zamanı dəstək verdik. Hər şeyi real vaxt rejimində izləmək, izləmək və işə salmaq, həmçinin televiziya qrupu ilə işləmək lazım idi. Bu layihəni bütövlükdə götürsək, o zaman açılış və bağlanış mərasimlərindən danışmaq olar Minskdə, eləcə də çempionatın açılış mərasimi haqqında Kazanda. Eyni iş sxemi, lakin fərqli hadisələr idi. Aralarında iki ay fasilə var idi. Layihəni şirkətin oğlanları ilə birlikdə hazırladıq .
Onlarla təsadüfən tanış olduq , 2018-ci ilin payızında baş verdi. Magistr tələbələrimiz VR mövzusunda hazırladıqları kurs layihəsini nümayiş etdirdilər. Uşaqlar yanımıza gəldi və laboratoriyamızda nə etdiyimizi soruşdular. Bu kimi bir şey görünürdü:
— VR ilə işləyirsiniz, lakin artırılmış reallıq ilə işləyə bilərsinizmi?
- Bəli, bir növ, bəli.
- Belə bir tapşırıq var, bu cür giriş qeydləri ilə. Siz edə bilərsiniz?
Şalgamlarını bir az qaşıdılar, görünür, qeyri-real bir şey yoxdur:
- Gəlin əvvəlcə hər şeyi öyrənməyə çalışaq, sonra həllini tapaq.
Dmitri: Onlar yalnız media dəstəyi verirlər?
Andrew: Tam bir yığın düzəldirlər. İdarəetmə və təşkilatçılıq nöqteyi-nəzərindən onlar bütünlüklə rejissorluq, səhnələşdirmə, dekorasiya seçimi, maddi-texniki təminat və digər texniki təminatla məşğul olurlar. Amma Avropa Oyunları üçün xüsusi bir iş görmək istəyirdilər. Qarışıq reallıq kimi bu xüsusi effektlər kifayət qədər uzun müddətdir televiziya üçün hazırlanmışdır, lakin texniki icra baxımından ən büdcəli effektlər deyil. Buna görə də, uşaqlar alternativ variantlar axtardılar.
Dmitri: Problemi daha ətraflı müzakirə edək. Nədən ibarət idi?
Andrew: Hadisə var. Bir saat yarım davam edir. Biz elə etməliyik ki, onu canlı izləyən tamaşaçılar və stadionda əyləşənlər əlavə reallıq effektlərini saytdakı vaxt və məkan baxımından canlı şou ilə tam sinxron şəkildə görə bilsinlər.
Bir sıra texniki məhdudiyyətlər var idi. İnternet vasitəsilə vaxt sinxronizasiyasını həyata keçirmək mümkün deyildi, çünki tam stendlərlə şəbəkənin həddən artıq yüklənməsi və dövlət başçılarının tədbirə qatılacağı ilə bağlı qorxular var idi ki, bu da mobil şəbəkələri tıxaya bilər.
Andrey Karsakov, fotodan
Bu layihənin iki əsas komponenti var idi - insanların mobil cihazlar vasitəsilə əldə edə biləcəyi şəxsi təcrübə və stadionun özündə televiziya yayımı və məlumat ekranlarına daxil olanlar.
Əgər qəfildən insan mobil cihaz vasitəsilə əlavə reallıq epizodlarına baxırsa və eyni zamanda ekrana çıxırsa, o, eyni mənzərəni görməlidir.
Bizə iki faktiki olaraq fərqli sistem lazım idi ki, vaxtında tam sinxronlaşdırılsın. Amma bu cür şouların özəlliyi ondadır ki, bunlar çoxlu sayda texniki xidmətlərin cəlb olunduğu və bütün əməliyyatların vaxt kodlarına uyğun həyata keçirildiyi mürəkkəb hadisələrdir. Zaman kodu bir şeyin başladığı zamanın müəyyən bir anıdır: işıq, səs, gedən insanlar, səhnə ləçəklərinin açılması və s. Biz bu sistemə uyğunlaşmalıydıq ki, hər şey lazımi anda başlasın. Digər bir xüsusiyyət isə artırılmış reallıq olan səhnə və epizodların ssenari ilə bağlı olması idi.
Dmitri: Ancaq fors-major hallarının yüksək risklərinə görə vaxt kodlarının istifadəsindən imtina etmək qərarına gəldiniz, yoxsa əvvəlcə bəzi güc xüsusiyyətlərini hesabladınız və bütün sistemə yükün kifayət qədər yüksək olacağını başa düşdünüzmü?
Andrew: Əgər belə bir auditoriya üçün sinxronizasiya xidməti etsəniz, bu, çox çətin deyil. Hər halda, sorğular bir gecədə uğursuz olmayacaq. Bəli, yük yüksəkdir, lakin təcili deyil. Sual odur ki, şəbəkə qəfildən sönürsə, buna resurs və vaxt sərf etməyə dəyərmi? Bunun baş verməyəcəyinə əmin deyildik. Nəhayət, hər şey işlədi, yükə görə fasilələrlə, amma işlədi və biz fərqli bir sxemə görə vaxt koduna uyğun olaraq sinxronizasiya etdik. Bu, qlobal çağırışlardan biri idi.
UX baxımından həyata keçirilməsində çətinliklər
Zaman kodu (tərəfindən ) — 10:42
Andrew: Stadionun klassik konsert məkanı olmadığını da nəzərə almalı idik və sistemləri mobil cihazlar üçün məkan boyu sinxronlaşdırmalıyıq. Beləliklə, bir müddət əvvəl viral oldum Eminem konsertlərində, sonra Loboda ilə bir dava oldu.
foto (Unsplash.com)
Ancaq bu, həmişə qarşınızda bir təcrübədir - bütün kütlə səhnənin qarşısında dayanır, sinxronizasiya olduqca sadədir. Stadion məsələsində dairənin hansı tərəfində olduğunu, nisbi mövqeyini anlamaq lazımdır ki, stadion virtual mühitdə mövcud olan məkana uyğun olsun. Bu çətin sınaq idi. Onlar bunu müxtəlif yollarla həll etməyə çalışdılar və nəticə Loboda tərəfindən həyata keçirildiyinə yaxın bir iş oldu, lakin hər cəhətdən deyil.
Biz istifadəçiyə onun harada olduğuna qərar verməyə icazə veririk. Stadion üçün işarələr etdik, orada insanlar sektor, sıra, yer seçdilər. Bütün bunlar dörd "kliklə". Sonra səhnəyə istiqaməti müəyyən etməli idik. Bunu etmək üçün, biz səhnənin xüsusi nöqteyi-nəzərdən təxminən necə görünməsi lazım olduğuna dair bir siluet göstərdik. O, birləşdirdi, vurdu və budur - səhnə oturdu. Biz bu prosesi mümkün qədər sadələşdirməyə çalışdıq. Yenə də şounu izləmək istəyən tamaşaçıların 90%-i artırılmış reallıqla ünsiyyət təcrübəsi olan insanlar deyil.
Dmitri: Bu layihə üçün ayrıca müraciət olubmu?
Andrew: Bəli, mağazaya itələdiyimiz iOS və Android üçün bir proqram. Bunun üçün ayrıca bir tanıtım kampaniyası var idi. Necə yükləmək və s. daha əvvəl ətraflı təsvir edilmişdir.
Dmitri: Bir insanın fiziki olaraq sınaqdan keçirməsi və belə bir tətbiqdən necə istifadə edəcəyini öyrənməsi üçün yer olmadığını başa düşməlisiniz. Ona görə də tamaşaçıları “maarifləndirmək” işi daha da çətinləşdi.
Andrew: Hə hə. UX ilə biz çoxlu zərbələr aldıq, çünki istifadəçi üç kliklə təcrübə əldə etmək istəyir: endirildi, quraşdırıldı, işə salındı - işlədi. Bir çox insanlar mürəkkəb dərsləri izləmək, dərslikləri oxumaq və s. üçün çox tənbəldirlər. Və biz təlimatda hər şeyi istifadəçiyə mümkün qədər izah etməyə çalışmadıq: burada bir pəncərə açılacaq, burada kameraya giriş, əks halda işləməyəcək və s. Nə qədər izahat yazsanız da, nə qədər təfərrüatlı çeynəsəniz də, hansı gifləri daxil etsəniz də, insanlar oxumur.
Minskdə biz bu hissə ilə bağlı çoxlu rəylər topladıq və Kazanda tətbiq üçün artıq çox şey dəyişmişik. Biz ora nəinki əlavə edilmiş reallığın konkret epizoduna uyğun gələn fonoqramları və o vaxt kodlarını qoymuşuq, həm də bütün fonoqramları və vaxt kodlarını bütövlükdə götürmüşük. Beləliklə, proqram işə salınma zamanı nə baş verdiyini eşitdi və - əgər bir şəxs səhv anda daxil olarsa - məlumat verdi: "Yoldaş, üzr istəyirəm, AR epizodunuz 15 dəqiqəyə olacaq."
Sinxronizasiyaya memarlıq və yanaşma haqqında bir az
Zaman kodu (tərəfindən ) — 16:37
Dmitri: Səslə sinxronizasiya etmək qərarına gəldiniz?
Andrew: Bəli, təsadüfən baş verdi. Biz variantları nəzərdən keçirdik və bir şirkətlə qarşılaşdıq İjevskdən. Onlar səsi vaxtla sinxronlaşdırmağa imkan verən xüsusilə mürəkkəb deyil, dəmirlə işləyən SDK hazırlayırlar. Sistem, şərti reklamın səsi əsasında proqramda nəyisə göstərə və ya film treki əsasında interaktiv təcrübə verə bildiyiniz zaman TV ilə işləmək üçün yerləşdirilib.
Dmitri: Ancaq bu bir şeydir - qonaq otağınızda oturursunuz, başqa bir şey - minlərlə insanın olduğu bir stadion. Səs yazısının keyfiyyəti və sonradan tanınması ilə bağlı işlər sizin üçün necə oldu?
Andrew: Çoxlu qorxular və şübhələr var idi, lakin əksər hallarda hər şey yaxşı tanınırdı. Onlar öz hiyləgər alqoritmləri ilə audio trekdə imzalar qururlar - nəticə orijinal audio fayldan azdır. Mikrofon ətrafdakı səsi dinləyərkən bu xüsusiyyətləri tapmağa və onların əsasında treki tanımağa çalışır. Yaxşı şəraitdə sinxronizasiya dəqiqliyi 0,1-0,2 saniyədir. Bu, artıq kifayət idi. Pis şəraitdə uyğunsuzluq 0,5 saniyəyə qədər idi.
Çox şey cihazdan asılıdır. Böyük bir cihaz parkı ilə işlədik. iPhone üçün cəmi 10 model var. Keyfiyyət və digər xüsusiyyətlər baxımından yaxşı işlədilər. Amma androidlərlə zoopark anam kimidir. Hər yerdə səs sinxronizasiyasının işlədiyi məlum oldu. Bəzi xüsusiyyətlərə görə müxtəlif cihazlarda fərqli trekləri eşitmək mümkün olmadığı hallar olub. Haradasa aşağı tezliklər yox olur, haradasa yüksək tezliklər hırıldamağa başlayır. Ancaq cihazın mikrofonda normallaşdırıcısı varsa, sinxronizasiya həmişə işləyirdi.
Dmitri: Zəhmət olmasa, bizə memarlıq haqqında məlumat verin - layihədə nədən istifadə olunub?
Andrew: Tətbiqi Unity-də etdik - çox platformalı və qrafiklərlə işləmək baxımından ən sadə variant. İstifadə olunmuş AR Fondu. Dərhal dedik ki, sistemi çətinləşdirmək istəmirik, ona görə də hər şeyi sınamağa vaxt tapmaq üçün özümüzü ARKit və ARCore-u dəstəkləyən bir cihaz parkı ilə məhdudlaşdırdıq. DigitalSoft SDK üçün plagin yaratdıq . Biz məzmun idarəetmə sistemi yaratdıq ki, skriptlər qrafikə uyğun işləsin.
Biz hissəcik sistemi ilə bir az məşğul olduq, çünki istifadəçi istənilən vaxt müəyyən bir epizodda daxil ola bilər və ona sinxronizasiya etdiyi andan hər şeyi görmək lazımdır. XNUMXD təcrübəsini filmdəki kimi irəli-geri sürüşdürə bilməsi üçün ssenariləri vaxtında aydın şəkildə oynamağa imkan verən bir sistemlə işlədik. Klassik animasiyalar ilə qutudan kənarda işləsə də, hissəcik sistemləri ilə işləməli olduq. Müəyyən bir nöqtədə, onlar kürü tökməyə başlayırlar və özünüzü kürü vermə nöqtəsindən əvvəl bir yerdə tapsanız, onlar hələ doğulmayıblar, baxmayaraq ki, onlar olmalıdır. Ancaq bu problemi həll etmək əslində olduqca asandır.
Mobil hissə üçün arxitektura olduqca sadədir. Televiziya yayımı üçün hər şey daha mürəkkəbdir. Aparat məhdudiyyətlərimiz var idi. Müştəri şərt qoydu: “Burada filan avadanlıq parkımız var, kobud desək, hər şey onun üzərində işləməlidir”. Dərhal diqqətimizi nisbətən büdcəli video çəkiliş kartları ilə işləyəcəyimizə yönəltdik. Amma büdcə onların pis olması demək deyil.
Aparat, video çəkiliş kartları və iş şəraiti ilə bağlı məhdudiyyətlər var idi - şəkli necə qəbul etməliyik. Çəkmə kartları - Daxili açarlama sxeminə uyğun işlənmiş Blackmagic Design - bu, kameradan sizə video kadr gəldiyi zamandır. Kartın öz emal çipi var, burada bir çərçivə də daxil edilir, bu da gələnin üstünə qoyulmalıdır. Kart onları qarışdırır - biz orada başqa heç nəyə toxunmuruq və video kameranın çərçivəsinə təsir etmirik. Nəticəni video çıxışı vasitəsilə nəzarət otağına tüpürür. Bu, başlıqların və digər oxşar şeylərin üst-üstə qoyulması üçün yaxşı üsuldur, lakin qarışıq reallıq effektləri üçün çox uyğun deyil, çünki render boru kəmərində çoxlu məhdudiyyətlər var.
Dmitri: Real vaxtda hesablama, obyekt bağlama və ya başqa bir şey baxımından?
Andrew: Keyfiyyət və istənilən effektlərin əldə olunması baxımından. Çünki şəklin üstünə nə qoyduğumuzu bilmirik. Biz sadəcə olaraq orijinal axının üstünə rəng və şəffaflıq məlumatı göndəririk. Bu sxemlə refraksiyalar, düzgün şəffaflıq və əlavə kölgələr kimi bəzi effektlərə nail olmaq mümkün deyil. Bunu etmək üçün hər şeyi birlikdə göstərməlisiniz. Məsələn, yanğından və ya isti asfaltdan hava təhrifinin təsirini yaratmaq üçün heç bir yol yoxdur. Eyni şey sınma əmsalı nəzərə alınmaqla şəffaflıq effektinin ötürülməsinə də aiddir. Biz əvvəlcə bu məhdudiyyətlər əsasında məzmun yaratdıq və müvafiq effektlərdən istifadə etməyə çalışdıq.
Dmitri: Avropa Oyunları ilə bağlı ilk layihədə artıq öz məzmununuz var idi?
Andrew: Xeyr, məzmunun inkişafının əsas mərhələsini Sechenov.com-dan olan uşaqlar etdi. Onların qrafik rəssamları əsas məzmunu animasiyalar və başqa şeylərlə çəkiblər. Və biz hər şeyi mühərrikə inteqrasiya etdik, əlavə effektlər əlavə etdik, hər şeyin düzgün işləməsi üçün uyğunlaşdırdıq.
Əgər boru kəmərindən danışsaq, televiziya yayımı üçün biz hər şeyi Unreal Engine 4-də yığmışıq. Təsadüfən, onlar məhz o anda qarışıq reallıq üçün alətlərini gücləndirməyə başladılar. Məlum oldu ki, hər şey o qədər də sadə deyil. İndi də bütün alətlər xamdır, çox şeyi əl ilə bitirməli olduq. Minskdə biz mühərrikin xüsusi konstruksiyası üzərində işlədik, yəni mühərrikin daxilində bəzi şeyləri yenidən yazdıq ki, məsələn, real obyektlərin üzərinə kölgələr çəkə bilək. O dövrdə mövcud olan mühərrik versiyasında standart alətlərdən istifadə edərək bunu etməyə imkan verən xüsusiyyətlər yox idi. Bu səbəbdən, bizim uşaqlar həyati əhəmiyyət kəsb edən hər şeyi təmin etmək üçün öz xüsusi montajını etdilər.
Digər nüanslar və Kazanda WorldSkills-ə uyğunlaşma
Zaman kodu (tərəfindən ) — 31:37
Dmitri: Amma bütün bunlar kifayət qədər qısa müddət ərzində?
Andrew: Son tarixlər sıx idi , Minskə görə - normal. İnkişaf üçün təxminən altı ay, lakin altı nəfərin iştirak etdiyini nəzərə alaraq. Eyni zamanda, mobil hissəni düzəldir və televiziya istehsalı üçün alətlər hazırlayırıq. Yalnız bir şəkil çıxışı yox idi. Məsələn, optikası olan bir izləmə sistemi, bunun üçün öz alətlərinizi yaratmalı idiniz.
Dmitri: Bir layihədən digərinə uyğunlaşma olubmu? Bir ay yarım ərzində inkişaflardan yararlanmaq və yeni məzmunlu layihəni yeni sayta köçürmək lazım idi?
Andrew: Bəli, bir ay yarım idi. Minsk layihəsindən sonra bütün komanda üçün iki həftəlik məzuniyyət planlaşdırmışdıq. Ancaq bağlandıqdan dərhal sonra Sechenov.com-dan uşaqlar gəlib deyirlər: "Yaxşı, Kazanla məşğul olaq." Hələ bir az dincəlməyi bacardıq, amma bu layihəyə olduqca tez keçdik. Bəzi texniki işləri başa çatdırdıq. Çox vaxt məzmuna sərf olunurdu, çünki WorldSkills üçün biz bunu tamamilə etdik, sadəcə istehsal qrupu ilə koordinasiya etdik. Onların tərəfində yalnız bir ssenari var idi. Ancaq daha asan idi - əlavə təkrarlamalara ehtiyac yox idi. Özünüz məzmun yaratdığınız zaman onun mühərrikdə necə işlədiyini dərhal görürsünüz və tez redaktə edə və koordinasiya edə bilərsiniz.
Mobil hissəyə gəlincə, Minskdə mövcud olan bütün incəlikləri nəzərə aldıq. Biz yeni proqram dizaynı etdik, arxitekturanı bir az yenidən dizayn etdik, dərsliklər əlavə etdik, lakin onu mümkün qədər qısa və aydın etməyə çalışdıq. Tətbiqi işə salmaqdan məzmuna baxmaqa qədər istifadəçi addımlarının sayını azaltdıq. Adekvat layihəni başa çatdırmaq üçün ay yarım kifayət idi. Bir həftə yarımdan sonra sayta çatdıq. Orada işləmək daha asan idi, çünki layihəyə bütün nəzarət təşkilatçıların əlində idi, başqa komitələrlə koordinasiyaya ehtiyac yox idi. Kazanda işləmək daha sadə və asan idi və vaxtın az olması olduqca normal idi.
Dmitri: Bəs siz səsə əsaslanaraq sinxronizasiyaya yanaşmanı olduğu kimi tərk etmək qərarına gəldinizmi?
Andrew: Bəli, səslə buraxdıq. Yaxşı işlədi. Necə deyərlər, işə yararsa, toxunma. Sadəcə olaraq, audio trekin keyfiyyətinin nüanslarını nəzərə aldıq. Onlar girişi etdikdə, şou başlamazdan əvvəl insanların sınaması üçün bir məşq epizodu var idi. Təəccüblü idi ki, stadionda trek çalınan anda gurultulu alqışlar "canlı" səsləndikdə, sistem bu treklə yaxşı sinxronizasiya etməyə imkan verir, lakin bu anda qeydə alınan alqışlar treklə qarışdırılırsa, o zaman track artıq tutulmur. Belə nüanslar nəzərə alınıb və səs baxımından hər şey kifayət qədər yaxşı sinxronlaşdırılıb.
P.S.Məsələnin ikinci hissəsində biz elmi məlumatların vizuallaşdırılması, digər layihələrdə prosesin modelləşdirilməsi, oyun inkişafı və magistr proqramı haqqında danışırıq "" Davamını növbəti yazıda dərc edəcəyik. Bizi buradan dinləyib dəstək ola bilərsiniz:
PPS Bu arada, Habr-ın İngilis versiyasında: .
Mənbə: www.habr.com