Бул программабыздын экинчи интервьюсунун текст стенограммасынын биринчи бөлүгү (, ). Конок чыгаруу - (), философия илимдеринин кандидаты, Улуттук когнитивдик изилдөөлөр борборунун улук илимий кызматкери, санариптик трансформациялар факультетинин доценти.
2012-жылдан бери Андрей "Визуализация жана компьютердик графика" изилдөө тобунда иштеп келет. Мамлекеттик жана эл аралык деңгээлдеги ири прикладдык долбоорлор менен алектенет. Сүйлөшүүнүн бул бөлүгүндө биз анын коомдук иш-чараларды AR колдоо тажрыйбасы жөнүндө сүйлөшөбүз.
Сүрөт (Unsplash.com)
Долбоордун контексти жана максаттары
Timecode ( ) — 00:41
: Мен Европа оюндарынын долбоорунан баштагым келет. Бул көп компоненттүү, даярдоого бир нече команда катышкан жана стадиондогу иш-чара учурунда миңдеген аудитория үчүн толукталган реалдуулукту камсыз кылуу өтө олуттуу маселе. Сиздин катышууңузга келсек, бул программалык камсыздообу?
: Ооба, программалоо бөлүгүн жасап, көрсөтүү учурунда колдоо көрсөттүк. Бул реалдуу убакытта баарын көзөмөлдөө, көзөмөлдөө жана ишке киргизүү, ошондой эле телекөрсөтүү тобу менен иштөө үчүн зарыл болгон. Бул долбоорду бүтүндөй алып карай турган болсок, анда ачылыш жана жабылуу аземдери тууралуу айтсак болот Минскиде, ошондой эле чемпионаттын салтанаттуу ачылышы женунде Казанда. Бул бир эле иш схемасы болгон, бирок ар кандай окуялар. Алардын ортосунда эки ай аралык бар эле. Долбоорду компаниянын жигиттери менен бирге даярдадык .
Биз алар менен кокустан таанышып калдык , 2018-жылдын күзүндө болгон. Биздин магистранттар VR темасы боюнча курстук долбоорун көрсөтүштү. Балдар жаныбызга келип, лабораториябызда эмне кылып жатканыбызды сурашты. Ал мындай көрүндү:
— Сиз VR менен иштейсиз, бирок кошумчаланган реалдуулук менен иштей аласызбы?
- Ооба, ооба.
- Андай тапшырма бар, ушундай кириш сөз менен. Сен жасай аласыңбы?
Алар шалканды бир аз тырмап коюшту, эч кандай реалдуу эмес окшойт:
- Келгиле, адегенде баарын изилдеп, анан бир чечүү жолун табалы.
Дмитрий: Алар ЖМКга гана колдоо көрсөтөбү?
Эндрю: Алар толук стекти түзөт. Башкаруу жана уюштуруу жагынан алар режиссёрлук, инсценировка, декорацияларды тандоо, материалдык-техникалык жактан камсыз кылуу жана башка техникалык жактан камсыз кылууга толук катышышат. Бирок алар Европа оюндарына өзгөчө бир нерсе жасагысы келген. Бул атайын эффекттер, аралаш реалдуулук сыяктуу, телекөрсөтүү үчүн бир топ убакыттан бери жасалган, бирок алар техникалык ишке ашыруу жагынан эң эле бюджеттик эффект эмес. Ошондуктан, балдар альтернативалуу варианттарды издешти.
Дмитрий: Келгиле, маселени кененирээк талкуулайлы. Ал эмнеден турган?
Эндрю: Окуя бар. Ал бир жарым саатка созулат. Аны түз эфирде көрүп жаткан көрүүчүлөр жана стадиондо отургандар толукталган реалдуулуктун эффекттерин түз көрсөтүү менен толук синхрондоштурууда убакыт жана сайтта жайгашкан жери боюнча көрө алышына ынанышыбыз керек.
Бир катар техникалык чектөөлөр болгон. Интернет аркылуу убакытты синхрондоштуруу мүмкүн эмес болчу, анткени толук стенддер менен түйүнгө ашыкча жүктөмдүүлүк жана иш-чарага мамлекет башчыларынын келиши мүмкүн деген кооптонуулар болгон, бул уюлдук түйүндөргө тыгылып калышы мүмкүн.
Андрей Карсаков, фото
Бизде бул долбоордун эки негизги компоненти бар болчу - адамдар мобилдик түзмөктөр аркылуу ала турган жеке тажрыйба жана стадиондун өзүндөгү телекөрсөтүү жана маалымат экрандарына кирген нерселер.
Эгер адам күтүлбөгөн жерден мобилдик аспап аркылуу кошумчаланган чындыктын эпизоддорун көрүп, ошол эле учурда экранга чыкса, ал ошол эле сүрөттү көрүшү керек.
Убакыттын өтүшү менен толугу менен синхрондоштуруу үчүн бизге эки башка система керек болчу. Бирок мындай көрсөтүүлөрдүн өзгөчөлүгү – бул көп сандагы техникалык кызматтар тартылган жана бардык операциялар убакыт коддору боюнча аткарылган татаал окуялар. Убакыт коду - бул кандайдыр бир нерсе башталган убакыттын белгилүү бир учуру: жарык, үн, адамдардын кетип калышы, сахнанын гүл жалбырактарынын ачылышы жана башкалар. Баары өз убагында башталышы үчүн бул системага көнүшүбүз керек болчу. Дагы бир өзгөчөлүгү толукталган реалдуулукту камтыган көрүнүштөр жана эпизоддор сценарийге байланыштуу болгон.
Дмитрий: Бирок сиз форс-мажордук жагдайлардын жогорку тобокелдигинен улам убакыт коддорун колдонуудан баш тартууну чечтиңизби же адегенде кээ бир кубаттуулук мүнөздөмөлөрүн эсептеп, бүтүндөй системага жүктөлгөн жүк бир топ жогору болорун түшүндүңүзбү?
Эндрю: Эгер сиз ушундай аудитория үчүн синхрондоштуруу кызматын жасасаңыз, анда бул өтө кыйын эмес. Кандай болгон күндө да, өтүнүчтөр бир күндө ишке ашпай калат. Ооба, жүк жогору, бирок бул өзгөчө кырдаал эмес. Тармак күтүлбөгөн жерден өчүп калса, бул үчүн ресурстарды жана убакытты коротуу керекпи деген суроо туулат. Биз мындай болбойт деп ишенген эмеспиз. Акыр-аягы, бардыгы иштеди, жүктүн айынан үзгүлтүккө учураган, бирок ал иштеди, биз башка схема боюнча убакыт кодуна ылайык синхрондоштурдук. Бул глобалдык көйгөйлөрдүн бири болгон.
UX көз карашынан алганда ишке ашыруудагы кыйынчылыктар
Timecode ( ) — 10:42
Эндрю: Биз ошондой эле стадион классикалык концерттик жер эмес экенин эске алып, мобилдик түзмөктөр үчүн мейкиндик боюнча системаларды синхрондоштурууга туура келди. Ошентип, бир нече убакыт мурун мен вируска кабылдым Эминемдин концертинде, андан кийин Лобода менен болгон окуя болгон.
Сүрөт (Unsplash.com)
Бирок бул ар дайым сиздин алдыңызда тажрыйба - бүт эл сахнанын алдында турат, синхрондоштуруу абдан жөнөкөй. Стадионго келсек, стадион виртуалдык чөйрөдө орун алган мейкиндикке туура келиши үчүн айлананын кайсы тарабында экениңизди, салыштырмалуу позицияңызды түшүнүшүңүз керек. Бул ачуу чакырык болду. Алар аны ар кандай жолдор менен чечүүгө аракет кылышкан, натыйжада Лобода ишке ашырган нерсеге жакын болгон, бирок бардык жагынан эмес.
Колдонуучуга анын кайда экенин чечүүгө мүмкүнчүлүк беребиз. Стадионго маркировкаларды жасадык, ал жерде адамдар секторду, катарды, жерди тандап алышты. Мунун баары төрт "чыкылдатуу" менен. Андан кийин сахнага багытты аныкташыбыз керек болчу. Бул үчүн, биз сценанын адаттагыдай көз карашынан алганда кандай болушу керектигинин силуэтин көрсөттүк. Ал бириктирип, таптап бүттү - сахна отурду. Биз бул процессти мүмкүн болушунча жөнөкөйлөтүүгө аракет кылдык. Ошентсе да, көрсөтүүнү көргүсү келген көрүүчүлөрдүн 90% толукталган реалдуулук менен баарлашуу тажрыйбасы бар адамдар эмес.
Дмитрий: Бул долбоор үчүн өзүнчө арыз бар беле?
Эндрю: Ооба, биз дүкөнгө түрткөн iOS жана Android үчүн тиркеме. Ал үчүн өзүнчө жарнамалык кампания болгон. Буга чейин кантип жүктөө жана башкалар майда-чүйдөсүнө чейин сүрөттөлгөн.
Дмитрий: Сиз физикалык жактан тестирлөө жана мындай тиркемени кантип колдонууну үйрөнүү үчүн адам үчүн жер жок экенин түшүнүү керек. Ошондуктан угуучуларды «тарбиялоо» милдети татаалдашып кетти.
Эндрю: Ооба ооба. UX менен биз көптөгөн мүчүлүштүктөрдү алдык, анткени колдонуучу тажрыйбаны үч чыкылдатуу менен алгысы келет: жүктөлүп алынган, орнотулган, ишке киргизилген - ал иштеди. Көп адамдар татаал окуу куралдарын аткарууга, окуу куралдарын окууга жана башкаларга өтө жалкоо. Жана биз окуу куралында колдонуучуга мүмкүн болушунча баарын түшүндүрүүгө аракет кылган жокпуз: бул жерде терезе ачылат, бул жерден камерага кирүү, антпесе ал иштебейт ж.б.у.с. Канча түшүндүрмө жазсаң да, канчалык майда-чүйдөсүнө чейин чайнаба, кандай гифтерди салба, эл окубайт.
Минскиде биз бул бөлүк боюнча чоң пикир топтодук жана Казанда колдонуу үчүн көп нерсени өзгөрттүк. Биз ал жерге кошумчаланган реалдуулуктун белгилүү бир эпизодуна туура келген фонограммаларды жана убакыт коддорун гана киргизбестен, бардык фонограммаларды жана убакыт коддорун толугу менен алдык. Ошентип, тиркеме ишке киргизүү учурунда эмне болуп жатканын угуп, - эгер адам туура эмес учурда кирсе, анда ал: "Жолдош, кечиресиз, сиздин AR эпизодуңуз 15 мүнөттөн кийин болот" деген маалыматты берди.
Архитектура жана синхрондоштуруу ыкмасы жөнүндө бир аз
Timecode ( ) — 16:37
Дмитрий: Үн менен синхрондоштурууну чечтиңизби?
Эндрю: Ооба, бул кокустан болгон. Биз варианттарды карап чыгып, бир компанияга туш болдук Ижевск шаарынан. Алар үндү убакыт менен синхрондоштурууга мүмкүндүк берген өзгөчө татаал эмес, бирок темир менен иштеген SDK түзөт. Система сыналгы менен иштөө үчүн жайгаштырылган, анда сиз шарттуу жарнаманын үнүн негизинде тиркемеде бир нерсени көрсөтүүгө же кино трекке негизделген интерактивдүү тажрыйбаны берүүгө болот.
Дмитрий: Бирок бул бир нерсе - сиз конок бөлмөңүздө отурасыз, ал эми башка нерсе - миңдеген адамдар бар стадион. Үн жаздыруунун сапаты жана анын кийин таанылышы сиз үчүн кандай болду?
Эндрю: Коркунучтар жана шектенүүлөр көп болду, бирок көпчүлүк учурда бардыгы жакшы таанылды. Алар куу алгоритмдери менен аудио трекке кол тамгаларды түзүшөт - натыйжанын салмагы баштапкы аудио файлдан азыраак. Микрофон айланадагы үндү укканда, бул функцияларды табууга жана алардын негизинде тректи таанууга аракет кылат. Жакшы шарттарда синхрондоштуруунун тактыгы 0,1-0,2 секунданы түзөт. Бул жетиштүү болгон. Жаман шарттарда айырмачылык 0,5 секундага чейин болгон.
Көп нерсе аппараттан көз каранды. Биз аппараттардын чоң паркы менен иштедик. iPhones үчүн болгону 10 модели бар. Алар сапаты жана башка өзгөчөлүктөрү боюнча жакшы иштешти. Бирок андроиддер менен зоопарк менин апама окшош. Бардык жерде эмес, үн синхрондоштуруу иштеген экен. Кээ бир өзгөчөлүктөрдөн улам ар кандай түзүлүштөрдө ар кандай тректерди угуу мүмкүн болбой калган учурлар болгон. Бир жерде төмөнкү жыштыктар жоголот, бир жерде жогорку жыштыктар ызылдай баштайт. Бирок, эгерде аппаратта микрофондо нормализатор болсо, синхрондоштуруу дайыма иштеген.
Дмитрий: Архитектура тууралуу айтып берсеңиз – долбоордо эмнелер колдонулган?
Эндрю: Биз тиркемени Unityде жасадык - көп платформалуу жана графика менен иштөө жагынан эң жөнөкөй вариант. Колдонулган AR Foundation. Биз дароо системаны татаалдаштыргыбыз келбейт деп айттык, ошондуктан бардыгын сынап көрүүгө убакыт табуу үчүн ARKit жана ARCore колдогон түзмөктөрдүн паркы менен чектелдик. Биз DigitalSoft SDK үчүн плагин жасадык, ал . Скрипттер убакыт графигине ылайык иштеши үчүн биз контентти башкаруу системасын түздүк.
Биз бөлүкчөлөр системасы менен бир аз ойлонуп көрдүк, анткени колдонуучу каалаган убакта белгилүү бир эпизодго кире алат жана биз ал синхрондогон учурдан баштап баарын көрүшүбүз керек. Биз 3D тажрыйбасын кинодогудай алдыга жана артка жылдыруу үчүн сценарийлерди өз убагында так аткарууга мүмкүндүк берген системаны иштеп чыктык. Ал классикалык анимациялар менен кутучадан чыгып иштеп жатканда, биз бөлүкчөлөр тутумдары менен иштешибиз керек болчу. Качандыр бир убакта алар урук чача башташат, эгер сиз өзүңүздү уюлдук чекитке чейин бир жерден тапсаңыз, алар туула элек, бирок алар болушу керек окшойт. Бирок бул көйгөйдү чечүү чындыгында абдан оңой.
мобилдик бөлүгү үчүн, архитектура абдан жөнөкөй. Телеберүү үчүн баары татаалыраак. Бизде аппараттык чектөөлөр болгон. Кардар шарт койду: «Бул жерде бизде баланча аппараттык парк бар, болжол менен айтканда, анын үстүнөн бардыгы иштеш керек». Биз дароо эле салыштырмалуу бюджеттик видеокарталар менен иштей турганыбызга көңүл бурдук. Бирок бюджет алардын начар экенин билдирбейт.
Аппараттык жабдыктарга, видеокарталарга жана иштөө шарттарына чектөөлөр болгон - биз сүрөттү кантип кабыл алышыбыз керек. Карталарды тартуу - Blackmagic Дизайн, ички ачкыч схемасы боюнча иштеген - дал ушул камерадан видео кадр сизге келгенде. Картанын өзүнүн иштетүү чипи бар, ал жерде рамка да киргизилет, ал келгендин үстүнө коюлушу керек. Карта аларды аралаштырат - биз ал жерде башка эч нерсеге тийбейбиз жана видеокамеранын кадрына таасир этпейбиз. Ал видео чыгаруу аркылуу башкаруу бөлмөсүнө натыйжаны түкүрөт. Бул аталыштарды жана башка ушуга окшош нерселерди жабуу үчүн жакшы ыкма, бирок аралаш реалдуулуктун эффекттери үчүн анча ылайыктуу эмес, анткени рендердик түтүктө көптөгөн чектөөлөр бар.
Дмитрий: Чыныгы убакыт режиминде эсептөө, объектти байланыштыруу же башка нерсе боюнчабы?
Эндрю: сапаты жана каалаган натыйжаларга жетүү жагынан. Себеби биз сүрөттү эмненин үстүнө коюп жатканыбызды билбейбиз. Биз жөн гана баштапкы агымдын үстүнө түс жана ачык-айкындык маалыматын жөнөтөбүз. Бул схема менен сынуу, туура ачыктык жана кошумча көлөкө сыяктуу кээ бир эффекттерге жетишүү мүмкүн эмес. Бул үчүн, баарын чогуу көрсөтүү керек. Мисалы, өрт же ысык асфальт аба бурмалоо таасирин түзүү үчүн эч кандай жолу жок. Ошол эле сынуу көрсөткүчүн эске алуу менен ачыктык эффектин өткөрүп берүүгө да тиешелүү. Биз алгач ушул чектөөлөрдүн негизинде мазмун түзүп, тиешелүү эффекттерди колдонууга аракет кылдык.
Дмитрий: Европа оюндарынын биринчи долбоорунда өзүңүздүн мазмунуңуз бар беле?
Эндрю: Жок, контентти өнүктүрүүнүн негизги этабын Sechenov.com сайтынын балдары жасашкан. Алардын графикалык сүрөтчүлөрү анимациялар жана башка нерселер менен негизги мазмунду тартышкан. Жана биз бардыгын кыймылдаткычка киргизип, кошумча эффекттерди кошуп, бардыгы туура иштегендей кылып ыңгайлаштырдык.
Эгерде биз куур жөнүндө айтсак, анда телеберүү үчүн биз бардыгын Unreal Engine 4ке чогулттук. Кокусунан, алар дал ошол учурда аралаш реалдуулук үчүн куралдарын күчөтө башташты. Көрсө, баары анчалык деле жөнөкөй эмес экен. Азыр да бардык шаймандар чийки, биз кол менен көп бүтүрүүгө туура келди. Минскиде биз кыймылдаткычтын атайын конструкциясынын үстүндө иштедик, башкача айтканда, биз кыймылдаткычтын ичиндеги кээ бир нерселерди, мисалы, реалдуу объектилердин үстүнө көлөкө тартуу үчүн кайра жаздык. Ошол кездеги кыймылдаткычтын версиясында стандарттуу шаймандарды колдонууга мүмкүндүк бере турган өзгөчөлүктөр болгон эмес. Ушул себептен улам, биздин жигиттер абдан зарыл болгон нерселердин бардыгын камсыз кылуу үчүн өздөрүнүн жеке чогулушун жасашкан.
Башка нюанстар жана Казандагы WorldSkillsке адаптация
Timecode ( ) — 31:37
Дмитрий: Бирок мунун баары бир аз убакыттын ичинде?
Эндрю: Мөөнөттөр тар болчу , Минск боюнча - нормалдуу. Өнүктүрүү үчүн алты айга жакын, бирок алты адам тартылганын эске алуу менен. Ошол эле учурда биз мобилдик тетиктерди жасап, телевидение чыгаруу үчүн шаймандарды иштеп чыктык. Сүрөт чыгаруу гана болгон жок. Мисалы, оптика менен көзөмөлдөө системасы, бул үчүн өз куралдарын түзүү керек болчу.
Дмитрий: Бир долбоордон экинчисине адаптация болдубу? Бир жарым айдын ичинде өнүгүүлөрдөн пайдаланып, жаңы мазмундагы долбоорду жаңы сайтка өткөрүү керек эле?
Эндрю: Ооба, бир жарым ай болду. Минск долбоорунан кийин бүт командага эки жумалык эс алууну пландаштырганбыз. Бирок жабылгандан кийин дароо Sechenov.com сайтынын балдары келип: "Анда Казан кылалы" дешет. Биз дагы бир аз эс алганга жетиштик, бирок бул долбоорго тез эле өттүк. Биз кээ бир техникалык иштерди бүтүрдүк. Убакыттын көбү контентке жумшалды, анткени WorldSkills үчүн биз муну толугу менен жасадык, биз аны жөн гана өндүрүш тобу менен макулдаштык. Алар тарабынан сценарий гана болгон. Бирок бул жеңилирээк болду - кошумча кайталоонун кереги жок болчу. Мазмунду өзүңүз түзгөнүңүздө, анын кыймылдаткычта кантип иштээрин дароо көрүп, тез эле түзөтүп, координациялай аласыз.
Мобилдик бөлүккө келсек, биз Минскиде болгон бардык майда-барат жактарын эске алдык. Колдонмонун жаңы дизайнын жасадык, архитектураны бир аз өзгөрттүк, окуу куралдарын коштук, бирок аны мүмкүн болушунча кыска жана түшүнүктүү кылууга аракет кылдык. Колдонмону ишке киргизүүдөн баштап мазмунду көрүү үчүн колдонуучу кадамдарынын санын кыскарттык. Адекваттуу долбоорду бүтүрүү үчүн бир жарым ай жетиштүү болду. Бир жарым жумадан кийин сайтка жеттик. Ал жерде иштөө оңой болду, анткени долбоордун бардык көзөмөлү уюштуруучулардын колунда, башка комитеттер менен координациялоонун кереги жок болчу. Казанда иштөө жөнөкөй жана жеңил болгон жана убакыттын аздыгы кадимки эле көрүнүш болчу.
Дмитрий: Бирок сиз үн негизинде синхрондоштуруу ыкмасын калтырууну чечтиңизби?
Эндрю: Ооба, биз аны үн менен калтырдык. Бул жакшы иштеди. Иштесе тийбегиле дегендей. Биз жөн гана аудио тректин сапатынын нюанстарын эске алдык. Алар интро жасаганда, шоу башталганга чейин адамдар аракет кылышы үчүн тренинг эпизоду бар болчу. Стадиондо трек ойноп жаткан учурда дүркүрөгөн кол чабуулар "жандуу" болуп жатканы таң калыштуу болду, система бул трек менен жакшы синхрондоштурууга мүмкүндүк берет, бирок ошол учурда жазылган кол чабуулар трекке аралашып кетсе, анда трек мындан ары кармалбайт. Мындай нюанстар эске алынып, баары үн жагынан абдан жакшы синхрондоштурулган.
PS Чыгаруунун экинчи бөлүгүндө биз илимий маалыматтарды визуализациялоо, башка долбоорлордо процесстерди моделдөө, оюндарды иштеп чыгуу жана магистрдик программа жөнүндө сөз кылабыз." Уландысын кийинки макалада жарыялайбыз. Бизди бул жерден угуп, колдой аласыз:
PPS Ошол эле учурда, Habr англис версиясында: .
Source: www.habr.com