Sa a se premye pati nan transkripsyon tèks dezyèm entèvyou a pou pwogram nou an (, ). Pwoblèm envite - (), Ph.D., chèchè ansyen nan Sant Nasyonal pou Rechèch Kognitif, pwofesè asosye nan Fakilte Transfòmasyon Digital.
Depi 2012, Andrey ap travay nan gwoup rechèch Visualization and Computer Graphics. Angaje nan gwo pwojè aplike nan nivo leta ak entènasyonal. Nan pati sa a nan konvèsasyon an, nou pale sou eksperyans li nan sipò AR pou evènman piblik yo.
Photo tire (Unsplash.com)
Kontèks pwojè ak objektif
Timecode (pa ) — 00:41
: Mwen ta renmen kòmanse ak pwojè jwèt Ewopeyen an. Li se milti-konpozan, plizyè ekip te patisipe nan preparasyon an, ak bay reyalite ogmante pou yon odyans de milye dwa pandan yon evènman nan estad la se yon travay byen grav. An tèm de patisipasyon ou, èske se lojisyèl an premye?
: Wi, nou te fè pati pwogramasyon an epi nou te bay sipò pandan emisyon an. Li te nesesè yo swiv, kontwole ak lanse tout bagay an tan reyèl, epi tou travay ak gwoup la televizyon. Si nou konsidere pwojè sa a kòm yon antye, Lè sa a, nou ka pale sou seremoni yo ouvèti ak fèmen nan Minsk, osi byen ke sou seremoni an ouvèti nan chanpyona a nan Kazan. Se te menm konplo travay la, men evènman diferan. Te gen yon espas de mwa ant yo. Nou prepare pwojè a ansanm ak mesye yo nan konpayi an .
Nou te rankontre yo pa chans sou , ki te fèt nan sezon otòn 2018 la. Elèv mèt nou yo te montre pwojè kou yo sou sijè VR. Mesye yo te vin jwenn nou epi yo te mande sa nou t ap fè nan laboratwa nou an. Li te sanble yon bagay tankou sa a:
— Ou travay ak VR, men èske w ka travay ak reyalite ogmante?
- Oke, sòt de, wi.
- Gen tankou yon travay, ak nòt entwodiksyon sa yo. Èske ou ka fè li?
Yo grate nave yo yon ti kras, pa sanble gen anyen ki pa reyèl:
- Ann eseye etidye tout bagay an premye, ak Lè sa a, jwenn yon solisyon.
Dmitriy: Èske yo sèlman bay sipò medya?
Andre: Yo fè yon pil plen. Soti nan pwen de vi nan jesyon ak òganizasyon, yo konplètman patisipe nan dirije, sèn, seleksyon nan peyizaj, lojistik ak lòt sipò teknik. Men, yo te vle fè yon bagay espesyal pou jwèt Ewopeyen yo. Efè espesyal sa yo, tankou reyalite melanje, yo te fèt pou televizyon pou yon tan long, men yo pa pi zanmitay bidjè a an tèm de aplikasyon teknik. Se poutèt sa, mesye yo t ap chèche opsyon altènatif.
Dmitriy: Ann diskite sou pwoblèm nan an plis detay. Ki sa li te konpoze de?
Andre: Gen yon evènman. Li dire yon èdtan ak yon mwatye. Nou bezwen asire w ke odyans lan ap gade li an dirèk ak moun ki chita nan estad la ka wè efè reyalite ogmante nan senkronizasyon konplè ak emisyon an ap viv an tèm de tan ak kote sou sit la.
Te gen yon kantite limit teknik. Li te enposib fè senkronizasyon tan atravè Entènèt la, paske te gen laperèz sou chaj twòp sou rezo a ak kanpe plen ak pwospè nan chèf deta patisipe nan evènman an, ki ta ka bloke rezo mobil yo.
Andrey Karsakov, foto soti nan
Nou te gen de eleman kle nan pwojè sa a - eksperyans pèsonèl ke moun ka jwenn atravè aparèy mobil, ak sa ki ale nan emisyon televizyon an ak ekran enfòmasyon nan estad la li menm.
Si toudenkou yon moun ap gade epizòd reyalite ogmante atravè yon aparèy mobil epi an menm tan an vin sou ekran an, li ta dwe wè menm foto a.
Nou te bezwen de sistèm nòmalman diferan yo dwe konplètman senkronize nan tan. Men, spesifik nan montre sa yo se ke sa yo se evènman konplèks kote yon gwo kantite sèvis teknik yo enplike ak tout operasyon yo fèt dapre kòd tan. Kòd tan se yon moman espesifik nan tan kote yon bagay kòmanse: limyè, son, moun k ap kite, petal etap louvri, ak sou sa. Nou te oblije adapte yo ak sistèm sa a pou tout bagay ta kòmanse nan bon moman. Yon lòt karakteristik te ke sèn yo ak epizòd ak reyalite ogmante yo te ki gen rapò ak script.
Dmitriy: Men, èske ou deside abandone itilizasyon kòd tan akòz gwo risk fòs majeures, oswa èske ou okòmansman kalkile kèk karakteristik pouvwa epi reyalize ke chaj la sou sistèm nan tout ta dwe byen wo?
Andre: Si ou kreye yon sèvis senkronizasyon pou yon odyans konsa, li pa trè difisil. Nan nenpòt ka, demann pa pral febli lannwit lan. Wi, chaj la wo, men li pa yon ijans. Kesyon an se si li vo depans resous ak tan sou sa a si rezo a toudenkou ale deyò. Nou pa t sèten sa p ap rive. Alafen, tout bagay te travay, ak entèripsyon akòz chaj la, men li te travay, epi nou senkronize dapre kòd tan an dapre yon konplo diferan. Sa a te youn nan defi mondyal yo.
Difikilte nan aplikasyon nan yon pwen de vi UX
Timecode (pa ) — 10:42
Andre: Nou menm tou nou te dwe pran an kont ke estad la se pa yon pidevan konsè klasik, ak senkronize sistèm yo atravè espas ki la pou aparèy mobil. Se konsa, kèk tan de sa mwen te tounen viral nan konsè Eminem, Lè sa a, te gen yon ka ak Loboda.
Photo tire (Unsplash.com)
Men, sa a se toujou yon eksperyans nan devan ou - tout foul moun yo kanpe devan etap la, senkronizasyon an se byen senp. Nan ka a nan yon estad, ou bezwen konprann ki bò nan sèk la ou ye, pozisyon relatif la, pou ke estad la anfòm nan espas ki egziste nan anviwònman an vityèl. Se te yon defi tounen. Yo te eseye rezoud li nan plizyè fason, ak rezilta a se te yon ka tou pre sa ki te aplike pa Loboda, men se pa nan tout respè.
Nou kite itilizatè a deside kote li ye. Nou te fè mak pou stad la, kote moun te chwazi yon sektè, yon ranje, yon kote. Tout bagay sa a nan kat "klik". Apre sa, nou te oblije detèmine direksyon etap la. Pou fè sa, nou te montre yon silwèt sou sa sèn nan ta dwe apeprè sanble nan yon pèspektiv koutim. Li konbine li, tape e se li - etap la chita. Nou te eseye senplifye pwosesis sa a otank posib. Toujou, 90% nan telespektatè yo ki te vle gade emisyon an se pa moun ki gen eksperyans kominike ak reyalite ogmante.
Dmitriy: Èske te gen yon aplikasyon separe pou pwojè sa a?
Andre: Да, приложение для iOS и для Android, которое мы пушили в сторы. По нему была отдельная промо-кампания. Было предварительно подробно рассказано, как скачать и прочее.
Dmitriy: Ou bezwen konprann ke pa gen okenn kote pou yon moun teste fizikman epi aprann kijan pou itilize yon aplikasyon konsa. Se poutèt sa, travay la nan "edike" odyans lan te vin pi konplike.
Andre: Wi Wi. Avèk UX, nou kenbe yon anpil nan monte desann, paske itilizatè a vle jwenn eksperyans nan nan twa klik: telechaje, enstale, te lanse - li te travay. Anpil moun twò parese pou swiv leson patikilye konplèks, li leson patikilye, ak sou sa. Epi nou pa t eseye eksplike tout bagay itilizatè a otank posib nan leson patikilye a: yon fenèt ap louvri isit la, aksè nan kamera a isit la, otreman li pa pral travay, ak sou sa. Kèlkeswa kantite eksplikasyon ou ekri, kèlkeswa jan detay ou moulen li, kèlkeswa gif ou mete, moun pa li li.
Nan Minsk nou kolekte yon pisin gwo fidbak sou pati sa a, epi yo te deja chanje anpil pou aplikasyon an nan Kazan. Nou mete la non sèlman fonogram yo ak kòd tan sa yo ki koresponn ak yon epizòd espesifik nan reyalite ogmante, men nou te pran tout fonogram yo ak kòd tan yo nan antye. Se konsa, aplikasyon an te tande sa k te pase nan moman lansman an, epi - si yon moun te konekte nan yon move moman - li te bay enfòmasyon an: "Kamarad, mwen regrèt, epizòd AR ou a pral nan 15 minit."
Yon ti kras sou achitekti a ak apwòch nan senkronizasyon
Timecode (pa ) — 16:37
Dmitriy: Eske ou deside senkronize pa son?
Andre: Wi, li te rive pa aksidan. Nou t ap chèche opsyon e nou te rankontre yon konpayi soti nan Izhevsk. Yo fè yon SDK pa patikilyèman sofistike, men ki fè travay, ki pèmèt ou senkronize son an ak distribisyon an. Sistèm nan te pozisyone pou travay ak televizyon, lè ou ka montre yon bagay nan yon aplikasyon ki baze sou son an nan yon reklam kondisyonèl oswa bay yon eksperyans entèaktif ki baze sou tras fim nan.
Dmitriy: Men, se yon sèl bagay - w ap chita nan chanm k ap viv ou a, ak yon lòt bagay - yon estad ak dè milye de moun. Ki jan bagay yo te mache pou ou ak bon jan kalite a nan anrejistreman son ak rekonesans ki vin apre li yo?
Andre: Te gen anpil laperèz ak dout, men nan pifò ka yo tout bagay te rekonèt byen. Yo bati siyati sou track odyo a ak algorithm malen yo - rezilta a peze mwens pase dosye odyo orijinal la. Lè mikwofòn la koute son ki antoure a, li eseye jwenn karakteristik sa yo epi rekonèt tras la ki baze sou yo. Nan bon kondisyon, presizyon nan senkronizasyon se 0,1-0,2 segonn. Sa a te plis pase ase. Nan move kondisyon, diferans lan te jiska 0,5 segonn.
Anpil depann sou aparèy la. Nou te travay ak yon gwo flòt aparèy. Pou iPhones gen sèlman 10 modèl. Yo te travay byen an tèm de bon jan kalite ak lòt karakteristik. Men, ak android zou a se tankou manman m '. Se pa tout kote li te tounen soti ke senkronizasyon nan son te travay. Te gen ka lè li te enposib tande tren diferan sou aparèy diferan akòz kèk sengularite. Yon kote frekans ki ba yo disparèt, yon kote frekans segondè yo kòmanse soufle. Men, si aparèy la te gen yon nòmalize sou mikwofòn la, senkronizasyon an te toujou travay.
Dmitriy: Tanpri di nou sou achitekti a - ki sa ki te itilize nan pwojè a?
Andre: Nou te fè aplikasyon an nan Inite - opsyon ki pi senp an tèm de milti-platfòm ak travay ak grafik. Itilize AR Fondasyon. Nou imedyatman te di ke nou pa t 'vle konplike sistèm nan, kidonk nou limite tèt nou nan yon flòt nan aparèy ki sipòte ARKit ak ARCore yo nan lòd yo gen tan teste tout bagay. Nou te fè yon plugin pou DigitalSoft SDK, li . Nou te kreye yon sistèm jesyon kontni pou scripts yo ta kouri dapre delè a.
Nou tinkered yon ti kras ak sistèm nan patikil, paske itilizatè a ka antre nan nenpòt ki lè nan yon Episode patikilye, epi nou bezwen l 'yo wè tout bagay soti nan moman sa a soti nan ki li senkronize. Nou brikoze ak yon sistèm ki pèmèt senaryo yo dwe jwe byen klè nan tan, pou ke eksperyans nan 3D ka defile ale vini, tankou nan yon fim. Pandan ke li travay soti nan bwat la ak animasyon klasik, nou te gen brikolaj ak sistèm patikil. Nan kèk pwen, yo kòmanse anjandre, epi si ou jwenn tèt ou yon kote anvan pwen an anjandre, yo poko fèt, byenke li sanble tankou yo ta dwe. Men, pwoblèm sa a se aktyèlman byen fasil yo rezoud.
Pou pati mobil la, achitekti a se byen senp. Pou difizyon televizyon tout bagay se pi konplike. Nou te gen restriksyon pyès ki nan konpitè. Kliyan an mete yon kondisyon: "Isit la nou gen tankou yon pak pyès ki nan konpitè, apeprè pale, tout bagay bezwen travay sou li." Nou imedyatman konsantre sou lefèt ke nou ta travay ak kat kaptire videyo relativman bidjè. Men, bidjè pa vle di yo se move.
Te gen restriksyon sou pyès ki nan konpitè, sou kat kaptire videyo ak sou kondisyon travay - ki jan nou ta dwe resevwa foto a. Kat kaptire - Blackmagic Design, te travay dapre konplo a kle Entèn - sa a se lè yon ankadreman videyo vini nan ou soti nan kamera a. Kat la gen pwòp chip pwosesis li yo, kote yo mete yon ankadreman tou, ki dwe sipèpoze sou tèt youn nan fèk ap rantre. Kat la melanje yo - nou pa manyen nenpòt lòt bagay la epi yo pa afekte ankadreman an nan kamera videyo a. Li krache soti rezilta a nan chanm nan kontwòl atravè pwodiksyon an videyo. Sa a se yon bon metòd pou kouvri tit ak lòt bagay ki sanble, men li pa trè apwopriye pou efè reyalite melanje paske gen anpil restriksyon sou tiyo rann lan.
Dmitriy: An tèm de informatique an tan reyèl, objè obligatwa, oswa yon lòt bagay?
Andre: An tèm de bon jan kalite ak reyalize efè yo vle. Paske nou pa konnen ki sa nou ap mete foto a sou tèt. Nou tou senpleman voye enfòmasyon koulè ak transparans sou tèt kouran orijinal la. Gen kèk efè tankou refraksyon, transparans kòrèk, ak lonbraj adisyonèl pa ka reyalize ak konplo sa a. Pou fè sa, ou bezwen rann tout bagay ansanm. Pou egzanp, pa gen okenn fason yo kreye efè a nan deformation lè soti nan yon dife oswa asfalt cho. Menm bagay la tou ale pou transfè a nan efè a transparans pran an kont endèks la refraktif. Okòmansman, nou te fè kontni ki baze sou restriksyon sa yo epi nou te eseye sèvi ak efè apwopriye.
Dmitriy: Èske ou te deja gen pwòp kontni ou nan premye pwojè a pou jwèt Ewopeyen yo?
Andre: Non, etap prensipal la nan devlopman kontni te fè pa mesye yo soti nan Sechenov.com. Atis grafik yo te trase kontni debaz la ak animasyon ak lòt bagay. Epi nou entegre tout bagay nan motè a, ajoute efè adisyonèl, adapte li pou ke tout bagay te travay kòrèkteman.
Si nou pale sou tiyo a, Lè sa a, pou difizyon televizyon nou reyini tout bagay sou Unreal Engine 4. Azar, yo jis nan moman sa a te kòmanse ranfòse zouti yo pou reyalite melanje. Li te tounen soti ke tout bagay se pa tèlman senp. Menm kounye a tout zouti yo anvan tout koreksyon nou te oblije fini anpil nan men. Nan Minsk nou te travay sou yon konstriksyon koutim nan motè a, se sa ki, nou reekri kèk bagay andedan motè a pou, pou egzanp, nou te kapab trase lonbraj sou tèt objè reyèl. Sou vèsyon an nan motè a ki te aktyèl nan tan sa a, pa te gen okenn karakteristik ki ta pèmèt sa a dwe fè lè l sèvi avèk zouti estanda. Pou rezon sa a, mesye nou yo te fè pwòp asanble koutim yo pou bay tout sa ki te esansyèlman nesesè.
Lòt nuans ak adaptasyon nan WorldSkills nan Kazan
Timecode (pa ) — 31:37
Dmitriy: Men, tout bagay sa yo nan yon peryòd de tan jistis kout?
Andre: Dat limit yo te sere , dapre Minsk - nòmal. Apeprè sis mwa pou devlopman, men pran an kont lefèt ke sis moun te enplike. An menm tan an, nou te fè pati mobil lan ak devlope zouti pou pwodiksyon televizyon. Pa te gen sèlman yon pwodiksyon foto. Pou egzanp, yon sistèm swiv ak optik, pou sa ou te gen yo kreye zouti pwòp ou yo.
Dmitriy: Èske te gen nenpòt adaptasyon soti nan yon pwojè nan yon lòt? Nan yon mwa ak yon mwatye, li te nesesè yo pran avantaj de devlopman yo epi transfere pwojè a ak nouvo kontni nan yon nouvo sit?
Andre: Wi, li te pou yon mwa edmi. Nou te planifye yon vakans de semèn pou tout ekip la apre pwojè Minsk la. Men, imedyatman apre yo fin fèmen, mesye yo soti nan Sechenov.com vini epi yo di: "Oke, ann fè Kazan Lè sa a." Nou toujou jere repoze yon ti kras, men chanje nan pwojè sa a byen vit. Nou te konplete kèk travay teknik. Pifò nan tan an te pase sou kontni, paske pou WorldSkills nou te fè li antyèman, nou jis kowòdone li ak ekip pwodiksyon an. Te gen sèlman yon script sou pati yo. Men, li te pi fasil - pa te gen okenn nesesite pou iterasyon siplemantè. Lè ou kreye kontni tèt ou, ou imedyatman wè ki jan li fonksyone nan motè a, epi ou ka byen vit edite ak kowòdone.
Konsènan pati mobil la, nou te pran an kont tout sibtilite ke nou te genyen nan Minsk. Nou te fè yon nouvo konsepsyon aplikasyon, reamenaje achitekti a yon ti kras, te ajoute leson patikilye, men yo te eseye fè li pi kout ak klè ke posib. Nou redwi kantite etap itilizatè yo soti nan lanse aplikasyon an pou gade kontni an. Yon mwa edmi te ase pou konplete yon pwojè adekwat. Nan yon semèn edmi nou rive sou sit la. Li te pi fasil pou travay la paske tout kontwòl sou pwojè a te nan men òganizatè yo pa te gen okenn bezwen kowòdone ak lòt komite. Li te pi senp ak pi fasil pou travay nan Kazan e li te byen nòmal ke te gen mwens tan.
Dmitriy: Men, èske ou deside kite apwòch la nan senkronizasyon jan li te ye, ki baze sou son?
Andre: Wi, nou kite li pa son. Li te travay byen. Kòm yo di, si li travay, pa manyen li. Nou tou senpleman te pran an kont nuans yo nan bon jan kalite a nan tras la odyo. Lè yo te fè intro a, te gen yon Episode fòmasyon pou moun eseye anvan emisyon an te kòmanse. Li te etone ke lè nan moman sa a nan jwe track la nan estad la gen aplodisman tanpèt, "viv", sistèm nan pèmèt ou senkronize byen ak track sa a, men si nan moman sa a aplodisman anrejistre melanje ak track la, Lè sa a, tras pa kenbe ankò. Nuans sa yo te pran an kont, ak tout bagay te senkronize byen an tèm de son.
PS Nan dezyèm pati a nan pwoblèm nan nou pale sou vizyalizasyon done syantifik, modèl pwosesis nan lòt pwojè, devlopman jwèt ak pwogram mèt la "" Nou pral pibliye yon kontinyasyon nan pwochen atik la. Ou ka koute epi sipòte nou isit la:
PPS Pandan se tan, sou vèsyon angle Habr: .
Sous: www.habr.com
