Dyma ran gyntaf trawsgrifiad testun yr ail gyfweliad ar gyfer ein rhaglen (, ). Gwestai Rhifyn - (), Ph.D., uwch ymchwilydd yn y Ganolfan Genedlaethol ar gyfer Ymchwil Gwybyddol, athro cyswllt yn y Gyfadran Trawsnewidiadau Digidol.
Ers 2012, mae Andrey wedi bod yn gweithio yn y grŵp ymchwil Delweddu a Graffeg Cyfrifiadurol. Cymryd rhan mewn prosiectau cymhwysol mawr ar lefel y wladwriaeth a lefel ryngwladol. Yn y rhan hon o'r sgwrs, rydym yn siarad am ei brofiad mewn cefnogaeth AR ar gyfer digwyddiadau cyhoeddus.
Shoot Photo (Unsplash.com)
Cyd-destun ac amcanion y prosiect
Cod amser (gan ) — 00:41
: Hoffwn ddechrau gyda phrosiect y Gemau Ewropeaidd. Mae'n aml-gydran, cymerodd sawl tîm ran yn y paratoi, ac mae darparu realiti estynedig i gynulleidfa o filoedd yn union yn ystod digwyddiad yn y stadiwm yn dasg eithaf difrifol. O ran eich cyfranogiad, ai meddalwedd oedd yn gyntaf?
: Do, fe wnaethom y rhan rhaglennu a darparu cefnogaeth yn ystod y sioe. Roedd angen olrhain, monitro a lansio popeth mewn amser real, a hefyd gweithio gyda'r grŵp teledu. Os byddwn yn ystyried y prosiect hwn yn ei gyfanrwydd, yna gallwn siarad am y seremonïau agor a chau ym Minsk, yn ogystal ag am seremoni agoriadol y bencampwriaeth yn Kazan. Yr un cynllun gwaith ydoedd, ond digwyddiadau gwahanol. Roedd bwlch o ddau fis rhyngddynt. Fe wnaethon ni baratoi'r prosiect gyda'r bechgyn o'r cwmni .
Fe wnaethon ni gwrdd â nhw ar hap , a ddigwyddodd yng nghwymp 2018. Bu myfyrwyr ein meistr yn arddangos eu prosiect cwrs ar bwnc VR. Daeth y bechgyn atom a gofyn beth oeddem yn ei wneud yn ein labordy. Roedd yn edrych rhywbeth fel hyn:
— Rydych chi'n gweithio gyda VR, ond a allwch chi weithio gyda realiti estynedig?
- Wel, math o, ie.
— Y mae y fath orchwyl, gyda nodiadau rhagarweiniol o'r fath. Allwch chi ei wneud?
Fe wnaethon nhw grafu eu maip ychydig, nid yw'n ymddangos bod unrhyw beth afrealistig:
- Gadewch i ni geisio astudio popeth yn gyntaf, ac yna dod o hyd i ateb.
Dmitriy: Ai dim ond cymorth cyfryngau y maent yn ei ddarparu?
Andrew: Maen nhw'n gwneud pentwr llawn. O safbwynt rheolaeth a threfniadaeth, maent yn ymwneud yn llwyr â chyfarwyddo, llwyfannu, dewis golygfeydd, logisteg a chymorth technegol arall. Ond roedden nhw eisiau gwneud rhywbeth arbennig ar gyfer y Gemau Ewropeaidd. Mae'r effeithiau arbennig hyn, fel realiti cymysg, wedi'u gwneud ar gyfer teledu ers cryn amser, ond nid dyma'r rhai mwyaf cyfeillgar i'r gyllideb o ran gweithredu technegol. Felly, edrychodd y dynion am opsiynau amgen.
Dmitriy: Gadewch i ni drafod y broblem yn fwy manwl. Beth oedd ei gynnwys?
Andrew: Mae digwyddiad. Mae'n para awr a hanner. Mae angen i ni sicrhau bod y gynulleidfa sy'n ei wylio'n fyw a'r rhai sy'n eistedd yn y stadiwm yn gallu gweld yr effeithiau realiti estynedig mewn cydamseriad llawn â'r sioe fyw o ran amser a lleoliad ar y safle.
Roedd nifer o gyfyngiadau technegol. Roedd yn amhosibl cydamseru amser trwy'r Rhyngrwyd, oherwydd roedd ofnau ynghylch llwyth gormodol ar y rhwydwaith gyda stondinau llawn a'r posibilrwydd y byddai penaethiaid gwladwriaeth yn mynychu'r digwyddiad, a allai jamio'r rhwydweithiau symudol.
Andrey Karsakov, llun o
Roedd gennym ddwy elfen allweddol i’r prosiect hwn – y profiad personol y gall pobl ei gael drwy ddyfeisiadau symudol, a’r hyn sy’n mynd i mewn i’r darllediad teledu a sgriniau gwybodaeth yn y stadiwm ei hun.
Os yn sydyn mae person yn gwylio episodau o realiti estynedig trwy ddyfais symudol ac ar yr un pryd yn mynd ar y sgrin, dylai weld yr un llun.
Roedd angen dwy system bron yn wahanol i gael eu cydamseru'n llwyr mewn amser. Ond hynodrwydd sioeau o'r fath yw bod y rhain yn ddigwyddiadau cymhleth lle mae nifer fawr o wasanaethau technegol yn cymryd rhan a bod yr holl weithrediadau'n cael eu perfformio yn unol â chodau amser. Mae cod amser yn foment benodol mewn amser pan fydd rhywbeth yn dechrau: golau, sain, pobl yn gadael, petalau llwyfan yn agor, ac ati. Roedd yn rhaid i ni addasu i'r system hon fel bod popeth yn dechrau ar yr amser iawn. Nodwedd arall oedd bod y golygfeydd a'r penodau gyda realiti estynedig yn gysylltiedig â sgriptiau.
Dmitriy: Ond a wnaethoch chi benderfynu rhoi'r gorau i ddefnyddio codau amser oherwydd y risgiau uchel o force majeure, neu a wnaethoch chi gyfrifo rhai nodweddion pŵer i ddechrau a sylweddoli y byddai'r llwyth ar y system gyfan yn eithaf uchel?
Andrew: Os ydych chi'n creu gwasanaeth cydamseru ar gyfer cynulleidfa o'r fath, yna nid yw'n anodd iawn. Mewn unrhyw achos, ni fydd ceisiadau yn methu dros nos. Ydy, mae'r llwyth yn uchel, ond nid yw'n argyfwng. Y cwestiwn yw a yw'n werth gwario adnoddau ac amser ar hyn os bydd y rhwydwaith yn mynd allan yn sydyn. Nid oeddem yn siŵr na fyddai hyn yn digwydd. Yn y pen draw, gweithiodd popeth, gydag ymyriadau oherwydd y llwyth, ond fe weithiodd, ac fe wnaethom gydamseru yn ôl y cod amser yn ôl cynllun gwahanol. Roedd hwn yn un o'r heriau byd-eang.
Anawsterau gweithredu o safbwynt UX
Cod amser (gan ) — 10:42
Andrew: Roedd yn rhaid i ni hefyd gymryd i ystyriaeth nad yw'r stadiwm yn lleoliad cyngerdd clasurol, a chydamseru'r systemau ar draws y gofod ar gyfer dyfeisiau symudol. Felly, beth amser yn ôl es i'n firaol yng nghyngherddau Eminem, yna bu achos gyda Loboda.
Shoot Photo (Unsplash.com)
Ond mae hwn bob amser yn brofiad o'ch blaen - mae'r dorf gyfan yn sefyll o flaen y llwyfan, mae'r cydamseru yn eithaf syml. Yn achos stadiwm, mae angen i chi ddeall pa ochr o'r cylch rydych chi arno, y sefyllfa gymharol, fel bod y stadiwm yn ffitio i'r gofod sy'n bodoli yn yr amgylchedd rhithwir. Roedd yn her sur. Ceisiasant ei ddatrys mewn amrywiol ffyrdd, a'r canlyniad oedd achos a oedd yn agos at yr hyn a weithredwyd gan Loboda, ond nid ym mhob ffordd.
Rydyn ni'n gadael i'r defnyddiwr benderfynu ble mae e. Gwnaethom farciau ar gyfer y stadiwm, lle dewisodd pobl sector, rhes, lle. Hyn i gyd mewn pedwar “clic”. Nesaf roedd yn rhaid i ni benderfynu ar y cyfeiriad i'r llwyfan. I wneud hyn, fe wnaethom ddangos silwét o sut y dylai'r olygfa edrych yn fras o safbwynt arferol. Cyfunodd, tapiodd a dyna ni - eisteddodd y llwyfan i lawr. Fe wnaethom geisio symleiddio'r broses hon gymaint â phosibl. Eto i gyd, nid yw 90% o'r gwylwyr a oedd am wylio'r sioe yn bobl sydd â phrofiad o gyfathrebu â realiti estynedig.
Dmitriy: A oedd cais ar wahân ar gyfer y prosiect hwn?
Andrew: Ie, cais ar gyfer iOS ac Android, yr ydym yn gwthio i'r siop. Roedd ymgyrch hyrwyddo ar wahân ar ei gyfer. Disgrifiwyd yn fanwl yn flaenorol sut i lawrlwytho ac ati.
Dmitriy: Mae angen i chi ddeall nad oes lle i berson brofi'n gorfforol a dysgu sut i ddefnyddio cymhwysiad o'r fath. Felly, daeth y dasg o “addysgu” y gynulleidfa yn fwy cymhleth.
Andrew: Ydy Ydy. Gyda UX, rydym yn dal llawer o bumps, oherwydd bod y defnyddiwr eisiau cael y profiad mewn tri chlic: llwytho i lawr, gosod, lansio - mae'n gweithio. Mae llawer o bobl yn rhy ddiog i ddilyn tiwtorialau cymhleth, darllen tiwtorialau, ac ati. Ac ni wnaethom geisio esbonio popeth i'r defnyddiwr cymaint â phosibl yn y tiwtorial: bydd ffenestr yn agor yma, mynediad i'r camera yma, fel arall ni fydd yn gweithio, ac ati. Ni waeth faint o esboniadau rydych chi'n eu hysgrifennu, ni waeth pa mor fanwl rydych chi'n eu cnoi, ni waeth pa gifs rydych chi'n eu mewnosod, nid yw pobl yn ei ddarllen.
Ym Minsk, fe wnaethom gasglu cronfa fawr o adborth ar y rhan hon, ac rydym eisoes wedi newid llawer ar gyfer y cais yn Kazan. Rhoesom yno nid yn unig y ffonogramau a'r codau amser hynny sy'n cyfateb i bennod benodol o realiti estynedig, ond fe wnaethom gymryd yr holl ffonogramau a chodau amser yn eu cyfanrwydd. Felly clywodd y cais beth oedd yn digwydd ar adeg ei lansio, ac - os yw person wedi mewngofnodi ar yr eiliad anghywir - fe roddodd y wybodaeth: “Comrade, mae'n ddrwg gen i, bydd eich pennod AR mewn 15 munud.”
Ychydig am y bensaernïaeth a'r ymagwedd at gydamseru
Cod amser (gan ) — 16:37
Dmitriy: A wnaethoch chi benderfynu cydamseru â sain?
Andrew: Do, fe ddigwyddodd ar ddamwain. Roeddem yn edrych trwy opsiynau a daethom ar draws cwmni o Izhevsk. Maent yn gwneud SDK nad yw'n arbennig o soffistigedig, ond sy'n gweithio'n haearn, sy'n eich galluogi i gydamseru'r sain â'r amseriad. Roedd y system wedi'i lleoli i weithio gyda theledu, pan allwch chi arddangos rhywbeth mewn cymhwysiad yn seiliedig ar sain hysbyseb amodol neu roi profiad rhyngweithiol yn seiliedig ar y trac ffilm.
Dmitriy: Ond mae'n un peth - rydych chi'n eistedd yn eich ystafell fyw, a pheth arall - stadiwm gyda miloedd o bobl. Sut gwnaeth pethau weithio allan i chi gydag ansawdd y recordiad sain a'r adnabyddiaeth ddilynol?
Andrew: Roedd yna lawer o ofnau ac amheuon, ond yn y rhan fwyaf o achosion roedd popeth yn cael ei gydnabod yn dda. Maent yn adeiladu llofnodion ar y trac sain gyda'u algorithmau cyfrwys - mae'r canlyniad yn pwyso llai na'r ffeil sain wreiddiol. Pan fydd y meicroffon yn gwrando ar y sain amgylchynol, mae'n ceisio dod o hyd i'r nodweddion hyn ac adnabod y trac yn seiliedig arnynt. Mewn amodau da, mae'r cywirdeb cydamseru yn 0,1-0,2 eiliad. Roedd hyn yn fwy na digon. Mewn amodau gwael roedd yr anghysondeb hyd at 0,5 eiliad.
Mae llawer yn dibynnu ar y ddyfais. Buom yn gweithio gyda fflyd fawr o ddyfeisiau. Ar gyfer iPhones dim ond 10 model sydd. Roeddent yn gweithio'n iawn o ran ansawdd a nodweddion eraill. Ond gyda androids mae'r sw fel fy mam. Nid ym mhobman mae'n troi allan bod y cydamseru sain yn gweithio. Roedd yna achosion pan oedd yn amhosibl clywed traciau gwahanol ar wahanol ddyfeisiau oherwydd rhai hynodion. Rhywle mae'r amleddau isel yn diflannu, rhywle mae'r amleddau uchel yn dechrau gwichian. Ond pe bai gan y ddyfais normalydd ar y meicroffon, roedd y cydamseriad bob amser yn gweithio.
Dmitriy: Dywedwch wrthym am y bensaernïaeth - beth a ddefnyddiwyd yn y prosiect?
Andrew: Fe wnaethom y cais yn Unity - yr opsiwn symlaf o ran aml-lwyfan a gweithio gyda graffeg. Wedi defnyddio AR Foundation. Dywedasom ar unwaith nad oeddem am gymhlethu'r system, felly fe wnaethom gyfyngu ein hunain i fflyd o ddyfeisiau sy'n cefnogi ARKit ac ARCore er mwyn cael amser i brofi popeth. Fe wnaethon ni ategyn ar gyfer y DigitalSoft SDK, mae'n . Fe wnaethon ni greu system rheoli cynnwys fel y byddai sgriptiau'n rhedeg yn unol â'r llinell amser.
Rydym yn tinkered ychydig gyda'r system gronynnau, oherwydd gall y defnyddiwr fynd i mewn ar unrhyw adeg mewn pennod benodol, ac mae angen iddo weld popeth o'r eiliad y mae'n cydamseru. Fe wnaethom ni dincera gyda system sy'n caniatáu i senarios gael eu chwarae allan yn glir mewn amser, fel y gellir sgrolio'r profiad XNUMXD yn ôl ac ymlaen, fel mewn ffilm. Er ei fod yn gweithio allan o'r bocs gydag animeiddiadau clasurol, roedd yn rhaid i ni dinceri gyda systemau gronynnau. Ar ryw adeg, maen nhw'n dechrau silio, ac os ydych chi'n cael eich hun yn rhywle cyn y pwynt silio, nid ydyn nhw eto wedi'u geni, er ei bod yn ymddangos fel y dylent fod. Ond mewn gwirionedd mae'r broblem hon yn eithaf hawdd i'w datrys.
Ar gyfer y rhan symudol, mae'r bensaernïaeth yn eithaf syml. Ar gyfer darlledu teledu mae popeth yn fwy cymhleth. Roedd gennym gyfyngiadau caledwedd. Gosododd y cwsmer amod: “Yma mae gennym ni barc caledwedd o’r fath, yn fras, mae angen i bopeth weithio arno.” Fe wnaethom ganolbwyntio ar unwaith ar y ffaith y byddem yn gweithio gyda chardiau dal fideo cymharol gyllidebol. Ond nid yw cyllideb yn golygu eu bod yn ddrwg.
Roedd cyfyngiadau ar galedwedd, ar gardiau dal fideo ac ar amodau gwaith - sut y dylem dderbyn y llun. Cardiau dal - Blackmagic Design, wedi'u gweithio yn unol â'r cynllun bysellu Mewnol - dyma pan ddaw ffrâm fideo atoch o'r camera. Mae gan y cerdyn ei sglodyn prosesu ei hun, lle mae ffrâm hefyd wedi'i gosod, y mae'n rhaid ei harosod ar ben yr un sy'n dod i mewn. Mae'r cerdyn yn eu cymysgu - nid ydym yn cyffwrdd ag unrhyw beth arall yno ac nid ydym yn effeithio ar ffrâm y camera fideo. Mae hi'n poeri'r canlyniad i'r ystafell reoli trwy'r allbwn fideo. Mae hwn yn ddull da ar gyfer troshaenu teitlau a phethau tebyg eraill, ond nid yw'n addas iawn ar gyfer effeithiau realiti cymysg oherwydd bod yna lawer o gyfyngiadau ar y biblinell rendrad.
Dmitriy: O ran cyfrifiadura amser real, rhwymo gwrthrychau, neu rywbeth arall?
Andrew: O ran ansawdd a chyflawni'r effeithiau dymunol. Achos dydyn ni ddim yn gwybod beth rydyn ni'n rhoi'r llun ar ei ben. Yn syml, rydym yn anfon gwybodaeth lliw a thryloywder ar ben y ffrwd wreiddiol. Ni ellir cyflawni rhai effeithiau megis plygiant, tryloywder cywir, a chysgodion ychwanegol gyda'r cynllun hwn. I wneud hyn, mae angen i chi wneud popeth gyda'i gilydd. Er enghraifft, nid oes unrhyw ffordd i greu effaith ystumio aer o dân neu asffalt poeth. Mae'r un peth yn wir am drosglwyddo'r effaith tryloywder gan ystyried y mynegai plygiannol. I ddechrau gwnaethom gynnwys yn seiliedig ar y cyfyngiadau hyn a cheisio defnyddio effeithiau priodol.
Dmitriy: Oedd gennych chi eich cynnwys eich hun eisoes yn y prosiect cyntaf ar gyfer y Gemau Ewropeaidd?
Andrew: Na, y bechgyn o Sechenov.com oedd yn gyfrifol am brif gam datblygu'r cynnwys. Tynnodd eu hartistiaid graffeg y cynnwys sylfaenol gydag animeiddiadau a phethau eraill. Ac fe wnaethom integreiddio popeth i'r injan, ychwanegu effeithiau ychwanegol, ei addasu fel bod popeth yn gweithio'n iawn.
Os byddwn yn siarad am y gweill, yna ar gyfer darlledu teledu fe wnaethom ymgynnull popeth ar Unreal Engine 4. Yn gyd-ddigwyddiadol, dim ond ar y foment honno y dechreuodd roi hwb i'w hoffer ar gyfer realiti cymysg. Mae'n troi allan nad yw popeth mor syml. Hyd yn oed nawr mae'r holl offer yn amrwd; roedd yn rhaid i ni orffen llawer â llaw. Ym Minsk buom yn gweithio ar adeiladwaith pwrpasol o'r injan, hynny yw, fe wnaethom ailysgrifennu rhai pethau y tu mewn i'r injan fel y gallem, er enghraifft, dynnu cysgodion ar ben gwrthrychau go iawn. Nid oedd gan y fersiwn o'r injan a oedd yn gyfredol bryd hynny nodweddion a fyddai'n caniatáu i hyn gael ei wneud gan ddefnyddio offer safonol. Am y rheswm hwn, gwnaeth ein dynion eu cynulliad personol eu hunain i ddarparu popeth oedd yn hanfodol angenrheidiol.
Naws ac addasiadau eraill i WorldSkills yn Kazan
Cod amser (gan ) — 31:37
Dmitriy: Ond hyn i gyd mewn cyfnod gweddol fyr?
Andrew: Roedd y terfynau amser yn dynn , yn ôl Minsk - arferol. Tua chwe mis ar gyfer datblygiad, ond gan gymryd i ystyriaeth y ffaith bod chwech o bobl yn cymryd rhan. Ar yr un pryd, roeddem yn gwneud y rhan symudol ac yn datblygu offer ar gyfer cynhyrchu teledu. Nid oedd allbwn llun yn unig. Er enghraifft, system olrhain gydag opteg, ar gyfer hyn roedd yn rhaid i chi greu eich offer eich hun.
Dmitriy: A fu unrhyw addasiad o un prosiect i'r llall? Mewn mis a hanner, bu'n rhaid manteisio ar y datblygiadau a throsglwyddo'r prosiect gyda chynnwys newydd i safle newydd?
Andrew: Oedd, bu am fis a hanner. Roeddem wedi cynllunio pythefnos o wyliau i'r tîm cyfan ar ôl prosiect Minsk. Ond yn syth ar ôl cau, mae’r bechgyn o Sechenov.com yn dod i fyny a dweud: “Wel, gadewch i ni wneud Kazan felly.” Rydym yn dal i lwyddo i orffwys ychydig, ond newid i'r prosiect hwn yn eithaf cyflym. Rydym wedi cwblhau rhywfaint o waith technegol. Treuliwyd y rhan fwyaf o'r amser ar gynnwys, oherwydd ar gyfer WorldSkills fe wnaethom ni'n gyfan gwbl, fe wnaethon ni ei gydlynu gyda'r tîm cynhyrchu. Dim ond sgript oedd ar eu rhan. Ond roedd yn haws - nid oedd angen iteriadau ychwanegol. Pan fyddwch chi'n creu cynnwys eich hun, rydych chi'n gweld ar unwaith sut mae'n gweithio yn yr injan, a gallwch chi olygu a chydlynu'n gyflym.
O ran y rhan symudol, gwnaethom ystyried yr holl gynildeb a oedd gennym ym Minsk. Gwnaethom ddyluniad cymhwysiad newydd, ailgynllunio'r bensaernïaeth ychydig, ychwanegu sesiynau tiwtorial, ond ceisio ei wneud mor fyr a chlir â phosibl. Fe wnaethom leihau nifer y camau defnyddwyr o lansio'r rhaglen i wylio'r cynnwys. Roedd mis a hanner yn ddigon i gwblhau prosiect digonol. Mewn wythnos a hanner cyrhaeddon ni'r safle. Roedd yn haws gweithio yno oherwydd bod yr holl reolaeth dros y prosiect yn nwylo’r trefnwyr; nid oedd angen cydlynu gyda phwyllgorau eraill. Roedd yn symlach ac yn haws gweithio yn Kazan ac roedd yn eithaf normal bod llai o amser.
Dmitriy: Ond a wnaethoch chi benderfynu gadael y dull cydamseru fel yr oedd, yn seiliedig ar sain?
Andrew: Ie, gadawon ni ei gan sain. Gweithiodd yn dda. Fel maen nhw'n ei ddweud, os yw'n gweithio, peidiwch â'i gyffwrdd. Yn syml, fe wnaethom gymryd i ystyriaeth naws ansawdd y trac sain. Pan wnaethant y cyflwyniad, roedd yna bennod hyfforddi i bobl roi cynnig arni cyn i'r sioe ddechrau. Roedd yn syndod bod cymeradwyaeth stormus “byw” ar hyn o bryd o chwarae’r trac yn y stadiwm, mae’r system yn caniatáu ichi gydamseru’n dda â’r trac hwn, ond os yw’r gymeradwyaeth a gofnodwyd ar hyn o bryd yn gymysg â’r trac, yna bydd y trac yn cael ei ddal mwyach. Cymerwyd naws o'r fath i ystyriaeth, ac roedd popeth wedi'i gydamseru'n eithaf da o ran sain.
PS Yn ail ran y mater rydym yn siarad am ddelweddu data gwyddonol, modelu prosesau mewn prosiectau eraill, datblygu gêm a rhaglen y meistr "" Byddwn yn cyhoeddi parhad yn yr erthygl nesaf. Gallwch chi wrando a'n cefnogi ni yma:
PPS Yn y cyfamser, ar y fersiwn Saesneg o Habr: .
Ffynhonnell: hab.com