팟캐스트 "ITMO Research_": 전체 경기장 규모의 쇼와 AR 콘텐츠의 동기화에 접근하는 방법

이것은 우리 프로그램의 두 번째 인터뷰 텍스트 사본의 첫 번째 부분입니다(Apple Podcasts, Yandex.음악). 이슈 게스트 - 안드레이 카르사코프 (kapc3d), Ph.D., 국립 인지 연구 센터 선임 연구원, 디지털 혁신 학부 부교수.

2012년부터 Andrey는 시각화 및 컴퓨터 그래픽 연구 그룹에서 일하고 있습니다. 주 및 국제 수준의 대규모 응용 프로젝트에 참여했습니다. 대화의 이 부분에서는 공개 이벤트에 대한 AR 지원 경험에 대해 이야기합니다.

Фото Thisis엔지니어링 RAEng (Unsplash.com)

프로젝트 맥락 및 목표

타임코드(기준 오디오 버전) — 00:41

드미트리카바노프: 저는 유럽 게임 프로젝트부터 시작하고 싶습니다. 이는 여러 구성 요소로 구성되어 있으며 여러 팀이 준비에 참여했으며 경기장에서 이벤트가 진행되는 동안 수천 명의 청중에게 증강 현실을 제공하는 것은 상당히 심각한 작업입니다. 당신의 참여 측면에서 보면 소프트웨어가 먼저였나요?

kapc3d: 예, 우리는 프로그래밍 부분을 담당했고 쇼가 진행되는 동안 지원을 제공했습니다. 모든 것을 실시간으로 추적, 모니터링 및 실행하고 텔레비전 그룹과 협력해야 했습니다. 이 프로젝트를 전체적으로 생각해보면 개회식과 폐막식에 대해 얘기해볼 수 있겠네요. 유럽 ​​게임 민스크에서의 개막식과 챔피언십 개막식에 대해 월드 스킬 즈 카잔에서. 동일한 작업 계획이지만 다른 이벤트였습니다. 그들 사이에는 두 달의 공백이 있었다. 회사 사람들과 함께 프로젝트를 준비했습니다 Sechenov.com.

우리는 우연히 그들을 만났습니다. 과학 축제, 2018년 가을에 진행된 일입니다. 우리 석사 학생들은 VR을 주제로 한 코스 프로젝트를 선보였습니다. 그 사람들이 우리에게 다가와 우리 실험실에서 무엇을 하고 있는지 물었습니다. 그것은 다음과 같이 보였습니다:

— VR로 작업하는데 증강현실로도 작업할 수 있나요?

- 글쎄요, 그렇죠.

- 그러한 소개 노트와 함께 그러한 작업이 있습니다. 당신은 그것을 할 수 있습니다?

순무를 조금 긁었는데 비현실적인 것은 없는 것 같습니다.

- 먼저 모든 것을 연구한 다음 해결책을 찾아봅시다.

드미트리 : 미디어 지원만 제공하나요?

안드레이 : 그들은 풀 스택을 만듭니다. 관리 및 조직의 관점에서 보면 연출, 무대 연출, 풍경 선택, 물류 및 기타 기술 지원에 전적으로 관여합니다. 하지만 그들은 유럽 게임을 위해 뭔가 특별한 것을 하고 싶었습니다. 혼합 현실과 같은 이러한 특수 효과는 꽤 오랫동안 텔레비전용으로 제작되었지만 기술 구현 측면에서 가장 예산 친화적이지 않습니다. 따라서 사람들은 대체 옵션을 찾았습니다.

드미트리 : 문제를 더 자세히 논의해 보겠습니다. 그것은 무엇으로 구성되었나요?

안드레이 : 이벤트가 있습니다. 한 시간 반 동안 지속됩니다. 라이브로 시청하는 관객과 경기장에 앉아 있는 사람들이 현장의 시간과 장소 측면에서 라이브 쇼와 완전히 동기화되어 증강 현실 효과를 볼 수 있도록 해야 합니다.

기술적인 한계가 많았습니다. 인터넷을 통한 시간 동기화는 불가능했다. 만석으로 네트워크에 과도한 부하가 걸리고, 국가 정상이 행사에 참석할 가능성이 있어 모바일 네트워크에 장애가 발생할 수 있다는 우려가 있었기 때문이다.

안드레이 카르사코프(Andrey Karsakov), 사진 출처: ITMO 대학의 자료
이 프로젝트에는 사람들이 모바일 장치를 통해 얻을 수 있는 개인적인 경험과 경기장 자체의 정보 화면 및 TV 방송에 들어가는 내용이라는 두 가지 핵심 구성 요소가 있었습니다.

만약 누군가가 모바일 기기를 통해 증강 현실 에피소드를 보고 있는 동시에 화면에 나타난다면, 그 사람은 같은 그림을 보게 될 것입니다.

시간에 맞춰 완전히 동기화하려면 사실상 서로 다른 두 시스템이 필요했습니다. 그러나 이러한 쇼의 특징은 수많은 기술 서비스가 관련되고 모든 작업이 시간 코드에 따라 수행되는 복잡한 이벤트라는 것입니다. 타임 코드는 빛, 소리, 사람들이 떠나고 무대 꽃잎이 열리는 등 무언가가 시작되는 특정 순간입니다. 우리는 모든 것이 적시에 시작되도록 이 시스템에 적응해야 했습니다. 또 다른 특징은 증강현실이 적용된 장면과 에피소드가 대본과 연관되어 있다는 점이다.

드미트리 : 하지만 불가항력의 위험이 높기 때문에 타임 코드 사용을 포기하기로 결정하셨습니까? 아니면 처음에 일부 전력 특성을 계산하고 전체 시스템의 부하가 상당히 높을 것이라는 것을 깨달았습니까?

안드레이 : 그러한 청중을 위해 동기화 서비스를 만든다면 그리 어렵지 않습니다. 어떤 경우에도 요청은 하룻밤 사이에 실패하지 않습니다. 예, 부하가 높지만 긴급 상황은 아닙니다. 문제는 네트워크가 갑자기 중단될 경우 이에 자원과 시간을 투자할 가치가 있는지 여부입니다. 우리는 이런 일이 일어나지 않을 것이라고 확신하지 못했습니다. 궁극적으로 로드로 인해 중단되면서 모든 것이 작동했지만 작동했으며 다른 구성표에 따라 타임 코드에 따라 동기화했습니다. 이는 세계적인 과제 중 하나였습니다.

UX 관점에서 구현의 어려움

타임코드(기준 오디오 버전) — 10:42

안드레이 : 우리는 또한 경기장이 전통적인 콘서트 장소가 아니라는 점을 고려해야 했고, 모바일 장치를 위해 공간 전반에 걸쳐 시스템을 동기화해야 했습니다. 그래서 얼마전에 입소문이 났어요 증강현실 이야기 Eminem 콘서트에서 Loboda 사건이 발생했습니다.

Фото 로버트 바이 (Unsplash.com)
그러나 이것은 항상 당신 앞에서의 경험입니다. 전체 군중이 무대 앞에 서 있고 동기화는 매우 간단합니다. 경기장의 경우, 가상 환경에 존재하는 공간에 경기장이 들어맞도록 자신이 원의 어느 쪽에 있는지, 상대적인 위치를 이해해야 합니다. 그것은 신랄한 도전이었습니다. 다양한 방법으로 해결하려고 노력했고, 그 결과는 Loboda에서 구현한 것과 비슷한 사례였지만 모든 면에서 그렇지는 않았습니다.

우리는 사용자가 자신이 어디에 있는지 결정하도록 합니다. 우리는 사람들이 구역, 행, 장소를 선택하는 경기장 표시를 만들었습니다. 이 모든 것이 네 번의 "클릭"으로 이루어집니다. 다음으로 우리는 무대 방향을 결정해야 했습니다. 이를 위해 우리는 사용자 정의 관점에서 장면이 대략적으로 어떤 모습이어야 하는지에 대한 실루엣을 보여주었습니다. 그는 그것을 결합하고 탭하면 그게 전부입니다. 무대가 앉았습니다. 우리는 이 과정을 최대한 단순화하려고 노력했습니다. 그런데도 방송을 보고 싶었던 시청자 중 90%는 증강현실로 소통해 본 경험이 있는 사람들이 아니다.

드미트리 : 이 프로젝트에 별도의 지원서가 있었나요?

안드레이 : 예, 우리가 스토어에 푸시한 iOS 및 Android용 애플리케이션입니다. 이에 대한 별도의 홍보 캠페인이있었습니다. 다운로드 방법 등은 이전에 자세히 설명했습니다.

드미트리 : 이러한 애플리케이션을 물리적으로 테스트하고 사용법을 배울 수 있는 곳은 없다는 점을 이해해야 합니다. 따라서 청중을 "교육"하는 작업이 더욱 복잡해졌습니다.

안드레이 : 예 예. 사용자는 다운로드, 설치, 실행 등 세 번의 클릭만으로 경험을 얻고 싶어하기 때문에 UX를 사용하면서 많은 어려움을 겪었습니다. 효과가 있었습니다. 많은 사람들이 너무 게으른 나머지 복잡한 튜토리얼을 따르거나 튜토리얼을 읽는 등의 작업을 수행하지 않습니다. 그리고 우리는 튜토리얼에서 사용자에게 모든 것을 가능한 한 많이 설명하려고 노력하지 않았습니다. 여기서 창이 열리고 여기에서 카메라에 액세스할 수 있으며 그렇지 않으면 작동하지 않습니다. 아무리 설명을 많이 써도, 아무리 자세히 씹어도, 어떤 gif를 넣어도 사람들은 그것을 읽지 않습니다.

민스크에서 우리는 이 부분에 대한 많은 피드백을 수집했으며 이미 카잔의 애플리케이션에 대해 많은 것을 변경했습니다. 우리는 증강 현실의 특정 에피소드에 해당하는 음반과 타임 코드뿐만 아니라 모든 음반과 타임 코드를 전체적으로 가져왔습니다. 따라서 애플리케이션은 출시 당시 무슨 일이 일어났는지 듣고, 사람이 잘못된 순간에 로그인한 경우 다음과 같은 정보를 제공했습니다. "동지님, 죄송합니다. AR 에피소드가 15분 후에 시작됩니다."

아키텍처와 동기화 접근 방식에 대해 조금

타임코드(기준 오디오 버전) — 16:37

드미트리 : 소리로 동기화하기로 결정하셨나요?

안드레이 : 네, 우연히 그런 일이 일어났습니다. 옵션을 살펴보던 중 한 회사를 발견했습니다. 시프라소프트 이젭스크 출신. 특별히 정교하지는 않지만 철제 작업 SDK를 만들어 사운드와 타이밍을 동기화할 수 있습니다. 이 시스템은 조건부 광고 사운드를 기반으로 애플리케이션에 무언가를 표시하거나 영화 트랙을 기반으로 대화형 경험을 제공할 수 있는 TV와 함께 작동하도록 배치되었습니다.

드미트리 : 하지만 그것은 한 가지입니다. 당신은 거실에 앉아 있고 또 다른 것은 수천 명의 사람들이 있는 경기장에 앉아 있다는 것입니다. 사운드 녹음의 품질과 그에 따른 인식은 어떻게 진행되었나요?

안드레이 : 두려움과 의심도 많았지만 대부분의 경우 모든 것이 잘 인식되었습니다. 그들은 교활한 알고리즘을 사용하여 오디오 트랙에 서명을 구축합니다. 결과는 원본 오디오 파일보다 가볍습니다. 마이크는 주변 소리를 들으면서 이러한 특징을 찾고 이를 기반으로 트랙을 인식하려고 시도합니다. 양호한 조건에서 동기화 정확도는 0,1-0,2초입니다. 이것으로 충분했습니다. 나쁜 조건에서는 불일치가 최대 0,5초였습니다.

많은 것은 장치에 따라 다릅니다. 우리는 대규모 장치를 사용하여 작업했습니다. iPhone의 경우 모델이 10개뿐입니다. 품질 및 기타 기능 측면에서 잘 작동했습니다. 하지만 안드로이드가 있으면 동물원은 우리 엄마와 같아요. 모든 곳에서 사운드 동기화가 작동하는 것으로 밝혀진 것은 아닙니다. 일부 특성으로 인해 다른 장치에서 다른 트랙을 듣는 것이 불가능한 경우가 있었습니다. 어딘가에서 저주파가 사라지고, 어딘가에서 고주파가 쌕쌕거리기 시작합니다. 그러나 장치의 마이크에 노멀라이저가 있으면 동기화가 항상 작동했습니다.

드미트리 : 아키텍처에 대해 알려주십시오. 프로젝트에 무엇이 사용되었습니까?

안드레이 : 우리는 멀티 플랫폼 및 그래픽 작업 측면에서 가장 간단한 옵션인 Unity에서 애플리케이션을 만들었습니다. AR 파운데이션을 사용했습니다. 우리는 시스템을 복잡하게 만들고 싶지 않기 때문에 모든 것을 테스트할 시간을 갖기 위해 ARKit 및 ARCore를 지원하는 장치로 제한했습니다. 우리는 DigitalSoft SDK용 플러그인을 만들었습니다. 우리 GitHub에 있습니다. 우리는 타임라인에 따라 스크립트가 실행되도록 콘텐츠 관리 시스템을 만들었습니다.

사용자가 언제든지 특정 에피소드에 들어갈 수 있고 동기화된 순간부터 모든 것을 볼 수 있어야 하기 때문에 우리는 파티클 시스템을 약간 수정했습니다. 우리는 영화처럼 XNUMXD 경험을 앞뒤로 스크롤할 수 있도록 시나리오를 시간에 맞춰 명확하게 재생할 수 있는 시스템을 고심했습니다. 클래식 애니메이션에서는 기본적으로 작동하지만 파티클 시스템을 수정해야 했습니다. 어느 시점에서 그들은 산란하기 시작하고, 산란 지점 이전 어딘가에 있다면, 그래야 할 것처럼 보이지만 아직 태어나지 않은 것입니다. 하지만 이 문제는 실제로 해결하기가 매우 쉽습니다.

모바일 부분의 아키텍처는 매우 간단합니다. 텔레비전 방송의 경우 모든 것이 더 복잡합니다. 하드웨어 제한이 있었습니다. 고객은 다음과 같은 조건을 설정했습니다. "여기에는 대략적으로 말하면 모든 것이 작동해야 하는 그런 하드웨어 공원이 있습니다." 우리는 상대적으로 저렴한 비디오 캡처 카드를 사용하여 작업할 것이라는 사실에 즉시 집중했습니다. 그러나 예산이 나쁘다는 것을 의미하지는 않습니다.

하드웨어, 비디오 캡처 카드, 작업 조건(사진 수신 방법)에 제한이 있었습니다. 캡처 카드 - Blackmagic Design은 내부 키잉 구성표에 따라 작동합니다. 이는 카메라에서 비디오 프레임이 전송되는 시점입니다. 카드에는 프레임도 삽입되는 자체 처리 칩이 있으며, 이 칩은 들어오는 칩 위에 겹쳐져야 합니다. 카드는 그것들을 혼합합니다. 우리는 거기에 있는 다른 어떤 것도 건드리지 않으며 비디오 카메라의 프레임에 영향을 주지 않습니다. 그녀는 비디오 출력을 통해 결과를 제어실에 내보냅니다. 이는 제목 및 기타 유사한 항목을 오버레이하는 데 좋은 방법이지만 렌더 파이프라인에 많은 제한이 있기 때문에 혼합 현실 효과에는 적합하지 않습니다.

드미트리 : 실시간 컴퓨팅, 객체 바인딩 또는 다른 측면에서요?

안드레이 : 품질 및 원하는 효과 달성 측면에서. 왜냐하면 우리는 그 위에 그림을 올려놓고 있는 것이 무엇인지 모르기 때문입니다. 우리는 단순히 원본 스트림 위에 색상 및 투명도 정보를 보냅니다. 굴절, 올바른 투명도 및 추가 그림자와 같은 일부 효과는 이 구성표를 사용하여 얻을 수 없습니다. 이렇게 하려면 모든 것을 함께 렌더링해야 합니다. 예를 들어, 화재나 뜨거운 아스팔트로 인해 공기가 왜곡되는 효과를 생성할 방법이 없습니다. 굴절률을 고려한 투명도 효과의 전달도 마찬가지입니다. 우리는 처음에는 이러한 제한 사항을 기반으로 콘텐츠를 만들고 적절한 효과를 사용하려고 노력했습니다.

Instagram에서이 게시물보기

민스크에서 열린 제XNUMX회 유럽 게임 폐막.

님이 공유 한 소식 알레나 란스카야 (@alyonalanskaya) 30년 2019월 3일 오후 19시 XNUMX분(PDT)

드미트리 : 유럽 ​​게임의 첫 번째 프로젝트에 이미 자신만의 콘텐츠가 있었나요?

안드레이 : 아니요, 콘텐츠 개발의 주요 단계는 Sechenov.com의 직원이 수행했습니다. 그래픽 아티스트는 애니메이션 등으로 기본 콘텐츠를 그렸습니다. 그리고 우리는 모든 것을 엔진에 통합하고, 추가 효과를 추가하고, 모든 것이 올바르게 작동하도록 조정했습니다.

파이프라인에 대해 이야기하면 TV 방송을 위해 모든 것을 Unreal Engine 4로 조립했습니다. 공교롭게도 그들은 바로 그 순간 혼합 현실을 위한 도구를 강화하기 시작했습니다. 모든 것이 그렇게 간단하지 않다는 것이 밝혀졌습니다. 지금도 모든 도구가 원시적이어서 많은 부분을 손으로 마무리해야 했습니다. 민스크에서 우리는 엔진의 커스텀 빌드 작업을 했습니다. 즉, 엔진 내부의 일부 내용을 다시 작성하여 실제 물체 위에 그림자를 그릴 수 있게 했습니다. 당시 최신 엔진 버전에는 표준 도구를 사용하여 이를 수행할 수 있는 기능이 없었습니다. 이러한 이유로 우리 직원들은 꼭 필요한 모든 것을 제공하기 위해 자체 맞춤형 어셈블리를 만들었습니다.

카잔의 WorldSkills에 대한 기타 뉘앙스와 적응

타임코드(기준 오디오 버전) — 31:37

드미트리 : 하지만 이 모든 것이 상당히 짧은 시간 안에 이루어집니까?

안드레이 : 마감일이 촉박했어요 카잔 프로젝트, 민스크에 따르면 - 정상입니다. 개발 기간은 약 XNUMX개월 정도지만, XNUMX명이 참여했다는 점을 고려하면요. 동시에 우리는 모바일 부품을 제작하고 TV 제작을 위한 도구를 개발하고 있었습니다. 사진 출력뿐만이 아니었습니다. 예를 들어, 광학 장치가 포함된 추적 시스템을 사용하려면 자체 도구를 만들어야 했습니다.

드미트리 : 한 프로젝트에서 다른 프로젝트로의 적응이 있었나요? 한 달 반 만에 개발을 활용하고 새로운 콘텐츠가 포함된 프로젝트를 새 사이트로 이전해야 합니까?

안드레이 : 네, 한 달 반 정도였습니다. 민스크 프로젝트 이후 팀 전체가 XNUMX주간의 휴가를 계획하고 있었습니다. 그러나 문을 닫은 직후 Sechenov.com의 사람들이 다가와서 "그럼 카잔을 하자"고 말합니다. 우리는 여전히 약간의 휴식을 취했지만 꽤 빨리 이 프로젝트로 전환했습니다. 우리는 몇 가지 기술 작업을 완료했습니다. 대부분의 시간은 콘텐츠에 소비되었습니다. WorldSkills의 경우 전적으로 제작팀과 조정했기 때문입니다. 그들에게는 대본 만있었습니다. 그러나 더 쉬웠습니다. 추가 반복이 필요하지 않았습니다. 콘텐츠를 직접 제작하면 엔진에서 어떻게 작동하는지 바로 확인할 수 있고, 빠르게 편집하고 조율할 수 있습니다.

모바일 부분에 관해서는 민스크에서 가졌던 모든 미묘함을 고려했습니다. 우리는 새로운 애플리케이션 디자인을 만들고 아키텍처를 약간 재설계했으며 튜토리얼을 추가했지만 최대한 짧고 명확하게 만들려고 노력했습니다. 애플리케이션 실행부터 콘텐츠 보기까지 사용자 단계 수를 줄였습니다. 적절한 프로젝트를 완료하는 데 한 달 반이면 충분했습니다. 일주일 반 만에 우리는 현장에 도착했습니다. 프로젝트에 대한 모든 통제권이 주최자의 손에 있었고 다른 위원회와 협력할 필요가 없었기 때문에 그곳에서 작업하기가 더 쉬웠습니다. 카잔에서는 일하는 것이 더 간단하고 쉬웠으며 시간이 부족한 것은 당연한 일이었습니다.

드미트리 : 하지만 사운드를 기반으로 한 동기화 접근 방식을 그대로 유지하기로 결정하셨나요?

안드레이 : 네, 소리로 남겨두었습니다. 잘 작동했습니다. 그들이 말했듯이 작동하면 만지지 마십시오. 우리는 오디오 트랙 품질의 미묘한 차이만 고려했습니다. 인트로를 할 때 쇼가 시작되기 전에 사람들이 시도해 볼 수 있는 훈련 에피소드가 있었습니다. 경기장에서 트랙을 재생하는 순간 "라이브"라는 엄청난 박수 소리가 들리면 시스템이 이 트랙과 잘 동기화할 수 있다는 것이 놀랍습니다. 그러나 이 순간에 녹음된 박수 소리가 트랙과 혼합되면 트랙이 더 이상 잡히지 않습니다. 이러한 뉘앙스가 고려되었으며 모든 것이 사운드 측면에서 매우 잘 동기화되었습니다.

PS 문제의 두 번째 부분에서는 과학적 데이터 시각화, 다른 프로젝트의 프로세스 모델링, 게임 개발 및 석사 프로그램에 대해 이야기합니다.컴퓨터 게임 개발 기술" 다음 기사에 계속해서 게재하겠습니다. 여기에서 우리의 말을 듣고 지지하실 수 있습니다:

• Apple Podcasts

• Yandex.음악

• Podfm

PPS 한편 Habr의 영어 버전에서는 다음과 같습니다. ITMO 대학 자세히 살펴보기.

출처 : habr.com