Как трансформация Wireless Edge поможет в разработке фотореалистичных мобильных систем расширенной реальности.
(Extended Reality, XR) уже сейчас даёт пользователям революционные возможности, но добиться ещё большей реалистичности и нового уровня погружения, учитывая ограничения, связанные с производительностью и охлаждением тонких портативных гаджетов, — задача достаточно нетривиальная.
Взгляд в будущее: тонкие и стильные очки дополненной реальности
С трансформацией систем Wireless Edge (беспроводные системы, работающие на стыке сети и гаджета) начнётся новая эпоха распределённых вычислений, в которой будут активно использоваться технологии 5G, обработка информации на самих устройствах и пограничные облачные вычисления. И именно эта трансформация должна помочь найти оптимизированное решение.
Лучшее из обоих миров
Что если бы мы могли взять все преимущества мобильных XR-устройств и объединить их с производительностью XR-систем на базе ПК? Мобильные гаджеты для расширенной реальности — это будущее XR, ведь их можно использовать где угодно и когда угодно, без предварительной подготовки и без проводов. Реализация XR на базе ПК, хоть и не может считаться будущим расширенной реальности, имеет важное преимущество – она не ограничена по потребляемой мощности и эффективностью систем охлаждения, что, в свою очередь, позволяет делать более экстенсивные вычисления. Благодаря сетям 5G с более низкой задержкой и большой пропускной способностью мы планируем взять лучшее от обоих подходов. Распределение вычислительных задач при помощи технологий 5G позволит предложить лучшее двух миров – безграничный мобильный XR-опыт и фотореалистичную графику в тонких и доступных XR-гарнитурах. В результате пользователи получат во всех смыслах «безграничные» возможности, ведь они смогут подключаться к расширенной реальности, где захотят, и степень погружения в XR-приложения станет еще выше.
Технологии безграничной расширенной реальности предлагают взять лучшее от мобильных XR-устройств и устройств с подключением к ПК
Повышение эффективности обработки данных расширенной реальности на устройстве
Работа с графикой в системах расширенной реальности требует больших вычислительных мощностей и чувствительна ко времени отклика. Для корректного разделения вычислений необходим системный подход. Давайте рассмотрим, как использование пограничных облачных вычислений может помочь более эффективно дополнять обработку на устройстве, создавая системы безграничной расширенной реальности с фотореалистичной графикой (более подробная информация есть в нашем ).
Когда пользователь системы XR поворачивает голову, обработка на устройстве определяет положение головы и отправляет эти данные в облако пограничных вычислений по 5G-каналу с минимальной задержкой и высоким качественным показателем сервиса. Эта система использует полученные данные о положении головы, чтобы провести частичный рендеринг очередного кадра изображения, закодировать данные и отправить их обратно на XR-гарнитуру. Затем гарнитура расшифровывает последний полученный пакет и, используя регулярно обновляемые данные об изменениях положения головы, продолжает визуализацию и подстройку изображения, чтобы минимизировать показатель motion-to-photon latency (задержка между сменой положения головы пользователя и сменой изображения в гарнитуре). Напомним, что в соответствии с этим показателем вся обработка должна быть завершена за время, не превышающее 20 миллисекунд. Превышение этого порога приводит к появлению у пользователя неприятных ощущений и снижению уровня погружённости в дополненную реальность.
Вычисления на устройстве дополняются при помощи пограничных облачных вычислений и канала 5G с низким временем отклика.
Как видите, для получения качественного эффекта погружения в XR необходимо системное решение с низким временем отклика и высокой надёжностью, поэтому сети 5G с их минимальной задержкой, высокой пропускной способностью являются критически важным элементом XR. По мере совершенствования 5G-сетей и роста их покрытия пользователи смогут наслаждаться фотореалистичной графикой в XR-приложениях в большом количестве мест и будут уверены, что премиальный автономный XR-опыт останется доступным благодаря эффективным вычислениям на самом устройстве.
И это ключевой момент, который стоит подчеркнуть ещё раз: обработка данных на устройстве остаётся крайне важным фактором в любых сценариях. В автономном режиме «бортовое» вычисление на устройстве отвечает за вообще все вычисления, связанные с XR. При совместной работе с системой пограничных облачных вычислений «бортовая» обработка обеспечит XR-гарнитуре возможность энергоэффективной, высокопроизводительной визуализации и трекинга с низкой задержкой.
Создавая «безграничную» дополненную реальность
Qualcomm Technologies уже занимается созданием высокопроизводительных автономных мобильных XR-решений и остаётся лидером в в мире. Но мы не можем претворить свои идеи «безграничной» XR в реальность в одиночку. Мы активно сотрудничаем с крупнейшими представителями экосистем XR и 5G, включая OEM-производителей и создателей контента, поставщиков услуг и инфраструктуры, ведь архитектура раздельного рендеринга — это системное решение.
Участники экосистем XR и 5G должны работать совместно, чтобы технологии «безграничной» XR стали реальностью
В результате синергии все участники экосистемы XR получат большую общую выгоду от её активного развития, и имя этой выгоде «рост принятия потребителями». К примеру, операторы связи получат определённые выгоды от трансформации Wireless Edge в целом, но давайте рассмотрим пользу именно от развития безграничного XR. Во-первых, с приходом сетей 5G улучшенный ШПД повысит емкость, снизит время отклика и обеспечит гарантированный класс обслуживания, что даст возможность появления более богатых и интерактивных XR-приложения. Во-вторых, по мере увеличения операторами мощностей для пограничных облачных вычислений они смогут предложить массовому пользователю совершенно новые услуги, например, XR-приложения с фотореалистичной графикой.
Мы верим, что большим преимуществом станет новый революционный пользовательский опыт, включая совместную интерактивную работу в реальном времени, многопользовательские игры с фотореалистичной графикой, новое поколение видео с поддержкой шести степеней свободы, образовательные приложения с погружением и персонифицированный шопинг какого не было. Эти перспективы вдохновляют, поэтому мы надеемся на плодотворную совместную работу с другими участниками экосистемы — эта работа поможет превратить наше видение XR в реальность.
Источник: habr.com