Проектот xrdesktop за користење на GNOME и KDE во слушалки за виртуелна реалност

Програмери од Collabora презентирани Проектот xrdesktop, во која, со поддршка на Valve, се развива библиотека со елементи за интеракција со традиционалните десктоп компјутери во тродимензионални средини создадени со помош на 3D очила и шлемови за виртуелна реалност. Кодот на библиотеката е напишан во C и дистрибуирани од под лиценца МИТ. Готови склопови подготвени за Арх Линукс и Убунту 19.04 / 18.04.

Во моментов, Linux веќе има алатки за директен излез до слушалките за виртуелна реалност (Vulkan екстензии VK_EXT_acquire_xlib_display за X11 и VK_EXT_acquire_wl_display за Wayland), но нема поддршка на ниво на правилно прикажување на прозорците во 3D простор и синхронизација на стапката на освежување на екранот. Целта на проектот xrdesktop е да развие методи кои ќе овозможат употреба на класични интерфејси фокусирани на XNUMXD екран на екранот и контрола на тастатурата и глувчето во виртуелни средини.

Компонентите на xrdesktop ги прошируваат постоечките менаџери на прозорци и композитни материјали за да користат системи за извршување на виртуелната реалност за прикажување на прозорци и десктоп компјутери во 3D виртуелни средини. xrdesktop ја промовира идејата за интегрирање во постојните десктоп околини без потреба да се води посебен специјализиран композитен менаџер и да се дозволи постоечките сопствени конфигурации што се користат со обичен монитор да се користат со XNUMXD шлемови.

Архитектурата на проектот подразбира можност за интегрирање со која било работна површина, но во сегашната фаза на развој, компонентите за поддршка на слушалките за виртуелна реалност се имплементирани за KDE и GNOME. За KDE, поддршката за 3D шлемови се имплементира преку приклучок сличен на Compiz, а за GNOME преку збир на закрпи за GNOME Shell. Овие компоненти ги пресликуваат постоечките прозорци во виртуелното опкружување на 3D шлемови во форма на посебна сцена или во режим на преклопување, во кој прозорците на работната површина може да се надополнат на други активни апликации за виртуелна реалност.

Покрај моторите за рендерирање, xrdesktop обезбедува компоненти за обезбедување навигација и внесување со помош на специјализирани просторни контролери како што се Valve Index и VIVE Wand. Xrdesktop користи информации од VR контролери за да генерира редовни влезни настани, симулирајќи употреба на тастатура и глушец.

xrdesktop вклучува неколку библиотеки кои генерираат текстури на прозорци за време на извршување на VR користејќи OpenVR, како и систем базиран на API за прикажување на целосна работна површина во 3D околина. Бидејќи xrdesktop не обезбедува сопствен менаџер на прозорци, потребна е работа за интеграција со постоечките менаџери на прозорци (xrdesktop може да се пренесе на кој било X11 или Wayland менаџер на прозорци). На страната на двигателот за графика, операцијата бара драјвер што поддржува Vulkan API и екстензијата VK_KHR_external_memory.

Главните компоненти на xrdesktop:

• ѓулкан - поврзување со глиб за Vulkan, обезбедување класи за уреди за обработка, шејдери и иницијализирање текстури од мемориски или DMA бафери;
• gxr — API за апстрактирање на програмски интерфејси за развој на апликации за виртуелна реалност. Во моментов е поддржан само OpenVR, но поддршката за стандардот OpenXR ќе биде додадена во блиска иднина;
• libinputsynth — библиотека за синтетизирање на влезни настани, како што се движење на глувчето, кликови и притискања на тастатурата, имплементирани во форма на задни за xdo, xi2 и Clutter;
• xrdesktop — библиотека за управување со прозорци во 3D опкружување, збир на придружни графички контроли и задни делови за рендерирање на сцената;
• kwin-effect-xrdesktop и kdeplasma-applets-xrdesktop — додаток за KWin за интеграција со KDE и плазма аплет за префрлување на KWin во излезен режим на 3D шлем;
• gnome-shell patchset и gnome-shell-extension-xrdesktop — збир на закрпи за GNOME Shell за интегрирање на поддршката за xrdesktop и додаток за префрлување на излезот на 3D шлем во GNOME Shell.

Проектот поддржува неколку методи за организирање интеракција со работната површина и прозорците во виртуелна средина, што може да се користи за снимање на прозорци, скалирање, движење, ротирање, преклопување на сфера, приклучување и криење прозорци, користење на контролното мени и истовремено контролирање со две раце користејќи повеќе контролери.

Извор: opennet.ru