Проектът xrdesktop за използване на GNOME и KDE в слушалки за виртуална реалност

Разработчици от Collabora представени проект xrdesktop, в който с подкрепата на Valve се разработва библиотека с елементи за взаимодействие с традиционни настолни компютри в триизмерни среди, създадени с помощта на 3D очила и шлемове за виртуална реалност. Кодът на библиотеката е написан на C и разпространява се от под лиценз на MIT. Готови сглобки подготвени за Arch Linux и Ubuntu 19.04 / 18.04.

В момента Linux вече има инструменти за директен изход към слушалки за виртуална реалност (Vulkan разширения VK_EXT_acquire_xlib_display за X11 и VK_EXT_acquire_wl_display за Wayland), но няма поддръжка на ниво правилно изобразяване на прозорци в 3D пространство и синхронизиране на честотата на опресняване на екрана. Целта на проекта xrdesktop е да разработи методи, които ще позволят използването на класически интерфейси, фокусирани върху XNUMXD екранен дисплей и управление на клавиатура и мишка във виртуални среди.

Компонентите на xrdesktop разширяват съществуващите прозоречни и композитни мениджъри, за да използват системи за изпълнение на виртуална реалност за изобразяване на прозорци и настолни компютри в 3D виртуални среди. xrdesktop популяризира идеята за интегриране в съществуващи настолни среди без необходимост от стартиране на отделен специализиран композитен мениджър и позволяване на съществуващите персонализирани конфигурации, използвани с обикновен монитор, да се използват с XNUMXD каски.

Архитектурата на проекта предполага възможност за интегриране с всеки работен плот, но на настоящия етап на разработка компонентите за поддръжка на слушалки за виртуална реалност са внедрени за KDE и GNOME. За KDE поддръжката за 3D шлемове се реализира чрез плъгин, подобен на Compiz, а за GNOME чрез набор от пачове за GNOME Shell. Тези компоненти отразяват съществуващите прозорци във виртуалната среда на 3D каски под формата на отделна сцена или в режим на наслагване, в който прозорците на работния плот могат да бъдат насложени върху други работещи приложения за виртуална реалност.

В допълнение към двигателите за изобразяване, xrdesktop предоставя компоненти за осигуряване на навигация и въвеждане чрез използване на специализирани пространствени контролери като Valve Index и VIVE Wand. Xrdesktop използва информация от VR контролери, за да генерира редовни входни събития, симулиращи използването на клавиатура и мишка.

xrdesktop включва няколко библиотеки, които генерират текстури на прозорци за времето за изпълнение на VR с помощта на OpenVR, както и базирана на API система за изобразяване на пълен работен плот в 3D среда. Тъй като xrdesktop не предоставя собствен мениджър на прозорци, е необходима интеграционна работа със съществуващи мениджъри на прозорци (xrdesktop може да бъде пренесен към всеки мениджър на прозорци X11 или Wayland). От страна на графичния драйвер работата изисква драйвер, който поддържа Vulkan API и разширението VK_KHR_external_memory.

Основните компоненти на xrdesktop:

• гулкан - glib binding за Vulkan, предоставящ класове за обработващи устройства, шейдъри и инициализиране на текстури от памет или DMA буфери;
• gxr — API за абстрахиране на програмни интерфейси за разработване на приложения за виртуална реалност. В момента се поддържа само OpenVR, но в близко бъдеще ще бъде добавена поддръжка за стандарта OpenXR;
• libinputsynth — библиотека за синтезиране на входни събития, като движение на мишката, кликвания и натискания на клавиши, реализирана под формата на бекенд за xdo, xi2 и Clutter;
• xrdesktop — библиотека за управление на прозорци в 3D среда, набор от придружаващи уиджети и бекенди за изобразяване на сцената;
• kwin-ефект-xrdesktop и kdeplasma-applets-xrdesktop — плъгин за KWin за интеграция с KDE и плазмен аплет за превключване на KWin в изходен режим на 3D шлем;
• gnome-shell patchset и gnome-shell-extension-xrdesktop — набор от пачове за GNOME Shell за интегриране на поддръжката на xrdesktop и добавка за превключване на изход към 3D шлем в GNOME Shell.

Проектът поддържа няколко метода за организиране на взаимодействие с работния плот и прозорци във виртуална среда, които могат да се използват за заснемане на прозорци, мащабиране, преместване, завъртане, наслагване върху сфера, закрепване и скриване на прозорци, използване на контролното меню и едновременно управление с две ръце, използващи множество контролери.

Източник: opennet.ru