가상 현실 헤드셋에서 GNOME 및 KDE를 사용하기 위한 xrdesktop 프로젝트

Collabora의 개발자 제시 계획 xrdesktop, Valve의 지원을 받아 3D 안경과 가상 현실 헬멧을 사용하여 생성된 XNUMX차원 환경 내에서 기존 데스크톱과 상호 작용하기 위한 요소가 포함된 라이브러리가 개발되고 있습니다. 라이브러리 코드는 C로 작성되었으며 배포자 MIT 라이센스에 따라. 기성품 어셈블리 준비된 에 아치 리눅스 и Ubuntu 19.04 / 18.04.

현재 Linux에는 가상 현실 헤드셋(X11용 Vulkan 확장 VK_EXT_acquire_xlib_display 및 Wayland용 VK_EXT_acquire_wl_display)으로 직접 출력하기 위한 도구가 이미 있지만 3D 공간에서 창을 올바르게 렌더링하고 화면 새로 고침 빈도를 동기화하는 수준에서는 지원되지 않습니다. xrdesktop 프로젝트의 목표는 가상 환경에서 XNUMXD 화면 디스플레이와 키보드 및 마우스 제어에 초점을 맞춘 클래식 인터페이스를 사용할 수 있는 방법을 개발하는 것입니다.

xrdesktop 구성 요소는 기존 창 및 복합 관리자를 확장하여 가상 현실 런타임 시스템을 사용하여 3D 가상 환경에서 창과 데스크탑을 렌더링합니다. xrdesktop은 별도의 전문 복합 관리자를 실행할 필요 없이 기존 데스크탑 환경에 통합하고 일반 모니터와 함께 사용되는 기존 사용자 정의 구성을 XNUMXD 헬멧과 함께 사용할 수 있도록 하는 아이디어를 장려합니다.

프로젝트의 아키텍처는 모든 데스크탑과 통합할 수 있는 능력을 의미하지만 현재 개발 단계에서는 가상 현실 헤드셋을 지원하는 구성 요소가 KDE 및 GNOME용으로 구현됩니다. KDE의 경우 3D 헬멧 지원은 Compiz와 유사한 플러그인을 통해 구현되고 GNOME의 경우 GNOME Shell용 패치 세트를 통해 구현됩니다. 이러한 구성 요소는 별도의 장면 형태 또는 오버레이 모드로 기존 창을 3D 헬멧의 가상 환경으로 미러링합니다. 오버레이 모드에서는 데스크톱 창을 실행 중인 다른 가상 현실 애플리케이션에 중첩할 수 있습니다.

렌더링 엔진 외에도 xrdesktop은 Valve Index 및 VIVE Wand와 같은 특수 공간 컨트롤러를 사용하여 탐색 및 입력을 제공하는 구성 요소를 제공합니다. Xrdesktop은 VR 컨트롤러의 정보를 사용하여 일반 입력 이벤트를 생성하고 키보드 및 마우스 사용을 시뮬레이션합니다.

xrdesktop에는 OpenVR을 사용하여 VR 런타임용 창 텍스처를 생성하는 여러 라이브러리와 3D 환경에서 전체 데스크탑을 렌더링하기 위한 API 기반 시스템이 포함되어 있습니다. xrdesktop은 자체 창 관리자를 제공하지 않으므로 기존 창 관리자와의 통합 작업이 필요합니다(xrdesktop은 X11 또는 Wayland 창 관리자로 이식될 수 있음). 그래픽 드라이버 측에서 작동하려면 Vulkan API 및 VK_KHR_external_memory 확장을 지원하는 드라이버가 필요합니다.

xrdesktop의 주요 구성 요소:

• 굴칸 - Vulkan용 glib 바인딩, 처리 장치, 셰이더 및 메모리 또는 DMA 버퍼에서 텍스처 초기화를 위한 클래스 제공
• gxr — 가상 현실 애플리케이션 개발을 위한 프로그램 인터페이스 추상화를 위한 API입니다. 현재는 OpenVR만 지원되지만 가까운 시일 내에 OpenXR 표준에 대한 지원이 추가될 예정입니다.
• libinputsynth — xdo, xi2 및 Clutter에 대한 백엔드 형태로 구현된 마우스 움직임, 클릭 및 키 입력과 같은 입력 이벤트를 합성하기 위한 라이브러리
• xrdesktop — 3D 환경에서 창을 관리하기 위한 라이브러리, 장면 렌더링을 위한 동반 위젯 및 백엔드 세트
• kwin-효과-xrdesktop и kdeplasma-애플릿-xrdesktop — KDE와 통합하기 위한 KWin용 플러그인과 KWin을 3D 헬멧의 출력 모드로 전환하기 위한 플라즈마 애플릿;
• 그놈 쉘 패치셋 и 그놈-쉘-확장-xrdesktop — xrdesktop 지원을 통합하기 위한 GNOME Shell용 패치 세트와 GNOME Shell에서 출력을 3D 헬멧으로 전환하기 위한 추가 기능입니다.

이 프로젝트는 가상 환경에서 데스크탑 및 창과의 상호 작용을 구성하기 위한 여러 가지 방법을 지원합니다. 이 방법은 창 캡처, 크기 조정, 이동, 회전, 구체에 오버레이, 창 도킹 및 숨기기, 제어 메뉴 사용 및 동시에 제어에 사용할 수 있습니다. 여러 컨트롤러를 사용하는 두 손.

출처 : opennet.ru