Google и Binomial разкриха кода на системата за компресия на текстури Basis Universal

Компаниите Google и Binomial откриха изходни кодове Basis Universal, кодек за ефективно компресиране на текстури и свързания с него универсален файлов формат «.basis» за разпространение на текстури, базирани на изображения и видео. Кодът на еталонната реализация е написан на C++ и се предоставя се разпространява под лицензия Apache 2.0.

Basis Universal допълва по-рано публикуваната система за компресиране на 3D данни Draco и се опитва да реши проблема с доставката на текстури за GPU. Досега разработчиците бяха ограничени в избора си между нискоуровневи формати, които осигуряват висока производителност, но са специфични за GPU и заемат много място на диска, и други формати, които намаляват размера, но не могат да конкурират с GPU текстурите по производителност.

Форматът Basis Universal осигурява производителност на нативно ниво за GPU текстури, но предлага по-високо ниво на компресия.
Basis е междинен формат, който преди приложението осигурява бързо преизчисление в различни нискоуровневи формати на текстури за GPU, използвани както на настолни системи, така и на мобилни устройства. В момента се поддържа транслация в формати PVRTC1 (4bpp RGB), BC7 (режим 6 RGB), BC1-5, ETC1 и ETC2. В бъдеще се очаква поддръжка на формата ASTC (RGB или RGBA) и режимите 4/5 RGBA за формата BC7 и 4bpp RGBA за PVRTC1.

Текстурите в формата basis заемат 6-8 пъти по-малко видеопамет и изискват предаване на приблизително два пъти по-малко данни в сравнение с типичните текстури на основата на JPEG и с 10-25% по-малко, отколкото текстурите в режим RDO. Например, при размер на JPEG изображение от 891 Кб, а текстура ETC1 от 1 Мб, размерът на данните в формат Basis е 469 Кб в режим на най-високо качество. При съхранение на текстура в видеопаметта, използваните в тестовете текстури в формат JPEG и PNG изразходваха 16 Мб памет, докато за текстурите в формат
Basis бяха нужни 2 Мб памет в случая на транслация в BC1, PVRTC1 и ETC1, и 4 Мб в случая на транслация в BC7.

Процесът на превод на съществуващи приложения към Basis Universal е сравнително прост. Достатъчно е да перекодите наличните текстури или изображения в нов формат с помощта на предоставената от проекта утилита «basisu», избирайки необходимото ниво на качество. След това в приложението, преди кода за рендиране, трябва да се инициализира перекодировчикът basisu, който отговаря за трансформирането на междинния формат в поддържан от текущия GPU формат. При това изображенията в цялата верига на обработка остават компресирани, включително се зареждат в компресиран вид в GPU. Вместо да прави предварително перекодиране на изображението изцяло, GPU селективно декодира само необходимите части от изображението.

Поддържа се запазване в един файл на нееднородни масиви от текстури (cubemap), обемни текстури, масиви от текстури, нива mipmap, последователности от видео или произволни откъси от текстури. Например, възможно е опаковането в един файл на серия изображения за създаване на малки видеа или обединяването на няколко текстури, използвайки обща палитра за всички изображения и дедупликация на типови шаблони изображения. Реализацията на кодировчика Basis Universal поддържа многопоточност с помощта на OpenMP. Перекодировчикът засега работи само в еднопоточен режим.

Допълнително е наличен декодировчикът Basis Universal за браузъри, предоставен в формат WebAssembly, който може да се използва в уеб приложения на базата на WebGL. В крайна сметка Google планира да постигне поддръжка на Basis Universal във всички основни браузъри и да го пропагандира като преносим формат за текстури за WebGL и бъдеща спецификация. WebGPU, концептуално сходна с API Vulkan, Metal и Direct3D 12.

Отбелязва се, че възможността за вграждане на видео с последваща обработка само на страната на GPU прави Basis Universal интересно решение за създаване на динамични потребителски интерфейси на WebAssembly и WebGL, в които могат едновременно да се отразяват стотици малки видеа с минимално натоварване на CPU. До появата на възможността за използване на SIMD инструкции в WebAssembly този ниво на производителност при традиционни кодеци е недостъпно, затова видео на базата на текстури може да бъде използвано в области, където обикновеното видео е неприложимо. В момента се подготвя публикация на код с допълнителни оптимизации за видео, включваща възможност за използване I-кадри и P-кадри с поддръжка на адаптивно запълване (CR).

Източник: opennet.ru