Достъпен е мултимедиен фреймуорк GStreamer 1.28.0

След почти година разработка, GStreamer 1.28 беше представен — кроссплатформен комплект компоненти за създаване на широк спектър от мултимедийни приложения, от медиаплеъри и конвертори на аудио/видео файлове до VoIP приложения и системи за стрийминг. Кодът на GStreamer се разпространява под лицензия LGPLv2.1. Отделно се развиват актуализации на плъгините gst-plugins-base, gst-plugins-good, gst-plugins-bad, gst-plugins-ugly, както и обвивката gst-libav и сървърът за стрийминг gst-rtsp-server. На ниво API и ABI новото издание е обратно съвместимо с клон 1.0. Бинарни сборки скоро ще бъдат предоставени за Android, iOS, macOS и Windows (в Linux се препоръчва използването на пакети от дистрибуцията).

Ключови подобрения в GStreamer 1.28:

• Добавен е нов плъгин HIP (Heterogeneous-computing Interface for Portability) за поддръжка на програмния интерфейс, развиван от компанията AMD за хетерогенни изчисления, при които освен CPU се използват средства за паралелни изчисления GPU. HIP опростява реализирането на поддръжка за различни GPU в една кодова база (за изпълнение на GPU AMD се използва стекът ROCm, а за GPU NVIDIA — интерфейс за транслация в CUDA). Плъгинът предоставя компоненти, реализирани с помощта на HIP, за извършване на операции като смесване на видео, преобразуване от едно цветово пространство в друго, промяна на размера на видео и организиране на обмен на данни между системната памет и видеопаметта. Освен това е подготвена библиотека за интегриране на поддръжка на HIP в приложения.
• Добавена е поддръжка на стандарта за кодиране на видео LCEVC (Low Complexity Enhancement Video Coding), който реализира допълнителен слой с метаданни за подобряване на качеството на видео над стандартните кодеци H.265 и H.266. Реализацията на кодиране и декодиране на LCEVC се основава на библиотеки от SDK V-Nova.
• Добавена е поддръжка на възможностите на графичния API Vulkan за ускоряване на декодирането на видео в форматите AV1 и VP9, както и на кодиране на видео в H.264 формат. Към декодера на видео H.265, базиран на Vulkan, е добавена поддръжка на дълбочина на цвят с 10 бита на канал.
• В елемента gtkwaylandsink, предназначен за рендериране с GTK4 и Wayland, са разширени възможностите за работа с цветове, например, добавена е поддръжка за разбиране и задаване на HDR10 метаданни.
• Добавен нов елемент за разделяне на звукови източници (например, разделяне на глас и фоновă музика), който е на базата на библиотеката charon-audio, реализираща метод Demucs на езика Rust. Освен това, включен е плъгинът Deepgram за разпознаване на реч, написан на Rust.
• Разширени са възможностите за аналитика и разпознаване на обекти. Добавени са елементи за комбиниране и разделяне на аналитиката. Реализирани са класификатор tensor-decoder, детектор на лица facedetector, детектор на обекти YOLOv8, елемент за извършване и декодер за модела за разпознаване на обекти YOLOX. Добавени са елемент tensordecodebin за автоматично свързване на декодери и елемент за изпълнение на AI модели с помощта на LiteRT (който замени TensorFlow Lite).
• Добавен е нов елемент за декодиране на GIF изображения, написан на Rust и поддържащ циклична анимация.
• В елемента input-selector е реализиран двуфазен механизъм за превключване между входните потоци (sinkpad), който изключва възможността за състояние на гонка при превключване.
• В елемента webrtcsink е добавена поддръжка на хардуерно ускорение на кодирането с помощта на VA-API и възможността за повторно съгласуване на връзката.
• Добавени са елементи за комбиниране и извличане на потоци в съответствие с телевизионния стандарт ST-2038.
• В елемента fallbacksrc е добавена поддръжка на кодирани потоци.
• В мултимедийната контейнерна структура FLV, използвана за RTMP предаване, е подобрена поддръжката на видео H.265 и е добавена поддръжка на многоетапен звук.
• В елемента glupload е добавена поддръжка на загрузчик, основан на udmabuf, позволявайки споделяне на буфери между софтуерни декодери/източници и GPU, дисплейни двигатели (wayland) и други устройства.
• Добавен е елемент qml6 за рендериране с помощта на Qt6 QML.
• В библиотеката за работа с видео са добавени операции за изрязване, мащабиране, завъртане и изместване.
• Добавен е обект GstContext, позволяващ използването на споделен пул от потоци при изпълнение на елементи за повишаване на производителността на операции като композиране и преобразуване на видео.
• Добавен е елемент icecastsink за приемане на потоци от IceCast, поддържащ формат AAC и написан на Rust.
• Добавен е нов елемент за клониране на глас ElevenLabs.
• В синтезатора за реч е добавен режим за ускорение на възпроизвеждането с запазване на височината на тона.
• Добавен елемент vmaf за оценка на възприемането на качеството на видео с използването на фреймворка VMAF от Netflix.
• Добавен е нов плъгин за декодиране на звук MPEG-H, основан на декодера Fraunhofer MPEG-H и поддържащ разархивиране на медийните контейнери MP4.
• Разширена е поддръжката на скрити субтитри (CC — Closed Captions) и обработка на текст.

Източник: opennet.ru