Достъпен мултимедиен фреймуърк GStreamer 1.22.0

След година разработка се състоя освобождаването на GStreamer 1.22, кроссплатформен набор от компоненти за създаване на широк спектър от мултимедийни приложения, от медиаплеъри и конвертори на аудио/видео файлове, до VoIP приложения и системи за стрийминг. Кодът на GStreamer се разпространява под лицензия LGPLv2.1. Отделно се развиват актуализации на плъгините gst-plugins-base, gst-plugins-good, gst-plugins-bad, gst-plugins-ugly, както и на обвивката gst-libav и сървъра за стрийминг gst-rtsp-server. На ниво API и ABI новото издание е обратно съвместимо с клон 1.0. Бинарните сборки скоро ще бъдат подготвени за Android, iOS, macOS и Windows (в Linux е препоръчително да се използват пакети от дистрибуцията).

Ключови подобрения в GStreamer 1.22:

• Подобрена поддръжка на формата за кодиране на видео AV1. Добавена възможност за използване на хардуерно ускорение за кодиране и декодиране на AV1 чрез API VAAPI/VA, AMF, D3D11, NVCODEC, QSV и Intel MediaSDK. Добавени нови RTP обработващи модули за AV1. Подобрен е парсерът на AV1 в контейнерите MP4, Matroska и WebM. В състава на сборките са включени елементи с кодировачи и декодери AV1 на базата на библиотеките dav1d и rav1e.
• Реализирана е поддръжка на Qt6. Добавен елемент qml6glsink, който използва Qt6 за визуализиране на видео в сцената QML.
• Добавени са елементи gtk4paintablesink и gtkwaylandsink за визуализация с използване на GTK4 и Wayland.
• Добавени нови клиенти за адаптивно стрийминг, които поддържат протоколите HLS, DASH и MSS (Microsoft Smooth Streaming).
• Предоставена е възможност за създаване на съкратени сборки, оптимизирани за намаляване на размера.
• Добавена е поддръжка за WebRTC simulcast и Google Congestion Control.
• Предоставен е прост и самообслужващ се плъгин за изпращане през WebRTC.
• Добавен е нов опаковчик на медийни контейнери MP4 с поддръжка на фрагментирани и нефрагментирани данни.
• Добавени нови плъгини за хранилището на Amazon AWS и услуги за транскрипция на звук.
• Актуализирани са свързванията за езика Rust. Добавени са 19 нови плъгина, ефекти и елементи, написани на Rust (gst-plugins-rs). Отбелязва се, че 33% от промените в новия GStreamer са реализирани на Rust (промените засягат свързванията и плъгините), а наборът от плъгини gst-plugins-rs е един от най-активно развиващите се модули на GStreamer. Плъгините, написани на Rust, могат да се използват в програми на всякакви езици и работата с тях е подобна на използването на плъгини на C и C++.
• Доставката на плъгини за Rust е осигурена в рамките на официалните бинарни пакети за платформите Windows и macOS (сборката и доставката се поддържат за Linux, Windows и macOS).
• Реализиран е медиасървър, написан на Rust, базиран на WebRTC, който поддържа WHIP (WebRTC HTTP ingest) и WHEP (WebRTC HTTP egress).
• Добавен е елемент videocolorscale, който съчетава възможности за конвертиране и мащабиране на видео.
• Подкрепата за видео с висока дълбочина на цвета е подобрена.
• В API Navigation е добавена поддръжка на събития от допирни екрани.
• Добавени са елементи за корекция на времевите печати H.264/H.265 за реконструкция на PTS/DTS преди опаковането на медийни контейнери.
• На платформата Linux е подобрено прилагането на DMA за работа с буфери при кодиране, декодиране, филтриране и визуализация на видео с приложение на хардуерно ускорение.
• Подобрен е интеграцията с CUDA: добавени са библиотеката gst-cuda и елемент cudaconvertscale, както и интеграция с елементите D3D11 и NVIDIA dGPU NVMM.
• Подобрен е интеграцията с Direct3D11: добавена е нова библиотека gst-d3d11, разширени са възможностите на плъгините d3d11screencapture, d3d11videosink, d3d11convert и d3d11compositor.
• За GPU на AMD са реализирани нови хардуерно ускорени видео кодери в форматите H.264/AVC, H.265/HEVC и AV1, изградени с помощта на SDK AMF (Advanced Media Framework).
• В плъгина applemedia е добавена поддръжка за кодиране и декодиране на видео H.265/HEVC.
• В плъгина androidmedia е добавена поддръжка за кодиране на видео H.265/HEVC.
• В плъгините audiomixer, compositor, glvideomixer и d3d11compositor е добавено свойство force-live за задължително включване в live-режим.

Източник: opennet.ru