Доступен мультимедийный фреймворк GStreamer 1.26.0

После года разработки представлен релиз GStreamer 1.26, кроссплатформенного набора компонентов для создания широкого спектра мультимедиа приложений, от медиаплееров и конвертеров аудио/видео файлов, до VoIP-приложений и систем потокового вещания. Код GStreamer распространяется под лицензией LGPLv2.1. Отдельно развиваются обновления плагинов gst-plugins-base, gst-plugins-good, gst-plugins-bad, gst-plugins-ugly, а также обвязка gst-libav и сервер потокового вещания gst-rtsp-server. На уровне API и ABI новый выпуск обратно совместим с веткой 1.0. Бинарные сборки в скором времени будут подготовлены для Android, iOS, macOS и Windows (в Linux рекомендуется использовать пакеты из дистрибутива).

Ключевые улучшения GStreamer 1.26:

• Добавлены кодировщик и декодировщик формата видео VVC (Versatile Video Coding), известного также как стандарт сжатия видео H.266, разработанный совместно рабочими группами MPEG (ISO/IEC JTC 1) и VCEG (ITU-T), при участии таких компаний, как Apple, Ericsson, Intel, Huawei, Microsoft, Qualcomm и Sony. H.266 идёт на смену H.265 (HEVC) и обеспечивает высокую эффективность передачи и хранения всех экранных разрешений (от SD и HD до 4K и 8K), поддерживает видео с расширенным динамическим диапазоном (HDR, High Dynamic Range) и панорамное видео в режиме 360 градусов.
• Добавлены кодировщик и декодировщик стандарта кодирования видео LCEVC (Low Complexity Enhancement Video Coding), реализующий дополнительный слой с метаданными для улучшения качества уже существующих кодеков H.26x и MP4/ISOBMFF.
• Добавлены кодировщик и декодировщик для формата изображений JPEG XS, который позиционируется как легковесная система кодирования изображений, обеспечивающая минимальные задержки при кодировании и декодировании, и ориентированная на оптимизацию передачи последовательностей изображений очень высокого качества (до 8K). JPEG XS позволяет существенно снизить необходимую пропускную способность канала связи без заметных для человеческого глаза потерь качества.
• Добавлена возможность подстановки и извлечения скрытых субтитров для форматов H.264 и H.265.
• Улучшена поддержка адаптивного потокового вещания на базе протоколов HLS (HTTP Live Streaming) и DASH (Dynamic Adaptive Streaming over HTTP). Добавлены новые приёмники мультимедийных данных (sink) hlscmafsink и hlssink3 для вывода фрагментов CMAF (fMP4) и MPEG-TS, а также hlsmultivariantsink для вариативного вывода.
• В упаковщик и распаковщик мультимедийных контейнеров MPEG-TS добавлена поддержка кодеков H.266, JPEG XS, AV1 и VP9, а также метаданных SMPTE ST-2038 и ID3.
• В форматы Matroska и ISO MP4 добавлены упаковщики и распаковщики для кодека H.266/VVC. В MP4 добавлены распаковщики для видео в форматах Hap и Lagarith.
• Добавлена поддержка SMPTE 2038, системы для прикрепления дополнительных данных и метаданных к мультимедийным контейнерам.
• Улучшена интеграция с графическим API Vulkan. Расширены возможности для управления памятью, выбора цветового пространства, управления устройствами и работы в полноэкранном режиме. Добавлена поддержка Vulkan-расширений для ускорения декодирования видео H264 и H265. Повышена производительность кодировщика, использующего Vulkan.
• Улучшена интеграция с OpenGL. Добавлена поддержка дополнительных форматов преобразования цветов и пиксельных форматов. Добавлена поддержка импорта потоков с использованием DMABufs.
• Улучшена интеграция с библиотекой Qt6 и QML.
• Расширены компоненты для интеграции с CUDA и NVIDIA Video Codec SDK. Добавлен кодировщик формата AV1 на базе API NVCODEC.
• Реализована библиотека gst-d3d12 с кодировщиками и декодировщиками на базе API Direct3D 12.
• В стек RTSP добавлена поддержка управления ключами MIKEY на стороне клиента.
• В audioconvert добавлена поддержка перегруппировки звуковых каналов.
• В плагин на базе библиотеки GTK3 добавлена поддержка OpenGL/WGL на платформе Windows.
• В элемент imagefreeze добавлена поддержка форматов JPEG и PNG.
• В элементе pitch реализована возможность воспроизведения в обратном направлении.
• В элементе rtmp2 улучшены механизмы аутентификации на RTP-серверах. Добавлена поддержка аутентификации в CDN Limelight.
• В плагин для интеграции с VA-API добавлены элементы для ускорения декодирования H.266 (VVC), а также кодирования VP8 и JPEG.
• Добавлены элементы для работы с потоками на базе протокола QUIC (raw QUIC, RTP-over-QUIC и WebTransport).
• В набор gst-plugins-rs добавлено 23 новых элемента или плагина, написанных на языке Rust. Плагины, написанные на языке Rust, могут использоваться в программах на любых языках и работа с ними аналогична использованию плагинов на C и C++.

Источник: opennet.ru