Достъпен е мултимедиен фреймуърк GStreamer 1.28.0

След почти година разработка, GStreamer 1.28 представя кроссплатформен комплект от компоненти за създаване на широк спектър от мултимедийни приложения, от медия плейъри и конвертори на аудио/видео файлове, до VoIP приложения и системи за стрийминг. Кодът на GStreamer е разпространяван под лицензия LGPLv2.1. Обновления на плъгини като gst-plugins-base, gst-plugins-good, gst-plugins-bad, gst-plugins-ugly, а също и обвивка gst-libav и сервер за стрийминг gst-rtsp-server се развиват отделно. На ниво API и ABI, новото издание е обратно съвместимо с версия 1.0. Бинарни сборки скоро ще бъдат подготвени за Android, iOS, macOS и Windows (в Linux е препоръчително да се използват пакети от дистрибуцията).

Ключови подобрения в GStreamer 1.28:

• Добавен е нов плъгин HIP (Хетерогенен интерфейс за преносимост) за поддръжка на софтуерния интерфейс за хетерогенни изчисления, разработен от AMD, при който освен CPU, се използват и средства за паралелни изчисления GPU. HIP опростява реализацията на поддръжка за различни GPU в една кодова база (стекът ROCm е използван за изпълнение на GPU AMD, а за GPU NVIDIA — слой за транслация в CUDA). Плъгинът предоставя компоненти, реализирани с помощта на HIP, за извършване на операции като смесване на видео, преобразуване от едно цветно пространство в друго, промяна на размера на видеото и организация на обмена на данни между системната памет и видеопамет. Допълнително е подготвена библиотека за интеграция на поддръжка за HIP в приложения.
• Добавена е поддръжка на стандарта за видео кодиране LCEVC (Ниска сложност за подобрено видео кодиране), който реализира допълнителен слой с метаданни за подобряване на качеството на видеото, над стандартните кодеци H.265 и H.266. Реализацията на кодера и декодера LCEVC се основава на библиотеките от SDK V-Nova.
• Добавена е поддръжка за възможностите на графичния API Vulkan за ускорение на декодиране на видео във форматите AV1 и VP9, както и за кодиране на видео в формат H.264. Декодерът за видео H.265, базиран на Vulkan, е разширен с поддръжка за дълбочина на цвета от 10 бита на канал.
• В елемента gtkwaylandsink, предназначен за рендериране с GTK4 и Wayland, са разширени възможностите за работа с цветове, като например е добавена поддръжка за разбиране и задаване на метаданни HDR10.
• Добавен е нов елемент за разделяне на звуковите източници (например, разделяне на глас и фонова музика), базиран на библиотеката charon-audio, реализираща метода Demucs на езика Rust. Освен това, включен е плъгинът Deepgram за разпознаване на реч, написан на Rust.
• Разширени са възможностите за аналитика и разпознаване на обекти. Добавени са елементи за обединяване и разделяне на аналитични данни. Реализирани са класификатор tensor-decoder, детектор на лица facedetector, детектор на обекти YOLOv8, елемент за изпълнение и декодер за модела за разпознаване на обекти YOLOX. Добавен е елемент tensordecodebin за автоматично свързване на декодери и елемент за изпълнение на AI модели с помощта на LiteRT (който замести TensorFlow Lite).
• Добавен е нов елемент за декодиране на GIF изображения, написан на Rust и поддържащ циклична анимация.
• В елемента input-selector е реализиран двуфазен механизъм за превключване между входните потоци (sinkpad), който изключва възможността за състезателно състояние при превключване.
• В елемента webrtcsink е добавена поддръжка за хардуерно ускориение на кодиране с помощта на VA-API и възможност за повторно съгласуване на връзката.
• Добавени са елементи за комбиниране и извличане на потоци в стандартния формат за телевизионно предаване ST-2038.
• В елемента fallbacksrc е добавена поддръжка за кодирани потоци.
• В мултимедийния контейнер FLV, използван за RTMP предаване, е подобрена поддръжката на видео H.265 и е добавена поддръжка за многоканален звук.
• В елемента glupload е добавена поддръжка за ускорител на базата на udmabuf, позволяващ споделяне на буфери между софтуерни декодери/източници и GPU, дисплейни механизми (wayland) и други устройства.
• Добавен е елемент qml6 за рендериране с помощта на Qt6 QML.
• В библиотеката за работа с видео са добавени операции за рязане, мащабиране, завъртане и премествае.
• Добавен е обект GstContext, който позволява използването на споделен пул от потоци при изпълнение на елементи за подобряване на производителността на операции като композитинг и трансформиране на видео.
• Добавен е елемент icecastsink за приемане на потоци от IceCast, поддържащ формат AAC и написан на Rust.
• Добавен е нов елемент за клониране на гласа ElevenLabs.
• В синтезатора на реч е добавен режим за ускорено възпроизвеждане с запазване на височината на звука.
• Добавен елемент vmaf за оценка на възприемането на качеството на видео с помощта на VMAF от Netflix.
• Добавен е нов плъгин за декодиране на звук MPEG-H, базиран на декодера Fraunhofer MPEG-H и поддържащ разопаковането на медийни контейнери MP4.
• Разширена е поддръжката на скрити субтитри (CC — Closed Captions) и обработка на текст.

Източник: opennet.ru