Po takmer roku vývoja bol predstavený vydanie GStreamer 1.28, multiplatformového súboru komponentov na vytváranie širokého spektra multimediálnych aplikácií, od mediálnych prehrávačov a konvertorov audio/video súborov až po aplikácie VoIP a systémy streamovania. Kód GStreamer sa šíri pod licenciou LGPLv2.1. Samostatne sa vyvíjajú aktualizácie pluginov gst-plugins-base, gst-plugins-good, gst-plugins-bad, gst-plugins-ugly, ako aj obal gst-libav a server streamovania gst-rtsp-server. Na úrovni API a ABI je nové vydanie spätne kompatibilné s vetvou 1.0. Binaries budú čoskoro pripravené pre Android, iOS, macOS a Windows (v Linuxe sa odporúča použiť balíčky z distribúcie).
Kľúčové vylepšenia GStreamer 1.28:
- Bol pridaný nový plugin HIP (Heterogeneous-computing Interface for Portability) na podporu vyvíjaného rozhrania spoločnosťou AMD pre heterogénne výpočty, pri ktorých sa okrem CPU používajú prostriedky paralelných výpočtov GPU. HIP zjednodušuje implementáciu podpory rôznych GPU v jednej kódovej báze (pre vykonávanie na GPU AMD sa využíva stack ROCm a na GPU NVIDIA - medzičlánok pre preklad do CUDA). Plugin poskytuje komponenty implementované pomocou HIP na vykonávanie takých operácií, ako je zmiešavanie videa, konverzie z jedného farebného priestoru do druhého, zmena veľkosti videa a organizácia výmeny údajov medzi systémovou pamäťou a videopamäťou. Dodatočne bola pripravená knižnica na integráciu podpory HIP do aplikácií.
- Bola pridaná podpora štandardu na kódovanie videa LCEVC (Low Complexity Enhancement Video Coding), ktorý realizuje nad bežnými kodekmi H.265 a H.266 ďalšiu vrstvu s metadátami na zlepšenie kvality videa. Implementácia kodéra a dekodéra LCEVC vychádza z knižníc z SDK V-Nova.
- Bola pridaná podpora funkcií grafického API Vulkan na urýchlenie dekódovania videa vo formátoch AV1 a VP9, ako aj kódovania videa vo formáte H.264. Do dekodéra videa H.265 založeného na Vulcane bola pridaná podpora hĺbky farby s 10 bitmi na kanál.
- V prvku gtkwaylandsink, určenom na vykresľovanie pomocou GTK4 a Wayland, boli rozšírené možnosti pre prácu s farbou, napríklad bola pridaná podpora analýzy a nastavení metadát HDR10.
- Pridaná nová zložka na rozdeľovanie zvukových zdrojov (napríklad na rozdelenie hlasu a podkladovej hudby), založená na knižnici charon-audio, ktorá implementuje metódu Demucs v jazyku Rust. Okrem toho bol do súpravy pridaný plugin Deepgram na rozpoznávanie reči, napísaný v jazyku Rust.
- Rozšírené možnosti analytiky a rozpoznávania objektov. Pridali sa prvky na kombinovanie a rozdeľovanie analytiky. Implementované klasifikátor tensor-decoder, detektor tvárí facedetector, detektor objektov YOLOv8, prvok na vykonávanie a dekodér pre model rozpoznávania objektov YOLOX. Pridaný prvok tensordecodebin na automatické pripojenie dekodérov a prvok na vykonávanie AI modelov pomocou LiteRT (ktorý nahradil TensorFlow Lite).
- Pridaný nový prvok na dekódovanie GIF obrázkov, napísaný v jazyku Rust a podporujúci slučkovú animáciu.
- V prvku input-selector bol implementovaný dvojfázový mechanizmus prepínania medzi vstupnými tokmi (sinkpad), ktorý eliminuje vznik stavu pretečenia pri prepínaní.
- Do prvku webrtcsink bola pridaná podpora hardvérovej akcelerácie kódovania pomocou VA-API a možnosť opätovného vyjednávania pripojenia.
- Pridané prvky na kombinovanie a extrakciu tokov v štandarde televízneho vysielania ST-2038.
- Prvok fallbacksrc získal podporu pre kódované toky.
- V multimediálnom kontajneri FLV, ktorý sa používa na RTMP vysielanie, bola vylepšená podpora videa H.265 a pridala sa podpora viacerých audiokanálov.
- Do prvku glupload bola pridaná podpora uploadu založeného na udmabuf, ktorý umožňuje zdieľať buffre medzi softvérovými dekodérmi/zdrojmi a GPU, zobrazovacími enginami (wayland) a ďalšími zariadeniami.
- Pridaný prvok qml6 na vykresľovanie pomocou Qt6 QML.
- Do knižnice na prácu s videom boli pridané operácie na orezanie, zmenu veľkosti, rotáciu a posunutie.
- Pridaný objekt GstContext, ktorý umožňuje používať zdieľaný pool streamov pri vykonávaní prvkov, aby sa zlepšil výkon pri takých operáciách, ako je kompozícia a konverzia videa.
- Pridaný prvok icecastsink na príjem tokov z IceCast, ktorý podporuje formát AAC a je napísaný v jazyku Rust.
- Pridaný nový prvok na klonovanie hlasu ElevenLabs.
- Do syntetizátora reči bol pridaný režim na urýchlenie prehrávania pri zachovaní výšky tónu.
- Bol pridávaný prvok vmaf na hodnotenie vnímania kvality videa pomocou rámca VMAF od Netflixu.
- Bol pridaný nový plugin na dekódovanie zvuku MPEG-H, založený na dekodéri Fraunhofer MPEG-H, ktorý podporuje rozbalenie mediakontajnerov MP4.
- Rozšírená podpora skrytých titulkov (CC — Closed Captions) a spracovania textu.
Zdroj: opennet.ru
