Le framework multimédia GStreamer 1.28.0 est maintenant disponible

Après presque un an de développement, la version GStreamer 1.28 est présentée. Il s'agit d'un ensemble de composants multiplateformes pour créer une large gamme d'applications multimédias, allant des lecteurs multimédias et des convertisseurs de fichiers audio/vidéo aux applications VoIP et aux systèmes de streaming. Le code de GStreamer est distribué sous la licence LGPLv2.1. Des mises à jour pour les plugins gst-plugins-base, gst-plugins-good, gst-plugins-bad, gst-plugins-ugly, ainsi que pour l'interface gst-libav et le serveur de streaming gst-rtsp-server, sont développées séparément. Au niveau de l'API et de l'ABI, la nouvelle version est rétrocompatible avec la branche 1.0. Des builds binaires seront bientôt préparés pour Android, iOS, macOS et Windows (pour Linux, il est recommandé d'utiliser les paquets du distributeur).

Améliorations clés de GStreamer 1.28 :

• Un nouveau plugin HIP (Heterogeneous-computing Interface for Portability) a été ajouté pour prendre en charge l'interface de programmation développée par AMD pour le calcul hétérogène, où des unités de calcul parallèles (GPU) sont utilisées en plus du CPU. HIP simplifie la mise en œuvre du support de différents GPU au sein d'une même base de code (le stack ROCm est utilisé pour l'exécution sur les GPU AMD, tandis qu'un middleware de traduction vers CUDA est utilisé pour les GPU NVIDIA). Le plugin fournit des composants réalisés avec HIP pour effectuer des opérations telles que le mélange vidéo, la conversion d'un espace colorimétrique à un autre, le redimensionnement vidéo et l'organisation des échanges de données entre la mémoire système et la mémoire vidéo. De plus, une bibliothèque a été préparée pour intégrer le support de HIP dans les applications.
• Le support de la norme d'encodage vidéo LCEVC (Low Complexity Enhancement Video Coding) a été ajouté, qui réalise un couche supplémentaire de métadonnées pour améliorer la qualité vidéo sur les codecs standards H.265 et H.266. L'implémentation de l'encodeur et du décodeur LCEVC est basée sur des bibliothèques du SDK V-Nova.
• Le support des capacités de l'API graphique Vulkan a été ajouté pour accélérer le décodage vidéo dans les formats AV1 et VP9, ainsi que pour l'encodage vidéo au format H.264. Le décodeur vidéo H.265 basé sur Vulkan a ajouté le support de la profondeur de couleur à 10 bits par canal.
• Dans l'élément gtkwaylandsink, destiné à être utilisé avec GTK4 et Wayland, les fonctionnalités de gestion des couleurs ont été élargies, comme l'ajout du support de l'analyse et de la définition des métadonnées HDR10.
• Un nouvel élément a été ajouté pour séparer les sources sonores (par exemple, la séparation de la voix et de la musique de fond), basé sur la bibliothèque charon-audio, qui met en œuvre la méthode Demucs en Rust. De plus, un plugin Deepgram pour la reconnaissance vocale, écrit en Rust, a été inclus.
• Les capacités d'analyse et de reconnaissance des objets ont été étendues. Des éléments pour combiner et séparer l'analyse ont été ajoutés. Un classificateur tensor-decoder, un détecteur de visages facedetector, un détecteur d'objets YOLOv8, un élément pour l'exécution et un décodeur pour le modèle de reconnaissance d'objets YOLOX ont été mis en place. Un élément tensordecodebin a été ajouté pour le branchement automatique des décodeurs et un élément pour exécuter des modèles IA avec LiteRT (qui remplace TensorFlow Lite) a été inclus.
• Un nouvel élément pour le décodage d'images GIF, écrit en Rust et supportant l'animation en boucle, a été ajouté.
• Dans l'élément input-selector, un mécanisme de commutation en deux phases entre les flux d'entrée (sinkpad) a été mis en œuvre, évitant ainsi les conditions de course lors du basculement.
• Le composant webrtcsink a été mis à jour pour ajouter le support de l'accélération matérielle de l'encodage via VA-API et la possibilité de renégocier la connexion.
• Des éléments pour combiner et extraire des flux conformément à la norme de diffusion ST-2038 ont été ajoutés.
• L'élément fallbacksrc a obtenu la prise en charge des flux codés.
• Dans le conteneur multimédia FLV utilisé pour la diffusion RTMP, l'assistance pour la vidéo H.265 a été améliorée, et le support du son multicanal a été ajouté.
• L'élément glupload a intégré un chargeur basé sur udmabuf, permettant le partage de tampons entre décodeurs/enregistrements logiciels et GPU, moteurs d'affichage (wayland) et autres appareils.
• L'élément qml6 pour le rendu avec Qt6 QML a été ajouté.
• La bibliothèque de traitement vidéo a vu l'ajout d'opérations pour le rognage, le redimensionnement, la rotation et le décalage.
• Un objet GstContext a été ajouté, permettant d'utiliser un pool de threads partagé lors de l'exécution des éléments pour améliorer les performances d'opérations telles que le compositing et la transformation vidéo.
• L'élément icecastsink pour la réception de flux depuis IceCast, prenant en charge le format AAC et écrit en Rust, a été ajouté.
• Un nouvel élément de clonage de voix de ElevenLabs a été introduit.
• Le synthétiseur vocal a ajouté un mode pour accélérer la lecture tout en conservant la tonalité.
• Un élément vmaf a été ajouté pour évaluer la qualité vidéo à l'aide du cadre VMAF de Netflix.
• Un nouveau plugin de décodage audio MPEG-H a été ajouté, basé sur le décodeur Fraunhofer MPEG-H et prenant en charge le déballage des conteneurs multimédias MP4.
• Le support des sous-titres cachés (CC — Closed Captions) et du traitement du texte a été étendu.

Source : opennet.ru