Après trois mois de développement, le paquet multimédia FFmpeg 9.1 a été publié, comprenant un ensemble d'applications et une collection de bibliothèques pour effectuer des opérations sur différents formats multimédias (enregistrement, conversion et décodage de formats audio et vidéo). Le paquet est écrit en langage C et est distribué sous les licences LGPL et GPL.
Parmi les changements dans FFmpeg 9.1 :
- Ajout d'un backend réseau basé sur la bibliothèque libcurl.
- Une API expérimentale a été proposée pour créer des filtres de bitstream permettant la modification directe du flux de bits empaquetés sans le décoder. La nouvelle API permet de combiner des filtres en graphes non linéaires, permettant un routage complexe, une fusion et une séparation des flux.
- L'outil de ligne de commande ffmpeg a ajouté la possibilité de travailler avec des représentations dual-track du format de codage vidéo LCEVC (Low Complexity Enhancement Video Coding), où la vidéo de base et les métadonnées pour améliorer la qualité sont stockées sous forme de pistes séparées.
- Ajout de la prise en charge de la transmission des images vidéo décodées depuis le décodeur matériel NVIDIA NVDEC vers la mémoire GPU en utilisant des tableaux de textures CUARRAY (CUDA array) au lieu d'un tampon CUdeviceptr pour améliorer la compatibilité avec l'API graphique Vulkan. La prise en charge de CUARRAY a été ajoutée pour les codecs H.264, HEVC, AV1, MPEG-1, MPEG-2, MPEG-4, VC-1, WMV3, VP8 et VP9.
- Ajout de paquetages et dépaquetages de conteneurs multimédias astc et KTX 1.0, utilisés pour le stockage des textures. Le support de la compression et du dépaquetage de textures au format ASTC (Adaptive Scalable Texture Compression) a été implémenté à l'aide de la bibliothèque libastcenc.
- Implémentation du support de la sélection des appareils de capture vidéo et audio AVFoundation par identifiant unique et numéro de série de l'appareil USB. Les options « -video_device_id » et « -audio_device_id » ont été ajoutées pour spécifier les identifiants.
- Ajout d'une variante de l'encodeur (apv_vulkan) pour le format APV (Advanced Professional Video), tirant parti des capacités de l'API graphique Vulkan et des shaders de calcul pour une accélération.
- Ajout d'un encodeur pour le format DSD (dsd_msbf).
- Amélioration significative de l'encodeur pour le format audio AAC (Advanced Audio Coding). Ajout de la prise en charge du décodage du format xHE-AAC (Extended High-Efficiency AAC, standard ISO/IEC 23003-3, utilisé pour le streaming Netflix) grâce à la bibliothèque libfdk-xhe-aac.
- Ajout de la prise en charge du décodage des flux vidéo H.264 partitionnés, où chaque image est divisée en plusieurs parties.
- Des décodeurs pour les formats Infinity IMM6, Rhetorex ADPCM, ADPCM IMA Citrix et Panasonic RW2 ont été ajoutés.
- Un décodeur et un décompresseur de conteneurs multimédias pour le format DVD-Audio LPCM (modulation en code de pulse linéaire) ont été implémentés.
- Des empaqueteurs de conteneurs multimédias dans les formats iTerm2 et JPEG Multi-Picture ont été ajoutés.
- Des décompresseurs de conteneurs multimédias dans les formats MVR et JPEG Multi-Picture ont été ajoutés.
- Pour la plateforme Windows, le protocole «handle:» a été implémenté, permettant d'utiliser des descripteurs HANDLE de WinAPI et prenant en charge l'accès aléatoire, et non seulement la lecture linéaire comme avec le protocole «pipe:».
- La possibilité de lancer des filtres de réseaux neurones sous Windows a été ajoutée au backend ONNX Runtime, grâce à la bibliothèque DirectML implémentée au-dessus de l'API Direct3D 12 en mode zero-copy (sans copie des images entre la mémoire vidéo et la RAM).
- Nouveaux filtres :
- vf_fruc_vulkan — augmente la fréquence d'images vidéo grâce à l'ajout d'images intermédiaires à l'aide de l'accélérateur matériel NVIDIA Optical Flow Accelerator, utilisant l'extension Vulkan VK_NV_optical_flow.
- gainmap — calcule une carte d'augmentation de luminosité (HDR Gain Map) basée sur les versions SDR et HDR de la même image.
- latticepal — convertit une image RGB/BGR en couleur pleine en un format à palette de 8 bits PAL8.
- vf_vqe_amf — améliore la qualité vidéo sur les systèmes avec GPU AMD, en utilisant le mécanisme de suppression de bruit VQE (Video Quality Enhancer) disponible dans le cadre de l'Advanced Media Framework (AMF).
- Des filtres bitstream ont été ajoutés : trim (suppression de paquets en dehors de la plage spécifiée), jpegapp (insertion de segments JPEG APP0..APP15) et side_data (suppression de métadonnées de service).
- Un filtre de fusion de couches (couche avec vidéo de base et couche avec des métadonnées pour améliorer la qualité) pour les vidéos au format LCEVC a été ajouté.
Source : opennet.ru
