FFmpeg 8.1 is beschikbaar met ondersteuning voor JPEG XS, nieuwe mogelijkheden voor 3D-geluid en versnelling via Vulkan

Na zeven maanden ontwikkeling is het multimedia-pakket FFmpeg 8.1 uitgebracht, dat een set applicaties en een collectie bibliotheken bevat voor operaties op verschillende multimedia-formaten (opname, conversie en decodering van audio- en videoformaten). Het pakket is geschreven in de programmeertaal C en wordt verspreid onder de LGPL- en GPL-licenties.

Onder de wijzigingen in FFmpeg 8.1:

• Er is een parser, encoder en decoder toegevoegd, evenals een multiplexer en demultiplexer voor het afbeeldingsformaat JPEG XS, dat zich positioneert als een lichte beeldcoderingssysteem dat minimale vertragingen bij coderen en decoderen biedt, en gericht is op het optimaliseren van de overdracht van sequenties van zeer hoge kwaliteit (tot 8K). JPEG XS maakt een aanzienlijke verlaging van de benodigde bandbreedte mogelijk zonder merkbare kwaliteitsverlies voor het menselijk oog. De implementatie is gebaseerd op de libsvtjpegxs-bibliotheek.
• Er is een experimentele decoder toegevoegd voor het audiocodeerformaat xHE-AAC (High-Efficiency Advanced Audio Coding) met een MPEG Surround-schema Mps212 (met kanaalindeling 212). xHE-AAC wordt gebruikt in de livestreaming van Netflix en is betrokken bij de digitale radio-uitzendtechnologieën van Digital Radio Mondiale. De codec is opmerkelijk vanwege de ondersteuning voor een breed scala aan bitrates (van 12 tot 300 kbit/s), een hoge compressiegraad, reproductiemogelijkheden met constante luidheid, het bieden van hoge helderheid bij alle volume-instellingen, extra profielen voor dynamisch bereikbeheer bij luisteren in lawaaierige omgevingen en het toevoegen van metadata die gegevensverlies aan de ontvangende kant herstellen.
• Op basis van de bibliotheek libmpeghdec is er een decoder gerealiseerd voor interactieve en ruimtelijke audio in het NGA (Next Generation Audio)-formaat, dat is gedefinieerd in de MPEG-H systeemstandaard voor audiocodecs.
• Er is ondersteuning toegevoegd voor het multiplexer en demultiplexer van ruimtelijke audio in het IAMF-formaat (Immersive Audio Model and Formats) met 3D-geluid in Ambisonics-modus, waarbij rekening wordt gehouden met de verspreiding van geluid niet alleen in de horizontale vlak, maar ook verticaal (om de bron van het geluid van boven of onder te bepalen).
• Ondersteuning voor de parser en doorsturen van metadata in het LCEVC-formaat (Low Complexity Enhancement Video Coding) is toegevoegd, dat een extra laag met metadata bovenop de standaardcodecs implementeert om de video-kwaliteit te verbeteren. Ondersteuning voor het exporteren van LCEVC kwaliteitsverbeteringslagen naar multimedia-containers in MPEG-TS (MPEG Transport Stream) is toegevoegd.
• Een encoder en decoder voor de Apple ProRes-codec zijn geïmplementeerd op basis van de Vulkan graphics API, evenals een decoder voor het in de filmproductie gebruikte DPX (Digital Picture Exchange) formaat voor gescheiden kaderoverdracht. Implementaties op basis van de Vulkan API zijn opmerkelijk vanwege de aanzienlijke prestatieverbetering door hardwareversnelling, parallelisatie van taken en gebruik van compute-shaders. Er is optimalisatie uitgevoerd op de AI Vulkan-gebaseerde codecimplementaties. Om de initialisatie van codecs te versnellen, is de mogelijkheid geïmplementeerd om al gecompileerde GLSL-shaders te gebruiken, zonder dat ze tijdens runtime opnieuw gecompileerd hoeven te worden.
• In de swscale-bibliotheek (Software Scaler), gebruikt in FFmpeg voor softwarematig schalen en kleuraanpassing, is een backend geïmplementeerd die de Vulkan graphics API gebruikt om de uitvoering van taken te versnellen.
• Nieuwe encoderopties voor de formaten H.264 en AV1 zijn toegevoegd, die de D3D12 API (Direct3D 12) gebruiken voor hardwareversnelling van codering.
• Een encoderoptie voor het H.264/HEVC-formaat is toegevoegd, die gebruikmaakt van de hardwarematige video-encoderfunctionaliteit beschikbaar in Rockchip-chips.
• Demuxers voor multimedia-containers in de formaten HXVS en HXVT, die worden gebruikt in IP-camera's, zijn toegevoegd.
• Een parser voor metadata in EXIF-formaat en een bijbehorende API voor het parseren van metadata zijn gerealiseerd.
• De ffprobe-tool heeft de optie '-codec' ('-c') toegevoegd voor het selecteren van een specifieke decoderimplementatie.
• Ondersteuning voor de gemetselde modus (tiled) voor het opslaan van beelden in HEIF-formaat is toegevoegd aan de ffmpeg-tool (wanneer een zeer groot beeld wordt opgeslagen als een verzameling van kleinere beelden).
• De oude HLS-protocolhandler is verwijderd.
• Nieuwe filters:
  • drawvg voor het weergeven van vectorafbeeldingen bovenop videoframes, gebruikmakend van de libcairo-bibliotheek.
  • vpp_amf voor het veranderen van de grootte van video en het omzetten van kleurenschema's, gebruikmakend van AMD Advanced Media Framework voor hardwareversnelling.
  • vf_scale_d3d12, vf_deinterlace_d3d12, vf_mestimate_d3d12 voor opschaling, deinterlacing en bewegingsanalyse van video, gebruikmakend van de grafische API Direct3D 12 voor hardwareversnelling.
  • gfxcapture voor het vastleggen van inhoud van vensters en het scherm op het Windows-platform met behulp van de API Windows.Graphics.Capture.
  • Bitstream-filter voor LCEVC metadata toegevoegd.

Bron: opennet.ru