Po trzech miesiącach prac rozwojowych opublikowano pakiet multimedialny FFmpeg 9.1, który zawiera zestaw aplikacji oraz kolekcję bibliotek do pracy z różnymi formatami multimedialnymi (nagrywanie, konwersja i dekodowanie formatów audio i wideo). Pakiet jest napisany w języku C i jest dystrybuowany na licencjach LGPL i GPL.
Wśród zmian w FFmpeg 9.1:
- Dodano backend sieciowy oparty na bibliotece libcurl.
- Proponowane eksperymentalne API do tworzenia filtrów bitstreamowych do bezpośredniej modyfikacji pakietowego strumienia bitowego bez jego dekodowania. Nowe API umożliwia łączenie filtrów w nieliniowe grafy, które pozwalają na złożoną routowanie, łączenie i rozdzielanie strumieni.
- Do narzędzia wiersza poleceń ffmpeg dodano możliwość pracy z dwukanałowymi reprezentacjami formatu kodowania wideo LCEVC (Low Complexity Enhancement Video Coding), w których podstawowe wideo i metadane poprawiające jakość są przechowywane w formie oddzielnych ścieżek.
- Dodano wsparcie dla przesyłania dekodowanych klatek wideo z sprzętowego dekodera NVIDIA NVDEC do pamięci GPU z użyciem tablic tekstur CUARRAY (CUDA array) zamiast bufora CUdeviceptr, aby poprawić kompatybilność z graficznym API Vulkan. Wsparcie dla CUARRAY dodano dla kodeków H.264, HEVC, AV1, MPEG-1, MPEG-2, MPEG-4, VC-1, WMV3, VP8 i VP9.
- Dodano opakowacze i rozpakowacze kontenerów multimedialnych astc i KTX 1.0, stosowanych do przechowywania tekstur. Dzięki bibliotece libastcenc zrealizowano wsparcie dla kompresji i rozpakowywania tekstur w formacie ASTC (Adaptive Scalable Texture Compression).
- Wprowadzono wsparcie dla wyboru urządzeń do przechwytywania wideo i dźwięku AVFoundation na podstawie unikalnego identyfikatora lub numeru seryjnego urządzenia USB. Do wskazywania identyfikatorów dodano opcje „-video_device_id” i „-audio_device_id”.
- Dodano wariant enkodera (apv_vulkan) dla formatu APV (Advanced Professional Video), wykorzystującego możliwości obliczeniowe API Vulkan i shadery obliczeniowe do przyspieszenia.
- Dodano enkoder dla formatu DSD (dsd_msbf).
- Znacznie poprawiono enkoder dla formatu dźwiękowego AAC (Advanced Audio Coding). Dodano wsparcie dla dekodowania formatu xHE-AAC (Extended High-Efficiency AAC, standard ISO/IEC 23003-3, używany w transmisji strumieniowej Netflix) za pomocą biblioteki libfdk-xhe-aac.
- Dodano wsparcie dla dekodowania podzielonych (partitioning) strumieni wideo H.264, w których każda klatka jest dzielona na kilka części.
- Dodano dekodery dla formatów Infinity IMM6, Rhetorex ADPCM, ADPCM IMA Citrix oraz Panasonic RW2.
- Zrealizowano dekoder i rozpakowacz kontenerów multimedialnych dla formatu DVD-Audio LPCM (Linear Pulse Code Modulated).
- Dodano pakowacze kontenerów multimedialnych w formatach iTerm2 oraz JPEG Multi-Picture.
- Dodano rozpakowacze kontenerów w formatach MVR oraz JPEG Multi-Picture.
- Dla platformy Windows zrealizowano wsparcie protokołu „handle:”, pozwalającego na użycie uchwytów HANDLE z WinAPI oraz wspierającego dostęp losowy, a nie tylko liniowe czytanie jak w przypadku protokołu „pipe:”.
- W backendzie ONNX Runtime dodano możliwość uruchamiania filtrów sieci neuronowych w Windows, wykorzystując zrealizowaną na bazie API Direct3D 12 bibliotekę DirectML w trybie zero-copy (bez kopiowania klatek wideo pomiędzy pamięcią wideo a RAM).
- Nowe filtry:
- vf_fruc_vulkan — zwiększa liczbę klatek na sekundę w wideo poprzez dorysowanie klatek pośrednich przy użyciu akceleratora sprzętowego NVIDIA Optical Flow Accelerator, wykorzystując rozszerzenie Vulkan VK_NV_optical_flow.
- gainmap — oblicza mapę zwiększenia jasności (HDR Gain Map) na podstawie wersji SDR i HDR tego samego obrazu.
- latticepal — przekształca pełnokolorowy obraz RGB/BGR do formatu z 8-bitową paletą PAL8.
- vf_vqe_amf — poprawia jakość wideo na systemach z GPU AMD, używając mechanizmu tłumienia szumów VQE (Video Quality Enhancer), dostępnego w Advanced Media Framework (AMF).
- Dodano filtry bitstream: trim (usuwanie pakietów poza zadanym zakresem), jpegapp (podstawianie segmentów JPEG APP0..APP15) oraz side_data (usuwanie metadanych pomocniczych).
- Dodano filtr scalania warstw (warstwa z podstawowym wideo oraz warstwa z metadanymi dla poprawy jakości) dla wideo w formacie LCEVC.
Źródło: opennet.ru
