Випуск мультимедіа-пакету FFmpeg 4.3 з підтримкою графічного API Vulkan

Після десяти місяців розробки доступний мультимедіа-пакет FFmpeg 4.3, що включає набір додатків та колекцію бібліотек для операцій над різними мультимедіа-форматами (запис, перетворення та декодування звукових та відеоформатів). Пакет розповсюджується під ліцензіями LGPL та GPL, розробка FFmpeg ведеться суміжно з проектом MPlayer.

З змін, доданих у FFmpeg 4.3, можна виділити:

• Додано підтримку графічного API Vulkan;
• На базі Vulkan для Linux реалізовано кодувальник, який використовує для прискорення двигуна AMD AMF/VCE, а також варіанти типових фільтрів avgblur_vulkan, overlay_vulkan, scale_vulkan та chromaber_vulkan;
• Забезпечено можливість використання API ВДПАУ (Video Decode and Presentation) для апаратного прискорення обробки відео у форматі VP9;
• Додана можливість кодування відео AV1 із використанням бібліотеки librav1e, написаної на мові Rust та розвивається спільнотами Xiph та Mozilla;
• Для медіаконтейнерів mp4 реалізовано підтримку багатоканального звукового кодека без втрат Справжній HD та кодека для тривимірного звуку MPEG-H 3D;
• Додано підтримку протоколів ZeroMQ и RabbitMQ (AMQP 0-9-1);
• У Linux здійснено перехід із фреймсервера для нелінійного редагування відеопотоків (віртуального відеокодека) AvxSynth, який вже 5 років перебуває у занедбаному стані, на актуальний форк AviSynth+;
• До складу включено парсер для зображень у форматі WebP;
• Реалізовано декодувальники MJPEG та VP9, ​​які використовують механізм апаратного прискорення. Intel QSV (Quick Sync Video), а також кодувальник VP9 на базі Intel QSV;
• Розширено підтримку стилів субтитрів у форматі 3GPP Timed Text Subtitles;
• Доданий кодувальник-обв'язування над API Microsoft Media Foundation;
• Доданий кодировщик ADPCM для звукових даних, що використовуються в іграх компанії Simon & Schuster Interactive;
• Додані нові декодувальники: PFM, IMM5, Sipro ACELP.KELVIN, mvdv, mvha, mv30, NotchLC, Argonaut Games ADPCM, Rayman 2 ADPCM, Simon & Schuster Interactive ADPCM, High Voltage Software ADPCM, ADPCM IMA MTF та CRI HCA;
• Доданий пакувальник медіаконтейнерів (muxer) streamhash та реалізована можливість упаковки pcm та pgs у контейнери m2ts;
• Додані розпакувальники медіаконтейнерів (demuxer): AV1 з розширеннями з програми B,
  Argonaut Games ASF, Real War KVAG, Rayman 2 APM, LEGO Racers ALP (.tun і .pcm), FWSE, DERF, CRI HCA, Pro Pinball Series Soundbank;

• Нові фільтри:
  • v360 - Перетворює відео з оглядом 360 градусів в різні формати;
  • прокрутки - прокручує відео по горизонталі або вертикалі із заданою швидкістю;
  • світлочутливість — прибирає яскраві спалахи та різкі перепади яскравості з відео, які потенційно можуть спричинити епілептичний напад;
  • arnndn - Фільтр придушення шумів у мові, що використовує рекурентну нейронну мережу;
  • двосторонній - Виконує просторове згладжування зі збереженням країв;
  • maskedmin и maskedmax - Виконують злиття двох відеопотоків на основі відмінностей з третім потоком;
  • медіана - Фільтр придушення шуму, який вибирає медіанний піксель з прямокутника, що вписується в зазначений радіус;
  • AV1 frame merge - Злиття кадрів у потоці AV1;
  • axcorrelate - розраховує нормалізовану взаємну кореляцію між двома аудіопотоками;
  • thistogram — обчислює та виводить гістограму розподілу кольорів у відео;
  • freezeframes - Замінює набір кадрів на відео на певні кадри з іншого потоку;
  • xfade и xfade_opencl -
    перехресне згасання з переходом з одного відеопотоку до іншого;

  • afirsrc - генерує коефіцієнти FIR з використанням методу частотної вибірки;
  • pad_opencl - Додає відступи до зображення;
  • CAS - Застосовує до відео фільтр зміни різкості CAS (Contrast Adaptive Sharpen);
  • anlms - застосовує нормалізований алгоритм LMS (Least mean squares) до першого звукового потоку, обчислюючи коефіцієнти на основі відмінностей із другим потоком;
  • overlay_cuda - Розміщує шматок одного відео поверх іншого;
  • tmedian - Фільтр придушення шумів, що використовує медіані пікселі з декількох успішних кадрів;
  • maskedthreshold - Вибирає при фільтрації пікселі на основі порівняння різниці двох відеопотоків з пороговим значенням;
  • asubboost - Підсилює частоти для саббуфера;
  • pcm_rechunk - перепакує PCM-звук з урахуванням заданої частоти дискретизації або швидкості передачі пакетів;
  • scdet - Визначає зміни сцени на відео (наприклад, для визначення руху в кадрі);
  • градієнти - генерує відеопотік із градієнтами;
  • sierpinski - генерує відеопотік із фракталами Серпінського;
  • untile - Розбирає відео, складене зі шматочків, на окремі зображення;
  • dblur - реалізує спрямоване розмиття.

Джерело: opennet.ru