Издание Savant 0.2.7, рамка за компютърно зрение и дълбочинно обучение

Публикувана версия на Python фреймворка Savant 0.2.7, който опростява използването на NVIDIA DeepStream за решаване на задачи, свързани с машинното обучение. Фреймворкът поема цялата сложна работа с GStreamer или FFmpeg, което позволява да се фокусирате върху изграждането на оптимизирани изходни конвейери с помощта на декларативен синтаксис (YAML) и функции на Python. Savant позволява създаването на конвейери (pipeline), които работят еднакво както на ускорители в центрове за данни (NVIDIA Turing, Ampere, Hopper), така и на крайни устройства (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). С помощта на Savant е лесно да се обработват няколко видео потока едновременно и бързо да се създават готови за работа конвейери за видео анализ, които използват NVIDIA TensorRT. Кодът на проекта е разпространен под лицензия Apache 2.0.

Savant 0.2.7 — это последний релиз с изменением функциональности в ветке 0.2.X. Следующие релизы в ветке 0.2.X будут включать только исправления ошибок. Разработка новых функций будет вестись в ветке 0.3.X, основанной на DeepStream 6.4. Данная ветка не будет поддерживать семейство устройств Jetson Xavier, поскольку компания NVIDIA не поддерживает их в DS 6.4.

Основни нововъведения:

• Нови примери за употреба:
  • Пример за работа с модел за детекция на базата на трансформер RT-DETR;
  • CUDA постобработка с помощта на CuPy за YOLOV8-Seg;
  • Пример за интеграция на PyTorch CUDA в пайплайна Savant;
  • Демонстрация на работа с ориентирани обекти.
  
• Нови функции:
  • Интеграция с Prometheus. Пайплайнът може да експортира метрики за изпълнение в Prometheus и Grafana за мониторинг и проследяване на производителността. Разработчиците могат да обявят потребителски метрики, които да бъдат експортирани заедно със системни метрики.
  • Буферный адаптер — реализует постоянный транзакционный буфер на диске для данных, перемещающихся между адаптерами и модулями. С его помощью можно разрабатывать высоконагруженные конвейеры, непредсказуемо потребляющие ресурсы и выдерживающие всплески трафика. Адаптер экспортирует в Prometheus свои данные об элементах и размерах.
  • Режим на компилиране на модели. Модулите вече могат да компилират своите модели в TensorRT без стартиране на пайплайна.
  • Обработчик на събитие shutdown в PyFunc. Този нов API позволява правилно да се обработват операции по завършване на пайплайна, освобождавайки ресурси и уведомявайки външни системи за приключване на работата.
  • Филтриране на кадри на входа и изхода. По подразбиране конвейерът приема всички кадри, съдържащи видеоданни. Чрез филтриране на входа и изхода разработчиците могат да отсяват данни, за да изключат тяхната обработка.
  • Постобработка на модела на GPU. С новата функция разработчиците могат да получават достъп до изходните тензори на модела директно от паметта на GPU, без да ги зареждат в паметта на CPU и да ги обработват с CuPy, TorchVision или OpenCV CUDA.
  • Функции за представяне на паметта на GPU. В това издание предоставихме функции за преобразуване на буфери на паметта между OpenCV GpuMat, GPU-тензори на PyTorch и тензори на CuPy.
  • API за достъп до статистика за използването на опашките в конвейера. Savant позволява добавяне на опашки между PyFunc за реализиране на паралелна обработка и буфериране. Добавеният API предоставя на разработчиците достъп до опашките, разположени в конвейера, и позволява да се запитват за тяхното използване.

В следващото издание (0.3.7) се планира преминаване към DeepStream 6.4 без разширяване на функционалността. Идеята е да се постигне издание, напълно съвместимо с 0.2.7, но базирано на DeepStream 6.4 и подобрена технология, при това без нарушаване на съвместимостта на ниво API.

Източник: opennet.ru