Издаване на Savant 0.2.7, рамка за компютърно зрение и дълбоко обучение

Python рамката Savant 0.2.7 беше пусната, което улеснява използването на NVIDIA DeepStream за решаване на проблеми, свързани с машинното обучение. Рамката се грижи за цялата тежка работа с GStreamer или FFmpeg, което ви позволява да се съсредоточите върху изграждането на оптимизирани изходни канали с помощта на декларативен синтаксис (YAML) и функции на Python. Savant ви позволява да създавате конвейери, които работят еднакво на ускорители в центъра за данни (NVIDIA Turing, Ampere, Hopper) и на периферни устройства (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Със Savant можете лесно да обработвате множество видеопотоци едновременно и бързо да създавате готови за производство тръбопроводи за видеоаналитика с помощта на NVIDIA TensorRT. Кодът на проекта се разпространява под лиценза Apache 2.0.

Savant 0.2.7 е най-новата версия за промяна на функциите в клона 0.2.X. Бъдещите издания в клона 0.2.X ще включват само корекции на грешки. Разработването на нови функции ще се извършва в клона 0.3.X, базиран на DeepStream 6.4. Този клон няма да поддържа фамилията устройства Jetson Xavier, тъй като NVIDIA не ги поддържа в DS 6.4.

Основни иновации:

• Нови случаи на употреба:
  • Пример за работа с модел на детекция, базиран на трансформатора RT-DETR;
  • CUDA последваща обработка с CuPy за YOLOV8-Seg;
  • Пример за интегриране на PyTorch CUDA в тръбопровода Savant;
  • Демонстрация на работа с ориентирани обекти.
  

• Нови функции:
  • Интеграция с Prometheus. Конвейерът може да експортира показатели за изпълнение към Prometheus и Grafana за наблюдение и проследяване на ефективността. Разработчиците могат да декларират персонализирани показатели, които се експортират заедно със системните показатели.
  • Буферен адаптер - Внедрява постоянен транзакционен буфер на диск за данни, движещи се между адаптери и модули. С негова помощ можете да разработите високо натоварени тръбопроводи, които консумират ресурси непредсказуемо и издържат на изблици на трафик. Адаптерът експортира своите елементи и данни за размера към Prometheus.
  • Режим на компилация на модел. Модулите вече могат да компилират своите модели в TensorRT, без да изпълняват конвейер.
  • Обработчик на събитие за изключване на PyFunc. Този нов API позволява спирането на тръбопровода да се обработва грациозно, освобождавайки ресурси и уведомявайки системи на трети страни, че спирането е настъпило.
  • Филтриране на кадри на вход и изход. По подразбиране конвейерът приема всички кадри, съдържащи видео данни. С филтриране на вход и изход разработчиците могат да филтрират данни, за да предотвратят обработката.
  • Постобработка на модела на GPU. С новата функция разработчиците могат да имат достъп до изходните тензори на модела директно от GPU паметта, без да ги зареждат в CPU паметта и да ги обработват с помощта на CuPy, TorchVision или OpenCV CUDA.
  • Функции за представяне на паметта на GPU. В тази версия предоставихме функции за преобразуване на буфери на паметта между OpenCV GpuMat, PyTorch GPU тензори и CuPy тензори.
  • API за достъп до статистика за използването на конвейерни опашки. Savant ви позволява да добавяте опашки между PyFuncs, за да реализирате паралелна обработка и буферна обработка. Добавеният API дава на разработчиците достъп до опашките, разположени в тръбопровода, и им позволява да правят заявки за тяхното използване.

В следващата версия (0.3.7) се планира преминаване към DeepStream 6.4 без разширяване на функционалността. Идеята е да се получи версия, която е напълно съвместима с 0.2.7, но базирана на DeepStream 6.4 и подобрена технология, но без да се нарушава съвместимостта на ниво API.

Източник: opennet.ru