Обявено издание на Python рамката Savant 0.2.7, която опростява използването на NVIDIA DeepStream за решаване на задачи, свързани с машинно обучение. Рамката поема всичката сложна работа с GStreamer или FFmpeg, позволявайки да се съсредоточите върху изграждането на оптимизирани изходни конвейери с помощта на декларативен синтаксис (YAML) и Python функции. Savant позволява създаването на конвейери, които работят еднакво както на ускорители в дата центрове (NVIDIA Turing, Ampere, Hopper), така и на edge устройства (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). С помощта на Savant можете лесно да обработвате няколко видеопотока едновременно, бързо създавайки готови за работа конвейери за видеоанализ, използващи NVIDIA TensorRT. Кодът на проекта се разпространява под лицензия Apache 2.0.
Savant 0.2.7 е последното издание с промяна в функционалността в клон 0.2.X. Следващите издания в клона 0.2.X ще включват само поправки на грешки. Развитието на нови функции ще се води в клон 0.3.X, основан на DeepStream 6.4. Тази версия няма да поддържа семейството устройства Jetson Xavier, тъй като NVIDIA не ги поддържа в DS 6.4.
Основни нововъведения:
- Нови примери за употреба:
- Пример за работа с модел за откритие, базиран на трансформатор RT-DETR;
- CUDA постобработка с помощта на CuPy за YOLOV8-Seg;
- Пример за интеграция на PyTorch CUDA в конвейера Savant;
- Демонстрация на работа с ориентирани обекти.
- Нови функции:
- Интеграция с Prometheus. Конвейерът може да експортира метрики за изпълнение в Prometheus и Grafana за мониторинг и проследяване на производителността. Разработчиците могат да обявят потребителски метрики, които се експортират заедно със системните метрики.
- Буферен адаптер — реализира постоянен транзакционен буфер на диска за данни, преминаващи между адаптери и модули. С него можете да проектирате високо натоварени конвейери, които непредсказуемо консумират ресурси и издържат на трафик. Адаптерът експортира в Prometheus своите данни за елементите и размерите.
- Режим за компилиране на модели. Модулите вече могат да компилират своите модели в TensorRT без да стартират конвейера.
- Обработчик на събитие shutdown в PyFunc. Новият API позволява коректно обработване на операциите за завършване на работа на конвейера, освобождавайки ресурси и уведомявайки външни системи за завършване на работа.
- Филтриране на кадри на входа и изхода. По подразбиране конвейерът приема всички кадри, съдържащи видеоданни. Чрез филтриране на входа и изхода разработчиците могат да филтрират данните, за да изключат тяхната обработка.
- Постобработка на модела на GPU. Благодарение на новата функция разработчиците могат да получават достъп до изходните тензори на модела директно от паметта на GPU, без да ги зареждат в паметта на CPU и да ги обработват с CuPy, TorchVision или OpenCV CUDA.
- Функции за представяне на паметта на GPU. В това издание предоставихме функции за преобразуване на буферите на паметта между OpenCV GpuMat, GPU-тензори на PyTorch и тензори на CuPy.
- API за достъп до статистика за използването на опашките на пайплайна. Savant позволява добавяне на опашки между PyFunc за реализиране на паралелна обработка и буферизиране на обработката. Добавеният API предоставя на разработчиците достъп до опашките, разположени в конвейера, и позволява запитване за тяхното използване.
В следващото издание (0.3.7) планираме да преминем на DeepStream 6.4 без разширяване на функционалността. Идеята е да получим издание, което е напълно съвместимо с 0.2.7, но базирано на DeepStream 6.4 и подобрена технология, без нарушения на съвместимостта на ниво API.
Източник: opennet.ru
