Se ha publicado la versión 0.2.7 del marco Python Savant, que simplifica el uso de NVIDIA DeepStream para tareas de aprendizaje automático. El marco se encarga de todo el trabajo complicado con GStreamer o FFmpeg, permitiendo centrarse en la construcción de tuberías de salida optimizadas con un sintaxis declarativa (YAML) y funciones de Python. Savant permite crear tuberías (pipeline) que funcionan igual en aceleradores en el centro de datos (NVIDIA Turing, Ampere, Hopper) y en dispositivos edge (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Con Savant, es fácil procesar múltiples flujos de video simultáneamente y crear rápidamente tuberías de análisis de video listas para aplicaciones, utilizando NVIDIA TensorRT. El código del proyecto se distribuye bajo la licencia Apache 2.0.
Savant 0.2.7 es la última versión con cambios funcionales en la rama 0.2.X. Las próximas versiones en la rama 0.2.X incluirán solo correcciones de errores. El desarrollo de nuevas funciones se llevará a cabo en la rama 0.3.X, basada en DeepStream 6.4. Esta rama no admitirá la familia de dispositivos Jetson Xavier, ya que NVIDIA no los apoya en DS 6.4.
Novedades principales:
- Nuevos ejemplos de uso:
- Ejemplo de uso del modelo de detección basado en el transformador RT-DETR;
- Post-procesamiento con CUDA usando CuPy para YOLOV8-Seg;
- Ejemplo de integración de PyTorch CUDA en la tubería Savant;
- Demostración de trabajo con objetos orientados.
- Nuevas características:
- Integración con Prometheus. La tubería puede exportar métricas de rendimiento a Prometheus y Grafana para monitoreo y seguimiento del rendimiento. Los desarrolladores pueden declarar métricas personalizadas que se exportan junto con las métricas del sistema.
- Adaptador de búfer: implementa un búfer transaccional constante en disco para datos que se mueven entre adaptadores y módulos. Con él, se pueden desarrollar tuberías de alta carga que consumen recursos de manera impredecible y soportan picos de tráfico. El adaptador exporta a Prometheus sus datos sobre elementos y tamaños.
- Modo de compilación de modelos. Los módulos ahora pueden compilar sus modelos en TensorRT sin ejecutar la tubería.
- Controlador de eventos de apagado en PyFunc. Esta nueva API permite manejar correctamente las operaciones de finalización de la tubería, liberando recursos y notificando a sistemas externos sobre la finalización.
- Filtrado de cuadros de entrada y salida. De forma predeterminada, el canal acepta todos los cuadros que contienen datos de video. Con el filtrado de entrada y salida, los desarrolladores pueden filtrar los datos para excluir su procesamiento.
- Post-procesamiento del modelo en GPU. Gracias a esta nueva función, los desarrolladores pueden acceder a los tensores de salida del modelo directamente desde la memoria de la GPU, sin cargarlos en la memoria de la CPU, y procesarlos con CuPy, TorchVision o OpenCV CUDA.
- Funciones de representación de memoria de GPU. En esta versión, proporcionamos funciones para convertir búferes de memoria entre OpenCV GpuMat, tensores GPU de PyTorch y tensores de CuPy.
- API de acceso a la estadística de uso de colas de canal. Savant permite agregar colas entre PyFunc para implementar procesamiento paralelo y almacenamiento en búfer. La API añadida proporciona a los desarrolladores acceso a las colas desplegadas en el canal y permite consultar su uso.
En la próxima versión (0.3.7) se planea migrar a DeepStream 6.4 sin expansión de funcionalidad. La idea es obtener un lanzamiento completamente compatible con 0.2.7, pero basado en DeepStream 6.4 y tecnología mejorada, sin rupturas de compatibilidad a nivel de API.
Fuente: opennet.ru
