La version 0.2.7 du framework Python Savant a été publiée, simplifiant l'utilisation de NVIDIA DeepStream pour les tâches liées à l'apprentissage automatique. Le framework gère toute la complexité associée à GStreamer ou FFmpeg, permettant de se concentrer sur la construction de pipelines de sortie optimisés avec une syntaxe déclarative (YAML) et des fonctions Python. Savant permet de créer des pipelines qui fonctionnent aussi bien sur des accélérateurs en data center (NVIDIA Turing, Ampere, Hopper) que sur des dispositifs edge (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Avec Savant, il est facile de traiter plusieurs flux vidéo simultanément et de créer rapidement des pipelines d'analyse vidéo prêts à l'emploi, utilisant NVIDIA TensorRT. Le code du projet est distribué sous la licence Apache 2.0.
Savant 0.2.7 est la dernière version avec des changements de fonctionnalité dans la branche 0.2.X. Les prochaines versions de la branche 0.2.X ne comprendront que des corrections de bogues. Le développement de nouvelles fonctionnalités se fera dans la branche 0.3.X, qui sera basée sur DeepStream 6.4. Cette branche ne prendra pas en charge la famille de dispositifs Jetson Xavier, car NVIDIA ne les supporte pas dans DS 6.4.
Les principales nouveautés :
- Nouveaux exemples d'utilisation :
- Exemple de travail avec un modèle de détection basé sur le transformeur RT-DETR ;
- Post-traitement CUDA avec CuPy pour YOLOV8-Seg ;
- Exemple d'intégration de PyTorch CUDA dans le pipeline Savant ;
- Démonstration du travail avec des objets orientés.
- Nouvelles fonctionnalités :
- Intégration avec Prometheus. Le pipeline peut exporter des métriques de performance vers Prometheus et Grafana pour surveiller et suivre les performances. Les développeurs peuvent déclarer des métriques personnalisées, qui seront exportées avec des métriques système.
- Adaptateur de tampon — implémente un tampon transactionnel permanent sur disque pour les données se déplaçant entre les adaptateurs et les modules. Il permet de développer des pipelines à forte charge de travail consommant les ressources de manière imprévisible et gérant les pics de trafic. L'adaptateur exporte vers Prometheus ses données sur les éléments et les dimensions.
- Mode de compilation des modèles. Les modules peuvent désormais compiler leurs modèles en TensorRT sans démarrer le pipeline.
- Gestionnaire d'événements shutdown dans PyFunc. Cette nouvelle API permet de traiter correctement les opérations d'arrêt du pipeline, libérant des ressources et notifiant les systèmes externes de l'arrêt.
- Filtration des images à l'entrée et à la sortie. Par défaut, le pipeline accepte toutes les images contenant des données vidéo. Grâce à la filtration à l'entrée et à la sortie, les développeurs peuvent filtrer les données pour exclure leur traitement.
- Post-traitement du modèle sur GPU. Avec cette nouvelle fonctionnalité, les développeurs peuvent accéder aux tenseurs de sortie du modèle directement depuis la mémoire GPU, sans les charger dans la mémoire CPU, et les traiter avec CuPy, TorchVision ou OpenCV CUDA.
- Fonctions de représentation de la mémoire GPU. Dans cette version, nous avons fourni des fonctions pour convertir les tampons de mémoire entre OpenCV GpuMat, les tenseurs GPU de PyTorch et les tenseurs CuPy.
- API d'accès aux statistiques d'utilisation des files d'attente du pipeline. Savant permet d'ajouter des files d'attente entre PyFunc pour réaliser un traitement parallèle et un traitement en mémoire tampon. L'API ajoutée fournit aux développeurs un accès aux files d'attente déployées dans le pipeline et permet de demander leur utilisation.
La prochaine version (0.3.7) prévoit de passer à DeepStream 6.4 sans expansion des fonctionnalités. L'idée est d'obtenir une version entièrement compatible avec 0.2.7, mais basée sur DeepStream 6.4 et une technologie améliorée, sans violations de compatibilité au niveau de l'API.
Source : opennet.ru
