S'ha llançat el marc de Python Savant 0.2.7, cosa que facilita l'ús de NVIDIA DeepStream per resoldre problemes relacionats amb l'aprenentatge automàtic. El marc s'ocupa de tot el treball pesat amb GStreamer o FFmpeg, cosa que us permet centrar-vos a crear canalitzacions de sortida optimitzades mitjançant la sintaxi declarativa (YAML) i les funcions de Python. Savant us permet crear pipelines que funcionen per igual en acceleradors del centre de dades (NVIDIA Turing, Ampere, Hopper) i en dispositius de punta (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Amb Savant, podeu processar fàcilment múltiples fluxos de vídeo simultàniament i crear ràpidament canalitzacions d'anàlisi de vídeo preparats per a la producció mitjançant NVIDIA TensorRT. El codi del projecte es distribueix sota la llicència Apache 2.0.
Savant 0.2.7 és l'última versió de canvi de característiques a la branca 0.2.X. Les futures versions de la branca 0.2.X només inclouran correccions d'errors. El desenvolupament de noves característiques es realitzarà a la branca 0.3.X, basada en DeepStream 6.4. Aquesta branca no admetrà la família de dispositius Jetson Xavier, ja que NVIDIA no els admet a DS 6.4.
Principals innovacions:
- Nous casos d'ús:
- Un exemple de treball amb un model de detecció basat en el transformador RT-DETR;
- Postprocessament CUDA amb CuPy per YOLOV8-Seg;
- Un exemple d'integració de PyTorch CUDA al gasoducte Savant;
- Demostració de treball amb objectes orientats.
- Noves característiques:
- Integració amb Prometeu. El pipeline pot exportar mètriques d'execució a Prometheus i Grafana per al seguiment i el seguiment del rendiment. Els desenvolupadors poden declarar mètriques personalitzades que s'exporten juntament amb les mètriques del sistema.
- Adaptador de memòria intermèdia: implementa un buffer transaccional persistent al disc per a que les dades es mouen entre adaptadors i mòduls. Amb la seva ajuda, podeu desenvolupar canonades altament carregades que consumeixen recursos de manera imprevisible i suporten ràfegues de trànsit. L'adaptador exporta les seves dades d'elements i mida a Prometheus.
- Mode de compilació de models. Els mòduls ara poden compilar els seus models a TensorRT sense executar un pipeline.
- Gestor d'esdeveniments de tancament PyFunc. Aquesta nova API permet que els tancaments de canonades es gestionen amb gràcia, alliberant recursos i notificant als sistemes de tercers que s'ha produït l'aturada.
- Filtrat de fotogrames a entrada i sortida. De manera predeterminada, la canalització accepta tots els fotogrames que contenen dades de vídeo. Amb el filtratge d'entrada i sortida, els desenvolupadors poden filtrar les dades per evitar el processament.
- Postprocessament del model a la GPU. Amb la nova funció, els desenvolupadors poden accedir als tensors de sortida del model directament des de la memòria de la GPU sense carregar-los a la memòria de la CPU i processar-los mitjançant CuPy, TorchVision o OpenCV CUDA.
- Funcions de representació de memòria GPU. En aquesta versió, hem proporcionat funcions per convertir els buffers de memòria entre OpenCV GpuMat, tensors GPU PyTorch i tensors CuPy.
- API per accedir a les estadístiques sobre l'ús de les cues de pipeline. Savant us permet afegir cues entre PyFuncs per implementar el processament paral·lel i el processament de memòria intermèdia. L'API afegida ofereix als desenvolupadors accés a les cues desplegades al pipeline i els permet consultar el seu ús.
A la propera versió (0.3.7) està previst passar a DeepStream 6.4 sense ampliar la funcionalitat. La idea és aconseguir una versió que sigui totalment compatible amb la 0.2.7, però basada en DeepStream 6.4 i tecnologia millorada, però sense trencar la compatibilitat a nivell d'API.
Font: opennet.ru