Udgivelsen af Python-rammen Savant 0.2.7 er offentliggjort, som forenkler brugen af NVIDIA DeepStream til opgaver relateret til maskinlæring. Rammeværket tager sig af al det komplekse arbejde med GStreamer eller FFmpeg, hvilket giver dig mulighed for at fokusere på at opbygge optimerede output-pipelines ved hjælp af deklarativ syntaks (YAML) og Python-funktioner. Savant gør det muligt at skabe pipelines, der fungerer ens på både acceleratorer i datacentre (NVIDIA Turing, Ampere, Hopper) og på edge-enheder (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Med Savant kan du nemt behandle flere videostrømme samtidigt og hurtigt skabe klar-til-anvendelse videoanalyse pipelines, der benytter NVIDIA TensorRT. Projektets kode distribueres under Apache 2.0-lisensen.
Savant 0.2.7 er den seneste udgivelse med funktionalitetsændringer i 0.2.X-grenen. Fremtidige udgivelser i 0.2.X-grenen vil kun inkludere fejlrettelser. Udviklingen af nye funktioner vil blive foretaget i 0.3.X-grenen, som er baseret på DeepStream 6.4. Denne gren vil ikke understøtte Jetson Xavier-enhedsfamilien, da NVIDIA ikke understøtter dem i DS 6.4.
Hovednyhederne:
- Nye brugs-eksempler:
- Eksempel på arbejde med en detektionsmodel baseret på transformer RT-DETR;
- CUDA-postbehandling ved hjælp af CuPy til YOLOV8-Seg;
- Eksempel på integration af PyTorch CUDA i Savant-pipelinen;
- Demonstration af arbejde med orienterede objekter.
- Nye funktioner:
- Integration med Prometheus. Pipelines kan eksportere udførelsesmetriker til Prometheus og Grafana til overvågning og sporbarhed af ydeevne. Udviklere kan erklære brugerdefinerede metrikker, der eksporteres sammen med systemmetrikker.
- Bufferadapter - implementerer en vedvarende transaktionel buffer på disk til data, der bevæger sig mellem adaptere og moduler. Med det kan der udvikles højt belastede pipelines, der uforudsigeligt forbruger ressourcer og kan håndtere trafikspidser. Adapteren eksporterer sine data om elementer og størrelser til Prometheus.
- Modelkompileringstilstand. Moduler kan nu kompilere deres modeller til TensorRT uden at køre pipelinen.
- Shutdown begivenhedshandler i PyFunc. Dette nye API giver mulighed for korrekt håndtering af pipeline-afslutningsoperationer, som frigiver ressourcer og underretter eksterne systemer om afslutningen.
- Filtrering af billeder ind og ud. Som standard accepterer pipeline alle billeder, der indeholder videodata. Ved hjælp af ind- og udgangsfiltrering kan udviklere filtrere data for at udelukke dem fra behandlingen.
- Postbehandling af modellen på GPU. Takket være den nye funktion kan udviklere få adgang til modelens outputtenzor direkte fra GPU's hukommelse uden at indlæse dem i CPU-hukommelsen og behandle dem med CuPy, TorchVision eller OpenCV CUDA.
- Funktioner til visning af GPU-hukommelse. I denne udgave har vi tilføjet funktioner til at konvertere hukommelsesbuffere mellem OpenCV GpuMat, GPU-tenzorene fra PyTorch og CuPy-tenzorene.
- API til adgang til statistik over brugen af pipeline-queues. Savant giver mulighed for at tilføje queues mellem PyFunc for at implementere parallel behandling og behandling af buffere. Den tilføjede API giver udviklere adgang til de queues, der er udrullet i pipelinen, og muligheden for at forespørge deres brug.
I den kommende udgave (0.3.7) planlægges det at skifte til DeepStream 6.4 uden at udvide funktionaliteten. Ideen er at få en udgivelse, der er helt kompatibel med 0.2.7, men baseret på DeepStream 6.4 og forbedret teknologi, men uden brud på API-kompatibilitet.
Kilde: opennet.ru
