De Savant 0.2.7 Python Kader gouf verëffentlecht, wat et méi einfach mécht NVIDIA DeepStream ze benotzen fir Probleemer am Zesummenhang mat Maschinnléieren ze léisen. De Kader këmmert sech ëm all déi schwéier Liften mat GStreamer oder FFmpeg, wat Iech erlaabt Iech op optimiséiert Ausgangspipelines ze konzentréieren mat deklarative Syntax (YAML) a Python Funktiounen. Savant erlaabt Iech Pipelines ze kreéieren déi gläich op Beschleuniger am Rechenzentrum funktionnéieren (NVIDIA Turing, Ampere, Hopper) an op Randgeräter (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Mat Savant kënnt Dir ganz einfach verschidde Video Streams gläichzäiteg veraarbecht a séier Produktiounsfäeg Videoanalytik Pipelines erstellen mat NVIDIA TensorRT. De Projet Code gëtt ënner der Apache 2.0 Lizenz verdeelt.
Savant 0.2.7 ass déi lescht Feature Change Verëffentlechung an der 0.2.X Branche. Zukünfteg Verëffentlechungen an der 0.2.X Branche wäerten nëmme Bugfixes enthalen. Entwécklung vun neie Fonctiounen gëtt an der 0.3.X Branche duerchgefouert, baséiert op DeepStream 6.4. Dës Branche wäert d'Jetson Xavier Famill vun Apparater net ënnerstëtzen well NVIDIA se net an DS 6.4 ënnerstëtzt.
Haaptinnovatiounen:
- Nei Benotzungsfäll:
- E Beispill fir mat engem Detektiounsmodell ze schaffen baséiert op dem RT-DETR Transformator;
- CUDA Postveraarbechtung mat CuPy fir YOLOV8-Seg;
- E Beispill vu PyTorch CUDA Integratioun an der Savant Pipeline;
- Demonstratioun vun der Aarbecht mat orientéierten Objeten.
- Nei Fonctiounen:
- Integratioun mam Prometheus. D'Pipeline kann Ausféierungsmetriken op Prometheus a Grafana exportéieren fir Performance Iwwerwaachung an Tracking. Entwéckler kënnen personaliséiert Metriken deklaréieren, déi zesumme mat Systemmetriken exportéiert ginn.
- Buffer Adapter - Implementéiert e persistent Transaktiounsbuffer op Disk fir Daten déi tëscht Adapter a Moduler bewegen. Mat senger Hëllef kënnt Dir héich belaaschte Pipelines entwéckelen déi Ressourcen onberechenbar konsuméieren an Ausbroch vum Traffic widderstoen. Den Adapter exportéiert seng Element- a Gréisstdaten op Prometheus.
- Modell Zesummesetzung Modus. Moduler kënnen elo hir Modeller an TensorRT kompiléieren ouni eng Pipeline ze lafen.
- PyFunc Shutdown Event Handler. Dësen neien API erlaabt datt Pipeline-Shutdowns graziéis gehandhabt ginn, Ressourcen befreien an Drëtt-Partei-Systemer informéieren datt de Shutdown geschitt ass.
- Frame Filterung beim Input an Output. Par défaut akzeptéiert d'Pipeline all Frames mat Videodaten. Mat Input an Output Filterung kënnen d'Entwéckler Daten filteren fir d'Veraarbechtung ze vermeiden.
- Post-Veraarbechtung vum Modell op der GPU. Mat der neier Feature kënnen d'Entwéckler Zougang zu Modellausgangstensoren direkt vum GPU-Speicher kréien ouni se an d'CPU-Erënnerung ze laden an se mat CuPy, TorchVision oder OpenCV CUDA ze veraarbechten.
- GPU Erënnerung Representatioun Funktiounen. An dëser Verëffentlechung hu mir Funktiounen zur Verfügung gestallt fir Erënnerungsbuffer tëscht OpenCV GpuMat, PyTorch GPU Tensoren, a CuPy Tensoren ze konvertéieren.
- API fir Zougang zu Statistiken iwwer d'Benotzung vu Pipeline Schlaangen. Savant erlaabt Iech Schlaangen tëscht PyFuncs ze addéieren fir parallel Veraarbechtung a Pufferveraarbechtung ëmzesetzen. Déi addéiert API gëtt Entwéckler Zougang zu de Schlaangen, déi an der Pipeline ofgesat ginn an erlaabt hinnen hir Notzung ze froen.
An der nächster Verëffentlechung (0.3.7) ass et geplangt fir op DeepStream 6.4 ze plënneren ouni d'Funktionalitéit auszebauen. D'Iddi ass eng Verëffentlechung ze kréien déi voll kompatibel mat 0.2.7 ass, awer baséiert op DeepStream 6.4 a verbessert Technologie, awer ouni Kompatibilitéit um API Niveau ze briechen.
Source: opennet.ru