A fost publicată versiunea 0.2.7 a framework-ului Python Savant, care simplifică utilizarea NVIDIA DeepStream pentru sarcini legate de învățarea automată. Framework-ul se ocupă de întreaga muncă complexă cu GStreamer sau FFmpeg, permițându-le utilizatorilor să se concentreze pe construirea de pipeline-uri de ieșire optimizate folosind un sintaxă declarativă (YAML) și funcții Python. Savant permite crearea de pipeline-uri care funcționează la fel fie pe acceleratoare în centre de date (NVIDIA Turing, Ampere, Hopper), fie pe dispozitive edge (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Cu ajutorul lui Savant, poți gestiona cu ușurință mai multe fluxuri video simultan și să creezi rapid pipeline-uri de analiză video gata de utilizare care utilizează NVIDIA TensorRT. Codul proiectului este distribuit sub licența Apache 2.0.
Savant 0.2.7 este ultima versiune cu modificări funcționale în ramura 0.2.X. Următoarele versiuni din ramura 0.2.X vor include doar corecturi de erori. Dezvoltarea de noi funcții va avea loc în ramura 0.3.X, bazată pe DeepStream 6.4. Această ramură nu va suporta gama de dispozitive Jetson Xavier, deoarece NVIDIA nu le suportă în DS 6.4.
Noutăți principale:
- Exemple noi de utilizare:
- Exemplu de utilizare a modelului de detecție bazat pe transformator RT-DETR;
- Post-procesare CUDA cu ajutorul CuPy pentru YOLOV8-Seg;
- Exemplu de integrare a PyTorch CUDA în pipeline-ul Savant;
- Demonstrarea lucrului cu obiecte orientate.
- Funcții noi:
- Integrarea cu Prometheus. Pipeline-ul poate exporta metrici de performanță în Prometheus și Grafana pentru monitorizare și urmărire a performanței. Dezvoltatorii pot declara metrici personalizate care sunt exportate alături de metricile de sistem.
- Adaptator de buffer — implementează un buffer tranzacțional permanent pe disc pentru datele care se mișcă între adaptoare și module. Acesta permite dezvoltarea de pipeline-uri cu încărcări mari, consumând resurse în mod imprevizibil și suportând vârfuri de trafic. Adaptatorul exportă către Prometheus date despre elementele și dimensiunile sale.
- Modul de compilare a modelului. Modulele pot acum să-și compileze modelele în TensorRT fără a rula pipeline-ul.
- Handler-ul de eveniment shutdown în PyFunc. Acest nou API permite gestionarea corectă a operațiunilor de închidere a pipeline-ului, eliberând resursele și notificând sistemele externe despre finalizarea lucrului.
- Filtrarea cadrelor la intrare și ieșire. Implicit, canalul acceptă toate cadrele care conțin date video. Prin filtrarea la intrare și ieșire, dezvoltatorii pot filtra datele pentru a le exclude din procesare.
- Post-procesarea modelului pe GPU. Datorită noii funcții, dezvoltatorii pot accesa tensorele de ieșire ale modelului direct din memoria GPU, fără a le încărca în memoria CPU și pot să le proceseze folosind CuPy, TorchVision sau OpenCV CUDA.
- Funcții de vizualizare a memoriei GPU. În această versiune, am furnizat funcții pentru conversia bufferelor de memorie între OpenCV GpuMat, GPU-tensori PyTorch și tensori CuPy.
- API-ul de acces la statistici privind utilizarea cozilor canalului. Savant permite adăugarea de cozi între PyFunc pentru implementarea procesării paralele și a tamponării procesării. API-ul adăugat oferă dezvoltatorilor acces la cozile desfășurate în canal și permite interogarea utilizării acestora.
În următoarea versiune (0.3.7) este planificată trecerea la DeepStream 6.4 fără extinderea funcționalității. Ideea este de a obține o versiune complet compatibilă cu 0.2.7, dar bazată pe DeepStream 6.4 și pe tehnologia îmbunătățită, fără a încălca compatibilitatea la nivel de API.
Sursa: opennet.ro
