È stato pubblicato il rilascio del framework Python Savant 0.2.7, che semplifica l'uso di NVIDIA DeepStream per risolvere problemi legati all'apprendimento automatico. Il framework si occupa di tutto il lavoro complesso con GStreamer o FFmpeg, permettendo di concentrarsi sulla creazione di pipeline di output ottimizzate tramite una sintassi dichiarativa (YAML) e funzioni Python. Savant consente di creare pipeline che funzionano sia su acceleratori nel data center (NVIDIA Turing, Ampere, Hopper), sia su dispositivi edge (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Con Savant, è possibile elaborare facilmente più flussi video simultaneamente, creando rapidamente pipeline di videoanalisi pronte per l'uso che sfruttano NVIDIA TensorRT. Il codice del progetto è distribuito con licenza Apache 2.0.
Savant 0.2.7 è l'ultima versione con una modifica della funzionalità nella serie 0.2.X. Le prossime versioni nella serie 0.2.X includeranno solo correzioni di bug. Sviluppo di nuove funzionalità sarà condotto nella serie 0.3.X, basata su DeepStream 6.4. Questa serie non supporterà la famiglia di dispositivi Jetson Xavier, poiché NVIDIA non li supporta in DS 6.4.
Novità principali:
- Nuovi esempi di utilizzo:
- Esempio di lavoro con un modello di rilevamento basato su trasformatore RT-DETR;
- Post-elaborazione CUDA tramite CuPy per YOLOV8-Seg;
- Esempio di integrazione di PyTorch CUDA nella pipeline Savant;
- Dimostrazione di lavoro con oggetti orientati.
- Nuove funzionalità:
- Integrazione con Prometheus. La pipeline può esportare metriche di esecuzione in Prometheus e Grafana per il monitoraggio e il tracciamento delle prestazioni. Gli sviluppatori possono dichiarare metriche personalizzate, esportate insieme alle metriche di sistema.
- Adattatore di buffer — implementa un buffer di transazione costante su disco per i dati che si spostano tra adattatori e moduli. Grazie a questo, è possibile sviluppare pipeline ad alta domanda, che consumano risorse in modo imprevedibile e supportano picchi di traffico. L'adattatore esporta in Prometheus i propri dati sugli elementi e le dimensioni.
- Modalità di compilazione dei modelli. I moduli possono ora compilare i propri modelli in TensorRT senza avviare la pipeline.
- Gestore dell'evento di spegnimento in PyFunc. Questa nuova API consente di gestire correttamente le operazioni di chiusura della pipeline, liberando risorse e notificando i sistemi esterni sul completamento.
- Filtraggio dei frame in ingresso e in uscita. Per impostazione predefinita, il pipeline accetta tutti i frame contenenti dati video. Con il filtraggio in ingresso e in uscita, gli sviluppatori possono filtrare i dati per escludere il loro trattamento.
- Post-elaborazione del modello su GPU. Grazie alla nuova funzione, gli sviluppatori possono accedere direttamente ai tensori di uscita del modello dalla memoria GPU, senza caricarli nella memoria CPU, e elaborarli utilizzando CuPy, TorchVision o OpenCV CUDA.
- Funzioni di gestione della memoria GPU. In questa versione, abbiamo fornito funzioni per convertire i buffer di memoria tra OpenCV GpuMat, tensori GPU di PyTorch e tensori CuPy.
- API per l'accesso alle statistiche di utilizzo delle code del pipeline. Savant consente di aggiungere code tra PyFunc per implementare l'elaborazione parallela e la memorizzazione temporanea. L'API aggiunto fornisce agli sviluppatori accesso alle code implementate nel pipeline e consente di richiederne l'uso.
Nella prossima versione (0.3.7) è previsto il passaggio a DeepStream 6.4 senza estensione delle funzionalità. L'idea è di ottenere un rilascio completamente compatibile con 0.2.7, ma basato su DeepStream 6.4 e tecnologia migliorata, senza interruzioni della compatibilità a livello API.
Fonte: opennet.ru
