Cadrul Savant 0.2.7 Python a fost lansat, ceea ce facilitează utilizarea NVIDIA DeepStream pentru a rezolva problemele legate de învățarea automată. Cadrul se ocupă de toate sarcinile grele cu GStreamer sau FFmpeg, permițându-vă să vă concentrați pe construirea de conducte de ieșire optimizate folosind sintaxa declarativă (YAML) și funcțiile Python. Savant vă permite să creați conducte care funcționează în mod egal pe acceleratoarele din centrul de date (NVIDIA Turing, Ampere, Hopper) și pe dispozitive edge (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Cu Savant, puteți procesa cu ușurință mai multe fluxuri video simultan și puteți crea rapid conducte de analiză video gata de producție folosind NVIDIA TensorRT. Codul proiectului este distribuit sub licența Apache 2.0.
Savant 0.2.7 este cea mai recentă versiune de modificare a caracteristicilor din ramura 0.2.X. Versiunile viitoare din ramura 0.2.X vor include doar remedieri de erori. Dezvoltarea de noi funcții va fi realizată în ramura 0.3.X, bazată pe DeepStream 6.4. Această ramură nu va accepta familia de dispozitive Jetson Xavier, deoarece NVIDIA nu le acceptă în DS 6.4.
Principalele inovații:
- Noi cazuri de utilizare:
- Un exemplu de lucru cu un model de detectare bazat pe transformatorul RT-DETR;
- Post-procesare CUDA cu CuPy pentru YOLOV8-Seg;
- Un exemplu de integrare PyTorch CUDA în conducta Savant;
- Demonstrație de lucru cu obiecte orientate.
- Functii noi:
- Integrare cu Prometeu. Conducta poate exporta valorile de execuție către Prometheus și Grafana pentru monitorizarea și urmărirea performanței. Dezvoltatorii pot declara valori personalizate care sunt exportate împreună cu valorile de sistem.
- Buffer Adapter - Implementează un buffer tranzacțional persistent pe disc pentru mutarea datelor între adaptoare și module. Cu ajutorul acestuia, puteți dezvolta conducte foarte încărcate, care consumă resurse în mod imprevizibil și suportă exploziile de trafic. Adaptorul își exportă datele despre elemente și dimensiuni către Prometheus.
- Modul compilare model. Modulele își pot compila acum modelele în TensorRT fără a rula o conductă.
- Managerul de evenimente de închidere PyFunc. Acest nou API permite ca opririle conductelor să fie gestionate cu grație, eliberând resurse și notificând sistemele terțe părți că închiderea a avut loc.
- Filtrarea cadrelor la intrare și la ieșire. În mod implicit, conducta acceptă toate cadrele care conțin date video. Cu filtrarea de intrare și de ieșire, dezvoltatorii pot filtra datele pentru a preveni procesarea.
- Post-procesarea modelului pe GPU. Cu noua caracteristică, dezvoltatorii pot accesa tensorii de ieșire a modelului direct din memoria GPU-ului fără a-i încărca în memoria CPU și îi pot procesa folosind CuPy, TorchVision sau OpenCV CUDA.
- Funcții de reprezentare a memoriei GPU. În această ediție, am furnizat funcții de conversie a memoriei tampon între OpenCV GpuMat, tensorii GPU PyTorch și tensorii CuPy.
- API pentru accesarea statisticilor privind utilizarea cozilor de pipeline. Savant vă permite să adăugați cozi între PyFuncs pentru a implementa procesarea paralelă și procesarea tamponării. API-ul adăugat oferă dezvoltatorilor acces la cozile implementate în conductă și le permite să interogheze utilizarea acestora.
În următoarea ediție (0.3.7) este planificată trecerea la DeepStream 6.4 fără a extinde funcționalitatea. Ideea este de a obține o versiune pe deplin compatibilă cu 0.2.7, dar bazată pe DeepStream 6.4 și tehnologie îmbunătățită, dar fără a întrerupe compatibilitatea la nivel de API.
Sursa: opennet.ru