Kerangka kerja Savant 0.2.7 Python telah dirilis, sehingga memudahkan penggunaan NVIDIA DeepStream untuk memecahkan masalah terkait pembelajaran mesin. Kerangka kerja ini menangani semua pekerjaan berat dengan GStreamer atau FFmpeg, memungkinkan Anda fokus pada pembuatan saluran keluaran yang dioptimalkan menggunakan sintaksis deklaratif (YAML) dan fungsi Python. Savant memungkinkan Anda membuat saluran pipa yang bekerja sama pada akselerator di pusat data (NVIDIA Turing, Ampere, Hopper) dan pada perangkat edge (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Dengan Savant, Anda dapat dengan mudah memproses beberapa streaming video secara bersamaan dan dengan cepat membuat pipeline analisis video siap produksi menggunakan NVIDIA TensorRT. Kode proyek didistribusikan di bawah lisensi Apache 2.0.
Savant 0.2.7 adalah rilis perubahan fitur terbaru di cabang 0.2.X. Rilis mendatang di cabang 0.2.X hanya akan mencakup perbaikan bug. Pengembangan fitur baru akan dilakukan di cabang 0.3.X, berdasarkan DeepStream 6.4. Cabang ini tidak akan mendukung perangkat keluarga Jetson Xavier karena NVIDIA tidak mendukungnya di DS 6.4.
Inovasi utama:
- Kasus penggunaan baru:
- Contoh bekerja dengan model deteksi berdasarkan trafo RT-DETR;
- pasca-pemrosesan CUDA dengan CuPy untuk YOLOV8-Seg;
- Contoh integrasi PyTorch CUDA ke dalam pipeline Savant;
- Demonstrasi bekerja dengan objek berorientasi.
- Fitur baru:
- Integrasi dengan Prometheus. Pipeline dapat mengekspor metrik eksekusi ke Prometheus dan Grafana untuk pemantauan dan pelacakan kinerja. Pengembang dapat mendeklarasikan metrik khusus yang diekspor bersama dengan metrik sistem.
- Buffer Adapter - Mengimplementasikan buffer transaksional persisten pada disk untuk perpindahan data antara adaptor dan modul. Dengan bantuannya, Anda dapat mengembangkan jaringan pipa dengan muatan tinggi yang mengonsumsi sumber daya secara tidak terduga dan tahan terhadap lonjakan lalu lintas. Adaptor mengekspor data elemen dan ukurannya ke Prometheus.
- Mode kompilasi model. Modul sekarang dapat mengkompilasi modelnya di TensorRT tanpa menjalankan pipeline.
- Penangan acara penutupan PyFunc. API baru ini memungkinkan penutupan saluran pipa ditangani dengan baik, membebaskan sumber daya dan memberi tahu sistem pihak ketiga bahwa penutupan telah terjadi.
- Pemfilteran bingkai pada input dan output. Secara default, alur menerima semua frame yang berisi data video. Dengan pemfilteran masukan dan keluaran, pengembang dapat memfilter data untuk mencegah pemrosesan.
- Pasca-pemrosesan model pada GPU. Dengan fitur baru ini, pengembang dapat mengakses tensor keluaran model langsung dari memori GPU tanpa memuatnya ke memori CPU dan memprosesnya menggunakan CuPy, TorchVision, atau OpenCV CUDA.
- Fungsi representasi memori GPU. Dalam rilis ini, kami menyediakan fungsi untuk mengonversi buffer memori antara OpenCV GpuMat, tensor GPU PyTorch, dan tensor CuPy.
- API untuk mengakses statistik penggunaan antrian pipa. Savant memungkinkan Anda menambahkan antrian antar PyFuncs untuk mengimplementasikan pemrosesan paralel dan pemrosesan buffering. API yang ditambahkan memberi pengembang akses ke antrean yang diterapkan di pipeline dan memungkinkan mereka menanyakan penggunaannya.
Pada rilis berikutnya (0.3.7) direncanakan untuk berpindah ke DeepStream 6.4 tanpa memperluas fungsionalitas. Idenya adalah untuk mendapatkan rilis yang sepenuhnya kompatibel dengan 0.2.7, tetapi berdasarkan DeepStream 6.4 dan teknologi yang ditingkatkan, tetapi tanpa merusak kompatibilitas di tingkat API.
Sumber: opennet.ru