Megjelent a Savant 0.2.7 Python-keretrendszer, amely egyszerűsíti az NVIDIA DeepStream használatát a gépi tanulással kapcsolatos feladatokhoz. A keretrendszer elvégzi az összes bonyolult munkát a GStreamer vagy az FFmpeg főzőautomata, lehetővé téve a felhasználók számára, hogy optimalizált kimeneti csöveket építsenek a deklaratív szintaxis (YAML) és a Python funkciók segítségével. A Savant lehetővé teszi a pipeline-ok létrehozását, amelyek egyaránt működnek adatközponti gyorsítókon (NVIDIA Turing, Ampere, Hopper) és edge-eszközökön (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). A Savant segítségével egyszerűen feldolgozhatók több videóstream egyidejűleg, gyorsan létrehozhatók a munkára kész videoanalitikai pipeline-ok, amelyek NVIDIA TensorRT-t használnak. A projektek kódja Apache 2.0 licenc alatt érhető el.
A Savant 0.2.7 az utolsó kiadás, amely funkcióváltoztatást tartalmaz a 0.2.X ágon. A következő kiadások a 0.2.X ágon csak hibajavításokat fognak tartalmazni. Az új funkciók fejlesztése a 0.3.X ágon fog folytatódni, amely a DeepStream 6.4-en alapul. Ez az ág nem fogja támogatni a Jetson Xavier eszközcsaládot, mivel az NVIDIA nem támogatja őket a DS 6.4-ben.
Főbb újítások:
- Új használati példák:
- Példa az RT-DETR alapú detektáló modell használatára;
- CUDA utófeldolgozás a CuPy segítségével a YOLOV8-Seg-hez;
- Példa a PyTorch CUDA integrálására a Savant pipeline-ba;
- Demo orientált objektumokkal való munkáról.
- Új funkciók:
- Integráció a Prometheusszal. A pipeline képes teljesítménymutatókat exportálni a Prometheus és a Grafana számára a monitorozáshoz és a teljesítmény nyomon követéséhez. A fejlesztők egyedi metrikákat deklarálhatnak, amelyeket a rendszer metrikáival együtt exportálnak.
- Pufferadapter — állandó tranzakciós puffer valósít meg a lemezen alemek és modulok között mozgó adatok számára. Ezzel a fejlesztők magas terhelésű, előre nem látható erőforrást fogyasztó csöveket fejleszthetnek ki, amelyek elviselik a forgalmi csúcsokat. Az adapter a Prometheus számára exportálja az elemekhez és méretekhez fűződő adatait.
- Modellek fordítási módja. A modulok mostantól képesek a modelljeiket TensorRT-be fordítani anélkül, hogy a pipeline-t futtatniuk kellene.
- Shutdown eseménykezelő a PyFuncban. Ez az új API lehetővé teszi a koncepció leállítási műveleteinek helyes kezelését, felszabadítva az erőforrásokat és értesítve a külső rendszereket a befejezésről.
- Képkivágás a bemenetben és kimenetben. Alapértelmezés szerint a koncepció minden videóadatot tartalmazó képet elfogad. A bemeneti és kimeneti szűrés segítségével a fejlesztők kiszűrhetik az adatokat, hogy kizárják a feldolgozásból.
- Modell utófeldolgozása GPU-n. Az új funkció segítségével a fejlesztők közvetlenül a GPU memóriájából férhetnek hozzá a modell kimeneti tenzoraihoz, anélkül hogy a CPU memóriájába kellene őket betölteni, és ezeket a CuPy, TorchVision vagy OpenCV CUDA segítségével dolgozhatják fel.
- GPU memória bemutató funkciói. Ebben a kiadásban olyan funkciókat biztosítottunk, amelyek lehetővé teszik a memóriabuffer átalakítását az OpenCV GpuMat, a PyTorch GPU tenzorai és a CuPy tenzorai között.
- API a koncepcióhasználati statisztikák elérésére. A Savant lehetővé teszi a sorok közötti beillesztést a PyFunc-ban a párhuzamos feldolgozás és a feldolgozás gyorsítótárazása érdekében. Az API hozzáférést biztosít a koncepción belül telepített sorokhoz, és lehetővé teszi azok használatának lekérdezését.
A következő kiadásban (0.3.7) tervezett átállás a DeepStream 6.4-re anélkül, hogy a funkcionalitás bővítve lenne. Az ötlet az, hogy egy kiadás készüljön, amely teljes mértékben kompatibilis a 0.2.7-tel, de a DeepStream 6.4-en és a továbbfejlesztett technológián alapul, API szinten azonban nem okoz kompatibilitási problémákat.
Forrás: opennet.ru
