Megjelent a Savant 0.2.7 Python keretrendszer, amely megkönnyíti az NVIDIA DeepStream használatát a gépi tanulással kapcsolatos problémák megoldására. A keretrendszer a GStreamer vagy az FFmpeg segítségével gondoskodik az összes nehéz feladatról, lehetővé téve, hogy a deklaratív szintaxis (YAML) és Python függvények használatával optimalizált kimeneti folyamatok létrehozására összpontosítson. A Savant lehetővé teszi olyan csővezetékek létrehozását, amelyek egyformán működnek az adatközponti gyorsítókon (NVIDIA Turing, Ampere, Hopper) és az éleszközökön (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). A Savant segítségével könnyedén feldolgozhat több videofolyamot egyidejűleg, és gyorsan létrehozhat gyártásra kész videoelemzési folyamatokat az NVIDIA TensorRT segítségével. A projekt kódja az Apache 2.0 licenc alatt kerül terjesztésre.
A Savant 0.2.7 a 0.2.X ág legújabb funkcióváltási kiadása. A 0.2.X ág jövőbeli kiadásai csak hibajavításokat tartalmaznak. Az új funkciók fejlesztése a 0.3.X ágban történik, a DeepStream 6.4 alapján. Ez az ág nem támogatja a Jetson Xavier készülékcsaládot, mivel az NVIDIA nem támogatja őket a DS 6.4-ben.
Főbb újítások:
- Új felhasználási esetek:
- Példa az RT-DETR transzformátoron alapuló észlelési modellel való munkára;
- CUDA utófeldolgozás CuPy segítségével YOLOV8-Seghez;
- Példa a PyTorch CUDA-integrációjára a Savant-folyamatba;
- Az orientált objektumokkal végzett munka bemutatása.
- Új funkciók:
- Integráció a Prometheusszal. A folyamat a végrehajtási metrikákat a Prometheus és a Grafana programba exportálhatja teljesítményfigyelés és nyomon követés céljából. A fejlesztők deklarálhatnak egyéni metrikákat, amelyeket a rendszer mérőszámaival együtt exportálnak.
- Pufferadapter – Állandó tranzakciós puffert valósít meg a lemezen az adapterek és modulok közötti adatok mozgatásához. Segítségével olyan nagy terhelésű csővezetékeket fejleszthet ki, amelyek kiszámíthatatlanul fogyasztják az erőforrásokat és ellenállnak a forgalomnak. Az adapter exportálja elem- és méretadatait a Prometheusba.
- Modell összeállítási mód. A modulok ezentúl lefordíthatják modelleiket a TensorRT-ben anélkül, hogy folyamatot futtatnának.
- PyFunc leállítási eseménykezelő. Ez az új API lehetővé teszi a folyamatleállások kecses kezelését, felszabadítva az erőforrásokat, és értesítve a harmadik felek rendszereit a leállás megtörténtéről.
- Keretszűrés a bemeneten és a kimeneten. Alapértelmezés szerint a folyamat minden videoadatot tartalmazó képkockát elfogad. A bemeneti és kimeneti szűréssel a fejlesztők szűrhetik az adatokat a feldolgozás megakadályozása érdekében.
- A modell utófeldolgozása a GPU-n. Az új funkcióval a fejlesztők közvetlenül a GPU memóriájából érhetik el a modell kimeneti tenzorait anélkül, hogy betöltenék azokat a CPU memóriájába, és CuPy, TorchVision vagy OpenCV CUDA segítségével dolgozhatják fel azokat.
- GPU memória reprezentációs funkciók. Ebben a kiadásban funkciókat biztosítunk a memóriapufferek konvertálására az OpenCV GpuMat, a PyTorch GPU tenzorok és a CuPy tenzorok között.
- API a folyamatsorok használatára vonatkozó statisztikák eléréséhez. A Savant lehetővé teszi várólisták felvételét a PyFuncs közé a párhuzamos feldolgozás és a pufferelési feldolgozás megvalósítása érdekében. A hozzáadott API hozzáférést biztosít a fejlesztőknek a folyamatban lévő sorokhoz, és lehetővé teszi számukra, hogy lekérdezzék a használatukat.
A következő kiadásban (0.3.7) a tervek szerint áttérnek a DeepStream 6.4-re a funkcionalitás bővítése nélkül. Az ötlet az, hogy olyan kiadást kapjunk, amely teljesen kompatibilis a 0.2.7-tel, de a DeepStream 6.4-en és a továbbfejlesztett technológián alapul, de anélkül, hogy az API-szinten megzavarná a kompatibilitást.
Forrás: opennet.ru