Byl vydán rámec Savant 0.2.7 Python, který usnadňuje používání NVIDIA DeepStream k řešení problémů souvisejících se strojovým učením. Framework se postará o veškerou těžkou práci s GStreamer nebo FFmpeg, což vám umožní soustředit se na vytváření optimalizovaných výstupních kanálů pomocí deklarativní syntaxe (YAML) a funkcí Pythonu. Savant umožňuje vytvářet kanály, které fungují stejně na akcelerátorech v datovém centru (NVIDIA Turing, Ampere, Hopper) i na okrajových zařízeních (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). S Savant můžete snadno zpracovávat více video streamů současně a rychle vytvářet kanály video analýzy připravené pro produkci pomocí NVIDIA TensorRT. Kód projektu je distribuován pod licencí Apache 2.0.
Savant 0.2.7 je poslední změnou funkcí ve větvi 0.2.X. Budoucí vydání ve větvi 0.2.X budou obsahovat pouze opravy chyb. Vývoj nových funkcí bude probíhat ve větvi 0.3.X, založené na DeepStream 6.4. Tato větev nebude podporovat rodinu zařízení Jetson Xavier, protože je NVIDIA nepodporuje v DS 6.4.
Hlavní inovace:
- Nové případy použití:
- Příklad práce s detekčním modelem založeným na transformátoru RT-DETR;
- CUDA post-processing s CuPy pro YOLOV8-Seg;
- Příklad integrace PyTorch CUDA do potrubí Savant;
- Ukázka práce s orientovanými předměty.
- Nové funkce:
- Integrace s Prometheem. Potrubí může exportovat metriky provádění do Prometheus a Grafana pro monitorování a sledování výkonu. Vývojáři mohou deklarovat vlastní metriky, které se exportují spolu se systémovými metrikami.
- Buffer Adapter – Implementuje trvalou transakční vyrovnávací paměť na disku pro přesun dat mezi adaptéry a moduly. S jeho pomocí můžete vyvíjet vysoce zatížené kanály, které nepředvídatelně spotřebovávají zdroje a odolávají náporům provozu. Adaptér exportuje svá data prvku a velikosti do Prometheus.
- Režim kompilace modelu. Moduly nyní mohou kompilovat své modely v TensorRT bez spuštění potrubí.
- Obslužná rutina události vypnutí PyFunc. Toto nové rozhraní API umožňuje bezproblémové zpracování odstávek potrubí, uvolňuje zdroje a informuje systémy třetích stran, že k odstavení došlo.
- Filtrování snímků na vstupu a výstupu. Ve výchozím nastavení kanál přijímá všechny snímky obsahující video data. Pomocí vstupního a výstupního filtrování mohou vývojáři filtrovat data, aby zabránili zpracování.
- Post-processing modelu na GPU. Díky nové funkci mohou vývojáři přistupovat k výstupním tenzorům modelu přímo z paměti GPU, aniž by je načítali do paměti CPU, a zpracovávat je pomocí CuPy, TorchVision nebo OpenCV CUDA.
- Funkce reprezentace paměti GPU. V této verzi jsme poskytli funkce pro převod vyrovnávací paměti mezi OpenCV GpuMat, PyTorch GPU tenzory a CuPy tenzory.
- API pro přístup ke statistikám o používání front potrubí. Savant vám umožňuje přidávat fronty mezi PyFuncs a implementovat paralelní zpracování a zpracování do vyrovnávací paměti. Přidané API poskytuje vývojářům přístup k frontám nasazeným v kanálu a umožňuje jim dotazovat se na jejich použití.
V příštím vydání (0.3.7) je plánován přechod na DeepStream 6.4 bez rozšíření funkčnosti. Cílem je získat vydání, které je plně kompatibilní s 0.2.7, ale založené na DeepStream 6.4 a vylepšené technologii, ale bez porušení kompatibility na úrovni API.
Zdroj: opennet.ru