Byl vydán Python framework Savant 0.2.7, který usnadňuje použití NVIDIA DeepStream pro úkoly související s strojovým učením. Framework se stará o veškerou složitou práci s GStreamer nebo FFmpeg, což umožňuje soustředit se na vytváření optimalizovaných výstupních pipelinů pomocí deklarativní syntaxe (YAML) a funkcí Pythonu. Savant umožňuje vytváření pipelinů, které fungují jak na akcelerátorech v datových centrech (NVIDIA Turing, Ampere, Hopper), tak na edge zařízeních (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Pomocí Savant lze snadno zpracovávat více video streamů současně a rychle vytvářet hotové analýzní video pipeliny, které využívají NVIDIA TensorRT. Kód projektu je distribuován pod licencí Apache 2.0.
Savant 0.2.7 je poslední vydání se změnami funkcionality v větvi 0.2.X. Následující vydání v větvi 0.2.X budou zahrnovat pouze opravy chyb. Vývoj nových funkcí bude probíhat ve větvi 0.3.X, která je založena na DeepStream 6.4. Tato větev nebude podporovat rodinu zařízení Jetson Xavier, protože společnost NVIDIA je v DS 6.4 nepodporuje.
Hlavní novinky:
- Nové příklady použití:
- Příklad práce s modelem detekce založeným na transformátoru RT-DETR;
- CUDA post-processing pomocí CuPy pro YOLOV8-Seg;
- Příklad integrace PyTorch CUDA do pipeline Savant;
- Ukázka práce s orientovanými objekty.
- Nové funkce:
- Integrace s Prometheus. Pipeline může exportovat metriky výkonu do Prometheus a Grafana pro monitoring a sledování výkonu. Vývojáři mohou deklarovat vlastní metriky exportované spolu se systémovými metrikami.
- Buffer adapter—implementuje trvalý transakční buffer na disku pro data, která se pohybují mezi adaptéry a moduly. S jeho pomocí lze vyvíjet vysoce zatížené pipeliny, které nepředvídatelně spotřebovávají zdroje a zvládají nárazový provoz. Adaptér exportuje do Prometheus svá data o prvcích a velikostech.
- Mód kompilace modelů. Moduly nyní mohou kompilovat své modely do TensorRT bez spuštění pipeline.
- Událost shutdown handler v PyFunc. Toto nové API umožňuje správně zpracovávat operace ukončení pipeline, uvolňovat zdroje a informovat externí systémy o ukončení.
- Filtrace snímků na vstupu a výstupu. Ve výchozím nastavení pipeline přijímá všechny snímky obsahující video data. Pomocí filtrace na vstupu a výstupu mohou vývojáři filtrovat data, aby vyloučili jejich zpracování.
- Postprocessing modelu na GPU. Díky nové funkci mohou vývojáři získat přístup k výstupním tenzorům modelu přímo z paměti GPU, aniž by je nahrávali do paměti CPU, a zpracovávat je pomocí CuPy, TorchVision nebo OpenCV CUDA.
- Funkce pro prezentaci paměti GPU. V této verzi jsme poskytli funkce pro převod paměťových bufferů mezi OpenCV GpuMat, GPU tenzory PyTorch a tenzory CuPy.
- API pro přístup ke statistikám využití front pipeline. Savant umožňuje přidávat fronty mezi PyFunc pro implementaci paralelního zpracování a bufferingu zpracování. Přidané API poskytuje vývojářům přístup k frontám nasazeným v pipeline a umožňuje dotazování na jejich využití.
V příští verzi (0.3.7) plánujeme přechod na DeepStream 6.4 bez rozšiřování funkčnosti. Cílem je získat verzi plně kompatibilní s 0.2.7, ale založenou na DeepStream 6.4 a vylepšené technologii, ale bez porušení kompatibility na úrovni API.
Zdroj: opennet.ru
