Bol vydaný rámec Savant 0.2.7 Python, ktorý uľahčuje používanie NVIDIA DeepStream na riešenie problémov súvisiacich so strojovým učením. Rámec sa postará o všetku ťažkú prácu s GStreamer alebo FFmpeg, čo vám umožní zamerať sa na vytváranie optimalizovaných výstupných potrubí pomocou deklaratívnej syntaxe (YAML) a funkcií Pythonu. Savant vám umožňuje vytvárať potrubia, ktoré fungujú rovnako na urýchľovačoch v dátovom centre (NVIDIA Turing, Ampere, Hopper) aj na okrajových zariadeniach (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). So Savant môžete jednoducho spracovávať viacero video streamov súčasne a rýchlo vytvárať kanály analýzy videa pripravené na produkciu pomocou NVIDIA TensorRT. Kód projektu je distribuovaný pod licenciou Apache 2.0.
Savant 0.2.7 je poslednou verziou zmeny funkcií vo vetve 0.2.X. Budúce vydania vo vetve 0.2.X budú obsahovať iba opravy chýb. Vývoj nových funkcií bude prebiehať vo vetve 0.3.X založenej na DeepStream 6.4. Táto vetva nebude podporovať rodinu zariadení Jetson Xavier, pretože NVIDIA ich nepodporuje v DS 6.4.
Hlavné inovácie:
- Nové prípady použitia:
- Príklad práce s detekčným modelom založeným na transformátore RT-DETR;
- CUDA post-processing s CuPy pre YOLOV8-Seg;
- Príklad integrácie PyTorch CUDA do potrubia Savant;
- Ukážka práce s orientovanými predmetmi.
- Nové funkcie:
- Integrácia s Prometheusom. Potrubie môže exportovať metriky vykonávania do Prometheus a Grafana na monitorovanie a sledovanie výkonu. Vývojári môžu deklarovať vlastné metriky, ktoré sa exportujú spolu so systémovými metrikami.
- Adaptér vyrovnávacej pamäte – Implementuje trvalú transakčnú vyrovnávaciu pamäť na disku pre prenos údajov medzi adaptérmi a modulmi. S jeho pomocou môžete vyvinúť vysoko zaťažené potrubia, ktoré nepredvídateľne spotrebúvajú zdroje a odolajú návalom premávky. Adaptér exportuje údaje o svojich prvkoch a veľkosti do Prometheus.
- Režim kompilácie modelu. Moduly môžu teraz kompilovať svoje modely v TensorRT bez spustenia potrubia.
- Obsluha udalosti vypnutia PyFunc. Toto nové API umožňuje elegantné zvládnutie odstávok potrubia, čím sa uvoľnia zdroje a upozornia systémy tretích strán, že došlo k vypnutiu.
- Filtrovanie snímok na vstupe a výstupe. V predvolenom nastavení kanál akceptuje všetky snímky obsahujúce video dáta. Pomocou vstupného a výstupného filtrovania môžu vývojári filtrovať údaje, aby zabránili spracovaniu.
- Následné spracovanie modelu na GPU. Vďaka novej funkcii môžu vývojári pristupovať k výstupným tenzorom modelu priamo z pamäte GPU bez ich načítania do pamäte CPU a spracovať ich pomocou CuPy, TorchVision alebo OpenCV CUDA.
- Funkcie reprezentácie pamäte GPU. V tomto vydaní sme poskytli funkcie na konverziu vyrovnávacej pamäte medzi OpenCV GpuMat, PyTorch GPU tenzormi a CuPy tenzormi.
- API pre prístup k štatistikám o používaní potrubných frontov. Savant vám umožňuje pridávať fronty medzi PyFuncs na implementáciu paralelného spracovania a spracovania vyrovnávacej pamäte. Pridané API poskytuje vývojárom prístup k frontom nasadeným v potrubí a umožňuje im dotazovať sa na ich použitie.
V ďalšom vydaní (0.3.7) sa plánuje prechod na DeepStream 6.4 bez rozšírenia funkčnosti. Cieľom je získať vydanie, ktoré je plne kompatibilné s 0.2.7, ale založené na DeepStream 6.4 a vylepšenej technológii, ale bez narušenia kompatibility na úrovni API.
Zdroj: opennet.ru