Izdan je bil okvir Savant 0.2.7 Python, ki olajša uporabo NVIDIA DeepStream za reševanje težav, povezanih s strojnim učenjem. Ogrodje poskrbi za vse težke naloge z GStreamer ali FFmpeg, kar vam omogoča, da se osredotočite na gradnjo optimiziranih izhodnih cevovodov z uporabo deklarativne sintakse (YAML) in funkcij Python. Savant vam omogoča ustvarjanje cevovodov, ki enako delujejo na pospeševalnikih v podatkovnem centru (NVIDIA Turing, Ampere, Hopper) in na robnih napravah (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). S Savantom lahko enostavno obdelujete več video tokov hkrati in hitro ustvarite cevovode video analitike, pripravljene za produkcijo, z uporabo NVIDIA TensorRT. Koda projekta se distribuira pod licenco Apache 2.0.
Savant 0.2.7 je najnovejša izdaja spremenjenih funkcij v veji 0.2.X. Prihodnje izdaje v veji 0.2.X bodo vsebovale le popravke napak. Razvoj novih funkcij bo potekal v veji 0.3.X, ki temelji na DeepStream 6.4. Ta veja ne bo podpirala družine naprav Jetson Xavier, ker jih NVIDIA ne podpira v DS 6.4.
Glavne novosti:
- Novi primeri uporabe:
- Primer dela z modelom detekcije na osnovi transformatorja RT-DETR;
- Naknadna obdelava CUDA s CuPy za YOLOV8-Seg;
- Primer integracije PyTorch CUDA v cevovod Savant;
- Demonstracija dela z orientiranimi predmeti.
- Nove lastnosti:
- Integracija s Prometheusom. Cevovod lahko izvozi metrike izvajanja v Prometheus in Grafana za spremljanje in sledenje uspešnosti. Razvijalci lahko prijavijo meritve po meri, ki se izvozijo skupaj s sistemskimi meritvami.
- Adapter vmesnega pomnilnika – implementira trajni medpomnilnik transakcij na disku za prenos podatkov med adapterji in moduli. Z njegovo pomočjo lahko razvijete visoko obremenjene cevovode, ki nepredvidljivo porabljajo vire in vzdržijo izbruhe prometa. Adapter izvozi svoje podatke o elementih in velikostih v Prometheus.
- Način sestavljanja modela. Moduli lahko zdaj prevajajo svoje modele v TensorRT brez izvajanja cevovoda.
- Obravnavalec dogodkov zaustavitve PyFunc. Ta novi API omogoča elegantno obravnavo zaustavitev cevovoda, sproščanje virov in obveščanje sistemov tretjih oseb, da je prišlo do zaustavitve.
- Filtriranje okvirjev na vhodu in izhodu. Privzeto cevovod sprejme vse okvirje, ki vsebujejo video podatke. S filtriranjem vnosa in izhoda lahko razvijalci filtrirajo podatke, da preprečijo obdelavo.
- Naknadna obdelava modela na GPU. Z novo funkcijo lahko razvijalci dostopajo do izhodnih tenzorjev modela neposredno iz pomnilnika GPE, ne da bi jih naložili v pomnilnik CPE, in jih obdelajo s pomočjo CuPy, TorchVision ali OpenCV CUDA.
- Funkcije za predstavitev pomnilnika GPU. V tej izdaji smo zagotovili funkcije za pretvorbo pomnilniških medpomnilnikov med tenzorji OpenCV GpuMat, PyTorch GPU in tenzorji CuPy.
- API za dostop do statističnih podatkov o uporabi čakalnih vrst cevovoda. Savant vam omogoča dodajanje čakalnih vrst med PyFuncs za izvajanje vzporedne obdelave in obdelave medpomnjenja. Dodani API omogoča razvijalcem dostop do čakalnih vrst, razporejenih v cevovodu, in jim omogoča, da poizvedujejo o njihovi uporabi.
V naslednji izdaji (0.3.7) je načrtovan prehod na DeepStream 6.4 brez razširitve funkcionalnosti. Ideja je pridobiti izdajo, ki je popolnoma združljiva z 0.2.7, vendar temelji na DeepStream 6.4 in izboljšani tehnologiji, vendar brez prekinitve združljivosti na ravni API-ja.
Vir: opennet.ru