Objavljen je okvir Savant 0.2.7 Python, koji olakšava korištenje NVIDIA DeepStream-a za rješavanje problema povezanih s mašinskim učenjem. Okvir se brine za sve teške poslove sa GStreamerom ili FFmpeg, omogućavajući vam da se usredsredite na izgradnju optimizovanih izlaznih cevovoda pomoću deklarativne sintakse (YAML) i Python funkcija. Savant vam omogućava da kreirate cevovode koji rade podjednako na akceleratorima u data centru (NVIDIA Turing, Ampere, Hopper) i na rubnim uređajima (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Uz Savant, možete lako obraditi više video tokova istovremeno i brzo kreirati kanale video analitike spremne za proizvodnju koristeći NVIDIA TensorRT. Kod projekta se distribuira pod licencom Apache 2.0.
Savant 0.2.7 je najnovije izdanje za promjenu karakteristika u grani 0.2.X. Buduća izdanja u grani 0.2.X će uključivati samo ispravke grešaka. Razvoj novih funkcija će se vršiti u grani 0.3.X, baziranoj na DeepStream 6.4. Ova grana neće podržavati porodicu uređaja Jetson Xavier jer ih NVIDIA ne podržava u DS 6.4.
Glavne inovacije:
- Novi slučajevi upotrebe:
- Primjer rada sa detekcijskim modelom baziranim na RT-DETR transformatoru;
- CUDA naknadna obrada sa CuPy za YOLOV8-Seg;
- Primjer PyTorch CUDA integracije u Savant pipeline;
- Demonstracija rada sa orijentisanim objektima.
- Nove karakteristike:
- Integracija sa Prometejem. Cjevovod može izvesti metriku izvršenja u Prometheus i Grafana za praćenje i praćenje performansi. Programeri mogu deklarisati prilagođene metrike koje se izvoze zajedno sa sistemskim metrikama.
- Buffer Adapter - Implementira trajni transakcioni bafer na disku za kretanje podataka između adaptera i modula. Uz njegovu pomoć, možete razviti visoko opterećene cjevovode koji nepredvidivo troše resurse i izdržavaju navale prometa. Adapter izvozi svoje podatke o elementima i veličini u Prometheus.
- Način kompilacije modela. Moduli sada mogu kompajlirati svoje modele u TensorRT-u bez pokretanja cjevovoda.
- PyFunc obrađivač događaja isključivanja. Ovaj novi API omogućava elegantno rukovanje gašenjem cjevovoda, oslobađajući resurse i obavještavajući sisteme treće strane da je došlo do gašenja.
- Filtriranje okvira na ulazu i izlazu. Podrazumevano, cevovod prihvata sve okvire koji sadrže video podatke. Uz filtriranje ulaza i izlaza, programeri mogu filtrirati podatke kako bi spriječili obradu.
- Naknadna obrada modela na GPU-u. Sa novom funkcijom, programeri mogu pristupiti izlaznim tenzorima modela direktno iz GPU memorije bez njihovog učitavanja u CPU memoriju i obraditi ih koristeći CuPy, TorchVision ili OpenCV CUDA.
- Funkcije predstavljanja GPU memorije. U ovom izdanju pružili smo funkcije za pretvaranje memorijskih bafera između OpenCV GpuMat, PyTorch GPU tenzora i CuPy tenzora.
- API za pristup statistici o korištenju cjevovodnih redova. Savant vam omogućava da dodate redove između PyFuncs-a za implementaciju paralelne obrade i obrade međuspremnika. Dodati API omogućava programerima pristup redovima koji su raspoređeni u cjevovodu i omogućava im da upitaju njihovu upotrebu.
U sljedećem izdanju (0.3.7) planira se prelazak na DeepStream 6.4 bez proširenja funkcionalnosti. Ideja je da se dobije izdanje koje je potpuno kompatibilno sa 0.2.7, ali bazirano na DeepStream 6.4 i poboljšanoj tehnologiji, ali bez narušavanja kompatibilnosti na API nivou.
izvor: opennet.ru