Objavljen je Python framework Savant 0.2.7, koji pojednostavljuje korištenje NVIDIA DeepStream za rješavanje zadataka povezanih s strojno učenje. Framework preuzima sav složeni rad s GStreamerom ili FFmpegom, omogućujući fokusiranje na izgradnju optimiziranih izlaznih kontejnera koristeći deklarativnu sintaksu (YAML) i funkcije Pythona. Savant omogućuje stvaranje pipelinea koji rade jednako na akceleratorima u data centru (NVIDIA Turing, Ampere, Hopper) i na edge uređajima (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Uz Savant, možete lako obraditi više video streamova istovremeno, brzo stvoriti gotove za rad kontejnera video analitike, koji koriste NVIDIA TensorRT. Kod projekta distribuira se pod licencom Apache 2.0.
Savant 0.2.7 — to je posljednje izdanje s promjenom funkcionalnosti u grani 0.2.X. Sljedeća izdanja u grani 0.2.X uključivat će samo ispravke grešaka. Razvoj novih funkcija odvijat će se u grani 0.3.X, koja se temelji na DeepStream 6.4. Ova grana neće podržavati obitelj uređaja Jetson Xavier jer ih NVIDIA ne podržava u DS 6.4.
Glavne novine:
- Novi primjeri korištenja:
- Primjer rada s modelom detekcije temeljenim na transformatoru RT-DETR;
- CUDA postprocesiranje s CuPy za YOLOV8-Seg;
- Primjer integracije PyTorch CUDA u Savant pipeline;
- Demonstracija rada s orijentiranim objektima.
- Nove funkcije:
- Integracija s Prometheusom. Pipeline može izvoziti izvedbene metrike u Prometheus i Grafanu za praćenje i analizu performansi. Programeri mogu deklarirati korisničke metrike koje se izvoze zajedno sa sistemskim metrima.
- Buffer adapter — implementira trajni transakcijski buffer na disku za podatke koji se premještaju između adaptera i modula. Uz to se mogu razvijati visoko opterećeni pipelinei koji nepredvidivo troše resurse i podnose skokove prometa. Adapter izvozi svoje podatke o elementima i veličinama u Prometheus.
- Mod za kompilaciju modela. Moduli sada mogu kompilirati svoje modele u TensorRT bez pokretanja pipelinea.
- Handler za događaje shutdown u PyFunc. Ovaj novi API omogućuje ispravno upravljanje operacijama zatvaranja pipelinea, oslobađajući resurse i obavještavajući vanjske sustave o završetku rada.
- Filtriranje kadrova na ulazu i izlazu. Po defaultu, cjevovod prima sve okvire koji sadrže video podatke. Pomoću filtriranja na ulazu i izlazu, programeri mogu filtrirati podatke kako bi ih izuzeli iz obrade.
- Postobrada modela na GPU-u. Zahvaljujući novoj funkciji, programeri mogu pristupiti izlaznim tenzorima modela direktno iz memorije GPU-a, bez učitavanja u memoriju CPU-a, i obraditi ih pomoću CuPy, TorchVision ili OpenCV CUDA.
- Funkcije prikaza GPU memorije. U ovom izdanju pružili smo funkcije za konvertiranje memorijskih bafera između OpenCV GpuMat, GPU tenzora PyTorch i tenzora CuPy.
- API za pristup statistici korištenja redova cjevovoda. Savant omogućava dodavanje redova između PyFunc za implementaciju paralelne obrade i puferiranja. Dodani API programerima omogućava pristup redovima raspoređenim u cjevovodu i omogućava upit o njihovom korištenju.
U sljedećem izdanju (0.3.7) planira se preći na DeepStream 6.4 bez proširenja funkcionalnosti. Ideja je dobiti izdanje potpuno kompatibilno s 0.2.7, ali temeljeno na DeepStream 6.4 i poboljšanoj tehnologiji, bez prekida u kompatibilnosti na razini API-ja.
Izvor: opennet.ru
