Savant 0.2.7 Python framework je izdan, što olakšava korištenje NVIDIA DeepStream za rješavanje problema povezanih sa strojnim učenjem. Okvir se brine za sav težak posao uz GStreamer ili FFmpeg, omogućujući vam da se usredotočite na izgradnju optimiziranih izlaznih cjevovoda pomoću deklarativne sintakse (YAML) i Python funkcija. Savant vam omogućuje stvaranje cjevovoda koji jednako rade na akceleratorima u podatkovnom centru (NVIDIA Turing, Ampere, Hopper) i na rubnim uređajima (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Sa Savantom možete jednostavno obrađivati višestruke video streamove istovremeno i brzo kreirati video analitičke kanale spremne za proizvodnju koristeći NVIDIA TensorRT. Projektni kod se distribuira pod licencom Apache 2.0.
Savant 0.2.7 je najnovije izdanje promjene značajki u grani 0.2.X. Buduća izdanja u ogranku 0.2.X uključivat će samo popravke grešaka. Razvoj novih značajki provodit će se u grani 0.3.X, temeljenoj na DeepStream 6.4. Ova grana neće podržavati Jetson Xavier obitelj uređaja jer ih NVIDIA ne podržava u DS 6.4.
Glavne inovacije:
- Novi slučajevi upotrebe:
- Primjer rada s modelom detekcije baziranim na transformatoru RT-DETR;
- CUDA naknadna obrada s CuPy za YOLOV8-Seg;
- Primjer PyTorch CUDA integracije u Savant cjevovod;
- Demonstracija rada s orijentiranim objektima.
- Nove značajke:
- Integracija s Prometheusom. Cjevovod može izvesti metriku izvršenja u Prometheus i Grafanu za nadzor i praćenje izvedbe. Programeri mogu deklarirati prilagođene metrike koje se izvoze zajedno s metrikama sustava.
- Adapter međuspremnika - Implementira trajni transakcijski međuspremnik na disku za kretanje podataka između adaptera i modula. Uz njegovu pomoć možete razviti visoko opterećene cjevovode koji nepredvidivo troše resurse i izdržavaju nalete prometa. Adapter izvozi svoje podatke o elementima i veličini u Prometheus.
- Način kompilacije modela. Moduli sada mogu kompilirati svoje modele u TensorRT bez pokretanja cjevovoda.
- Rukovatelj događajem isključivanja PyFunc. Ovaj novi API omogućuje graciozno rukovanje gašenjem cjevovoda, oslobađajući resurse i obavještavajući sustave trećih strana da je došlo do gašenja.
- Filtriranje okvira na ulazu i izlazu. Prema zadanim postavkama, cjevovod prihvaća sve okvire koji sadrže video podatke. Uz ulazno i izlazno filtriranje, programeri mogu filtrirati podatke kako bi spriječili obradu.
- Naknadna obrada modela na GPU-u. Uz novu značajku, programeri mogu pristupiti izlaznim tenzorima modela izravno iz GPU memorije bez njihovog učitavanja u CPU memoriju i obraditi ih pomoću CuPy, TorchVision ili OpenCV CUDA.
- Funkcije reprezentacije GPU memorije. U ovom smo izdanju pružili funkcije za pretvaranje memorijskih međuspremnika između OpenCV GpuMat, PyTorch GPU tenzora i CuPy tenzora.
- API za pristup statistikama o korištenju redova čekanja cjevovoda. Savant vam omogućuje dodavanje redova između PyFuncs-a za implementaciju paralelne obrade i obrade međuspremnika. Dodani API daje razvojnim programerima pristup redovima čekanja raspoređenim u cjevovodu i omogućuje im postavljanje upita o njihovoj upotrebi.
U sljedećem izdanju (0.3.7) planira se prelazak na DeepStream 6.4 bez proširenja funkcionalnosti. Ideja je dobiti izdanje koje je potpuno kompatibilno s 0.2.7, ali temeljeno na DeepStream 6.4 i poboljšanoj tehnologiji, ali bez prekidanja kompatibilnosti na API razini.
Izvor: opennet.ru