Lançimi i versionit 0.2.7 të kuadrit Python Savant, i cili thjeshton përdorimin e NVIDIA DeepStream për zgjidhjen e problemeve që lidhen me mësimin e makinerive. Ky kuadër merr përsipër të gjithë punën e komplikuar me GStreamer ose FFmpeg, duke lejuar fokusimin në ndërtimin e pipeline-ve të optimizuara me sintaksë deklarative (YAML) dhe funksione Python. Savant lejon krijimin e pipeline-ve që punojnë njësoj si në akseleratorët në qendrat e të dhënave (NVIDIA Turing, Ampere, Hopper), ashtu edhe në pajisjet edge (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Me Savant, mund të përpunoni lehtësisht disa flukse videosh njëkohësisht dhe të krijoni shpejt pipeline të gatshme për aplikacione që përdorin NVIDIA TensorRT. Kodi i projektit shpërndahet nën licencën Apache 2.0.
Savant 0.2.7 është lëshimi më i fundit me ndryshime funksionaliteti në degën 0.2.X. Lëshimet e ardhshme në degën 0.2.X do të përfshijnë vetëm rregullime gabimesh. Zhvillimi i funksioneve të reja do të vazhdojë në degën 0.3.X, e cila është e bazuar në DeepStream 6.4. Kjo degë nuk do të mbështesë familjen e pajisjeve Jetson Xavier, pasi kompania NVIDIA nuk i mbështet ato në DS 6.4.
Novitetet kryesore:
- Shembuj të rinj të përdorimit:
- Shembulli i punës me modelin e zbulimit të bazuar në transformatorin RT-DETR;
- Postprocesimi CUDA me CuPy për YOLOV8-Seg;
- Shembulli i integrimit të PyTorch CUDA në pipeline Savant;
- Demonstrimi i punës me objektet e orientuara.
- Funksionet e reja:
- Integrimi me Prometheus. Pipeline mund të eksportojë metrika ekzekutimi në Prometheus dhe Grafana për monitorimin dhe gjurmimin e performancës. Zhvilluesit mund të shpallin metrika të personalizuara, të eksportuara së bashku me metrikat sistemike.
- Adapteri i tamponit - implementon një tampon transaksionesh të përhershëm në disk për të dhënat që levizin midis adaptrave dhe moduleve. Me të, është e mundur të zhvilloni pipeline të forta, që konsumojnë burime në mënyrë të paparashikueshme dhe që përballen me shpërthime të trafikut. Adaptri eksporton në Prometheus të dhënat e tij për elementët dhe përmasat.
- Modaliteti i kompilimit të modeleve. Modulet tani mund të kompilojnë modelet e tyre në TensorRT pa e ekzekutuar pipeline-in.
- Menaxheri i ngjarjeve shutdown në PyFunc. Ky API i ri lejon përpunimin e saktë të operacioneve të përfundimit të pipeline-it, duke liruar burimet dhe duke e njoftuar sistemet e jashtme për përfundimin e punës.
- Filtrimi i kadrove në hyrje dhe dalje. Në mënyrë default, procesi pranon të gjithë kadrot që përmbajnë të dhëna video. Me anë të filtrimit në hyrje dhe dalje, zhvilluesit mund të filtrojnë të dhënat për të përjashtuar përpunimin e tyre.
- Pas përpunimi i modelit në GPU. Falë funksionit të ri, zhvilluesit mund të aksesojnë tenzorrët e përkthyer të modelit direkt nga memoria e GPU-së, pa i ngarkuar ato në memorien e CPU-së dhe t'i përpunojnë ato me CuPy, TorchVision ose OpenCV CUDA.
- Funksionet e përfaqësimit të memories GPU. Në këtë version, ne ofruam funksione për konvertimin e bufereve të memories midis OpenCV GpuMat, GPU-tenzoreve të PyTorch dhe tenzoreve CuPy.
- API për qasje në statistikën e përdorimit të radhëve të procesit. Savant lejon shtimin e radhëve mes PyFunc për të implementuar përpunimin paralel dhe bufrimin e përpunimit. API i shtuar u ofron zhvilluesve akses në radhët e ndiera në proces dhe lejon kërkimin e përdorimit të tyre.
Në versionin e ardhshëm (0.3.7) planifikohet kalimi në DeepStream 6.4 pa zgjerimin e funksionalitetit. Ideja është të arrihet një lëshim krejtësisht përputhës me 0.2.7, por i bazuar në DeepStream 6.4 dhe teknologji të përmirësuar, por pa prishje të përputhshmërisë në nivel API.
Burimi: opennet.ru
