Është publikuar versioni 0.2.7 i framewok-it Python Savant, i cili thjeshton përdorimin e NVIDIA DeepStream për të zgjidhur detyrat që lidhen me mësimin e makinerive. Framework-u merr përsipër të gjithë punën e komplikuar me GStreamer ose FFmpeg, duke lejuar përqëndrimin në ndërtimin e pipeline-ve të optimizuar duke përdorur sintaksën deklaruese (YAML) dhe funksionet Python. Savant lejon krijimin e pipeline-ve që punojnë njësoj si në akseleratorët në qendrat e të dhënave (NVIDIA Turing, Ampere, Hopper), ashtu edhe në pajisjet edge (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Me ndihmën e Savant, është e lehtë të përpunosh disa rrjedha video në të njëjtën kohë, duke krijuar shpejt pipeline të gatshme për aplikacione videoanalitikë që përdorin NVIDIA TensorRT. Kodi i projektit shpërndahet nën licencën Apache 2.0.
Savant 0.2.7 është versioni më i fundit me ndryshime funksionaliteti në degën 0.2.X. Versionet e ardhshme në degën 0.2.X do të përfshijnë vetëm rregullime gabimesh. Zhvillimi i funksioneve të reja do të kryhet në degën 0.3.X, e cila është e bazuar në DeepStream 6.4. Kjo degë nuk do të mbështesë familjen e pajisjeve Jetson Xavier, pasi kompania NVIDIA nuk i mbështet ato në DS 6.4.
Të rejat kryesore:
- Shembuj të rinj të përdorimit:
- Shembull i punës me modelin e detektimit të bazuar në transformatorin RT-DETR;
- Post-procesimi CUDA me CuPy për YOLOV8-Seg;
- Shembulli i integrimit të PyTorch CUDA në pipeline-in Savant;
- Demostrimi i punës me objekte të orientuara.
- Veçoritë e reja:
- Integrimi me Prometheus. Pipeline-i mund të eksportoje metrikat e ekzekutimit në Prometheus dhe Grafana për monitorimin dhe gjurmimin e performancës. Zhvilluesit mund të shpallin metrikat e tyre të personalizuara, të eksportuara përkrah metrikave sistemike.
- Buffer adapter - implementon një buffer transaksional të përhershëm në disk për të dhënat që lëvizin midis adapterëve dhe moduleve. Me të, është e mundur të zhvilloni pipeline të ngarkuara me shumë kërkesa, që konsumohet në mënyrë të paparashikueshme dhe përballojnë pikëpamjet e trafikut. Adapteri eksporton në Prometheus të dhënat e tij për elementet dhe dimensionet.
- Reprimi i kompilimit të modeleve. Tani modulet mund të kompilojnë modelet e tyre në TensorRT pa e ekzekutuar pipeline-in.
- Përpunuesi i ngjarjes shutdown në PyFunc. Ky API i ri lejon menaxhimin e duhur të operacioneve të përfundimit të pipeline-it, duke liruar burimet dhe duke njoftuar sistemet e jashtme për përfundimin e punës.
- Filtrimi i кадrovëve në hyrje dhe dalje. Me parazgjedhje, konvejeri pranon të gjitha кадrovët që përmbajnë të dhëna video. Me ndihmën e filtrimit në hyrje dhe dalje, zhvilluesit mund të filtrojnë të dhënat për të përjashtuar përpunimin e tyre.
- Pas përpunimi i modelit në GPU. Falë funksionit të ri, zhvilluesit mund të kenë qasje në tenzorët e daljes së modelit direkt nga memorja e GPU, pa i ngarkuar ato në memorjen e CPU dhe ti përpunojnë ato me CuPy, TorchVision ose OpenCV CUDA.
- Funksionet e paraqitjes së memories GPU. Në këtë lëshim, kemi ofruar funksione për të transformuar buferët e memories mes OpenCV GpuMat, tenzorëve GPU PyTorch dhe tenzorëve CuPy.
- API për qasje në statistikat e përdorimit të radhëve të konvejerit. Savant lejon shtimin e radhëve midis PyFunc për të realizuar përpunimin paralel dhe buferizimin e përpunimit. API e shtuar ofron zhvilluesve qasje në radhët e despletuara në konvejer dhe lejon kërkimin e përdorimit të tyre.
Në versionin e ardhshëm (0.3.7), është planifikuar kalimi në DeepStream 6.4 pa zgjerimin e funksionalitetit. Ideja është të kemi një publikim plotësisht të përputhshëm me 0.2.7, por të bazuar në DeepStream 6.4 dhe teknologji të përmirësuar, por pa shkelur përputhshmërinë në nivelin API.
Burimi: opennet.ru
