Korniza Savant 0.2.7 Python është lëshuar, duke e bërë më të lehtë përdorimin e NVIDIA DeepStream për të zgjidhur problemet që lidhen me mësimin e makinerive. Korniza kujdeset për të gjitha ngarkesat e rënda me GStreamer ose FFmpeg, duke ju lejuar të përqendroheni në ndërtimin e tubacioneve të prodhimit të optimizuar duke përdorur funksionet e sintaksës deklarative (YAML) dhe Python. Savant ju lejon të krijoni tubacione që funksionojnë në mënyrë të barabartë në përshpejtuesit në qendrën e të dhënave (NVIDIA Turing, Ampere, Hopper) dhe në pajisjet e skajshme (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Me Savant, ju mund të përpunoni me lehtësi transmetime të shumta video në të njëjtën kohë dhe të krijoni shpejt tubacione analitike video të gatshme për prodhim duke përdorur NVIDIA TensorRT. Kodi i projektit shpërndahet nën licencën Apache 2.0.
Savant 0.2.7 është versioni më i fundit i ndryshimit të veçorive në degën 0.2.X. Publikimet e ardhshme në degën 0.2.X do të përfshijnë vetëm rregullime të gabimeve. Zhvillimi i veçorive të reja do të kryhet në degën 0.3.X, bazuar në DeepStream 6.4. Kjo degë nuk do të mbështesë familjen e pajisjeve Jetson Xavier pasi NVIDIA nuk i mbështet ato në DS 6.4.
Risitë kryesore:
- Rastet e reja të përdorimit:
- Një shembull i punës me një model zbulimi të bazuar në transformatorin RT-DETR;
- CUDA pas-përpunimi me CuPy për YOLOV8-Seg;
- Një shembull i integrimit të PyTorch CUDA në tubacionin Savant;
- Demonstrimi i punës me objekte të orientuara.
- Tipare të reja:
- Integrimi me Prometheun. Gazsjellësi mund të eksportojë matjet e ekzekutimit në Prometheus dhe Grafana për monitorimin dhe gjurmimin e performancës. Zhvilluesit mund të deklarojnë matjet e personalizuara që eksportohen së bashku me matjet e sistemit.
- Përshtatës Buffer - Zbaton një tampon të vazhdueshëm transaksional në disk për të dhënat që lëvizin midis përshtatësve dhe moduleve. Me ndihmën e tij, ju mund të zhvilloni tubacione me ngarkesë të lartë që konsumojnë burime në mënyrë të paparashikueshme dhe i rezistojnë shpërthimeve të trafikut. Përshtatësi eksporton të dhënat e elementit dhe madhësisë së tij te Prometheus.
- Mënyra e përpilimit të modelit. Modulet tani mund të përpilojnë modelet e tyre në TensorRT pa ekzekutuar një tubacion.
- Mbajtës i ngjarjeve të mbylljes së PyFunc. Ky API i ri lejon që mbylljet e tubacioneve të trajtohen me hijeshi, duke liruar burimet dhe duke njoftuar sistemet e palëve të treta se mbyllja ka ndodhur.
- Filtrimi i kornizës në hyrje dhe dalje. Si parazgjedhje, tubacioni pranon të gjitha kornizat që përmbajnë të dhëna video. Me filtrimin e hyrjes dhe daljes, zhvilluesit mund të filtrojnë të dhënat për të parandaluar përpunimin.
- Pas-përpunimi i modelit në GPU. Me veçorinë e re, zhvilluesit mund t'i qasen tensorëve të daljes së modelit direkt nga memoria GPU pa i ngarkuar ato në memorien e CPU-së dhe t'i përpunojnë duke përdorur CuPy, TorchVision ose OpenCV CUDA.
- Funksionet e përfaqësimit të kujtesës GPU. Në këtë version, ne siguruam funksione për të kthyer buferat e memories midis OpenCV GpuMat, tensorëve GPU PyTorch dhe tensorëve CuPy.
- API për të aksesuar statistikat mbi përdorimin e radhëve të tubacionit. Savant ju lejon të shtoni radhë midis PyFuncs për të zbatuar përpunimin paralel dhe përpunimin buffering. API i shtuar u jep zhvilluesve qasje në radhët e vendosura në tubacion dhe i lejon ata të kërkojnë përdorimin e tyre.
Në versionin e ardhshëm (0.3.7) është planifikuar të kalohet në DeepStream 6.4 pa zgjeruar funksionalitetin. Ideja është që të merrni një version që është plotësisht i pajtueshëm me 0.2.7, por i bazuar në DeepStream 6.4 dhe teknologji të përmirësuar, por pa prishur përputhshmërinë në nivelin API.
Burimi: opennet.ru