Väljaanne Savant 0.2.7, arvutinägemise ja süvaõppe raamistik

On avaldatud Python-raamistiku Savant 0.2.7 väljalase, mis lihtsustab NVIDIA DeepStream'i kasutamist masinõppega seotud probleemide lahendamiseks. Raamistiku ülesanne on võtta enda alla kogu keeruline töö GStreamer'i või FFmpeg'iga, võimaldades keskenduda optimeeritud väljundi konveierite loomisele deklaratiivse süntaksi (YAML) ja Python'i funktsioonide abil. Savant võimaldab luua konveiere, mis töötavad ühtviisi nii andmekeskuse kiirenditel (NVIDIA Turing, Ampere, Hopper) kui ka servaseadmetel (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Savanti abil on lihtne samal ajal töödelda mitut videovoogusid ja kiiresti luua rakendustele valmis videoanalüüsi konveiere, mis kasutavad NVIDIA TensorRT-d. Projekti kood levitatakse Apache 2.0 litsentsi alusel.

Savant 0.2.7 on viimane väljaanne, mis toob funktsionaalsuse muutuse haru 0.2.X. Järgmised väljaanded haru 0.2.X sisaldavad ainult veaparandusi. Uute funktsioonide arendamine jätkub haru 0.3.X, mis põhineb DeepStream 6.4-l. See haru ei toeta Jetson Xavier seadmeid, kuna NVIDIA ei toeta neid DS 6.4-s.

Peamised uuendused:

• Uued kasutusnäited:
  • Näide RT-DETR alusel töötava tuvastusmudeli kasutamisest;
  • CUDA-järgnev töötlemine CuPy abil YOLOV8-Seg'i jaoks;
  • Näide PyTorch CUDA integreerimisest Savant'i konveierisse;
  • Demonstreerimine suunatud objektide kasutamisel.
  
• Uued funktsioonid:
  • Integratsioon Prometheus'ega. Konveier suudab eksportida täitmise meetrikaid Prometheus'esse ja Grafanasse jälgimiseks ja jõudluse jälgimiseks. Arendajad saavad kuulutada kasutaja meetrikaid, mis eksportitakse koos süsteemi meetrikatega.
  • Vahemälu adapter — rakendab pidevat tehingu vahemälu kettale andmete jaoks, mis liiguvad adapterite ja moodulite vahel. Selle abil on võimalik arendada suurte koormustega konveiere, mis tarbivad ettearvamatult ressursse ja taluvad liikluspiike. Adapter ekspordib Prometheus'esse andmeid oma elementide ja mõõtmete kohta.
  • Mudelite kompileerimisrežiim. Moodulid saavad nüüd kompileerida oma mudelid TensorRT'ks ilma konveierit käivitamata.
  • PyFunc shutdown sündmuse töötleja. See uus API võimaldab korrektselt töödelda konveieri sulgemise operatsioone, vabastades ressursse ja teavitades väliseid süsteeme sulgemisest.
  • Sisend- ja väljundraamide filtreerimine. Vaikimisi võtab kanalisatsioon vastu kõik raamid, mis sisaldavad videosisu. Sisendi ja väljundi filtreerimise abil saavad arendajad filtreerida andmeid, et välistada nende töötlemine.
  • Mudeli järelpärimine GPU-l. Uue funktsiooni abil saavad arendajad juurdepääsu mudeli väljundtensorsile otse GPU mälust ilma, et nad peaksid neid CPU mällu laadima, ning töötlema neid CuPy, TorchVision või OpenCV CUDA abil.
  • GPU mälu haldusfunktsioonid. Käesolevas väljaandes pakkusime funktsioone, mis võimaldavad mälabuffereid muuta OpenCV GpuMat, PyTorchi GPU-tensorsite ja CuPy tensorsite vahel.
  • API järjekordade statistika kasutamise seadistamiseks. Savant võimaldab lisada järjekordi PyFunc'i vahele paralleelse töötlemise ja töötlemise vahemälluhoidmise rakendamiseks. Lisatud API annab arendajatele juurdepääsu kanalis saadaval olevatele järjekordadele ja võimaldab nende kasutamist küsida.

Järgmises väljaandes (0.3.7) on plaanis üleminek DeepStream 6.4-le ilma funktsionaalsuse laiendamiseta. Idee on saada väljaanne, mis on täielikult ühilduv 0.2.7-ga, kuid põhineb DeepStream 6.4-l ja täiustatud tehnoloogial, kuid ilma API tasandi ühilduvuse katkestusteta.

Allikas: opennet.ru