Väljalase Savant 0.2.7, arvutinägemise ja süvaõppe raamistiku

On avaldatud Savant 0.2.7 Python raamistik, mis lihtsustab NVIDIA DeepStream-i kasutamist masinõppega seotud ülesannetes. Raamistik võtab enda peale kogu keerulise töö GStreamer-i või FFmpeg-i osas, võimaldades keskenduda optimeeritud väljundikanalite koostamisele deklaratiivse süntaksiga (YAML) ja Python'i funktsioonidega. Savant võimaldab luua kanaleid (pipeline), mis töötavad võrdselt nii andmekeskuse kiirenditega (NVIDIA Turing, Ampere, Hopper) kui ka servaseadmetega (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Savanti abil saab lihtsalt töödelda mitu videovoogu korraga ja kiiresti luua töökandidaatide videoanalüüsi kanaleid, mis kasutavad NVIDIA TensorRT-d. Projekti kood on litsentseeritud Apache 2.0 alusel.

Savant 0.2.7 on viimane väljaanne versiooni 0.2.X funktsionaalsuse muutmisega. Järgmised väljaanded versioonis 0.2.X sisaldavad ainult vigade parandusi. Uute funktsioonide arendamine toimub versioonis 0.3.X, mis põhineb DeepStream 6.4-l. See versioon ei toeta Jetson Xavier seadmete peret, kuna NVIDIA ei toeta neid DS 6.4-s.

Põhilised uuendused:

• Uued kasutusnäited:
  • Näide RT-DETR transformeerija põhjal tehtud detekteerimismudeli tööst;
  • CUDA järeltöötlus CuPy abil YOLOV8-Seg jaoks;
  • Näide PyTorch CUDA integreerimisest Savant'i pipeline'i;
  • Suunatud objektidega töötamise demonstreerimine.
  
• Uudet ominaisuudet:
  • Integratsioon Prometheus'ega. Torujuhe võib eksportida täitmisnäitajaid Prometheus'e ja Grafanasse jälgimiseks ja jõudluse jälgimiseks. Arendajad saavad määrata kohandatud näitajaid, mis koos süsteemi näitajatega eksporditakse.
  • Vahendite adapter — rakendab püsiva tehinguovaid puhverdiskil andmete salvestamiseks, mis liiguvad adapterite ja moodulite vahel. Selle abil saab luua kõrge koormusega torujuhtmeid, mis tarbivad ressursse ettearvamatult ja taluvad liikluslaineid. Adapter eksportib Prometheus'esse oma elementide ja suuruste andmed.
  • Mudelite kompileerimise režiim. Moodulid saavad nüüd kompileerida oma mudeleid TensorRT-s ilma torujuhet käivitamata.
  • PyFunc shutdown sündmuste käsitleja. See uus API võimaldab korrektselt hallata torujuhtme sulgemise operatsioone, vabastades ressursid ja teavitades väliseid süsteeme sulgemisest.
  • Raamistiku sisenemise ja väljumise filtreerimine. Vaikimisi aktsepteerib pipeline kõiki kaadreid, mis sisaldavad videoteavet. Sisenemise ja väljumise filtreerimise abil saavad arendajad filtreerida andmeid, et välistada nende töötlemine.
  • Mudeli järel töötlemine GPU-l. Uue funktsiooni abil saavad arendajad otse GPU mälust mudeli väljunditensoreid juurde pääseda, laadimata neid CPU mällu, ning töötlema neid CuPy, TorchVision või OpenCV CUDA abil.
  • GPU mälu esitlusfunktsioonid. Selles väljaandes oleme andnud funktsioone mälabufferite konvertimiseks OpenCV GpuMat, PyTorch GPU-tensoreid ja CuPy tensoreid vahel.
  • Pipelines kasutamise statistika juurde pääsemise API. Savant võimaldab lisada järjestusi PyFuncide vahel paralleelse töötlemise ja töötlemise vahemälu rakendamiseks. Lisatud API annab arendajatele juurdepääsu pipeline’is rakendatud järjestustele ja võimaldab küsida nende kasutust.

Järgmises väljaandes (0.3.7) plaanitakse minna üle DeepStream 6.4-le, ilma funktsionaalsuse laiendamiseta. Idee on saavutada väljaanne, mis on täielikult ühilduv 0.2.7-ga, kuid põhineb DeepStream 6.4-l ja täiustatud tehnoloogial, kuid ilma API tasandi ühilduvuse rikkumiseta.

Allikas: opennet.ru