Välja on antud Savant 0.2.7 Pythoni raamistik, mis muudab NVIDIA DeepStreami kasutamise masinõppega seotud probleemide lahendamiseks lihtsamaks. Raamistik hoolitseb kogu raske tõstmise eest GStreameri või FFmpegiga, võimaldades teil keskenduda optimeeritud väljundkonveierite ehitamisele, kasutades deklaratiivset süntaksit (YAML) ja Pythoni funktsioone. Savant võimaldab luua torujuhtmeid, mis töötavad võrdselt nii andmekeskuse kiirenditel (NVIDIA Turing, Ampere, Hopper) kui ka servaseadmetel (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Savantiga saate hõlpsalt töödelda mitut videovoogu samaaegselt ja luua NVIDIA TensorRT abil kiiresti tootmisvalmis videoanalüüsi torujuhtmeid. Projekti koodi levitatakse Apache 2.0 litsentsi all.
Savant 0.2.7 on uusim funktsioonide muudatus 0.2.X harus. Tulevased väljaanded 0.2.X harus sisaldavad ainult veaparandusi. Uute funktsioonide väljatöötamine toimub 0.3.X harus, mis põhineb DeepStream 6.4-l. See haru ei toeta Jetson Xavieri seadmete perekonda, kuna NVIDIA ei toeta neid versioonis DS 6.4.
Peamised uuendused:
- Uued kasutusjuhud:
- RT-DETR trafol põhineva tuvastamismudeliga töötamise näide;
- CUDA järeltöötlus CuPy abil YOLOV8-Seg jaoks;
- Näide PyTorch CUDA integreerimisest Savant torujuhtmesse;
- Orienteeritud objektidega töötamise demonstreerimine.
- Uued omadused:
- Integratsioon Prometheusega. Torujuhe saab eksportida täitmismõõdikuid Prometheusesse ja Grafanasse jõudluse jälgimiseks ja jälgimiseks. Arendajad saavad deklareerida kohandatud mõõdikuid, mis eksporditakse koos süsteemimõõdikutega.
- Puhveradapter – rakendab kettal püsivat tehingupuhvrit andmete liikumiseks adapterite ja moodulite vahel. Selle abiga saate arendada suure koormusega torujuhtmeid, mis kulutavad ressursse ettearvamatult ja peavad vastu liikluspursketele. Adapter ekspordib oma elemendi ja suuruse andmed Prometheusesse.
- Mudeli koostamise režiim. Moodulid saavad nüüd oma mudeleid TensorRT-s kompileerida ilma konveieri käivitamata.
- PyFunci sulgemissündmuste töötleja. See uus API võimaldab torujuhtmete sulgemist graatsiliselt käsitleda, vabastades ressursse ja teavitades kolmandate osapoolte süsteeme seiskamisest.
- Kaadri filtreerimine sisendis ja väljundis. Vaikimisi aktsepteerib konveier kõiki videoandmeid sisaldavaid kaadreid. Sisend- ja väljundfiltreerimisega saavad arendajad andmeid filtreerida, et vältida töötlemist.
- Mudeli järeltöötlus GPU-l. Uue funktsiooniga saavad arendajad juurdepääsu mudelite väljundtensoritele otse GPU mälust ilma neid CPU mällu laadimata ja töödelda neid CuPy, TorchVisioni või OpenCV CUDA abil.
- GPU mälu esitusfunktsioonid. Selles versioonis pakkusime funktsioone mälupuhvrite teisendamiseks OpenCV GpuMati, PyTorchi GPU tensorite ja CuPy tensorite vahel.
- API torujuhtmete järjekordade kasutamise statistikale juurdepääsuks. Savant võimaldab teil lisada PyFuncsi vahele järjekordi, et rakendada paralleeltöötlust ja puhverdamist. Lisatud API annab arendajatele juurdepääsu torujuhtmes juurutatud järjekordadele ja võimaldab neil küsida nende kasutamist.
Järgmises versioonis (0.3.7) on plaanis üle minna DeepStream 6.4-le ilma funktsionaalsust laiendamata. Idee on saada versioon, mis ühildub täielikult versiooniga 0.2.7, kuid põhineb DeepStream 6.4-l ja täiustatud tehnoloogial, kuid ilma ühilduvust API tasemel rikkumata.
Allikas: opennet.ru