Gipagawas ang Savant 0.2.7 Python framework, nga nagpasayon sa paggamit sa NVIDIA DeepStream aron masulbad ang mga problema nga may kalabutan sa pagkat-on sa makina. Ang balangkas nag-atiman sa tanan nga bug-at nga pag-alsa gamit ang GStreamer o FFmpeg, nga nagtugot kanimo sa pag-focus sa pagtukod sa mga optimized nga output pipeline gamit ang declarative syntax (YAML) ug Python functions. Gitugotan ka sa Savant nga maghimo mga pipeline nga parehas nga nagtrabaho sa mga accelerator sa data center (NVIDIA Turing, Ampere, Hopper) ug sa mga aparato sa sulud (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Uban sa Savant, dali nimong maproseso ang daghang mga sapa sa video nga dungan ug dali nga makahimo og andam nga produksiyon nga video analytics pipeline gamit ang NVIDIA TensorRT. Ang code sa proyekto giapod-apod ubos sa lisensya sa Apache 2.0.
Ang Savant 0.2.7 mao ang pinakabag-o nga feature change release sa 0.2.X branch. Ang umaabot nga pagpagawas sa 0.2.X nga sanga maglakip lamang sa mga pag-ayo sa bug. Ang pagpalambo sa bag-ong mga bahin ipahigayon sa 0.3.X nga sanga, base sa DeepStream 6.4. Kini nga sanga dili mosuporta sa Jetson Xavier nga pamilya sa mga himan tungod kay ang NVIDIA wala nagsuporta kanila sa DS 6.4.
Panguna nga mga inobasyon:
- Bag-ong mga kaso sa paggamit:
- Usa ka pananglitan sa pagtrabaho sa usa ka modelo sa detection base sa RT-DETR transformer;
- CUDA post-processing uban sa CuPy alang sa YOLOV8-Seg;
- Usa ka pananglitan sa PyTorch CUDA integration ngadto sa Savant pipeline;
- Pagpakita sa pagtrabaho sa mga butang nga gipunting.
- Bag-ong mga bahin:
- Paghiusa sa Prometheus. Ang pipeline maka-eksport sa execution metrics ngadto sa Prometheus ug Grafana para sa pagmonitor ug pagsubay sa performance. Mahimong ideklara sa mga developer ang mga naandan nga sukatan nga gi-eksport kauban ang mga sukatan sa sistema.
- Buffer Adapter - Nagpatuman sa usa ka padayon nga transactional buffer sa disk para sa data nga naglihok tali sa mga adapter ug modules. Uban sa tabang niini, mahimo nimong mapalambo ang daghang mga pipeline nga nag-konsumo sa mga kapanguhaan nga dili matag-an ug makasukol sa mga pagbuto sa trapiko. Ang adapter nag-eksport sa iyang elemento ug gidak-on nga datos ngadto sa Prometheus.
- Mode sa pag-compile sa modelo. Ang mga module makahimo na karon sa pag-compile sa ilang mga modelo sa TensorRT nga walay pagpadagan sa pipeline.
- PyFunc shutdown event handler. Gitugotan niining bag-ong API ang mga pagsira sa pipeline nga madumala nga maayo, nagpagawas sa mga kahinguhaan ug nagpahibalo sa mga sistema sa ikatulo nga partido nga nahitabo ang pagsira.
- Pagsala sa frame sa input ug output. Sa kasagaran, gidawat sa pipeline ang tanan nga mga frame nga adunay sulud nga datos sa video. Uban sa pagsala sa input ug output, ang mga developer mahimong magsala sa datos aron mapugngan ang pagproseso.
- Post-pagproseso sa modelo sa GPU. Uban sa bag-ong feature, ang mga developers maka-access sa model output tensors direkta gikan sa GPU memory nga dili kini i-load sa CPU memory ug iproseso kini gamit ang CuPy, TorchVision o OpenCV CUDA.
- Mga gimbuhaton sa representasyon sa memorya sa GPU. Sa kini nga pagpagawas, naghatag kami mga function aron mabag-o ang mga buffer sa memorya tali sa OpenCV GpuMat, PyTorch GPU tensor, ug CuPy tensor.
- API alang sa pag-access sa mga estadistika sa paggamit sa mga linya sa pipeline. Gitugotan ka sa Savant nga makadugang mga pila tali sa PyFuncs aron ipatuman ang parallel nga pagproseso ug pagproseso sa buffering. Ang gidugang nga API naghatag sa mga developer og access sa mga pila nga gi-deploy sa pipeline ug gitugotan sila sa pagpangutana sa ilang paggamit.
Sa sunod nga pagpagawas (0.3.7) kini giplano nga mobalhin ngadto sa DeepStream 6.4 nga walay pagpalapad sa pagpaandar. Ang ideya mao ang pagkuha sa usa ka pagpagawas nga hingpit nga nahiuyon sa 0.2.7, apan gibase sa DeepStream 6.4 ug gipaayo nga teknolohiya, apan walay paglapas sa pagkaangay sa lebel sa API.
Source: opennet.ru