Inilabas ang Savant 0.2.7 Python framework, na ginagawang mas madaling gamitin ang NVIDIA DeepStream upang malutas ang mga problemang nauugnay sa machine learning. Ang framework ay nangangalaga sa lahat ng mabibigat na pag-angat gamit ang GStreamer o FFmpeg, na nagbibigay-daan sa iyong tumuon sa pagbuo ng mga naka-optimize na output pipeline gamit ang declarative syntax (YAML) at Python function. Binibigyang-daan ka ng Savant na gumawa ng mga pipeline na pantay na gumagana sa mga accelerator sa data center (NVIDIA Turing, Ampere, Hopper) at sa mga edge na device (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Sa Savant, madali kang makakapagproseso ng maraming video stream nang sabay-sabay at mabilis na makakagawa ng mga pipeline ng video analytics na handa sa produksyon gamit ang NVIDIA TensorRT. Ang code ng proyekto ay ipinamahagi sa ilalim ng lisensya ng Apache 2.0.
Ang Savant 0.2.7 ay ang pinakabagong release ng pagbabago ng feature sa 0.2.X branch. Ang mga paglabas sa hinaharap sa sangay ng 0.2.X ay magsasama lamang ng mga pag-aayos ng bug. Ang pagbuo ng mga bagong feature ay isasagawa sa 0.3.X branch, batay sa DeepStream 6.4. Hindi susuportahan ng sangay na ito ang pamilya ng mga device ng Jetson Xavier dahil hindi sinusuportahan ng NVIDIA ang mga ito sa DS 6.4.
Mga pangunahing inobasyon:
- Mga bagong kaso ng paggamit:
- Isang halimbawa ng pagtatrabaho sa isang modelo ng pagtuklas batay sa transpormer ng RT-DETR;
- CUDA post-processing gamit ang CuPy para sa YOLOV8-Seg;
- Isang halimbawa ng PyTorch CUDA integration sa Savant pipeline;
- Pagpapakita ng pagtatrabaho sa mga bagay na nakatuon.
- Mga bagong katangian:
- Pagsasama sa Prometheus. Maaaring i-export ng pipeline ang mga sukatan ng pagpapatupad sa Prometheus at Grafana para sa pagsubaybay at pagsubaybay sa pagganap. Maaaring magdeklara ang mga developer ng mga custom na sukatan na na-export kasama ng mga sukatan ng system.
- Buffer Adapter - Nagpapatupad ng patuloy na transactional buffer sa disk para sa paglipat ng data sa pagitan ng mga adapter at module. Sa tulong nito, maaari kang bumuo ng mga pipeline na may mataas na load na kumukonsumo ng mga mapagkukunan nang hindi mahuhulaan at makatiis sa mga pagsabog ng trapiko. Ini-export ng adapter ang data ng elemento at laki nito sa Prometheus.
- Mode ng compilation ng modelo. Maaari na ngayong i-compile ng mga module ang kanilang mga modelo sa TensorRT nang hindi nagpapatakbo ng pipeline.
- PyFunc shutdown event handler. Ang bagong API na ito ay nagbibigay-daan sa mga pipeline shutdown na mapangasiwaan nang maayos, na nagpapalaya ng mga mapagkukunan at nag-aabiso sa mga system ng third-party na naganap ang shutdown.
- Pag-filter ng frame sa input at output. Bilang default, tinatanggap ng pipeline ang lahat ng mga frame na naglalaman ng data ng video. Sa pag-filter ng input at output, maaaring i-filter ng mga developer ang data upang maiwasan ang pagproseso.
- Post-processing ng modelo sa GPU. Gamit ang bagong feature, maa-access ng mga developer ang mga tensor ng output ng modelo nang direkta mula sa memorya ng GPU nang hindi nilo-load ang mga ito sa memorya ng CPU at iproseso ang mga ito gamit ang CuPy, TorchVision o OpenCV CUDA.
- Mga function ng representasyon ng memorya ng GPU. Sa release na ito, nagbigay kami ng mga function para mag-convert ng mga memory buffer sa pagitan ng OpenCV GpuMat, PyTorch GPU tensor, at CuPy tensor.
- API para sa pag-access ng mga istatistika sa paggamit ng mga pila ng pipeline. Pinapayagan ka ng Savant na magdagdag ng mga pila sa pagitan ng PyFuncs upang ipatupad ang parallel processing at buffering processing. Ang idinagdag na API ay nagbibigay sa mga developer ng access sa mga queue na naka-deploy sa pipeline at nagbibigay-daan sa kanila na i-query ang kanilang paggamit.
Sa susunod na release (0.3.7) ito ay binalak na lumipat sa DeepStream 6.4 nang walang pagpapalawak ng functionality. Ang ideya ay upang makakuha ng isang release na ganap na tugma sa 0.2.7, ngunit batay sa DeepStream 6.4 at pinahusay na teknolohiya, ngunit hindi sinisira ang pagiging tugma sa antas ng API.
Pinagmulan: opennet.ru