Ua hoʻokuʻu ʻia ka Savant 0.2.7 Python framework, e maʻalahi ka hoʻohana ʻana iā NVIDIA DeepStream e hoʻoponopono i nā pilikia e pili ana i ke aʻo ʻana i ka mīkini. Mālama ka framework i nā hāpai kaumaha a pau me GStreamer a i ʻole FFmpeg, e ʻae iā ʻoe e kālele i ke kūkulu ʻana i nā paipu puka i hoʻopaʻa ʻia me ka hoʻohana ʻana i ka syntax declarative (YAML) a me nā hana Python. Hāʻawi ʻo Savant iā ʻoe e hana i nā pipeline e hana like ma nā mea hoʻokele i ka kikowaena data (NVIDIA Turing, Ampere, Hopper) a ma nā ʻaoʻao ʻaoʻao (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Me Savant, hiki iā ʻoe ke hana maʻalahi i nā kahawai wikiō he nui i ka manawa like a hana wikiwiki i nā pipeline analytics wikiō mākaukau me NVIDIA TensorRT. Hāʻawi ʻia ke code papahana ma lalo o ka laikini Apache 2.0.
ʻO Savant 0.2.7 ka hoʻokuʻu hoʻololi hou loa i ka lālā 0.2.X. ʻO nā hoʻokuʻu ʻana i ka wā e hiki mai ana ma ka lālā 0.2.X e hoʻokomo wale i nā hoʻoponopono bug. E hanaʻia ka hoʻomohalaʻana i nā hiʻohiʻona hou ma ka lālā 0.3.X, ma muli o DeepStream 6.4. ʻAʻole kākoʻo kēia lālā i ka ʻohana Jetson Xavier o nā polokalamu no ka mea ʻaʻole kākoʻo ʻo NVIDIA iā lākou ma DS 6.4.
Nā hana hou nui:
- Nā hihia hoʻohana hou:
- He laʻana o ka hana ʻana me kahi hiʻohiʻona ʻike e pili ana i ka transformer RT-DETR;
- CUDA ma hope o ka hana me CuPy no YOLOV8-Seg;
- He laʻana o PyTorch CUDA hoʻohui i loko o ka pipeline Savant;
- Hōʻike i ka hana ʻana me nā mea pili.
- Nā hiʻohiʻona hou:
- Hoʻohui me Prometheus. Hiki i ka pipeline ke hoʻokuʻu aku i nā metric hoʻokō i Prometheus a me Grafana no ka nānā ʻana a me ka nānā ʻana. Hiki i nā mea hoʻomohala ke haʻi aku i nā metric maʻamau i lawe ʻia me nā metric ʻōnaehana.
- Buffer Adapter - Hoʻokomo i kahi pānaʻi kūʻai mau ma ka disk no ka neʻe ʻana o ka ʻikepili ma waena o nā mea hoʻololi a me nā modula. Me kāna kōkua, hiki iā ʻoe ke hoʻomohala i nā pipeline i hoʻouka nui ʻia e hoʻopau i nā kumuwaiwai me ka manaʻo ʻole a kū i ka pahū o ke kaʻa. Hoʻokuʻu aku ka mea hoʻopili i kāna ʻikepili a me ka nui i Prometheus.
- ʻO ke ʻano hōʻuluʻulu kumu hoʻohālike. Hiki i nā modula ke hōʻuluʻulu i kā lākou mau hiʻohiʻona ma TensorRT me ka holo ʻole o ka pipeline.
- PyFunc mea hoʻopau hanana hanana. Hāʻawi kēia API hou i ka hoʻopaʻa ʻia ʻana o ka pipeline e mālama maikaʻi ʻia, e hoʻokuʻu ana i nā kumuwaiwai a me ka hoʻolaha ʻana i nā ʻōnaehana ʻaoʻao ʻekolu ua hiki ke pani ʻia.
- Kānana kiʻi ma ka hoʻokomo a me ka puka. Ma ka maʻamau, ʻae ka pipeline i nā kiʻi āpau i loaʻa ka ʻikepili wikiō. Me ka hoʻokomo a me ka hoʻopuka kānana, hiki i nā mea hoʻomohala ke kānana i ka ʻikepili e pale i ka hana.
- Ma hope o ka hana ʻana o ke kumu hoʻohālike ma ka GPU. Me ka hiʻohiʻona hou, hiki i nā mea hoʻomohala ke komo pololei i nā tensors output model mai ka hoʻomanaʻo GPU me ka ʻole o ka hoʻouka ʻana iā lākou i ka hoʻomanaʻo CPU a hana iā lākou me ka hoʻohana ʻana iā CuPy, TorchVision a i ʻole OpenCV CUDA.
- Nā hana hōʻike hoʻomanaʻo GPU. Ma kēia hoʻokuʻu, hāʻawi mākou i nā hana e hoʻololi i nā pale hoʻomanaʻo ma waena o OpenCV GpuMat, PyTorch GPU tensors, a me CuPy tensors.
- API no ke kiʻi ʻana i nā ʻikepili no ka hoʻohana ʻana i nā laina paipu. Hāʻawi ʻo Savant iā ʻoe e hoʻohui i nā queues ma waena o PyFuncs e hoʻokō i ka hoʻoili like ʻana a me ka hana buffering. Hāʻawi ka API i hoʻohui ʻia i nā mea hoʻomohala i nā queues i kau ʻia i ka pipeline a hiki iā lākou ke nīnau i kā lākou hoʻohana.
Ma ka hoʻokuʻu aʻe (0.3.7) ua hoʻolālā ʻia e neʻe i DeepStream 6.4 me ka ʻole e hoʻonui i ka hana. ʻO ka manaʻo e kiʻi i kahi hoʻokuʻu i kūpono piha me 0.2.7, akā ma muli o DeepStream 6.4 a me ka ʻenehana i hoʻomaikaʻi ʻia, akā me ka ʻole o ka haki ʻana i ka hoʻohālikelike ma ka pae API.
Source: opennet.ru