Chaidh frèam Savant 0.2.7 Python a leigeil ma sgaoil, ga dhèanamh nas fhasa NVIDIA DeepStream a chleachdadh gus fuasgladh fhaighinn air duilgheadasan co-cheangailte ri ionnsachadh innealan. Bidh am frèam a’ toirt aire don togail trom le GStreamer no FFmpeg, a’ toirt cothrom dhut fòcas a chuir air togail pìoban toraidh làn-leasaichte a’ cleachdadh co-chòrdadh dearbhach (YAML) agus gnìomhan Python. Leigidh Savant leat pìoban a chruthachadh a bhios ag obair gu co-ionann air luathaichean anns an ionad dàta (NVIDIA Turing, Ampere, Hopper) agus air innealan iomaill (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Le Savant, is urrainn dhut gu furasta grunn shruthan bhidio a phròiseasadh aig an aon àm agus gu sgiobalta cruthaich pìoban anailis bhidio deiseil airson riochdachadh a’ cleachdadh NVIDIA TensorRT. Tha còd a’ phròiseict air a sgaoileadh fo chead Apache 2.0.
Is e Savant 0.2.7 an sgaoileadh atharrachaidh feart as ùire anns a 'mheur 0.2.X. Cha bhi fiosan san àm ri teachd sa mheur 0.2.X a’ toirt a-steach ach rèiteachadh bug. Thèid leasachadh feartan ùra a dhèanamh anns a 'mheur 0.3.X, stèidhichte air DeepStream 6.4. Cha toir am meur seo taic don teaghlach innealan Jetson Xavier leis nach eil NVIDIA a’ toirt taic dhaibh ann an DS 6.4.
Prìomh innleachdan:
- Cùisean cleachdaidh ùra:
- Eisimpleir de bhith ag obair le modail lorgaidh stèidhichte air cruth-atharrachaidh RT-DETR;
- Iar-ghiollachd CUDA le CuPy airson YOLOV8-Seg;
- Eisimpleir de amalachadh PyTorch CUDA a-steach don loidhne-phìoban Savant;
- Taisbeanadh air a bhith ag obair le nithean stèidhichte.
- Feartan ùra:
- Amalachadh le Prometheus. Faodaidh an loidhne-phìoban meatrach cur gu bàs às-mhalairt gu Prometheus agus Grafana airson sgrùdadh agus lorg coileanaidh. Faodaidh luchd-leasachaidh metrics àbhaisteach ainmeachadh a tha air an às-mhalairt còmhla ri meatrach siostam.
- Adaptor Bufair - A’ cur an gnìomh bufair malairt leantainneach air diosc airson dàta a’ gluasad eadar innealan-atharrachaidh agus modalan. Le a chuideachadh, faodaidh tu pìoban làn luchdaichte a leasachadh a bhios ag ithe goireasan gun dùil agus a sheasas ri spreadhaidhean trafaic. Bidh an inneal-atharrachaidh a’ às-mhalairt an eileamaid agus an dàta meud aige gu Prometheus.
- Modh cruinneachaidh modail. Faodaidh modalan a-nis na modalan aca a chuir ri chèile ann an TensorRT gun a bhith a’ ruith loidhne-phìoban.
- Làimhseachadh tachartas dùnadh PyFunc. Tha an API ùr seo a’ leigeil le dùnadh loidhne-phìoban a bhith air a làimhseachadh gu gràsmhor, a’ saoradh ghoireasan agus a’ toirt fios do shiostaman treas-phàrtaidh gu bheil an dùnadh air tachairt.
- Criathradh frèam aig cuir a-steach agus toradh. Gu gnàthach, bidh an loidhne-phìoban a’ gabhail ris a h-uile frèam anns a bheil dàta bhidio. Le sìoladh cuir a-steach is toraidh, faodaidh luchd-leasachaidh dàta a shìoladh gus casg a chuir air giullachd.
- Post-giollachd a 'mhodail air an GPU. Leis an fheart ùr, faodaidh luchd-leasachaidh faighinn gu tensors toraidh modail gu dìreach bho chuimhne GPU gun a bhith gan luchdachadh a-steach do chuimhne CPU agus gan giullachd le bhith a’ cleachdadh CuPy, TorchVision no OpenCV CUDA.
- Gnìomhan riochdachadh cuimhne GPU. Anns an fhoillseachadh seo, thug sinn seachad gnìomhan gus bufairean cuimhne a thionndadh eadar OpenCV GpuMat, tensors PyTorch GPU, agus tensors CuPy.
- API airson cothrom fhaighinn air staitistig mu chleachdadh ciudhaichean loidhne-phìoban. Leigidh Savant leat ciudhaichean a chuir eadar PyFuncs gus giollachd co-shìnte agus giullachd buffering a chuir an gnìomh. Tha an API a bharrachd a’ toirt cothrom do luchd-leasachaidh air na ciudha a thathas a’ cleachdadh san loidhne-phìoban agus a’ leigeil leotha ceasnachadh an cleachdadh.
Anns an ath fhoillseachadh (0.3.7) thathar an dùil gluasad gu DeepStream 6.4 gun a bhith a’ leudachadh comas-gnìomh. Is e am beachd foillseachadh fhaighinn a tha gu tur co-chòrdail le 0.2.7, ach stèidhichte air DeepStream 6.4 agus teicneòlas leasaichte, ach gun a bhith a’ briseadh co-chòrdalachd aig ìre API.
Source: fosgailtenet.ru