Savant 0.2.7 Python ramminn hefur verið gefinn út, sem gerir það auðveldara að nota NVIDIA DeepStream til að leysa vandamál sem tengjast vélanámi. Ramminn sér um allar þungar lyftingar með GStreamer eða FFmpeg, sem gerir þér kleift að einbeita þér að því að byggja upp fínstilltar úttaksleiðslur með því að nota declarative setningafræði (YAML) og Python aðgerðir. Savant gerir þér kleift að búa til leiðslur sem virka jafnt á hraða í gagnaverinu (NVIDIA Turing, Ampere, Hopper) og á brúntækjum (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). Með Savant geturðu auðveldlega unnið úr mörgum myndbandsstraumum samtímis og búið fljótt til framleiðslutilbúnar myndbandsgreiningarleiðslur með því að nota NVIDIA TensorRT. Verkefniskóðanum er dreift undir Apache 2.0 leyfinu.
Savant 0.2.7 er nýjasta útgáfa breytinga á eiginleikum í 0.2.X útibúinu. Framtíðarútgáfur í 0.2.X greininni munu aðeins innihalda villuleiðréttingar. Þróun nýrra eiginleika verður framkvæmd í 0.3.X útibúinu, byggt á DeepStream 6.4. Þessi grein mun ekki styðja Jetson Xavier tækjafjölskylduna þar sem NVIDIA styður þau ekki í DS 6.4.
Helstu nýjungar:
- Ný notkunartilvik:
- Dæmi um að vinna með greiningarlíkan byggt á RT-DETR spenni;
- CUDA eftirvinnsla með CuPy fyrir YOLOV8-Seg;
- Dæmi um PyTorch CUDA samþættingu í Savant leiðslunni;
- Sýning á því að vinna með stefnumótandi hluti.
- Nýir eiginleikar:
- Samþætting við Prometheus. Leiðslan getur flutt út framkvæmdamælingar til Prometheus og Grafana til að fylgjast með frammistöðu og rekja. Hönnuðir geta gefið upp sérsniðnar mælingar sem eru fluttar út ásamt kerfismælingum.
- Buffer Adapter - Útfærir viðvarandi viðskiptabuffi á disknum fyrir gögn sem flytjast á milli millistykki og eininga. Með hjálp þess geturðu þróað mjög hlaðnar leiðslur sem neyta auðlinda á ófyrirsjáanlegan hátt og þola umferðarupphlaup. Millistykkið flytur þátta- og stærðargögn sín út til Prometheus.
- Módelsafnunarhamur. Einingar geta nú sett saman líkön sín í TensorRT án þess að keyra leiðslu.
- PyFunc lokunarviðburðastjórnun. Þetta nýja API gerir kleift að meðhöndla lokun á leiðslum á þokkafullan hátt, losa um fjármagn og láta þriðja aðila kerfi vita um að lokunin hafi átt sér stað.
- Rammasíun við inntak og úttak. Sjálfgefið er að leiðslan samþykkir alla ramma sem innihalda myndbandsgögn. Með inntaks- og úttakssíu geta verktaki síað gögn til að koma í veg fyrir vinnslu.
- Eftirvinnsla líkansins á GPU. Með nýja eiginleikanum geta verktaki fengið aðgang að úttakstensorum líkana beint úr GPU minni án þess að hlaða þeim inn í CPU minni og vinna úr þeim með CuPy, TorchVision eða OpenCV CUDA.
- GPU minni framsetning virka. Í þessari útgáfu útveguðum við aðgerðir til að umbreyta minnisbuffum á milli OpenCV GpuMat, PyTorch GPU tensora og CuPy tensora.
- API til að fá aðgang að tölfræði um notkun leiðsluraðra. Savant gerir þér kleift að bæta við biðröðum á milli PyFuncs til að útfæra samhliða vinnslu og biðminni vinnslu. Viðbót API veitir þróunaraðilum aðgang að biðröðunum sem eru settar í leiðsluna og gerir þeim kleift að spyrjast fyrir um notkun þeirra.
Í næstu útgáfu (0.3.7) er áætlað að færa sig yfir í DeepStream 6.4 án þess að auka virkni. Hugmyndin er að fá útgáfu sem er fullkomlega samhæfð við 0.2.7, en byggir á DeepStream 6.4 og endurbættri tækni, en án þess að brjóta eindrægni á API stigi.
Heimild: opennet.ru