సావంత్ 0.2.7 పైథాన్ ఫ్రేమ్‌వర్క్ విడుదల చేయబడింది, ఇది మెషిన్ లెర్నింగ్‌కు సంబంధించిన సమస్యలను పరిష్కరించడానికి NVIDIA డీప్‌స్ట్రీమ్‌ను ఉపయోగించడం సులభతరం చేస్తుంది. ఫ్రేమ్‌వర్క్ GStreamer లేదా FFmpegతో అన్ని భారీ లిఫ్టింగ్‌లను చూసుకుంటుంది, డిక్లరేటివ్ సింటాక్స్ (YAML) మరియు పైథాన్ ఫంక్షన్‌లను ఉపయోగించి ఆప్టిమైజ్ చేయబడిన అవుట్‌పుట్ పైప్‌లైన్‌లను నిర్మించడంపై దృష్టి పెట్టడానికి మిమ్మల్ని అనుమతిస్తుంది. డేటా సెంటర్ (NVIDIA Turing, Ampere, Hopper) మరియు అంచు పరికరాలపై (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano) యాక్సిలరేటర్‌లపై సమానంగా పని చేసే పైప్‌లైన్‌లను రూపొందించడానికి సావంత్ మిమ్మల్ని అనుమతిస్తుంది. సావంత్‌తో, మీరు ఒకేసారి బహుళ వీడియో స్ట్రీమ్‌లను సులభంగా ప్రాసెస్ చేయవచ్చు మరియు NVIDIA TensorRTని ఉపయోగించి ప్రొడక్షన్-రెడీ వీడియో అనలిటిక్స్ పైప్‌లైన్‌లను త్వరగా సృష్టించవచ్చు. ప్రాజెక్ట్ కోడ్ Apache 2.0 లైసెన్స్ క్రింద పంపిణీ చేయబడింది.
సావంత్ 0.2.7 అనేది 0.2.X బ్రాంచ్‌లో తాజా ఫీచర్ మార్పు విడుదల. 0.2.X బ్రాంచ్‌లోని భవిష్యత్తు విడుదలలు బగ్ పరిష్కారాలను మాత్రమే కలిగి ఉంటాయి. డీప్‌స్ట్రీమ్ 0.3 ఆధారంగా 6.4.X బ్రాంచ్‌లో కొత్త ఫీచర్‌ల అభివృద్ధి జరుగుతుంది. DS 6.4లో NVIDIA సపోర్ట్ చేయనందున ఈ బ్రాంచ్ జెట్సన్ జేవియర్ ఫ్యామిలీ పరికరాలకు మద్దతు ఇవ్వదు.
ప్రధాన ఆవిష్కరణలు:
- కొత్త ఉపయోగ సందర్భాలు:
- RT-DETR ట్రాన్స్‌ఫార్మర్ ఆధారంగా డిటెక్షన్ మోడల్‌తో పని చేసే ఉదాహరణ;
- YOLOV8-Seg కోసం CuPyతో CUDA పోస్ట్-ప్రాసెసింగ్;
- సావంత్ పైప్‌లైన్‌లోకి PyTorch CUDA ఏకీకరణకు ఉదాహరణ;
- ఆధారిత వస్తువులతో పని చేసే ప్రదర్శన.
- కొత్త ఫీచర్లు:
- ప్రోమేతియస్‌తో ఏకీకరణ. పనితీరు పర్యవేక్షణ మరియు ట్రాకింగ్ కోసం పైప్‌లైన్ ఎగ్జిక్యూషన్ మెట్రిక్‌లను ప్రోమేథియస్ మరియు గ్రాఫానాకు ఎగుమతి చేయగలదు. డెవలపర్లు సిస్టమ్ మెట్రిక్‌లతో పాటు ఎగుమతి చేయబడిన కస్టమ్ మెట్రిక్‌లను ప్రకటించవచ్చు.
- బఫర్ అడాప్టర్ - అడాప్టర్లు మరియు మాడ్యూల్స్ మధ్య డేటాను తరలించడం కోసం డిస్క్‌లో నిరంతర లావాదేవీ బఫర్‌ను అమలు చేస్తుంది. దాని సహాయంతో, మీరు వనరులను అనూహ్యంగా వినియోగించే మరియు ట్రాఫిక్ పేలుళ్లను తట్టుకునే అత్యంత లోడ్ చేయబడిన పైప్‌లైన్‌లను అభివృద్ధి చేయవచ్చు. అడాప్టర్ దాని మూలకం మరియు పరిమాణ డేటాను ప్రోమేథియస్‌కు ఎగుమతి చేస్తుంది.
- మోడల్ కంపైలేషన్ మోడ్. మాడ్యూల్‌లు ఇప్పుడు పైప్‌లైన్‌ను అమలు చేయకుండానే TensorRTలో వాటి మోడల్‌లను కంపైల్ చేయగలవు.
- PyFunc షట్‌డౌన్ ఈవెంట్ హ్యాండ్లర్. ఈ కొత్త API పైప్‌లైన్ షట్‌డౌన్‌లను సునాయాసంగా నిర్వహించడానికి అనుమతిస్తుంది, వనరులను ఖాళీ చేస్తుంది మరియు షట్‌డౌన్ జరిగినట్లు థర్డ్-పార్టీ సిస్టమ్‌లకు తెలియజేస్తుంది.
- ఇన్‌పుట్ మరియు అవుట్‌పుట్ వద్ద ఫ్రేమ్ ఫిల్టరింగ్. డిఫాల్ట్‌గా, పైప్‌లైన్ వీడియో డేటాను కలిగి ఉన్న అన్ని ఫ్రేమ్‌లను అంగీకరిస్తుంది. ఇన్‌పుట్ మరియు అవుట్‌పుట్ ఫిల్టరింగ్‌తో, ప్రాసెసింగ్‌ను నిరోధించడానికి డెవలపర్లు డేటాను ఫిల్టర్ చేయవచ్చు.
- GPUలో మోడల్ యొక్క పోస్ట్-ప్రాసెసింగ్. కొత్త ఫీచర్‌తో, డెవలపర్లు మోడల్ అవుట్‌పుట్ టెన్సర్‌లను CPU మెమరీలోకి లోడ్ చేయకుండా నేరుగా GPU మెమరీ నుండి యాక్సెస్ చేయవచ్చు మరియు వాటిని CuPy, TorchVision లేదా OpenCV CUDA ఉపయోగించి ప్రాసెస్ చేయవచ్చు.
- GPU మెమరీ ప్రాతినిధ్యం విధులు. ఈ విడుదలలో, మేము OpenCV GpuMat, PyTorch GPU టెన్సర్‌లు మరియు CuPy టెన్సర్‌ల మధ్య మెమరీ బఫర్‌లను మార్చడానికి ఫంక్షన్‌లను అందించాము.
- పైప్‌లైన్ క్యూల వినియోగంపై గణాంకాలను యాక్సెస్ చేయడానికి API. సమాంతర ప్రాసెసింగ్ మరియు బఫరింగ్ ప్రాసెసింగ్‌ను అమలు చేయడానికి PyFuncs మధ్య క్యూలను జోడించడానికి Savant మిమ్మల్ని అనుమతిస్తుంది. జోడించిన API డెవలపర్‌లకు పైప్‌లైన్‌లో అమర్చిన క్యూలకు యాక్సెస్ ఇస్తుంది మరియు వారి వినియోగాన్ని ప్రశ్నించడానికి వారిని అనుమతిస్తుంది.
తదుపరి విడుదలలో (0.3.7) ఇది కార్యాచరణను విస్తరించకుండా డీప్‌స్ట్రీమ్ 6.4కి తరలించడానికి ప్రణాళిక చేయబడింది. 0.2.7తో పూర్తిగా అనుకూలమైన విడుదలను పొందాలనే ఆలోచన ఉంది, కానీ డీప్‌స్ట్రీమ్ 6.4 మరియు మెరుగైన సాంకేతికత ఆధారంగా, కానీ API స్థాయిలో అనుకూలతను విచ్ఛిన్నం చేయకుండా.
మూలం: opennet.ru