सावंत 0.2.7 चे प्रकाशन, एक संगणक दृष्टी आणि सखोल शिक्षण फ्रेमवर्क

Savant 0.2.7 Python फ्रेमवर्क रिलीझ केले गेले आहे, ज्यामुळे मशीन लर्निंगशी संबंधित समस्या सोडवण्यासाठी NVIDIA DeepStream वापरणे सोपे झाले आहे. फ्रेमवर्क GStreamer किंवा FFmpeg सह सर्व हेवी लिफ्टिंगची काळजी घेते, ज्यामुळे तुम्हाला डिक्लेरेटिव्ह सिंटॅक्स (YAML) आणि पायथन फंक्शन्स वापरून ऑप्टिमाइझ आउटपुट पाइपलाइन तयार करण्यावर लक्ष केंद्रित करता येते. सावंत तुम्हाला डेटा सेंटर (NVIDIA ट्युरिंग, अँपिअर, हॉपर) आणि एज डिव्हाइसेसवर (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano) मधील प्रवेगकांवर समान रीतीने काम करणाऱ्या पाइपलाइन तयार करण्याची परवानगी देतो. Savant सह, तुम्ही एकाच वेळी अनेक व्हिडिओ प्रवाहांवर सहजपणे प्रक्रिया करू शकता आणि NVIDIA TensorRT वापरून उत्पादनासाठी तयार व्हिडिओ विश्लेषण पाइपलाइन द्रुतपणे तयार करू शकता. प्रकल्प कोड Apache 2.0 लायसन्स अंतर्गत वितरित केला जातो.

Savant 0.2.7 हे 0.2.X शाखेतील नवीनतम वैशिष्ट्य बदल रिलीझ आहे. 0.2.X शाखेतील भविष्यातील प्रकाशनांमध्ये फक्त दोष निराकरणे समाविष्ट असतील. डीपस्ट्रीम 0.3 वर आधारित 6.4.X शाखेत नवीन वैशिष्ट्यांचा विकास केला जाईल. ही शाखा उपकरणांच्या जेटसन झेवियर कुटुंबाला समर्थन देणार नाही कारण NVIDIA त्यांना DS 6.4 मध्ये समर्थन देत नाही.

मुख्य नवकल्पना:

• नवीन वापर प्रकरणे:
  • RT-DETR ट्रान्सफॉर्मरवर आधारित डिटेक्शन मॉडेलसह काम करण्याचे उदाहरण;
  • YOLOV8-Seg साठी CuPy सह CUDA पोस्ट-प्रोसेसिंग;
  • PyTorch CUDA सावंत पाइपलाइनमध्ये एकत्रीकरणाचे उदाहरण;
  • ओरिएंटेड ऑब्जेक्ट्ससह कार्य करण्याचे प्रात्यक्षिक.
  

• नवीन वैशिष्ट्य:
  • प्रोमिथियससह एकत्रीकरण. पाइपलाइन कार्यप्रदर्शन निरीक्षण आणि ट्रॅकिंगसाठी प्रोमिथियस आणि ग्राफानाला अंमलबजावणी मेट्रिक्स निर्यात करू शकते. डेव्हलपर कस्टम मेट्रिक्स घोषित करू शकतात जे सिस्टम मेट्रिक्ससह निर्यात केले जातात.
  • बफर अडॅप्टर - ॲडॉप्टर आणि मॉड्युल दरम्यान डेटा हलविण्याकरिता डिस्कवर एक पर्सिस्टंट ट्रान्झॅक्शनल बफर लागू करते. त्याच्या मदतीने, तुम्ही अप्रत्याशितपणे संसाधनांचा वापर करणाऱ्या आणि रहदारीच्या स्फोटांना तोंड देणाऱ्या उच्च भारित पाइपलाइन विकसित करू शकता. अडॅप्टर त्याचा घटक आणि आकार डेटा प्रोमिथियसला निर्यात करतो.
  • मॉडेल संकलन मोड. मॉड्यूल आता पाइपलाइन न चालवता त्यांचे मॉडेल टेन्सॉरआरटीमध्ये संकलित करू शकतात.
  • PyFunc शटडाउन इव्हेंट हँडलर. हे नवीन API पाइपलाइन शटडाऊन कृपापूर्वक हाताळण्याची, संसाधने मोकळी करून आणि तृतीय-पक्ष प्रणालींना शटडाउन झाल्याचे सूचित करण्यास अनुमती देते.
  • इनपुट आणि आउटपुटवर फ्रेम फिल्टरिंग. डीफॉल्टनुसार, पाइपलाइन व्हिडिओ डेटा असलेले सर्व फ्रेम स्वीकारते. इनपुट आणि आउटपुट फिल्टरिंगसह, विकासक प्रक्रिया टाळण्यासाठी डेटा फिल्टर करू शकतात.
  • GPU वर मॉडेलची पोस्ट-प्रोसेसिंग. नवीन वैशिष्ट्यासह, विकासक मॉडेल आउटपुट टेन्सर थेट GPU मेमरीमधून CPU मेमरीमध्ये लोड न करता प्रवेश करू शकतात आणि CuPy, TorchVision किंवा OpenCV CUDA वापरून त्यावर प्रक्रिया करू शकतात.
  • GPU मेमरी प्रतिनिधित्व कार्ये. या रिलीझमध्ये, आम्ही OpenCV GpuMat, PyTorch GPU tensors आणि CuPy tensors मधील मेमरी बफरमध्ये रूपांतरित करण्यासाठी कार्ये प्रदान केली आहेत.
  • पाइपलाइन रांगांच्या वापरावरील आकडेवारीमध्ये प्रवेश करण्यासाठी API. Savant तुम्हाला समांतर प्रक्रिया आणि बफरिंग प्रक्रिया लागू करण्यासाठी PyFuncs दरम्यान रांगा जोडण्याची परवानगी देतो. जोडलेले API विकासकांना पाइपलाइनमध्ये तैनात केलेल्या रांगांमध्ये प्रवेश देते आणि त्यांना त्यांच्या वापराबद्दल क्वेरी करण्याची परवानगी देते.

पुढील प्रकाशन (0.3.7) मध्ये कार्यक्षमतेचा विस्तार न करता DeepStream 6.4 वर जाण्याची योजना आहे. 0.2.7 शी पूर्णपणे सुसंगत, परंतु डीपस्ट्रीम 6.4 आणि सुधारित तंत्रज्ञानावर आधारित, परंतु API स्तरावर सुसंगतता खंडित न करता रिलीज मिळवण्याची कल्पना आहे.

स्त्रोत: opennet.ru