چارچوب Python Savant 0.2.7 منتشر شده است که استفاده از NVIDIA DeepStream را برای حل مشکلات مربوط به یادگیری ماشین آسان‌تر می‌کند. این چارچوب تمام کارهای سنگین را با GStreamer یا FFmpeg انجام می دهد و به شما این امکان را می دهد که بر روی ساخت خطوط لوله خروجی بهینه شده با استفاده از نحو اعلامی (YAML) و توابع پایتون تمرکز کنید. Savant به شما امکان می دهد خطوط لوله ایجاد کنید که به طور مساوی روی شتاب دهنده ها در مرکز داده (NVIDIA Turing، Ampere، Hopper) و دستگاه های لبه (NVIDIA Jetson NX، AGX Xavier، Orin NX، AGX Orin، New Nano) کار کنند. با Savant، می توانید به راحتی چندین جریان ویدئو را به طور همزمان پردازش کنید و به سرعت خطوط لوله تجزیه و تحلیل ویدئویی آماده تولید را با استفاده از NVIDIA TensorRT ایجاد کنید. کد پروژه تحت مجوز آپاچی 2.0 توزیع شده است.
Savant 0.2.7 آخرین نسخه تغییر ویژگی در شاخه 0.2.X است. نسخه های بعدی در شاخه 0.2.X فقط شامل رفع اشکال خواهد بود. توسعه ویژگی های جدید در شاخه 0.3.X بر اساس DeepStream 6.4 انجام خواهد شد. این شعبه از دستگاه‌های خانواده Jetson Xavier پشتیبانی نمی‌کند، زیرا NVIDIA آنها را در DS 6.4 پشتیبانی نمی‌کند.
نوآوری های اصلی:
- موارد استفاده جدید:
- نمونه ای از کار با یک مدل تشخیص مبتنی بر ترانسفورماتور RT-DETR.
- پردازش پس از CUDA با CuPy برای YOLOV8-Seg.
- نمونه ای از ادغام PyTorch CUDA در خط لوله Savant.
- نمایش کار با اشیاء جهت دار.
- ویژگی های جدید:
- ادغام با پرومتئوس خط لوله می تواند معیارهای اجرایی را برای نظارت و ردیابی عملکرد به Prometheus و Grafana صادر کند. توسعه دهندگان می توانند معیارهای سفارشی را که همراه با معیارهای سیستم صادر می شوند، اعلام کنند.
- بافر آداپتور - بافر تراکنشی دائمی را روی دیسک برای حرکت داده ها بین آداپتورها و ماژول ها پیاده سازی می کند. با کمک آن، می توانید خطوط لوله با بارگذاری بالا را توسعه دهید که منابع را به طور غیرقابل پیش بینی مصرف می کنند و در برابر ترافیک شدید مقاومت می کنند. آداپتور داده های عنصر و اندازه خود را به Prometheus صادر می کند.
- حالت کامپایل مدل ماژول ها اکنون می توانند مدل های خود را در TensorRT بدون اجرای خط لوله کامپایل کنند.
- کنترل کننده رویداد خاموش کردن PyFunc. این API جدید اجازه می دهد تا با خاموش شدن خطوط لوله به خوبی مدیریت شود، منابع آزاد شده و سیستم های شخص ثالث از وقوع خاموش شدن مطلع می شوند.
- فیلتر قاب در ورودی و خروجی به طور پیش فرض، خط لوله تمام فریم های حاوی داده های ویدئویی را می پذیرد. با فیلتر ورودی و خروجی، توسعه دهندگان می توانند داده ها را برای جلوگیری از پردازش فیلتر کنند.
- پس پردازش مدل بر روی GPU. با ویژگی جدید، توسعه‌دهندگان می‌توانند مستقیماً از حافظه GPU به تانسورهای خروجی مدل دسترسی داشته باشند، بدون اینکه آنها را در حافظه CPU بارگذاری کنند و آنها را با استفاده از CuPy، TorchVision یا OpenCV CUDA پردازش کنند.
- عملکردهای نمایش حافظه GPU در این نسخه، ما توابعی را برای تبدیل بافرهای حافظه بین OpenCV GpuMat، تانسورهای GPU PyTorch و تانسورهای CuPy ارائه کردیم.
- API برای دسترسی به آمار استفاده از صف های خط لوله. Savant به شما امکان می دهد صف هایی را بین PyFuncs اضافه کنید تا پردازش موازی و پردازش بافر را پیاده سازی کنید. API اضافه شده به توسعه دهندگان امکان دسترسی به صف های مستقر در خط لوله را می دهد و به آنها اجازه می دهد استفاده از آنها را پرس و جو کنند.
در نسخه بعدی (0.3.7) برنامه ریزی شده است که بدون گسترش قابلیت به DeepStream 6.4 منتقل شود. ایده دریافت نسخه ای است که کاملاً با 0.2.7 سازگار باشد، اما بر اساس DeepStream 6.4 و فناوری بهبود یافته، اما بدون شکستن سازگاری در سطح API.
منبع: opennet.ru