کد موتور BlazingSQL SQL باز است، با استفاده از GPU برای شتاب

اعلام کرد در مورد باز کردن منابع موتور SQL BlazingSQL، که از GPU برای سرعت بخشیدن به پردازش داده ها استفاده می کند. BlazingSQL یک DBMS تمام عیار نیست، بلکه به عنوان موتوری برای تجزیه و تحلیل و پردازش مجموعه داده های بزرگ قرار گرفته است که در وظایف خود قابل مقایسه با جرقه آپاچی. کد به زبان پایتون و نوشته شده است باز کن دارای مجوز Apache 2.0.

BlazingSQL برای انجام پرس و جوهای تحلیلی منفرد بر روی مجموعه داده های بزرگ (ده ها گیگابایت) ذخیره شده در قالب های جدولی (به عنوان مثال، گزارش ها، آمار NetFlow و غیره) مناسب است. BlazingSQL می‌تواند درخواست‌هایی را از فایل‌های خام با فرمت‌های CSV و Apache Parket که در سیستم‌های فایل شبکه و ابری مانند HDSF و AWS S3 میزبانی می‌شوند، اجرا کند و نتیجه را مستقیماً به حافظه GPU منتقل کند. به لطف موازی سازی عملیات در GPU و استفاده از حافظه ویدیویی سریعتر، پرس و جوهای BlazingSQL در کمتر از بار 20 سریعتر از آپاچی اسپارک

برای کار با پردازنده‌های گرافیکی، از مجموعه‌ای استفاده می‌شود که با مشارکت NVIDIA توسعه یافته است باز کن کتابخانه ها سریع، که به شما امکان می دهد برنامه های پردازش داده و تجزیه و تحلیل ایجاد کنید که کاملاً در سمت GPU اجرا شوند (ارائه شده توسط رابط پایتون برای استفاده از CUDA ابتدایی سطح پایین و موازی کردن محاسبات).

BlazingSQL امکان استفاده از SQL را به جای APIهای پردازش داده فراهم می کند cuUDF (روی پایه پیکان آپاچی) در RAPIDS استفاده می شود. BlazingSQL یک لایه اضافی است که در بالای cuDF اجرا می شود و از کتابخانه cuIO برای خواندن داده ها از دیسک استفاده می کند. پرس و جوهای SQL به فراخوانی توابع cuUDF ترجمه می شوند که به شما امکان می دهد داده ها را در GPU بارگذاری کنید و عملیات ادغام، تجمیع و فیلتر را روی آن انجام دهید. ایجاد پیکربندی های توزیع شده که هزاران GPU را در بر می گیرد، پشتیبانی می شود.

BlazingSQL کار با داده ها را بسیار ساده می کند - به جای صدها تماس با توابع cuDF، می توانید از یک پرس و جوی SQL استفاده کنید. استفاده از SQL امکان ادغام RAPIDS را با سیستم های تحلیلی موجود، بدون نوشتن پردازنده های خاص و بدون توسل به بارگذاری میانی داده ها در یک DBMS اضافی، ممکن می سازد.
ضمن حفظ سازگاری کامل با تمام بخش‌های RAPIDS، ترجمه قابلیت‌های موجود به SQL و ارائه عملکرد در سطح cuDF. این شامل پشتیبانی برای ادغام با کتابخانه ها می شود XGBoost и cuML برای حل مشکلات تجزیه و تحلیل و یادگیری ماشین.

منبع: opennet.ru