BlazingSQL SQL dvigatel kodi ochiq, tezlashtirish uchun GPU-dan foydalanadi

E'lon qilingan SQL dvigatelining manbalarini ochish haqida BlazingSQL, bu ma'lumotlarni qayta ishlashni tezlashtirish uchun GPUdan foydalanadi. BlazingSQL to'liq huquqli DBMS emas, lekin o'z vazifalari bilan taqqoslanadigan katta ma'lumotlar to'plamlarini tahlil qilish va qayta ishlash uchun vosita sifatida joylashtirilgan. Apache Spark. Kod Python-da yozilgan va ochiq Apache 2.0 ostida litsenziyalangan.

BlazingSQL jadval formatlarida (masalan, jurnallar, NetFlow statistikasi va boshqalar) saqlanadigan katta maʼlumotlar toʻplamlarida (oʻnlab gigabayt) bitta analitik soʻrovlarni bajarish uchun javob beradi. BlazingSQL HDSF va AWS S3 kabi tarmoq va bulutli fayl tizimlarida joylashtirilgan CSV va Apache Parket formatidagi xom fayllardan so‘rovlarni bajarishi va natijani bevosita GPU xotirasiga o‘tkazishi mumkin. GPUdagi operatsiyalarni parallellashtirish va tezroq video xotiradan foydalanish tufayli BlazingSQL so'rovlari kamroq vaqt ichida bajariladi. 20 marta Apache Spark dan tezroq.

GPU bilan ishlash uchun NVIDIA ishtirokida ishlab chiqilgan to'plam qo'llaniladi ochiq kutubxonalar RAPIDS, bu sizga to'liq GPU tomonida ishlaydigan ma'lumotlarni qayta ishlash va tahliliy ilovalarni yaratishga imkon beradi (tomonidan taqdim etilgan). Python interfeysi past darajadagi CUDA primitivlaridan foydalanish va hisoblarni parallellashtirish).

BlazingSQL ma'lumotlarni qayta ishlash API-lari o'rniga SQL-dan foydalanish imkoniyatini beradi cuUDF (tayanchda Apache strelkasi) RAPIDS da ishlatiladi. BlazingSQL - bu cuDF tepasida ishlaydigan va diskdan ma'lumotlarni o'qish uchun cuIO kutubxonasidan foydalanadigan qo'shimcha qatlam. SQL so'rovlari cuUDF funktsiyalariga qo'ng'iroqlarga tarjima qilinadi, bu sizga ma'lumotlarni GPUga yuklash va unda birlashtirish, yig'ish va filtrlash operatsiyalarini bajarish imkonini beradi. Minglab GPU-larni qamrab oluvchi taqsimlangan konfiguratsiyalarni yaratish qo'llab-quvvatlanadi.

BlazingSQL ma'lumotlar bilan ishlashni sezilarli darajada osonlashtiradi - cuDF funktsiyalariga yuzlab qo'ng'iroqlar o'rniga bitta SQL so'rovidan foydalanishingiz mumkin. SQL-dan foydalanish RAPIDS-ni mavjud analitik tizimlar bilan maxsus protsessorlarni yozmasdan va ma'lumotlarni qo'shimcha ma'lumotlar bazasiga oraliq yuklamasdan integratsiya qilish imkonini beradi, ammo
RAPIDS ning barcha qismlari bilan to'liq muvofiqlikni saqlab, mavjud funksiyalarni SQL ga tarjima qilish va cuDF darajasida ishlashni ta'minlash. Bu kutubxonalar bilan integratsiyani qo'llab-quvvatlashni o'z ichiga oladi XGBoost и cuML analitika va mashinani o'rganish muammolarini hal qilish uchun.

Manba: opennet.ru