အရှိန်မြှင့်ရန်အတွက် GPU ကို အသုံးပြုထားသော BlazingSQL SQL အင်ဂျင်ကုဒ်ကို ဖွင့်ထားသည်။

ကြေငြာခဲ့သည်။ SQL အင်ဂျင်၏အရင်းအမြစ်များကိုဖွင့်ခြင်းအကြောင်း BlazingSQLဒေတာလုပ်ဆောင်ခြင်းကို အရှိန်မြှင့်ရန် GPU ကိုအသုံးပြုသည်။ BlazingSQL သည် ပြီးပြည့်စုံသော DBMS တစ်ခုမဟုတ်သော်လည်း ကြီးမားသောဒေတာအစုံများကို ခွဲခြမ်းစိတ်ဖြာခြင်းနှင့် လုပ်ဆောင်ခြင်းအတွက် အင်ဂျင်တစ်ခုအဖြစ် ရပ်တည်ထားပြီး ၎င်း၏လုပ်ငန်းတာဝန်များတွင် နှိုင်းယှဉ်နိုင်သော၊ Apache ကို Spark. ကုဒ်ကို Python နှင့်ရေးထားသည်။ ပွင့်လင်း Apache 2.0 အောက်တွင် လိုင်စင်ရထားသည်။

BlazingSQL သည် ဇယားဖော်မတ်များ (ဥပမာ၊ မှတ်တမ်းများ၊ NetFlow ကိန်းဂဏန်းများ စသည်) တွင် သိမ်းဆည်းထားသော ကြီးမားသောဒေတာအတွဲများ (ဆယ်ဂစ်ဂစ်ဂါဘိုက်) တွင် တစ်ခုတည်းသော ခွဲခြမ်းစိတ်ဖြာမေးမြန်းမှုများကို လုပ်ဆောင်ရန်အတွက် သင့်လျော်သည်။ BlazingSQL သည် CSV နှင့် Apache Parquet ဖော်မတ်များဖြင့် ဖိုင်ကြမ်းများမှ မေးမြန်းချက်များကို HDSF နှင့် AWS S3 ကဲ့သို့ ကွန်ရက်နှင့် cloud ဖိုင်စနစ်များတွင် လက်ခံဆောင်ရွက်ပေးပြီး ရလဒ်အား GPU memory သို့ တိုက်ရိုက်လွှဲပြောင်းပေးနိုင်သည်။ GPU တွင် လုပ်ဆောင်ချက်များကို အပြိုင်လုပ်ဆောင်ခြင်းနှင့် ပိုမြန်သော ဗီဒီယိုမှတ်ဉာဏ်ကို အသုံးပြုခြင်းတို့ကြောင့် BlazingSQL တွင် မေးမြန်းမှုများကို လုပ်ဆောင်သည်။ 20 ကြိမ် Apache Spark ထက် ပိုမြန်တယ်။

GPU များနှင့် အလုပ်လုပ်ရန်အတွက် NVIDIA ၏ပါဝင်မှုဖြင့် တီထွင်ထားသော set ကိုအသုံးပြုသည်။ ဖွင့်သည် စာကြည့်တိုက်များ အလျင်အမြန်GPU ဘက်တွင် လုံး၀ လုပ်ဆောင်နိုင်သော ဒေတာ စီမံဆောင်ရွက်ပေးခြင်းနှင့် ခွဲခြမ်းစိတ်ဖြာမှု အပလီကေးရှင်းများကို ဖန်တီးနိုင်စေသည့်၊ Python အင်တာဖေ့စ် အဆင့်နိမ့် CUDA primitives များကို အသုံးပြုရန်နှင့် တွက်ချက်မှုများကို အပြိုင်ပြုလုပ်ရန်။

BlazingSQL သည် data processing APIs များအစား SQL ကို အသုံးပြုရန် စွမ်းရည်ကို ပေးပါသည်။ cuUDF (အခြေခံပေါ်မှာ Apache Arrow) RAPIDS တွင်အသုံးပြုသည်။ BlazingSQL သည် cuDF ၏ထိပ်တွင်အလုပ်လုပ်ပြီး disk မှဒေတာကိုဖတ်ရန် cuIO စာကြည့်တိုက်ကိုအသုံးပြုသည့်နောက်ထပ်အလွှာတစ်ခုဖြစ်သည်။ SQL queries များကို cuUDF လုပ်ဆောင်ချက်များသို့ ခေါ်ဆိုမှုများအဖြစ် ဘာသာပြန်ဆိုထားပြီး၊ ၎င်းတွင် ဒေတာများကို GPU ထဲသို့ တင်ကာ ပေါင်းစည်းခြင်း၊ စုစည်းခြင်းနှင့် စစ်ထုတ်ခြင်း လုပ်ငန်းများကို လုပ်ဆောင်နိုင်စေပါသည်။ ထောင်ပေါင်းများစွာသော GPU များပေါ်တွင် ဖြန့်ကျက်ထားသော ဖွဲ့စည်းမှုပုံစံများ ဖန်တီးမှုကို ပံ့ပိုးထားသည်။

BlazingSQL သည် data နှင့်အလုပ်လုပ်ခြင်းကိုအလွန်ရိုးရှင်းစေသည် - cuDF လုပ်ဆောင်ချက်များကိုရာနှင့်ချီသောခေါ်ဆိုမှုများအစား SQL query တစ်ခုအားသင်အသုံးပြုနိုင်သည်။ SQL ကိုအသုံးပြုခြင်းသည် တိကျသောပရိုဆက်ဆာများရေးသားခြင်းမပြုဘဲ RAPIDS ကို လက်ရှိ ခွဲခြမ်းစိတ်ဖြာမှုစနစ်များနှင့် ပေါင်းစပ်နိုင်စေပြီး DBMS ထဲသို့ ဒေတာများကို အလယ်အလတ်တင်ခြင်းအား အစားထိုးခြင်းမပြုဘဲ၊
RAPIDS ၏ အစိတ်အပိုင်းအားလုံးနှင့် အပြည့်အဝ လိုက်ဖက်ညီမှုကို ထိန်းသိမ်းထားစဉ်တွင် လက်ရှိ လုပ်ဆောင်နိုင်စွမ်းကို SQL သို့ ဘာသာပြန်ကာ cuDF အဆင့်တွင် စွမ်းဆောင်ရည်ကို ပံ့ပိုးပေးပါသည်။ ၎င်းတွင် စာကြည့်တိုက်များနှင့် ပေါင်းစည်းရန် ပံ့ပိုးမှု ပါဝင်သည်။ XGBoost и cuML ခွဲခြမ်းစိတ်ဖြာမှုနှင့် စက်သင်ယူမှုဆိုင်ရာ ပြဿနာများကို ဖြေရှင်းရန်အတွက်။

source: opennet.ru