ခွဲခြမ်းစိတ်ဖြာမေးမြန်းချက်များအတွက် DuckDB 0.6.0၊ SQLite မူကွဲကို ထုတ်ဝေခဲ့သည်။

DuckDB 0.6.0 DBMS သည် SQLite ၏ ကျစ်လစ်သိပ်သည်းမှုကဲ့သို့ ဂုဏ်သတ္တိများ၊ မြှုပ်သွင်းထားသော စာကြည့်တိုက်ပုံစံဖြင့် ချိတ်ဆက်နိုင်မှု၊ ဖိုင်တစ်ခုတည်းတွင် ဒေတာဘေ့စ်ကို သိမ်းဆည်းခြင်းနှင့် အဆင်ပြေသော CLI မျက်နှာပြင်ကို ပေါင်းစပ်ပြီး ရရှိနိုင်ပြီဖြစ်သည်။ ဥပမာအားဖြင့် သိမ်းဆည်းထားသော ဒေတာ၏ အရေးပါသော အစိတ်အပိုင်းကို ဖုံးအုပ်ထားသော ခွဲခြမ်းစိတ်ဖြာသော စုံစမ်းမေးမြန်းမှုများ၊ ဥပမာ ဇယားများ၏ အကြောင်းအရာတစ်ခုလုံးကို ပေါင်းစည်းခြင်း သို့မဟုတ် ကြီးမားသော ဇယားများစွာကို ပေါင်းစည်းခြင်း။ ပရောဂျက်ကုဒ်ကို MIT လိုင်စင်အောက်တွင် ဖြန့်ဝေထားသည်။ သိုလှောင်မှုဖော်မတ်ကို မတည်ငြိမ်သေးဘဲ ဗားရှင်းမှ ဗားရှင်းသို့ ပြောင်းလဲခြင်းကြောင့် ဖွံ့ဖြိုးတိုးတက်မှုသည် စမ်းသပ်ထုတ်ဝေမှုများ ပြုလုပ်သည့်အဆင့်တွင် ရှိနေဆဲဖြစ်သည်။

DuckDB သည် အလွန်ရှုပ်ထွေးပြီး အချိန်ကုန်သော မေးခွန်းများကို ကိုင်တွယ်ရန်အတွက် ထပ်လောင်းစွမ်းရည်များပါ၀င်သည့် အဆင့်မြင့် SQL ဒေသိယဘာသာစကားကို ပံ့ပိုးပေးပါသည်။ ရှုပ်ထွေးသောအမျိုးအစားများ (အခင်းအကျင်းများ၊ ဖွဲ့စည်းပုံများ၊ သမဂ္ဂများ) ကိုအသုံးပြုခြင်းနှင့် ဆက်စပ်နေသော ဆက်စပ်မေးခွန်းခွဲများကို မတရားနှင့် nested လုပ်နိုင်စွမ်းကို ပံ့ပိုးပေးထားသည်။ ၎င်းသည် CSV နှင့် Parquet ဖိုင်များမှ တိုက်ရိုက်မေးမြန်းချက်များစွာကို တစ်ပြိုင်နက်လုပ်ဆောင်ခြင်းကို ပံ့ပိုးပေးသည်။ PostgreSQL DBMS မှတင်သွင်းရန်ဖြစ်နိုင်သည်။

SQLite မှ shell code အပြင်၊ ပရောဂျက်သည် သီးခြားစာကြည့်တိုက်တစ်ခုရှိ PostgreSQL မှ parser တစ်ခု၊ MonetDB မှ Date Math အစိတ်အပိုင်း၊ ၎င်း၏ကိုယ်ပိုင် window functions (Segment Tree Aggregation algorithm ကိုအခြေခံ၍) ကိုအခြေခံသည့် ပုံမှန် expression processor ကို အသုံးပြုပါသည်။ RE2 စာကြည့်တိုက်၊ ၎င်း၏ကိုယ်ပိုင် query optimizer နှင့် MVCC ထိန်းချုပ်မှုယန္တရား (Multi-Version Concurrency Control) နှင့် လုပ်ငန်းဆောင်တာများကို တပြိုင်နက်တည်း လုပ်ဆောင်ခြင်းအပြင် Hyper-Pipelining Query Execution algorithm ကိုအခြေခံ၍ တန်ဖိုးအစုံအလင်ကို အခြေခံထားသော vectorized query execution engine ၊ လည်ပတ်မှုတစ်ခုတွင် တစ်ကြိမ်တည်း လုပ်ဆောင်ရန်။

အသစ်ထွက်ရှိထားသော အပြောင်းအလဲများထဲတွင်-

• သိုလှောင်မှုပုံစံကို မြှင့်တင်ရန် ဆက်လက်လုပ်ဆောင်သည်။ အပြုသဘောဆောင်သော ဒစ်ခ်စာရေးမုဒ်ကို အကောင်အထည် ဖော်ထားပြီး၊ ငွေပေးငွေယူတစ်ခုတွင် ဒေတာအစုအဝေးကြီးကို တင်သည့်အခါ၊ ဒေတာများကို COMMIT အမိန့်ဖြင့် အတည်ပြုရန် မစောင့်ဆိုင်းဘဲ ဒေတာဘေ့စ်မှ ဖိုင်တစ်ခုသို့ ချုံ့ပြီး ဖိုင်တစ်ခုသို့ ချုံ့ပြီး စာရေးလိုက်ပါသည်။ . COMMIT အမိန့်ကို လက်ခံရရှိသောအခါ၊ ဒေတာကို ဒစ်ခ်တွင် ရေးသားထားပြီး၊ ROLLBACK ကို လုပ်ဆောင်သည့်အခါ၊ ၎င်းကို စွန့်ပစ်မည်ဖြစ်သည်။ ယခင်က၊ ဒေတာကို အစပိုင်းတွင် မန်မိုရီတွင် လုံးလုံးလျားလျား သိမ်းဆည်းခဲ့ပြီး ကျူးလွန်သောအခါတွင် ၎င်းကို ဒစ်ခ်တွင် သိမ်းဆည်းခဲ့သည်။
• Multi-core စနစ်များတွင် ဒေတာကို သီးခြားဇယားများထဲသို့ အပြိုင်တင်ခြင်းအတွက် ပံ့ပိုးမှု ထပ်လောင်းထည့်သွင်းထားသည်။ ဥပမာအားဖြင့်၊ ယခင်ထုတ်လွှတ်မှုတွင် 150-core CPU တွင် အတန်းပေါင်း သန်း 10 ပါသော ဒေတာဘေ့စ်ကို တင်ရာတွင် 91 စက္ကန့်ကြာသော်လည်း ဗားရှင်းအသစ်တွင် ဤလုပ်ဆောင်ချက်သည် 17 စက္ကန့်အတွင်း ပြီးဆုံးပါသည်။ အပြိုင်တင်ခြင်းမုဒ်နှစ်ခုရှိသည် - မှတ်တမ်းများ၏အစီအစဥ်ကိုထိန်းသိမ်းခြင်းနှင့်အမိန့်ကိုထိန်းသိမ်းခြင်းမရှိဘဲ။
• ဒေတာချုံ့ခြင်းအတွက်၊ FSST (Fast Static Symbol Table) အယ်လဂိုရီသမ်ကို အသုံးပြုပြီး ပုံမှန်ကိုက်ညီမှုရှိသော အဘိဓာန်များကို အသုံးပြု၍ စာကြောင်းများအတွင်းဒေတာများကို ထုပ်ပိုးနိုင်စေပါသည်။ အယ်လဂိုရီသမ်အသစ်ကို အသုံးပြုခြင်းဖြင့် စမ်းသပ်ဒေတာဘေ့စ်၏အရွယ်အစားကို 761MB မှ 251MB သို့ လျှော့ချနိုင်စေခဲ့သည်။
• Chimp နှင့် Patas algorithms သည် Floating Point နံပါတ်များ (DOUBLE နှင့် FLOAT) ကို ချုံ့ရန် အဆိုပြုထားသည်။ ယခင် Gorillas algorithm နှင့် နှိုင်းယှဉ်ပါက Chimp သည် ပိုမိုမြင့်မားသော compression နှင့် decompression ကိုပိုမိုမြန်ဆန်စေသည်။ Patas algorithm သည် compression ratio တွင် Chimp ၏နောက်တွင် နောက်ကျနေသော်လည်း၊ ချုံ့မထားသော data များကိုဖတ်ခြင်းနှင့်မတူသလောက်ဖြစ်သည့် decompression speed တွင်ပိုမိုမြန်ဆန်ပါသည်။
• CSV ဖိုင်များမှ ဒေတာများကို အပြိုင်စီးကြောင်းများစွာ (SET experimental_parallel_csv=true) သို့ CSV ဖိုင်ကြီးများတင်ရန် လိုအပ်သည့်အချိန်ကို သိသာစွာ လျှော့ချနိုင်သည့် စမ်းသပ်စွမ်းရည်ကို ပေါင်းထည့်ထားသည်။ ဥပမာအားဖြင့်၊ ဤရွေးချယ်မှုကို ဖွင့်ထားသောအခါ၊ 720 MB CSV ဖိုင်အတွက် ဒေါင်းလုဒ်အချိန်ကို 3.5 မှ 0.6 စက္ကန့်သို့ လျှော့ချခဲ့သည်။
• အညွှန်းဖန်တီးမှုနှင့် စီမံခန့်ခွဲမှုဆိုင်ရာ လုပ်ငန်းများ အပြိုင်လုပ်ဆောင်နိုင်ခြေကို အကောင်အထည်ဖော်ပြီးဖြစ်သည်။ ဥပမာအားဖြင့်၊ မှတ်တမ်းပေါင်း 16 သန်းရှိသော ကော်လံတစ်ခုပေါ်တွင် CREATE INDEX လုပ်ဆောင်ချက်ကို 5.92 မှ 1.38 စက္ကန့်သို့ လျှော့ချခဲ့သည်။
• “COUNT(DISTINCT col)” ဟူသော စကားရပ်ပါရှိသော မေးမြန်းချက်များတွင် ပေါင်းစပ်လုပ်ဆောင်မှုများကို အပြိုင်လုပ်ဆောင်မှုကို ဖွင့်ထားသည်။
• SQL သည် အမျိုးအစားများစွာကို ဒြပ်စင်တစ်ခုသို့ ချည်နှောင်နိုင်စေသည့် UNION အမျိုးအစားအတွက် ပံ့ပိုးမှု ထပ်လောင်းပေးသည် (ဥပမာ၊ "UNION(num INT၊ အမှား VARCHAR))")။
• SQL သည် "SELECT" အစား "FROM" ဖြင့် အစပြုသော မေးခွန်းများ ဖွဲ့စည်းနိုင်စေပါသည်။ ဤကိစ္စတွင်၊ မေးခွန်းသည် "SELECT *" ဖြင့် စတင်သည်ဟု ယူဆပါသည်။
• SQL သည် စကားရပ်ကို ပွားစရာမလိုဘဲ ကော်လံအများအပြားတွင် လုပ်ဆောင်ချက်တစ်ခု လုပ်ဆောင်နိုင်စေမည့် COLUMNS စကားရပ်အတွက် အထောက်အပံ့ကို ပေါင်းထည့်ထားသည်။ ဥပမာအားဖြင့်၊ obs မှ “SELECT MIN(COLUMNS(*))) obs ဇယားရှိ ကော်လံတစ်ခုစီအတွက် MIN လုပ်ဆောင်ချက်ကို လုပ်ဆောင်စေမည်ဖြစ်ပြီး "SELECT COLUMNS('val[0-9]+') မှ obs;" "val" နှင့် နံပါတ်များပါရှိသော အမည်တစ်ခုရှိသော ကော်လံများအတွက်။
• စာရင်းများတွင် လုပ်ဆောင်ချက်များအတွက် ပံ့ပိုးမှု ထပ်လောင်းထည့်ထားသည်၊ ဥပမာ၊ “SELECT [x + 1 for x [1၊ 2၊ 3]] AS l;”။
• မှတ်ဉာဏ်သုံးစွဲမှုကို အကောင်းဆုံးဖြစ်အောင် ပြုလုပ်ထားပါသည်။ ပုံမှန်အားဖြင့်၊ Linux ပလပ်ဖောင်းသည် မှတ်ဉာဏ်စီမံခန့်ခွဲမှုအတွက် jemalloc စာကြည့်တိုက်ကို အသုံးပြုသည်။ မမ်မိုရီကို ကန့်သတ်ထားသည့်အခါ hash ပေါင်းစပ်လုပ်ဆောင်မှုများ၏ စွမ်းဆောင်ရည်ကို သိသာစွာ မြှင့်တင်ထားသည်။
• ".mode duckbox" အထွက်မုဒ်ကို ထည့်သွင်းပြီး အလယ်ကော်လံများကို တာမီနယ်ဝင်းဒိုး၏ အကျယ်ကို ထည့်သွင်းစဉ်းစားခြင်း (“SELECT * ကဲ့သို့သော ကော်လံအများအပြားဖြင့် စုံစမ်းမှုများ၏ရလဒ်များကို လျင်မြန်စွာ အမြင်အာရုံဖြင့် အကဲဖြတ်ရန်အတွက် သင့်လျော်သည်။ tbl မှ၊ ပုံမှန်မုဒ်တွင် လိုင်းများစွာပေါ်တွင် ပျံ့နှံ့နေသည်)။ “.maxrows X” ပါရာမီတာကို အသုံးပြု၍ ပြသထားသော အတန်းအရေအတွက်ကို ထပ်မံကန့်သတ်နိုင်သည်။
• CLI သည် အကြောင်းအရာကို ထည့်သွင်းစဉ်းစားပြီး အလိုအလျောက်ဖြည့်သွင်းမှုကို ပံ့ပိုးပေးသည် (သော့ချက်စာလုံးများ၊ ဇယားအမည်များ၊ လုပ်ဆောင်ချက်များ၊ ကော်လံအမည်များနှင့် ဖိုင်အမည်များ ပြီးမြောက်သည်)။
• CLI တွင် ပုံမှန်အားဖြင့် ဖွင့်ထားသည့် မေးခွန်းတိုးတက်မှု အညွှန်းတစ်ခု ရှိသည်။

source: opennet.ru