Micron open sourced HSE သိုလှောင်မှုအင်ဂျင် SSD အတွက် အကောင်းဆုံးပြုလုပ်ထားသည်။

Micron Technology သည် DRAM နှင့် flash memory ကုမ္ပဏီ၊ တင်ဆက် သိုလှောင်မှုအင်ဂျင်အသစ် HSE (Heterogeneous-memory Storage Engine)၊ NAND flash (X100, TLC, QLC 3D NAND) သို့မဟုတ် အမြဲတမ်းမှတ်ဉာဏ် (NVDIMM) ကို အခြေခံ၍ SSD drive များတွင် အသုံးပြုမှုဆိုင်ရာ တိကျချက်များကို ထည့်သွင်းစဉ်းစား၍ ဒီဇိုင်းထုတ်ထားသည်။ အင်ဂျင်ကို အခြားအပလီကေးရှင်းများထဲသို့ ထည့်သွင်းရန်အတွက် စာကြည့်တိုက်တစ်ခုအဖြစ် ဒီဇိုင်းထုတ်ထားပြီး ဒေတာကို သော့တန်ဖိုးဖော်မတ်ဖြင့် လုပ်ဆောင်ခြင်းကို ပံ့ပိုးပေးပါသည်။ HSE ကုဒ်ကို C နဲ့ရေးထားတယ်။ ဖြန့်ဝေသည် Apache 2.0 အောက်တွင် လိုင်စင်ရထားသည်။

အင်ဂျင်အသုံးပြုမှုနယ်ပယ်များတွင် NoSQL DBMS တွင် အဆင့်နိမ့်ဒေတာသိုလှောင်မှု၊ Ceph နှင့် Scality RING ကဲ့သို့သော ဆော့ဖ်ဝဲလ်သိုလှောင်မှု (SDS၊ Software-Defined Storage)၊ ဒေတာအများအပြားကို စီမံဆောင်ရွက်ပေးသည့် ပလပ်ဖောင်းများအကြောင်း ဖော်ပြထားပါသည်။ စွမ်းဆောင်ရည်မြင့် ကွန်ပြူတာစနစ်များ (HPC)၊ အင်တာနက် ကိရိယာများ (IoT) နှင့် စက်သင်ယူမှု စနစ်များအတွက် ဖြေရှင်းချက်များ။

HSE သည် အမြင့်ဆုံးစွမ်းဆောင်ရည်အတွက်သာမက SSD အတန်းအစားအမျိုးမျိုးရှိ အသက်ရှည်မှုအတွက်လည်း အကောင်းဆုံးဖြစ်အောင် ပြုလုပ်ထားသည်။ မြင့်မားသောလည်ပတ်မှုအမြန်နှုန်းကို ဟိုက်ဘရစ်သိုလှောင်မှုပုံစံဖြင့် ရရှိသည် - အသက်ဆိုင်ဆုံးဒေတာကို RAM တွင် သိမ်းဆည်းထားပြီး၊ ဒရိုက်သို့ဝင်ရောက်နိုင်မှုအရေအတွက်ကို လျော့နည်းစေသည့် ပမာဏကို လျှော့ချပေးသည်။ အင်ဂျင်အသစ်ကို ပြင်ပပရောဂျက်များတွင် ပေါင်းစပ်ခြင်း၏ ဥပမာတစ်ခုအနေနှင့် ပြင်ဆင်သည် HSE ကိုအသုံးပြုရန် ဘာသာပြန်ထားသော စာရွက်စာတမ်းအသားပေး DBMS MongoDB ဗားရှင်း။

နည်းပညာအရ၊ HSE သည် နောက်ထပ် kernel module တစ်ခုအပေါ် အားကိုးသည်။ mpoolအခြေခံအားဖြင့် မတူညီသော စွမ်းဆောင်ရည်နှင့် တာရှည်ခံမှု လက္ခဏာများကို ရရှိစေနိုင်သည့် ၎င်းတို့၏ စွမ်းဆောင်ရည်များနှင့် အင်္ဂါရပ်များကို ထည့်သွင်းစဉ်းစားကာ Solid-state drives အတွက် အထူးပြုအရာဝတ္ထု သိုလှောင်မှု အင်တာဖေ့စ်ကို အကောင်အထည်ဖော်ပေးပါသည်။ Mpool သည် HSE ကဲ့သို့တစ်ချိန်တည်းတွင်ဖွင့်ထားသော Micron Technology ၏ဖွံ့ဖြိုးတိုးတက်မှုတစ်ခုလည်းဖြစ်သည်၊ သို့သော်လွတ်လပ်သောအခြေခံအဆောက်အဦပရောဂျက်အဖြစ်ခွဲခြားထားသည်။ Mpool က သုံးတယ်လို့ ယူဆတယ်။ မြဲမြံသောမှတ်ဉာဏ် и ဇုန်သိုလှောင်ရုံများသို့သော် လက်ရှိတွင် သမားရိုးကျ SSD များကိုသာ ထောက်ပံ့ပေးသည်။

ပက်ကေ့ခ်ျကို အသုံးပြု၍ စွမ်းဆောင်ရည် စမ်းသပ်ခြင်း။ YCSB (Yahoo Cloud Serving Benchmark) သည် 2 KB ဒေတာဘလောက်များကို လုပ်ဆောင်ခြင်းဖြင့် 1 TB သိုလှောင်မှုကို အသုံးပြုသောအခါ စွမ်းဆောင်ရည်သိသိသာသာ တိုးလာကြောင်း ပြသခဲ့သည်။ ဖတ်ရှုခြင်းနှင့် ရေးခြင်းဆိုင်ရာ လုပ်ဆောင်ချက်များကို တစ်ပြေးညီ ဖြန့်ဝေမှုဖြင့် စမ်းသပ်မှုတွင် အထူးသဖြင့် သိသာထင်ရှားသော စွမ်းဆောင်ရည် တိုးလာမှုကို တွေ့ရှိရသည်။

ဥပမာအားဖြင့်၊ HSE အင်ဂျင်ပါရှိသော MongoDB သည် ပုံမှန် WiredTiger အင်ဂျင်ဗားရှင်းထက် 8 ဆခန့် ပိုမြန်လာပြီး RocksDB DBMS သည် HSE အင်ဂျင်ထက် 6 ဆပိုမိုမြန်ဆန်သည်။ 95% ဖတ်ရှုခြင်းဆိုင်ရာ လုပ်ဆောင်ချက်များနှင့် 5% ပါဝင်သော လုပ်ဆောင်ချက်များကို ပြုပြင်မွမ်းမံခြင်း သို့မဟုတ် နောက်ဆက်တွဲ စမ်းသပ်မှုများ (စမ်းသပ်မှုများတွင် "B" နှင့် "D" တို့ပါ၀င်သော စမ်းသပ်မှုများတွင်လည်း ထူးကဲသောစွမ်းဆောင်ရည်ကို မြင်တွေ့နိုင်သည်။ ဖတ်ရှုခြင်းလုပ်ဆောင်မှုများသာပါဝင်သည့် Test C သည် ခန့်မှန်းခြေအားဖြင့် 40% အမြတ်ကိုပြသသည်။ RocksDB ကိုအခြေခံသည့်ဖြေရှင်းချက်နှင့်နှိုင်းယှဉ်ပါက SSD drives များ၏ရှင်သန်နိုင်မှုတိုးလာမှုသည် 7 ဆရှိသည်ဟုခန့်မှန်းရသည်။

HSE ၏အဓိကအင်္ဂါရပ်များ

• ဒေတာကို သော့/တန်ဖိုးဖော်မတ်ဖြင့် စီမံဆောင်ရွက်ပေးရန်အတွက် စံနှင့် တိုးချဲ့အော်ပရေတာများအတွက် ပံ့ပိုးမှု။
• လျှပ်တစ်ပြက်ရိုက်ချက်များဖန်တီးခြင်းမှတစ်ဆင့် သိုလှောင်မှုအချပ်များကို ခွဲထုတ်နိုင်မှုနှင့်အတူ ငွေပေးငွေယူများအတွက် အပြည့်အဝပံ့ပိုးမှုဖြင့် (လျှပ်တစ်ပြက်ဓာတ်ပုံများကို သိုလှောင်ရုံတစ်ခုတည်းတွင် သီးခြားစုဆောင်းမှုများကို ထိန်းသိမ်းရန်အတွက်လည်း အသုံးပြုနိုင်သည်။
• လျှပ်တစ်ပြက်ရိုက်ချက်အခြေခံကြည့်ရှုမှုများတွင် ဒေတာကိုဖြတ်ရန် ကာဆာများကို အသုံးပြုနိုင်ခြင်း။
• သိုလှောင်မှုတစ်ခုတည်းတွင် ရောနှောထားသော ဝန်အမျိုးအစားများအတွက် ဒေတာမော်ဒယ်ကို အကောင်းဆုံးဖြစ်အောင် ပြုလုပ်ထားသည်။
• သိုလှောင်မှုယုံကြည်စိတ်ချရမှုကို စီမံခန့်ခွဲရန်အတွက် လိုက်လျောညီထွေရှိသော ယန္တရားများ
• စိတ်ကြိုက်ပြင်ဆင်နိုင်သော ဒေတာစုစည်းမှုအစီအစဥ်များ (သိုလှောင်မှုတွင်ပါရှိသော မမ်မိုရီအမျိုးအစားအမျိုးမျိုးကို ဖြန့်ဝေခြင်း);
• မည်သည့်အပလီကေးရှင်းနှင့်မဆို ဒိုင်းနမစ်ချိတ်ဆက်နိုင်သော C API ပါသည့် စာကြည့်တိုက်တစ်ခု။
• ဒေတာ၏ terabytes နှင့် သိုလှောင်မှုတွင် သော့ဘီလီယံရာနှင့်ချီ၍ အတိုင်းအတာအထိ လုပ်နိုင်ခြင်း၊
• ထောင်ပေါင်းများစွာသော အပြိုင်လုပ်ငန်းများကို ထိရောက်စွာ စီမံဆောင်ရွက်ခြင်း၊
• စံအစားထိုးဖြေရှင်းချက်များနှင့် နှိုင်းယှဉ်ပါက အလုပ်ချိန်အမျိုးအစားအမျိုးမျိုးအတွက် ဖြတ်သန်းမှုတွင် သိသာထင်ရှားစွာ တိုးလာခြင်း၊ latency လျှော့ချခြင်းနှင့် ရေး/ဖတ်ခြင်း စွမ်းဆောင်ရည် တိုးလာခြင်း၊
• စွမ်းဆောင်ရည်နှင့် တာရှည်ခံမှုကို အကောင်းဆုံးဖြစ်အောင် သိုလှောင်မှုတစ်ခုတွင် မတူညီသော အတန်းအစားများ၏ SSD drives များကို အသုံးပြုနိုင်သည်။

source: opennet.ru