ဒေတာဘေ့စ်များတွင် လုပ်ဆောင်နိုင်သော မှီခိုမှုများကို ထိရောက်စွာ ရှာဖွေပါ။

ဒေတာခွဲခြမ်းစိတ်ဖြာမှု၏ အမျိုးမျိုးသော နယ်ပယ်များတွင် လုပ်ဆောင်နိုင်သော မှီခိုမှုများအား ရှာဖွေခြင်း- ဒေတာဘေ့စ်စီမံခန့်ခွဲမှု၊ ဒေတာရှင်းလင်းခြင်း၊ ဒေတာဘေ့စ်ပြောင်းပြန်အင်ဂျင်နီယာနှင့် ဒေတာရှာဖွေရေးတို့ကို အသုံးပြုသည်။ မှီခိုမှုများအကြောင်း ကျွန်ုပ်တို့ကိုယ်တိုင် ထုတ်ပြန်ထားပြီးဖြစ်သည်။ ဆောင်းပါး Anastasia Birillo နှင့် Nikita Bobrov ။ ယခုနှစ်ကွန်ပြူတာသိပ္ပံဌာနမှဘွဲ့ရတစ်ဦးဖြစ်သည့် Anastasia သည် ယခုတစ်ကြိမ်တွင် စင်တာတွင်သူမကာကွယ်ပေးခဲ့သော သုတေသနလုပ်ငန်း၏တစ်စိတ်တစ်ပိုင်းအနေဖြင့် ဤလုပ်ငန်း၏ဖွံ့ဖြိုးတိုးတက်မှုကို မျှဝေပါသည်။

အလုပ်ရွေးချယ်မှု

CS စင်တာတွင် လေ့လာနေစဉ်၊ အနက်အဓိပ္ပါယ်မှာ၊ အလုပ်လုပ်ပုံနှင့် ခြားနားသော မှီခိုမှုများအတွက် ရှာဖွေခြင်း ဒေတာဘေ့စ်များကို နက်ရှိုင်းစွာ စတင်လေ့လာခဲ့သည်။ ဤအကြောင်းအရာသည် တက္ကသိုလ်ရှိ ကျွန်ုပ်၏ သင်ရိုးညွှန်းတမ်း ခေါင်းစဉ်နှင့် ဆက်စပ်နေသောကြောင့် သင်တန်းကို လုပ်ဆောင်နေစဉ်တွင် databases တွင် မှီခိုမှုအမျိုးမျိုးအကြောင်း ဆောင်းပါးများကို စတင်ဖတ်ရှုခဲ့ပါသည်။ ဤနယ်ပယ်ကို ပြန်လည်သုံးသပ်ရေးသားခဲ့သည် - ကျွန်ုပ်၏ ပထမဆုံးသော တစ်ခုဖြစ်သည်။ ဆောင်းပါးများ အင်္ဂလိပ်ဘာသာဖြင့် SEIM-2017 ညီလာခံသို့ တင်သွင်းခဲ့သည်။ သူမကို လက်ခံကြောင်း သိလိုက်ရတော့ အရမ်းပျော်သွားပြီး အကြောင်းအရာကို လေးလေးနက်နက် စဉ်းစားဖို့ ဆုံးဖြတ်လိုက်တယ်။ အယူအဆကိုယ်တိုင်က အသစ်အဆန်းမဟုတ်ပါ - 90s များတွင် စတင်အသုံးပြုခဲ့သော်လည်း ယခုအခါ နယ်ပယ်များစွာတွင် အသုံးပြုနေပြီဖြစ်သည်။

စင်တာတွင်ကျွန်ုပ်၏ဒုတိယစာသင်ကာလတွင်၊ ကျွန်ုပ်သည် functional dependencies ကိုရှာဖွေရန်အတွက် algorithms ကိုတိုးတက်စေရန်အတွက်သုတေသနပရောဂျက်တစ်ခုကိုစတင်ခဲ့သည်။ JetBrains Research မှ စိန့်ပီတာစဘတ်ပြည်နယ် တက္ကသိုလ်မှ ဘွဲ့ရကျောင်းသား Nikita Bobrov နှင့် တွဲလုပ်ခဲ့သည်။

လုပ်ငန်းဆိုင်ရာ မှီခိုမှုများကို ရှာဖွေရာတွင် တွက်ချက်မှုဆိုင်ရာ ရှုပ်ထွေးမှု

အဓိကပြဿနာမှာ တွက်ချက်မှုဆိုင်ရာ ရှုပ်ထွေးမှုဖြစ်သည်။ ဖြစ်နိုင်ချေ အနည်းဆုံးနှင့် အသေးအဖွဲမဟုတ်သော မှီခိုမှုအရေအတွက်ကို တန်ဖိုးအားဖြင့် အထက်တွင် ကန့်သတ်ထားသည်။ ဘယ်မှာ - ဇယားအရည်အသွေးများ။ algorithms ၏လည်ပတ်ချိန်သည် attribute အရေအတွက်ပေါ်တွင်သာမက အတန်းအရေအတွက်ပေါ်တွင်လည်းမူတည်သည်။ 90 ခုနှစ်များတွင် ပြည်ထောင်စုဥပဒေရှာဖွေရေး အယ်လဂိုရီသမ်များ သည် ပုံမှန် desktop PC တွင် ရည်ညွှန်းချက် 20 အထိနှင့် အတန်းထောင်ပေါင်းများစွာ ပါဝင်သော ဒေတာအတွဲများကို နာရီပေါင်းများစွာအထိ လုပ်ဆောင်နိုင်သည်။ Multi-core ပရိုဆက်ဆာများပေါ်တွင် လုပ်ဆောင်နေသည့် ခေတ်မီ အယ်လဂိုရီသမ်များသည် တူညီသောအချိန်၌ ရာနှင့်ချီသော ရည်ညွှန်းချက်များ (200 အထိ) ပါဝင်သော ဒေတာအတွဲများအတွက် မှီခိုမှုကို ရှာဖွေတွေ့ရှိသည်။ သို့သော်၊ ၎င်းသည် မလုံလောက်ပါ- ဤအချိန်သည် လက်တွေ့ကမ္ဘာအသုံးချမှုအများစုအတွက် လက်မခံနိုင်ပါ။ ထို့ကြောင့် ကျွန်ုပ်တို့သည် ရှိပြီးသား algorithms များကို အရှိန်မြှင့်ရန် နည်းလမ်းများကို တီထွင်ခဲ့သည်။

အပိုင်းပိုင်းလမ်းဆုံများအတွက် သိမ်းဆည်းခြင်းအစီအစဉ်များ

အလုပ်၏ပထမအပိုင်းတွင်၊ partition လမ်းဆုံနည်းလမ်းကိုအသုံးပြုသည့် algorithms အတန်းများအတွက် ကက်ရှ်အစီအမံများကို တီထွင်ခဲ့သည်။ ရည်ညွှန်းချက်တစ်ခုအတွက် အပိုင်းတစ်ခုသည် စာရင်းများအစုတစ်ခုဖြစ်ပြီး၊ စာရင်းတစ်ခုစီတွင် ပေးထားသော အရည်အချင်းတစ်ခုအတွက် တူညီသောတန်ဖိုးများနှင့် လိုင်းနံပါတ်များပါရှိသည်။ ထိုသို့သောစာရင်းတစ်ခုစီကို အစုအဖွဲ့ဟုခေါ်သည်။ ခေတ်မီ အယ်လဂိုရီသမ်များစွာသည် မှီခိုမှုတစ်ခုအား ဆုပ်ကိုင်ထားခြင်း ရှိ၊ မရှိ ဆုံးဖြတ်ရန် အပိုင်းများကို အသုံးပြုသည်၊ အတိအကျပြောရလျှင်၊ ၎င်းတို့သည် လင်မာကို လိုက်နာသည်- မှီခိုမှု ကျင်းပမည်ဆိုပါက ... ဒီမှာ partition တစ်ခုကို သတ်မှတ်ပြီး partition size ၏ concept ကိုအသုံးပြုသည် - ၎င်းတွင်ရှိသော clusters အရေအတွက်။ ခွဲခန်းများကို အသုံးပြုသည့် အယ်လဂိုရီသမ်များ၊ မှီခိုမှုအား ချိုးဖောက်သည့်အခါ၊ မှီခိုမှု၏ ဘယ်ဘက်အခြမ်းတွင် အပိုဂုဏ်သတ္တိများကို ပေါင်းထည့်ကာ ၎င်းကို ပြန်လည်တွက်ချက်ကာ အပိုင်းခွဲများ၏ လမ်းဆုံကို လုပ်ဆောင်မှုကို လုပ်ဆောင်သည်။ ဤလုပ်ဆောင်ချက်ကို ဆောင်းပါးများတွင် အထူးပြုဟုခေါ်သည်။ သို့သော် အထူးပြုမှုအနည်းငယ်ပြုလုပ်ပြီးမှသာ ဆက်လက်ထိန်းသိမ်းထားမည့် မှီခိုမှုများအတွက် အပိုင်းခွဲများကို တက်ကြွစွာပြန်လည်အသုံးပြုနိုင်သည်ကို ကျွန်ုပ်တို့သတိပြုမိပြီး လမ်းဆုံလုပ်ဆောင်မှုမှာ စျေးကြီးသောကြောင့် algorithms ၏လည်ပတ်ချိန်ကို သိသိသာသာလျှော့ချနိုင်သည်ကို ကျွန်ုပ်တို့သတိပြုမိပါသည်။

ထို့ကြောင့်၊ ကျွန်ုပ်တို့သည် Shannon Entropy နှင့် Ginny Uncertainty တို့အပြင် Reverse Entropy ဟုခေါ်သော ကျွန်ုပ်တို့၏မက်ထရစ်အပေါ်အခြေခံသည့် တွေးခေါ်မှုတစ်ခုကို အဆိုပြုခဲ့သည်။ ၎င်းသည် Shannon Entropy ၏ အနည်းငယ်မွမ်းမံမှုဖြစ်ပြီး ဒေတာအစုံ၏ထူးခြားမှု တိုးလာသည်နှင့်အမျှ တိုးလာသည်။ အဆိုပြုထားသော heuristic မှာ အောက်ပါအတိုင်းဖြစ်သည်။

ဒါဟာဖြစ်ပါတယ် - မကြာသေးမီကတွက်ချက်ထားသော partition ၏ထူးခြားမှုအတိုင်းအတာ နှင့် တစ်ဦးချင်းစီ အရည်အချင်းများအတွက် ထူးခြားမှု ဒီဂရီများ၏ ပျမ်းမျှဖြစ်သည်။ အထက်တွင်ဖော်ပြထားသော မက်ထရစ်သုံးခုစလုံးကို ထူးခြားမှုမက်ထရစ်အဖြစ် စမ်းသပ်ထားသည်။ heuristic တွင် ပြုပြင်မွမ်းမံမှု နှစ်ခုရှိကြောင်းကိုလည်း သတိပြုမိနိုင်ပါသည်။ ပထမအချက်က လက်ရှိ partition သည် အဓိကသော့နှင့် မည်မျှနီးကပ်သည်ကို ညွှန်ပြပြီး ဖြစ်နိုင်ချေရှိသော သော့နှင့်ဝေးသော partitions များကို ပိုမိုအတိုင်းအတာအထိ ကက်ရှ်လုပ်ခွင့်ပြုသည်။ ဒုတိယမွမ်းမံမှုသည် သင့်အား ကက်ရှ်နေထိုင်မှုကို စောင့်ကြည့်ရန် ခွင့်ပြုပြီး နေရာလွတ်များရှိပါက ကက်ရှ်တွင် အပိုင်းခွဲများ ထပ်ထည့်ရန် အားပေးသည်။ ဤပြဿနာ၏အောင်မြင်သောဖြေရှင်းချက်သည် dataset ပေါ်မူတည်၍ PYRO algorithm ကို 10-40% အရှိန်မြှင့်နိုင်စေပါသည်။ PYRO algorithm သည် ဤနယ်ပယ်တွင် အအောင်မြင်ဆုံးဖြစ်သည်ကို သတိပြုသင့်သည်။

အောက်ပါပုံတွင် အခြေခံ coin-flip caching နည်းလမ်းနှင့် နှိုင်းယှဉ်ထားသော အဆိုပြုထားသော heuristic ကို ကျင့်သုံးခြင်း၏ ရလဒ်များကို သင်တွေ့မြင်နိုင်ပါသည်။ X ဝင်ရိုးသည် လော့ဂရစ်သမ်ဖြစ်သည်။

Partitions များကို သိမ်းဆည်းရန် အခြားနည်းလမ်းတစ်ခု

ထို့နောက် partitions များကိုသိမ်းဆည်းရန် အခြားနည်းလမ်းတစ်ခုကို အဆိုပြုခဲ့သည်။ Partitions များသည် အချို့သော attribute များအတွက် တူညီသောတန်ဖိုးများဖြင့် tuples နံပါတ်များကို သိမ်းဆည်းပေးသည့် အစုအဝေးတစ်ခုစီဖြစ်သည်။ ဤအစုအဝေးများသည် ဇယားတစ်ခုရှိဒေတာကို စီစဥ်ထားလျှင် ဥပမာ tuple နံပါတ်များ၏ ရှည်လျားသောနံပါတ်များပါ၀င်နိုင်သည်။ ထို့ကြောင့်၊ ကျွန်ုပ်တို့သည် partitions များကို သိမ်းဆည်းရန်အတွက် ချုံ့ခြင်းအစီအစဉ်ကို အဆိုပြုထားပါသည်။

$$display$$pi(X) = {{အောက်ခံဘောင်{1၊ 2၊ 3၊ 4၊ 5}_{ပထမကြားကာလ}၊ အောက်ခံဘောင်{7၊ 8}_{ဒုတိယကြားကာလ}၊ 10}}\ အောက်မြှား{ ဖိသိပ်မှု} \pi(X) = {{underbrace{$, 1, 5}_{First~interval}, underbrace{7, 8}_{Second~interval}, 10}}$$display$$

ဤနည်းလမ်းသည် TANE အယ်လဂိုရီသမ် လည်ပတ်စဉ်အတွင်း မှတ်ဉာဏ်သုံးစွဲမှုကို 1 မှ 25% အထိ လျှော့ချနိုင်ခဲ့သည်။ TANE algorithm သည် ဗဟိုဥပဒေများကို ရှာဖွေရန်အတွက် ဂန္ထဝင် အယ်လဂိုရီသမ်တစ်ခုဖြစ်ပြီး ၎င်းသည် ၎င်း၏လုပ်ငန်းအတွင်း အပိုင်းများကို အသုံးပြုသည်။ အလေ့အကျင့်၏တစ်စိတ်တစ်ပိုင်းအနေဖြင့်၊ အဆိုပြုထားသောချဉ်းကပ်မှုအလုပ်လုပ်ခြင်းရှိမရှိအကဲဖြတ်ရန်အတွက်၎င်းတွင်ကြားကာလသိုလှောင်မှုကိုအကောင်အထည်ဖော်ရန်ပိုမိုလွယ်ကူသောကြောင့် TANE အယ်လဂိုရီသမ်ကိုရွေးချယ်ခဲ့သည်။ ရရှိသောရလဒ်များကိုအောက်ပါပုံတွင်ဖော်ပြထားသည်။ X ဝင်ရိုးသည် လော့ဂရစ်သမ်ဖြစ်သည်။

ADBIS-2019 ညီလာခံ

သုတေသနရလဒ်များကို အခြေခံ၍ 2019 ခုနှစ် စက်တင်ဘာလတွင် ကျွန်ုပ်သည် ဆောင်းပါးတစ်ပုဒ်ကို ထုတ်ဝေခဲ့သည်။ ထိရောက်သော မှီခိုမှုရှာဖွေတွေ့ရှိမှုအတွက် စမတ် ကက်ချခြင်း 23rd European Conference on Advances in Databases and Information Systems (ADBIS-2019) တွင်။ တင်ဆက်မှုအတွင်း၊ ဒေတာဘေ့စ်နယ်ပယ်တွင် အရေးပါသူတစ်ဦးဖြစ်သည့် Bernhard Thalheim မှ အလုပ်အား မှတ်သားခဲ့သည်။ သုတေသနရလဒ်များသည် စိန့်ပီတာစဘတ်ပြည်နယ်တက္ကသိုလ်မှ သင်္ချာနှင့်စက်ပြင်မဟာဘွဲ့တွင် ကျွန်ုပ်၏ဒီပလိုမာစာတမ်းကိုအခြေခံ၍ အဆိုပြုထားသည့်ချဉ်းကပ်မှုများ (caching နှင့် compression) နှစ်ခုလုံးကို TANE နှင့် PYRO နှစ်မျိုးလုံးတွင် အကောင်အထည်ဖော်ခဲ့သည်။ တစ်ချိန်တည်းမှာပင်၊ ရလဒ်များက အဆိုပြုထားသော ချဉ်းကပ်မှုများသည် universal ဖြစ်သည်၊ အဘယ်ကြောင့်ဆိုသော် အယ်လဂိုရီသမ်နှစ်ခုလုံးတွင်၊ ချဉ်းကပ်မှုနှစ်ခုစလုံးဖြင့် မှတ်ဉာဏ်သုံးစွဲမှု သိသိသာသာ လျော့ကျသွားခြင်းအပြင် algorithms ၏ လည်ပတ်ချိန်ကို သိသာစွာ လျှော့ချခြင်းကိုလည်း တွေ့ရှိခဲ့သည်။

source: www.habr.com