အလွန်ကြီးမားသောဒေတာကို စျေးသက်သက်သာသာနှင့် လျင်မြန်စွာ ရွှေ့ပြောင်းခြင်း၊ အပ်လုဒ်လုပ်ခြင်းနှင့် ပေါင်းစပ်နည်း။ pushdown optimization ဆိုတာဘာလဲ။

ကြီးမားတဲ့ ဒေတာလည်ပတ်မှုတိုင်းဟာ ကွန်ပြူတာ ပါဝါအများကြီး လိုအပ်ပါတယ်။ ဒေတာဘေ့စ်တစ်ခုမှ Hadoop သို့ ပုံမှန် ဒေတာရွှေ့ခြင်းသည် ရက်သတ္တပတ်များစွာ ကြာနိုင်သည် သို့မဟုတ် လေယာဉ်တောင်ပံတစ်ခုကဲ့သို့ ကုန်ကျစရိတ်များစွာ ကုန်ကျနိုင်သည်။ စောင့်ပြီး ပိုက်ဆံမသုံးချင်ဘူးလား? မတူညီသောပလက်ဖောင်းများတစ်လျှောက် ဝန်ကိုချိန်ခွင်လျှာညှိပါ။ နည်းလမ်းတစ်ခုမှာ pushdown optimization ဖြစ်သည်။

Informatica ထုတ်ကုန်များ ဖွံ့ဖြိုးတိုးတက်ရေးနှင့် စီမံခန့်ခွဲရေးဆိုင်ရာ ရုရှား၏ ထိပ်တန်းသင်တန်းဆရာ Alexey Ananyev အား Informatica Big Data Management (BDM) တွင် တွန်းအားပေးသည့် ပိုမိုကောင်းမွန်အောင် လုပ်ဆောင်နိုင်သည့် လုပ်ဆောင်ချက်အကြောင်း ဆွေးနွေးရန် တောင်းဆိုခဲ့သည်။ Informatica ထုတ်ကုန်များနှင့် အလုပ်လုပ်ရန် သင်ယူဖူးပါသလား။ ဖြစ်နိုင်သည်မှာ၊ PowerCenter ၏ အခြေခံများကို သင့်အား ပြောပြပြီး မြေပုံဆွဲနည်းကို ရှင်းပြပေးသည့် Alexey ဖြစ်သည်။

DIS Group မှ လေ့ကျင့်ရေးမှူး Alexey Ananyev

တွန်းချခြင်းဟူသည် အဘယ်နည်း။

တော်တော်များများက Informatica Big Data Management (BDM) နဲ့ ရင်းနှီးပြီးသားပါ။ ထုတ်ကုန်သည် မတူညီသော အရင်းအမြစ်များမှ ကြီးမားသောဒေတာကို ပေါင်းစပ်နိုင်ပြီး မတူညီသောစနစ်များကြားတွင် ရွှေ့ပြောင်းနိုင်ပြီး ၎င်းကို လွယ်ကူစွာ ဝင်ရောက်နိုင်စေရန်၊ သင့်အား ပရိုဖိုင်ပြုလုပ်နိုင်စေခြင်းနှင့် အခြားအရာများစွာကို လုပ်ဆောင်နိုင်သည်။
မှန်ကန်သောလက်ထဲတွင် BDM သည် အံ့ဩစရာများကို လုပ်ဆောင်နိုင်သည်- အလုပ်များကို လျင်မြန်စွာနှင့် အနည်းငယ်မျှသော ကွန်ပျူတာအရင်းအမြစ်များဖြင့် ပြီးမြောက်မည်ဖြစ်သည်။

မင်းလည်း အဲဒါကို လိုချင်သလား။ မတူညီသောပလက်ဖောင်းများတစ်လျှောက် ကွန်ပျူတာဝန်ကိုဖြန့်ဝေရန်အတွက် BDM တွင် pushdown အင်္ဂါရပ်ကိုအသုံးပြုရန် လေ့လာပါ။ Pushdown နည်းပညာသည် သင့်အား မြေပုံဆွဲခြင်းကို ဇာတ်ညွှန်းတစ်ခုအဖြစ် ပြောင်းလဲစေပြီး ဤ script လည်ပတ်မည့် ပတ်ဝန်းကျင်ကို ရွေးချယ်နိုင်စေပါသည်။ ဤရွေးချယ်မှုသည် သင့်အား မတူညီသောပလက်ဖောင်းများ၏ အားသာချက်များကို ပေါင်းစပ်စေပြီး ၎င်းတို့၏ အမြင့်ဆုံးစွမ်းဆောင်ရည်ကို ရရှိစေသည်။

script execution environment ကို configure လုပ်ရန်၊ pushdown type ကို ရွေးချယ်ရန် လိုအပ်သည်။ ဇာတ်ညွှန်းကို Hadoop တွင် လုံးလုံးလျားလျား လုပ်ဆောင်နိုင်သည် သို့မဟုတ် အရင်းအမြစ်နှင့် sink အကြား တစ်စိတ်တစ်ပိုင်း ဖြန့်ဝေနိုင်သည်။ ဖြစ်နိုင်ချေ 4 မျိုးရှိသည်။ မြေပုံဆွဲခြင်းကို ဇာတ်ညွှန်း (ဇာတိ) အဖြစ်သို့ ပြောင်းလဲရန် မလိုအပ်ပါ။ မြေပုံဆွဲခြင်းကို အရင်းအမြစ် (အရင်းအမြစ်) သို့မဟုတ် အရင်းအမြစ် (အပြည့်အစုံ) ပေါ်တွင် တတ်နိုင်သမျှ လုပ်ဆောင်နိုင်သည်။ မြေပုံဆွဲခြင်းကို Hadoop script (တစ်ခုမျှ) အဖြစ်သို့ ပြောင်းလဲနိုင်သည်။

Pushdown optimization

ဖော်ပြထားသော အမျိုးအစား ၄ မျိုးအား မတူညီသောနည်းလမ်းများဖြင့် ပေါင်းစပ်နိုင်သည် - စနစ်၏ သီးခြားလိုအပ်ချက်များအတွက် တွန်းချခြင်းကို အကောင်းဆုံးဖြစ်အောင် ပြုလုပ်နိုင်သည်။ ဥပမာအားဖြင့်၊ ၎င်း၏ကိုယ်ပိုင်စွမ်းရည်များကို အသုံးပြု၍ ဒေတာဘေ့စ်တစ်ခုမှဒေတာကို မကြာခဏထုတ်ယူခြင်းသည် ပို၍သင့်လျော်သည်။ ဒေတာဘေ့စ်ကိုယ်နှိုက်ကို overload မလုပ်မိစေရန် Hadoop ကို အသုံးပြု၍ ဒေတာကို ပြောင်းလဲပါမည်။

အရင်းအမြစ်နှင့် ဦးတည်ရာ နှစ်ခုစလုံးသည် ဒေတာဘေ့စ်တွင် ရှိနေသည့်အခါ၊ အသွင်ကူးပြောင်းရေး လုပ်ဆောင်မှု ပလတ်ဖောင်းကို ရွေးချယ်နိုင်သည်- ဆက်တင်များပေါ်မူတည်၍ ၎င်းသည် Informatica၊ ဒေတာဘေ့စ်ဆာဗာ သို့မဟုတ် Hadoop ဖြစ်လိမ့်မည်။ ဤကဲ့သို့သောဥပမာတစ်ခုသည် ဤယန္တရား၏လည်ပတ်မှု၏နည်းပညာပိုင်းဆိုင်ရာဘက်ခြမ်းကိုအတိကျဆုံးနားလည်နိုင်စေမည်ဖြစ်သည်။ သဘာဝအားဖြင့်၊ လက်တွေ့ဘဝတွင်၊ ဤအခြေအနေသည် ဖြစ်ပေါ်လာခြင်းမရှိသော်လည်း ၎င်းသည် လုပ်ဆောင်နိုင်စွမ်းကို ပြသရန်အတွက် အကောင်းဆုံးဖြစ်သည်။

Oracle ဒေတာဘေ့စ်တစ်ခုတည်းတွင် ဇယားနှစ်ခုဖတ်ရန် မြေပုံဆွဲကြည့်ကြပါစို့။ ဖတ်ရှုခြင်းရလဒ်များကို တူညီသောဒေတာဘေ့စ်ရှိ ဇယားတစ်ခုတွင် မှတ်တမ်းတင်ထားပါစေ။ မြေပုံရေးဆွဲခြင်းအစီအစဥ်သည် ဤကဲ့သို့ဖြစ်လိမ့်မည်-

Informatica BDM 10.2.1 တွင် မြေပုံဆွဲခြင်းပုံစံဖြင့် ၎င်းသည် ဤကဲ့သို့ ဖြစ်သည်-

Pushdown အမျိုးအစား - မူရင်း

ကျွန်ုပ်တို့သည် pushdown ဇာတိအမျိုးအစားကိုရွေးချယ်ပါက၊ ထို့နောက် Informatica ဆာဗာတွင် မြေပုံဆွဲခြင်းကို လုပ်ဆောင်ပါမည်။ ဒေတာများကို Oracle ဆာဗာမှဖတ်ရှုမည်ဖြစ်ပြီး Informatica ဆာဗာသို့ လွှဲပြောင်းကာ ထိုနေရာတွင် အသွင်ပြောင်းကာ Hadoop သို့ လွှဲပြောင်းပေးမည်ဖြစ်သည်။ တစ်နည်းအားဖြင့်၊ ကျွန်ုပ်တို့သည် ပုံမှန် ETL လုပ်ငန်းစဉ်ကို ရရှိမည်ဖြစ်သည်။

Pushdown အမျိုးအစား - အရင်းအမြစ်

အရင်းအမြစ် အမျိုးအစားကို ရွေးချယ်သောအခါ၊ ကျွန်ုပ်တို့သည် ဒေတာဘေ့စ်ဆာဗာ (DB) နှင့် Hadoop အကြား ကျွန်ုပ်တို့၏ လုပ်ငန်းစဉ်များကို ဖြန့်ဝေရန် အခွင့်အရေး ရရှိပါသည်။ လုပ်ငန်းစဉ်တစ်ခုကို ဤဆက်တင်ဖြင့် လုပ်ဆောင်သောအခါ၊ ဇယားများမှ ဒေတာများကို ပြန်လည်ရယူရန် တောင်းဆိုချက်များကို ဒေတာဘေ့စ်သို့ ပေးပို့မည်ဖြစ်သည်။ ကျန်တာတွေကို Hadoop မှာ အဆင့်လိုက်ပုံစံနဲ့ လုပ်ဆောင်သွားမှာပါ။
အကောင်အထည်ဖော်မှု ပုံကြမ်းသည် ဤကဲ့သို့ ဖြစ်နေလိမ့်မည်-

အောက်တွင် runtime ပတ် ၀ န်းကျင်ကိုသတ်မှတ်ခြင်း၏ဥပမာတစ်ခုဖြစ်သည်။

ဤကိစ္စတွင်၊ မြေပုံဆွဲခြင်းကို အဆင့်နှစ်ဆင့်ဖြင့် လုပ်ဆောင်မည်ဖြစ်သည်။ ၎င်း၏ဆက်တင်များတွင် ၎င်းသည် အရင်းအမြစ်သို့ ပေးပို့မည့် script တစ်ခုအဖြစ်သို့ ပြောင်းလဲသွားသည်ကို ကျွန်ုပ်တို့တွေ့ရပါမည်။ ထို့အပြင်၊ ဇယားများ ပေါင်းစပ်ခြင်းနှင့် ဒေတာအသွင်ပြောင်းခြင်းကို အရင်းအမြစ်အပေါ် လွှမ်းမိုးထားသော မေးမြန်းမှုပုံစံဖြင့် လုပ်ဆောင်မည်ဖြစ်သည်။
အောက်ဖော်ပြပါပုံတွင်၊ BDM တွင် အကောင်းမွန်ဆုံး မြေပုံဆွဲခြင်းနှင့် အရင်းအမြစ်အပေါ် ပြန်လည်သတ်မှတ်ထားသော မေးခွန်းကို ကျွန်ုပ်တို့တွေ့မြင်ရသည်။

ဤဖွဲ့စည်းပုံတွင် Hadoop ၏ အခန်းကဏ္ဍသည် ဒေတာစီးဆင်းမှုကို စီမံခန့်ခွဲခြင်း - ၎င်းကို စီမံကွပ်ကဲခြင်းတွင် လျှော့ချသွားမည်ဖြစ်သည်။ မေးခွန်း၏ရလဒ်ကို Hadoop သို့ပေးပို့လိမ့်မည်။ စာဖတ်ခြင်းပြီးသည်နှင့် Hadoop မှဖိုင်ကိုရေကန်ထဲသို့စာရေးလိမ့်မည်။

Pushdown အမျိုးအစား - အပြည့်အစုံ

အမျိုးအစား အပြည့်အစုံကို သင်ရွေးချယ်သောအခါ၊ မြေပုံဆွဲခြင်းသည် ဒေတာဘေ့စ်မေးမြန်းမှုအဖြစ် လုံးဝပြောင်းလဲသွားမည်ဖြစ်သည်။ တောင်းဆိုချက်၏ရလဒ်ကို Hadoop သို့ပေးပို့လိမ့်မည်။ ထိုသို့သောလုပ်ငန်းစဉ်၏ ပုံကြမ်းကို အောက်တွင်ဖော်ပြထားသည်။

နမူနာ setup ကို အောက်မှာ ပြထားပါတယ်။

ရလဒ်အနေဖြင့်၊ ယခင်တစ်ခုနှင့်ဆင်တူသော အကောင်းဆုံးပြင်ဆင်ထားသောမြေပုံကို ကျွန်ုပ်တို့ရရှိပါမည်။ တစ်ခုတည်းသော ခြားနားချက်မှာ ယုတ္တိဗေဒ အားလုံးကို ၎င်း၏ ထည့်သွင်းမှုကို ကျော်လွန်သည့် ပုံစံဖြင့် လက်ခံသူထံ လွှဲပြောင်းပေးခြင်းဖြစ်သည်။ ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ထားသောမြေပုံ၏ဥပမာကို အောက်တွင်တင်ပြထားပါသည်။

ဤတွင်၊ ယခင်ကိစ္စများတွင်ကဲ့သို့၊ Hadoop သည်စပယ်ယာ၏အခန်းကဏ္ဍဖြစ်သည်။ သို့သော် ဤနေရာတွင် ရင်းမြစ်ကို လုံးလုံးလျားလျား ဖတ်ပြပြီး၊ ထို့နောက် ဒေတာလုပ်ဆောင်ခြင်း ယုတ္တိဗေဒကို လက်ခံသူအဆင့်တွင် လုပ်ဆောင်ပါသည်။

Pushdown အမျိုးအစားသည် null ဖြစ်သည်။

ကောင်းပြီ၊ နောက်ဆုံးရွေးချယ်မှုမှာ ကျွန်ုပ်တို့၏မြေပုံဆွဲခြင်းကို Hadoop script အဖြစ်ပြောင်းလဲစေမည့် pushdown အမျိုးအစားဖြစ်သည်။

ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ထားသောမြေပုံသည် ယခုဤကဲ့သို့ဖြစ်နေမည်-

ဤနေရာတွင် အရင်းအမြစ်ဖိုင်များမှ ဒေတာကို Hadoop တွင် ဦးစွာဖတ်ပါမည်။ ထို့နောက် သူ၏ကိုယ်ပိုင်နည်းလမ်းကို အသုံးပြု၍ ဤဖိုင်နှစ်ခုကို ပေါင်းစပ်မည်ဖြစ်သည်။ အဲဒီနောက်မှာတော့ ဒေတာတွေကို ဒေတာဘေ့စ်ထဲကို ပြောင်းပြီး အပ်လုဒ်လုပ်ပါလိမ့်မယ်။

pushdown optimization ၏မူများကို နားလည်ခြင်းဖြင့်၊ သင်သည် ဒေတာကြီးကြီးမားမားဖြင့် လုပ်ဆောင်ရန်အတွက် လုပ်ငန်းစဉ်များစွာကို ထိရောက်စွာ စုစည်းနိုင်သည်။ ထို့ကြောင့် မကြာသေးမီက ကုမ္ပဏီကြီးတစ်ခုသည် နှစ်အတော်ကြာ စုဆောင်းထားခဲ့သော Hadoop သို့ သိုလှောင်မှုမှ ဒေတာကြီးများကို ရက်သတ္တပတ်အနည်းငယ်အတွင်း ဒေါင်းလုဒ်လုပ်ခဲ့သည်။

source: www.habr.com