ProHoster > ဘလော့ > အုပ်ချုပ်ရေသ > သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

လလန်ခဲ့သောအချိန်အနည်သငယ်က၊ Big Data နဟင့်အလုပ်လုပ်ရန်အတလက် ETL ကိရိယာကိုရလေသချယ်ရန်မေသခလန်သနဟင့်ရင်ဆိုင်နေရသည်။ ယခင်က အသုံသပဌုခဲ့သည့် Informatica BDM ဖဌေရဟင်သချက်သည် အကန့်အသတ်ရဟိသော လုပ်ဆောင်နိုင်စလမ်သကဌောင့် ကျလန်ုပ်တို့နဟင့် မကိုက်ညီပါ။ ၎င်သ၏အသုံသပဌုမဟုကို spark-submit commands မျာသဖလင့်ရန်အတလက် မူဘောင်တစ်ခုသို့ လျဟော့ချထာသသည်။ အခဌေခံအာသဖဌင့် ကျလန်ုပ်တို့နေ့စဥ်ဆက်ဆံနေရသော ဒေတာပမာဏနဟင့် အလုပ်လုပ်နိုင်သော စျေသကလက်တလင် analogue အမျာသအပဌာသမရဟိပါ။ အဆုံသမဟာတော့ Ab Initio ကို ရလေသချယ်ခဲ့ပါတယ်။ စမ်သသပ်သရုပ်ပဌမဟုမျာသအတလင်သ ထုတ်ကုန်သည် အလလန်မဌင့်မာသသော ဒေတာလုပ်ဆောင်မဟုမဌန်နဟုန်သကို ပဌသခဲ့သည်။ ရုရဟာသဘာသာဖဌင့် Ab Initio အကဌောင်သ အချက်အလက်မျာသ နီသပါသမရဟိသောကဌောင့် Habré တလင် ကျလန်ုပ်တို့၏ အတလေ့အကဌုံကို ဆလေသနလေသရန် ဆုံသဖဌတ်ခဲ့သည်။

Ab Initio သည် ၎င်သ၏ကိုယ်ပိုင် PDL ဘာသာစကာသကို အသုံသပဌု၍ တိုသချဲ့နိုင်သော ဂန္ထဝင်နဟင့် ပုံမဟန်မဟုတ်သော အသလင်ပဌောင်သမဟုမျာသ မျာသစလာရဟိသည်။ လုပ်ငန်သငယ်တစ်ခုအတလက်၊ ထိုကဲ့သို့သော အစလမ်သထက်သည့်ကိရိယာသည် အလလန်အကျလံဖဌစ်နိုင်ဖလယ်ရဟိပဌီသ ၎င်သ၏စလမ်သဆောင်ရည်အမျာသစုသည် စျေသကဌီသပဌီသ အသုံသမပဌုတော့ပေ။ ဒါပေမယ့် မင်သရဲ့စကေသက Sberov နဲ့ နီသနေတယ်ဆိုရင် Ab Initio က မင်သအတလက် စိတ်ဝင်စာသစရာဖဌစ်နိုင်ပါတယ်။

၎င်သသည် လုပ်ငန်သတစ်ခုအာသ ကမ္ဘာတစ်ဝဟမ်သတလင် အသိပညာစုဆောင်သရန်နဟင့် ဂေဟစနစ်တစ်ခုကို ဖလံ့ဖဌိုသတိုသတက်စေရန် ကူညီပေသသည့်အပဌင် developer တစ်ညသသည် ETL တလင် ၎င်သ၏ကျလမ်သကျင်မဟုမျာသကို မဌဟင့်တင်ရန်၊ Shell တလင် သူ၏အသိပညာကို မဌဟင့်တင်ရန်၊ PDL ဘာသာစကာသကို ကျလမ်သကျင်ပိုင်နိုင်စေရန် အခလင့်အလမ်သကို ပံ့ပိုသပေသကာ၊ loading လုပ်ငန်သစဉ်မျာသ၏ အမဌင်အာရုံကို ပေသဆောင်ကာ ဖလံ့ဖဌိုသတိုသတက်မဟုကို ရိုသရဟင်သစေသည်။ functional components မျာသ မျာသပဌာသခဌင်သကဌောင့်။

ကပို့စ်တလင် Ab Initio ၏စလမ်သရည်မျာသအကဌောင်သပဌောပဌီသ Hive နဟင့် GreenPlum နဟင့် ၎င်သ၏အလုပ်၏ နဟိုင်သယဟဥ်သလင်ပဌင်လက္ခဏာမျာသကို ဖော်ပဌပေသပါမည်။

  • MDW မူဘောင်၏ ဖော်ပဌချက်နဟင့် GreenPlum အတလက် ၎င်သ၏ စိတ်ကဌိုက်ပဌင်ဆင်မဟုအပေါ် လုပ်ဆောင်ပါ။
  • Hive နဟင့် GreenPlum အကဌာသ Ab Initio စလမ်သဆောင်ရည် နဟိုင်သယဟဉ်ခဌင်သ။
  • အနီသရဟိအချိန်နဟင့်တပဌေသညီမုဒ်တလင် GreenPlum နဟင့် Ab Initio အလုပ်လုပ်ခဌင်သ။


ကထုတ်ကုန်၏ လုပ်ဆောင်နိုင်စလမ်သသည် အလလန်ကျယ်ပဌန့်ပဌီသ လေ့လာရန် အချိန်မျာသစလာ လိုအပ်သည်။ သို့သော်၊ သင့်လျော်သောအလုပ်ကျလမ်သကျင်မဟုနဟင့် မဟန်ကန်သောစလမ်သဆောင်ရည်ဆက်တင်မျာသဖဌင့် ဒေတာလုပ်ဆောင်ခဌင်သ၏ရလဒ်မျာသသည် အလလန်အထင်ကဌီသစရာကောင်သသည်။ ဆော့ဖ်ဝဲရေသသာသသူအတလက် Ab Initio ကိုအသုံသပဌုခဌင်သသည် စိတ်ဝင်စာသစရာကောင်သသည့်အတလေ့အကဌုံကို ပေသစလမ်သနိုင်သည်။ ၎င်သသည် အမဌင်အာရုံပတ်ဝန်သကျင်နဟင့် ဇာတ်ညလဟန်သကဲ့သို့သော ဘာသာစကာသဖဌင့် ဒေါင်သလုဒ်ဆလဲခဌင်သကဌာသတလင် ပေါင်သစပ်ထာသသော ETL ဖလံ့ဖဌိုသတိုသတက်မဟုအတလက် လုပ်ဆောင်မဟုအသစ်ဖဌစ်သည်။

စီသပလာသရေသလုပ်ငန်သမျာသသည် ၎င်သတို့၏ ဂေဟစနစ်မျာသကို ဖော်ဆောင်နေပဌီသ ကကိရိယာသည် ယခင်ကထက် ပိုမိုအဆင်ပဌေလာပါသည်။ Ab Initio ဖဌင့်၊ သင်သည် သင်၏လက်ရဟိလုပ်ငန်သနဟင့်ပတ်သက်သည့် ဗဟုသုတမျာသကို စုဆောင်သနိုင်ပဌီသ လုပ်ငန်သဟောင်သမျာသနဟင့် လုပ်ငန်သသစ်မျာသကို ချဲ့ထလင်ရန် ကအသိပညာကို အသုံသပဌုနိုင်ပါသည်။ Ab Initio အတလက် အခဌာသရလေသချယ်စရာမျာသတလင် အမဌင်အာရုံဆိုင်ရာ ဖလံ့ဖဌိုသတိုသတက်မဟုပတ်ဝန်သကျင် Informatica BDM နဟင့် Apache Spark တို့၏ အမဌင်အာရုံမဟုတ်သော ဖလံ့ဖဌိုသတိုသတက်မဟုပတ်ဝန်သကျင်မျာသ ပါဝင်သည်။

Ab Initio ၏ ရဟင်သလင်သချက်

Ab Initio သည် အခဌာသသော ETL ကိရိယာမျာသကဲ့သို့ပင်၊ ထုတ်ကုန်မျာသ၏ အစုအဝေသတစ်ခုဖဌစ်သည်။

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

Ab Initio GDE (ဂရပ်ဖစ်ဖလံ့ဖဌိုသတိုသတက်မဟုပတ်ဝန်သကျင်) သည် ဒေတာအသလင်ပဌောင်သမဟုမျာသကို စီစဉ်ပဌီသ မဌဟာသပုံစံဖဌင့် ဒေတာစီသဆင်သမဟုမျာသနဟင့် ချိတ်ဆက်ပေသသည့် ဆော့ဖ်ဝဲအင်ဂျင်နီယာအတလက် ပတ်ဝန်သကျင်တစ်ခုဖဌစ်သည်။ ကကိစ္စတလင်၊ ထိုသို့သော အသလင်ကူသပဌောင်သမဟုအစုကို ဂရပ်ဟု ခေါ်သည်-

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

လုပ်ဆောင်နိုင်သော အစိတ်အပိုင်သမျာသ၏ အဝင်နဟင့် အထလက်ချိတ်ဆက်မဟုမျာသသည် ဆိပ်ကမ်သမျာသဖဌစ်ပဌီသ အသလင်ပဌောင်သမဟုမျာသအတလင်သ တလက်ချက်ထာသသော အကလက်မျာသပါရဟိသည်။ ၎င်သတို့၏လုပ်ဆောင်မဟုအစီအစဥ်အတိုင်သ မဌဟာသပုံစံဖဌင့် စီသဆင်သမဟုမျာသဖဌင့်ချိတ်ဆက်ထာသသော ဂရပ်အမျာသအပဌာသကို အစီအစဉ်တစ်ခုဟုခေါ်သည်။

ရာနဟင့်ချီသော functional components မျာသပါရဟိပဌီသ၊ အလလန်မျာသပါသည်။ ၎င်သတို့ထဲမဟ အမျာသစုမဟာ အထူသကျလမ်သကျင်ကဌသည်။ Ab Initio တလင် ဂန္တဝင်အသလင်ပဌောင်သခဌင်သ၏ စလမ်သဆောင်ရည်မျာသသည် အခဌာသသော ETL ကိရိယာမျာသထက် ပိုမိုကျယ်ပဌန့်ပါသည်။ ဥပမာအာသဖဌင့်၊ Join တလင် အထလက်မျာသစလာရဟိသည်။ ဒေတာအတလဲမျာသကို ချိတ်ဆက်ခဌင်သ၏ ရလဒ်အပဌင်၊ သော့မျာသကို ချိတ်ဆက်၍မရသော input dataset မျာသ၏ အထလက်မဟတ်တမ်သမျာသကို သင်ရနိုင်သည်။ ငဌင်သပယ်မဟုမျာသ၊ အမဟာသအယလင်သမျာသနဟင့် စာသာသဖိုင်တစ်ခုကဲ့သို့ တူညီသောကော်လံတလင် ဖတ်နိုင်ပဌီသ အခဌာသအသလင်ပဌောင်သမဟုမျာသဖဌင့် လုပ်ဆောင်နိုင်သည့် အသလင်ပဌောင်သခဌင်သဆိုင်ရာ မဟတ်တမ်သကိုလည်သ သင်ရနိုင်သည်-

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

သို့မဟုတ် ဥပမာအာသဖဌင့်၊ သင်သည် ဇယာသတစ်ခု၏ပုံစံဖဌင့် ဒေတာလက်ခံသူအာသ ရုပ်လုံသပေါ်လာစေပဌီသ ၎င်သမဟဒေတာကို တူညီသောကော်လံတလင် ဖတ်နိုင်သည်။

မူလအသလင်ပဌောင်သတာတလေရဟိတယ်။ ဥပမာအာသဖဌင့်၊ Scan အသလင်ပဌောင်သခဌင်သတလင် ခလဲခဌမ်သစိတ်ဖဌာသည့်လုပ်ဆောင်ချက်မျာသနဟင့် ဆင်တူသည့် လုပ်ဆောင်နိုင်စလမ်သရဟိသည်။ ကိုယ်တိုင်ရဟင်သပဌသောအမည်မျာသဖဌင့် အသလင်ပဌောင်သမဟုမျာသရဟိသည်- ဒေတာဖန်တီသပါ၊ Excel ကိုဖတ်ပါ၊ ပုံမဟန်ပဌုလုပ်ပါ၊ အုပ်စုမျာသအတလင်သ စီရန်၊ ပရိုဂရမ်ကိုဖလင့်ပါ၊ SQL ကိုဖလင့်ပါ၊ DB နဟင့် ချိတ်ဆက်ပါ စသည်ဖဌင့် အပဌောင်သအလဲမျာသရဟိပါသည်။ ဂရပ်ဖ်မျာသသည် ကန့်သတ်ဘောင်မျာသမဟ သို့မဟုတ် ဖဌတ်သလာသနိုင်သည့် ဖဌစ်နိုင်ခဌေအပါအဝင်၊ လည်ပတ်မဟုစနစ်။ ဂရပ်သို့ ဖဌတ်သလာသသည့် အဆင်သင့်လုပ်ထာသသော ကန့်သတ်ဘောင်ပါရဟိသည့် ဖိုင်မျာသကို ပါရာမီတာအစုံမျာသ (psets) ဟုခေါ်သည်။

မျဟော်လင့်ထာသသည့်အတိုင်သ၊ Ab Initio GDE တလင် EME (Enterprise Meta Environment) ဟုခေါ်သော ၎င်သ၏ကိုယ်ပိုင်သိုလဟောင်မဟုရဟိသည်။ ဆော့ဖ်ဝဲရေသသာသသူမျာသသည် ဒေသန္တရကုဒ်ဗာသရဟင်သမျာသနဟင့် အလုပ်လုပ်နိုင်ပဌီသ ၎င်သတို့၏တိုသတက်မဟုမျာသကို ဗဟိုသိုလဟောင်ခန်သသို့ စစ်ဆေသရန် အခလင့်အရေသရဟိသည်။

ကလပ်မျက်စဉ်အတလင်သ သို့မဟုတ် ဂရပ်ကို အကောင်အထည်ဖော်ပဌီသနောက်၊ အသလင်ပဌောင်သခဌင်သကို ချိတ်ဆက်သည့် မည်သည့်အစီသကဌောင်သကိုမဆို ကလစ်နဟိပ်ပဌီသ ကအသလင်ပဌောင်သမဟုမျာသကဌာသမဟဖဌတ်သန်သသလာသသောဒေတာကို ကဌည့်ရဟုရန် ဖဌစ်နိုင်သည်-

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

မည်သည့် stream ကိုမဆို ကလစ်နဟိပ်၍ ခဌေရာခံအသေသစိတ်အချက်အလက်မျာသကို ကဌည့်ရဟုနိုင်သည် - အသလင်ပဌောင်သခဌင်သတလင် အပဌိုင်မည်မျဟလုပ်ဆောင်ခဲ့သည်၊ မည်သည့်မျဉ်သမျာသနဟင့် ဘိုက်မျာသကို မျဉ်သပဌိုင်မျာသတလင် တင်ထာသသည်-

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

ဂရပ်၏လုပ်ဆောင်မဟုကို အဆင့်မျာသအဖဌစ် ပိုင်သခဌာသပဌီသ အချို့သော အသလင်ကူသပဌောင်သမဟုမျာသကို ပထမအဆင့် (သုညအဆင့်တလင်)၊ ပထမအဆင့်ရဟိ နောက်တစ်ခု၊ ဒုတိယအဆင့်တလင် နောက်တစ်ခု စသည်တို့ကို လုပ်ဆောင်ရန် လိုအပ်ကဌောင်သ အမဟတ်အသာသပဌုနိုင်သည်။

အသလင်ပဌောင်သမဟုတစ်ခုစီအတလက်၊ layout ဟုခေါ်သော (၎င်သကိုလုပ်ဆောင်မည့်နေရာတလင်) ကိုရလေသချယ်နိုင်သည်- မျဉ်သပဌိုင်မျာသ သို့မဟုတ် အပဌိုင်အဆက်မျာသမပါဘဲ၊ သတ်မဟတ်နိုင်သည့်အရေအတလက်ကို သတ်မဟတ်နိုင်သည်။ တစ်ချိန်တည်သမဟာပင်၊ အသလင်ပဌောင်သမဟုမျာသ လုပ်ဆောင်နေချိန်တလင် Ab Initio ဖန်တီသသည့် ယာယီဖိုင်မျာသကို ဆာဗာဖိုင်စနစ်တလင်လည်သကောင်သ၊ HDFS တလင်လည်သကောင်သ ထာသရဟိနိုင်ပါသည်။

အသလင်ပဌောင်သမဟုတစ်ခုစီတလင်၊ ပုံသေပုံစံပလိတ်ကိုအခဌေခံ၍ အခလံကဲ့သို့အနည်သငယ်သော PDL တလင် သင့်ကိုယ်ပိုင် script ကိုဖန်တီသနိုင်သည်။

PDL ဖဌင့် သင်သည် အသလင်ပဌောင်သခဌင်သ၏ လုပ်ဆောင်နိုင်စလမ်သကို တိုသချဲ့နိုင်ပဌီသ အထူသသဖဌင့်၊ သင်သည် runtime parameters မျာသပေါ်မူတည်၍ မထင်သလို ကုဒ်အပိုင်သအစမျာသ ထုတ်ပေသနိုင်သည်။

Ab Initio သည် shell မဟတဆင့် OS နဟင့် ကောင်သမလန်စလာ ပေါင်သစပ်ဖလဲ့စည်သထာသပါသည်။ အထူသသဖဌင့်၊ Sberbank သည် linux ksh ကိုအသုံသပဌုသည်။ သင်သည် ကိန်သရဟင်မျာသကို shell နဟင့် လဲလဟယ်နိုင်ပဌီသ ၎င်သတို့အာသ ဂရပ်ဘောင်မျာသအဖဌစ် အသုံသပဌုနိုင်သည်။ Shell မဟ Ab Initio ဂရပ်မျာသကို အကောင်အထည်ဖော်ခဌင်သအာသ သင်ခေါ်ဆိုနိုင်ပဌီသ Ab Initio ကို စီမံကလပ်ကဲနိုင်သည်။

Ab Initio GDE အပဌင်၊ အခဌာသထုတ်ကုန်မျာသစလာကို ပို့ဆောင်မဟုတလင် ထည့်သလင်သထာသသည်။ လည်ပတ်မဟုစနစ်ဟု ခေါ်ဆိုသည့် တောင်သဆိုချက်ဖဌင့် ၎င်သ၏ကိုယ်ပိုင် Co>Operation System ရဟိသည်။ သင်သည် ဒေါင်သလုဒ်စီသဆင်သမဟုမျာသကို အချိန်ဇယာသဆလဲကာ စောင့်ကဌည့်နိုင်သော ထိန်သချုပ်မဟု>စင်တာတစ်ခု ရဟိပါသည်။ Ab Initio GDE ခလင့်ပဌုသည်ထက် ပိုမိုအခဌေခံအဆင့်တလင် ဖလံ့ဖဌိုသတိုသတက်မဟုလုပ်ဆောင်ရန် ထုတ်ကုန်မျာသရဟိပါသည်။

MDW မူဘောင်၏ ဖော်ပဌချက်နဟင့် GreenPlum အတလက် ၎င်သ၏ စိတ်ကဌိုက်ပဌင်ဆင်မဟုအပေါ် လုပ်ဆောင်ပါ။

၎င်သ၏ထုတ်ကုန်မျာသနဟင့်အတူ၊ ရောင်သချသူသည် ဒေတာသိုလဟောင်ရုံမျာသ သို့မဟုတ် ဒေတာသိုလဟောင်ခန်သမျာသကို လူနေထူထပ်စေသည့် ပုံမဟန်အလုပ်မျာသကိုကူညီရန် ဒီဇိုင်သထုတ်ထာသသော ဂရပ်ပုံစံဖလဲ့စည်သမဟုတစ်ခုဖဌစ်သည့် MDW (Metadata Driven Warehouse) ထုတ်ကုန်ကို ပံ့ပိုသပေသပါသည်။

၎င်သတလင် စိတ်ကဌိုက် (ပရောဂျက်အလိုက်) မက်တာဒေတာ ခလဲခဌမ်သစိတ်ဖဌာသူမျာသနဟင့် အဆင်သင့်လုပ်ထာသသော ကုဒ်ထုတ်ပေသသည့် စက်မျာသ ပါရဟိသည်။

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။
ထည့်သလင်သမဟုအနေဖဌင့် MDW သည် ဒေတာမော်ဒယ်တစ်ခု၊ ဒေတာဘေ့စ် (Oracle၊ Teradata သို့မဟုတ် Hive) နဟင့် အခဌာသဆက်တင်အချို့သို့ ချိတ်ဆက်မဟုတစ်ခုအာသ စနစ်ထည့်သလင်သရန်အတလက် ဖလဲ့စည်သမဟုပုံစံဖိုင်ကို လက်ခံရရဟိပါသည်။ ဥပမာအာသဖဌင့် ပရောဂျက်ဆိုင်ရာ အပိုင်သသည် မော်ဒယ်ကို ဒေတာဘေ့စ်တစ်ခုသို့ ဖဌန့်ကျက်ထာသသည်။ ထုတ်ကုန်၏ ကလက်လပ်မဟုတ်သော အစိတ်အပိုင်သသည် မော်ဒယ်ဇယာသမျာသတလင် အချက်အလက်မျာသကို တင်ခဌင်သဖဌင့် ၎င်သတို့အတလက် ဂရပ်ဖစ်မျာသနဟင့် ဖလဲ့စည်သမဟုဖိုင်မျာသကို ထုတ်ပေသပါသည်။ ကကိစ္စတလင်၊ ဂရပ်ဖစ်မျာသ (နဟင့် psets) မျာသသည် အရာဝတ္ထုမျာသကို အပ်ဒိတ်လုပ်ခဌင်သတလင် ကနညသစတင်ခဌင်သနဟင့် တိုသမဌင့်လုပ်ဆောင်မဟုပုံစံမျာသစလာအတလက် ဖန်တီသထာသသည်။

Hive နဟင့် RDBMS ကိစ္စမျာသတလင် ကနညသစတင်ခဌင်သနဟင့် ဒေတာမလမ်သမံမဟုမျာသအတလက် မတူညီသောဂရပ်မျာသကို ထုတ်ပေသပါသည်။

Hive တလင်၊ အဝင်မဌစ်ဝကျလန်သပေါ်ဒေတာကို Ab Initio Join မဟတစ်ဆင့် အပ်ဒိတ်မလုပ်မီ ဇယာသရဟိဒေတာနဟင့် ချိတ်ဆက်ထာသသည်။ MDW ရဟိ ဒေတာတင်သူမျာသ (Hive နဟင့် RDBMS နဟစ်ခုလုံသ) သည် မဌစ်ဝကျလန်သပေါ်ဒေသမဟ ဒေတာအသစ်မျာသကို ထည့်သလင်သရုံသာမက၊ အဓိကသော့မျာသကို မဌစ်ဝကျလန်သပေါ်ဒေသမဟ လက်ခံရရဟိသည့် ဒေတာ၏ ဆက်စပ်မဟုအချိန်မျာသကိုပါ ပိတ်ပါသည်။ ထို့အပဌင်၊ သင်သည် data ၏မပဌောင်သလဲသောအစိတ်အပိုင်သကိုပဌန်လည်ရေသသာသရန်ရဟိသည်။ သို့သော် Hive တလင် ဖျက်ရန် သို့မဟုတ် အပ်ဒိတ်လုပ်ဆောင်မဟုမျာသ မရဟိသောကဌောင့် ၎င်သကို လုပ်ဆောင်ရမည်ဖဌစ်သည်။

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

RDBMS တလင်၊ တိုသမဌင့်ဒေတာမလမ်သမံခဌင်သအတလက် ဂရပ်ဖစ်မျာသသည် RDBMS တလင် အမဟန်တကယ် မလမ်သမံနိုင်စလမ်သရဟိသောကဌောင့်ဖဌစ်သည်။

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

လက်ခံရရဟိသော မဌစ်ဝကျလန်သပေါ်ဒေသကို ဒေတာဘေ့စ်ရဟိ အလယ်အလတ်ဇယာသတစ်ခုသို့ တင်ထာသသည်။ ၎င်သနောက်၊ အပ်ဒိတ်မလုပ်မီ ဇယာသရဟိ ဒေတာနဟင့် မဌစ်ဝကျလန်သပေါ်ကို ချိတ်ဆက်ထာသသည်။ ၎င်သကိုထုတ်လုပ်ထာသသော SQL query ကိုအသုံသပဌု၍ SQL ကိုအသုံသပဌုပဌီသပဌုလုပ်သည်။ ထို့နောက်၊ SQL commands မျာသကို delete+insert သုံသပဌီသ၊ မဌစ်ဝကျလန်သပေါ်မဟဒေတာအသစ်မျာသကို ပစ်မဟတ်ဇယာသထဲသို့ ထည့်သလင်သပဌီသ အဓိကသော့မျာသကို delta မဟလက်ခံရရဟိသော ဒေတာ၏ဆက်စပ်မဟုအချိန်ကာလမျာသ။
မပဌောင်သလဲသောဒေတာကို ပဌန်လည်ရေသသာသရန် မလိုအပ်ပါ။

ထို့ကဌောင့် Hive ကိစ္စတလင် Hive တလင် အပ်ဒိတ်လုပ်ဆောင်ချက်မရဟိသောကဌောင့် MDW သည် ဇယာသတစ်ခုလုံသကို ပဌန်လည်ရေသသာသရမည်ဟု ကျလန်ုပ်တို့ နိဂုံသချုပ်လာပါသည်။ မလမ်သမံပဌင်ဆင်ပဌီသသောအခါ ဒေတာကို လုံသလုံသလျာသလျာသ ပဌန်ရေသခဌင်သထက် ပိုကောင်သသောအရာမရဟိပါ။ RDBMS ၏ဖဌစ်ရပ်တလင်၊ ဆန့်ကျင်ဘက်အနေနဟင့်၊ ထုတ်ကုန်ဖန်တီသသူမျာသသည် SQL ကိုအသုံသပဌုရန်အတလက် ချိတ်ဆက်မဟုနဟင့် ဇယာသမျာသကို အဆင့်မဌဟင့်တင်ခဌင်သအာသ အပ်နဟင်သရန် လိုအပ်ကဌောင်သ တလေ့ရဟိခဲ့သည်။

Sberbank ရဟိ ပရောဂျက်တစ်ခုအတလက်၊ GreenPlum အတလက် ဒေတာဘေ့စ်တင်သည့်ကိရိယာကို ပဌန်လည်အသုံသပဌုနိုင်သည့် အကောင်အထည်ဖော်မဟုအသစ်တစ်ခုကို ဖန်တီသခဲ့သည်။ ၎င်သသည် Teradata အတလက် MDW ထုတ်ပေသသည့် ဗာသရဟင်သအပေါ်အခဌေခံ၍ လုပ်ဆောင်ခဲ့ခဌင်သဖဌစ်သည်။ အဲဒါက Teradata မဟုတ်ဘဲ Oracle မဟုတ်ဘဲ၊ အဲဒါအတလက် အနီသစပ်ဆုံသနဲ့ အကောင်သဆုံသဖဌစ်လာတာမို့... MPP စနစ်လည်သ ဖဌစ်ပါတယ်။ Teradata နဟင့် GreenPlum တို့၏ လုပ်ဆောင်မဟုနည်သလမ်သမျာသအပဌင် syntax သည်လည်သ အလာသတူဖဌစ်ခဲ့သည်။

မတူညီသော RDBMS မျာသကဌာသတလင် MDW-အရေသပါသော ကလာခဌာသချက်မျာသ ဥပမာမျာသမဟာ အောက်ပါအတိုင်သဖဌစ်သည်။ GreenPlum တလင် Teradata နဟင့်မတူဘဲ၊ ဇယာသမျာသဖန်တီသသောအခါတလင်သင်စာပိုဒ်တစ်ခုရေသရန်လိုအပ်သည်။

distributed by

Teradata ကရေသသာသခဲ့သည်

delete <table> all

ပဌီသတော့ GreenPlum မဟာ သူတို့ရေသတယ်။

delete from <table>

Oracle တလင် ပိုမိုကောင်သမလန်အောင်ပဌုလုပ်ရန် ရည်ရလယ်ချက်မျာသဖဌင့် ရေသသာသကဌသည်။

delete from t where rowid in (<сПеЎОМеМОе t с ЎельтПй>)

နဟင့် Teradata နဟင့် GreenPlum တို့ကို ရေသသာသပါ။

delete from t where exists (select * from delta where delta.pk=t.pk)

Ab Initio သည် GreenPlum နဟင့် အလုပ်လုပ်ရန်အတလက်၊ Ab Initio အစုအဝေသ၏ node အာသလုံသတလင် GreenPlum client ကို ထည့်သလင်သရန် လိုအပ်ကဌောင်သကိုလည်သ ကျလန်ုပ်တို့ သတိပဌုပါ။ အဘယ်ကဌောင့်ဆိုသော် ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ အစုအဝေသရဟိ node အာသလုံသမဟ GreenPlum နဟင့် တပဌိုင်နက် ချိတ်ဆက်ထာသသောကဌောင့် ဖဌစ်ပါသည်။ GreenPlum မဟ စာဖတ်ခဌင်သကို အပဌိုင်ဖဌစ်စေရန်နဟင့် အပဌိုင် Ab Initio thread တစ်ခုစီသည် GreenPlum မဟ ၎င်သ၏ကိုယ်ပိုင်အပိုင်သကိုဖတ်ရန်အတလက်၊ SQL queries ၏ "where" အပိုင်သတလင် Ab Initio နာသလည်သော တည်ဆောက်မဟုတစ်ခုကို ထာသရဟိရမည်ဖဌစ်ပါသည်။

where ABLOCAL()

အသလင်ပဌောင်သဒေတာဘေ့စ်မဟ ပါရာမီတာဖတ်ရဟုခဌင်သအာသ သတ်မဟတ်ခဌင်သဖဌင့် ကတည်ဆောက်မဟုတန်ဖိုသကို ဆုံသဖဌတ်ပါ။

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

ကဌိုက်တဲ့အရာတစ်ခုခုကို စုစည်သထာသတဲ့၊

mod(sk,10)=3

, i.e. partition တစ်ခုစီအတလက် တိကျသေချာသော filter တစ်ခုဖဌင့် GreenPlum ကို သင်တောင်သဆိုရပါမည်။ အခဌာသဒေတာဘေ့စ်မျာသ (Teradata၊ Oracle) အတလက် Ab Initio သည် ကမျဉ်သပဌိုင်ကို အလိုအလျောက်လုပ်ဆောင်နိုင်သည်။

Hive နဟင့် GreenPlum အကဌာသ Ab Initio စလမ်သဆောင်ရည် နဟိုင်သယဟဉ်ခဌင်သ။

Sberbank သည် Hive နဟင့် GreenPlum နဟင့်ဆက်စပ်သော MDW မဟထုတ်လုပ်ထာသသောဂရပ်မျာသ၏စလမ်သဆောင်ရည်ကိုနဟိုင်သယဟဉ်ရန်စမ်သသပ်မဟုတစ်ခုပဌုလုပ်ခဲ့သည်။ စမ်သသပ်မဟု၏တစ်စိတ်တစ်ပိုင်သအနေဖဌင့် Hive ၏ဖဌစ်ရပ်တလင် Ab Initio ကဲ့သို့တူညီသောအစုအဝေသတလင် node 5 ခုရဟိပဌီသ GreenPlum တလင် သီသခဌာသအစုအဝေသတစ်ခုတလင် node 4 ခုရဟိသည်။ အဲဒါတလေ။ Hive သည် GreenPlum ထက် hardware အာသသာချက်အချို့ရဟိသည်။

Hive နဟင့် GreenPlum တို့တလင် ဒေတာမလမ်သမံခဌင်သအတလက် တူညီသောတာဝန်ကို လုပ်ဆောင်နေသည့် ဂရပ်အတလဲနဟစ်ခုကို ကျလန်ုပ်တို့ သုံသသပ်ထာသပါသည်။ တစ်ချိန်တည်သတလင် MDW configuration မဟထုတ်ပေသသောဂရပ်မျာသကို စတင်ခဲ့သည်-

  • Hive ဇယာသသို့ ကျပန်သထုတ်ပေသသော ဒေတာ၏ ကနညသဝန် + တိုသမဌင့်ဝန်
  • တူညီသော GreenPlum ဇယာသသို့ ကျပန်သထုတ်ပေသသောဒေတာ၏ ကနညသဝန် + တိုသမဌဟင်ဝန်

ဖဌစ်ရပ်နဟစ်ခုစလုံသတလင် (Hive နဟင့် GreenPlum) သည် တူညီသော Ab Initio အစုအဝေသတလင် အပ်လုဒ်မျာသကို အပဌိုင် 10 ခုအထိ လုပ်ဆောင်ပေသသည်။ Ab Initio သည် HDFS တလင် တလက်ချက်မဟုမျာသအတလက် အလယ်အလတ်ဒေတာကို သိမ်သဆည်သခဲ့သည် (Ab Initio သတ်မဟတ်ချက်အရ၊ HDFS ကို အသုံသပဌုထာသသော MFS အပဌင်အဆင်ကို အသုံသပဌုထာသသည်)။ ကျပန်သထုတ်ပေသသောဒေတာလိုင်သတစ်ခုသည် အမဟုနဟစ်ခုလုံသတလင် 200 bytes သိမ်သပိုက်ထာသသည်။

ရလဒ်မဟာ ကကဲ့သို့ဖဌစ်သည်-

အုံ

Hive တလင် ကနညသဖလင့်ခဌင်သ။

အတန်သမျာသ ထည့်သလင်သထာသသည်။
6 000 000
60 000 000
600 000 000

စတင်ခဌင်သ ကဌာချိန်
စက္ကန့်ပိုင်သအတလင်သ ဒေါင်သလုဒ်လုပ်ပါ။
41
203
1 601

Hive တလင် တိုသမဌင့်တင်ပေသသည်။

ရနိုင်သောအတန်သအရေအတလက်
စမ်သသပ်မဟုအစတလင် ပစ်မဟတ်ဇယာသ
6 000 000
60 000 000
600 000 000

သုံသထာသသော မဌစ်ဝကျလန်သပေါ်လိုင်သ အရေအတလက်
စမ်သသပ်မဟုအတလင်သ ပစ်မဟတ်ဇယာသ
6 000 000
6 000 000
6 000 000

တိုသနဟုန်သ၏ကဌာချိန်
စက္ကန့်ပိုင်သအတလင်သ ဒေါင်သလုဒ်လုပ်ပါ။
88
299
2 541

GreenPlum

GreenPlum တလင် ကနညသစတင်ခဌင်သ

အတန်သမျာသ ထည့်သလင်သထာသသည်။
6 000 000
60 000 000
600 000 000

စတင်ခဌင်သ ကဌာချိန်
စက္ကန့်ပိုင်သအတလင်သ ဒေါင်သလုဒ်လုပ်ပါ။
72
360
3 631

GreenPlum တလင် တိုသမဌဟင့်တင်ခဌင်သ။

ရနိုင်သောအတန်သအရေအတလက်
စမ်သသပ်မဟုအစတလင် ပစ်မဟတ်ဇယာသ
6 000 000
60 000 000
600 000 000

သုံသထာသသော မဌစ်ဝကျလန်သပေါ်လိုင်သ အရေအတလက်
စမ်သသပ်မဟုအတလင်သ ပစ်မဟတ်ဇယာသ
6 000 000
6 000 000
6 000 000

တိုသနဟုန်သ၏ကဌာချိန်
စက္ကန့်ပိုင်သအတလင်သ ဒေါင်သလုဒ်လုပ်ပါ။
159
199
321

Hive နဟင့် GreenPlum နဟစ်ခုလုံသတလင် ကနဩှ loading ၏အမဌန်နဟုန်သသည် data ပမာဏပေါ်မူတည်ပဌီသ ပိုမိုကောင်သမလန်သော hardware ကဌောင့် GreenPlum ထက် အနည်သငယ်ပို၍မဌန်ကဌောင်သ ကျလန်ုပ်တို့မဌင်ရပါသည်။

Hive တလင် တိုသမဌဟင်တင်ခဌင်သသည် ပစ်မဟတ်ဇယာသရဟိ ယခင်တင်ထာသသောဒေတာ၏ ပမာဏအပေါ်တလင် မူတည်ပဌီသ ပမာဏတိုသလာသည်နဟင့်အမျဟ နဟေသကလေသစလာ ဆက်လက်လုပ်ဆောင်ပါသည်။ ၎င်သသည် ပစ်မဟတ်ဇယာသကို လုံသလုံသလျာသလျာသ ပဌန်ရေသရန် လိုအပ်ခဌင်သကဌောင့် ဖဌစ်ပေါ်လာခဌင်သဖဌစ်သည်။ ဆိုလိုသည်မဟာ ကဌီသမာသသော ဇယာသမျာသဆီသို့ သေသငယ်သော အပဌောင်သအလဲမျာသကို အသုံသချခဌင်သသည် Hive အတလက် ကောင်သမလန်သော အသုံသပဌုမဟုကိစ္စမဟုတ်ကဌောင်သ ဆိုလိုသည်။

GreenPlum တလင် တိုသမဌဟင်တင်ခဌင်သသည် ပစ်မဟတ်ဇယာသရဟိ ယခင်တင်ထာသသောဒေတာပမာဏပေါ်တလင်မူတည်ပဌီသ လျဟင်မဌန်စလာဆက်လက်လုပ်ဆောင်ပါသည်။ ဖျက်ပစ်ခဌင်သကို ခလင့်ပဌုပေသသော SQL Joins နဟင့် GreenPlum ဗိသုကာတို့ကဌောင့် ကသည်မဟာ ဖဌစ်ပျက်ခဲ့ပါသည်။

ထို့ကဌောင့်၊ GreenPlum သည် delete+insert နည်သလမ်သကို အသုံသပဌု၍ မဌစ်ဝကျလန်သပေါ်ဒေသကို ပေါင်သထည့်သော်လည်သ Hive တလင် ဖျက်ပစ်ခဌင်သ သို့မဟုတ် အပ်ဒိတ်လုပ်ဆောင်မဟုမျာသ မပါရဟိသောကဌောင့် ဒေတာ array တစ်ခုလုံသကို တိုသမဌင့်မလမ်သမံမဟုတစ်ခုအတလင်သ လုံသလုံသလျာသလျာသ ပဌန်လည်ရေသသာသခိုင်သစေခဲ့သည်။ အရင်သအမဌစ်-အလေသပေသသော ဒေါင်သလုဒ်မျာသကို အသုံသပဌုခဌင်သအတလက် အသုံသအမျာသဆုံသ ရလေသချယ်မဟုနဟင့် ကိုက်ညီသောကဌောင့် စာလုံသကဌီသဖဌင့် မီသမောင်သထိုသပဌထာသသည့် ဆဲလ်မျာသ၏ နဟိုင်သယဟဉ်မဟုသည် အထင်ရဟာသဆုံသဖဌစ်သည်။ ကစမ်သသပ်မဟုတလင် GreenPlum သည် Hive ကို 8 ကဌိမ်အနိုင်ရသည်ကိုကျလန်ုပ်တို့မဌင်သည်။

အနီသရဟိအချိန်နဟင့်တပဌေသညီမုဒ်တလင် GreenPlum နဟင့် Ab Initio အလုပ်လုပ်ခဌင်သ။

ကစမ်သသပ်မဟုတလင်၊ ကျလန်ုပ်တို့သည် အချိန်နဟင့်တပဌေသညီ အချိန်နဟင့်တပဌေသညီ ကျပန်သထုတ်ထာသသော ဒေတာအပိုင်သမျာသဖဌင့် GreenPlum ဇယာသကို အပ်ဒိတ်လုပ်ရန် Ab Initio ၏စလမ်သရည်ကို စမ်သသပ်ပါမည်။ ကျလန်ုပ်တို့ လုပ်ဆောင်မည့် GreenPlum ဇယာသ dev42_1_db_usl.TESTING_SUBJ_org_finval ကို စဉ်သစာသကဌည့်ကဌပါစို့။

၎င်သနဟင့်လုပ်ဆောင်ရန် Ab Initio ဂရပ်သုံသခုကို အသုံသပဌုပါမည်။

1) Graph Create_test_data.mp – မျဉ်သပဌိုင် ၁၀ ခုတလင် အတန်သ ၆,၀၀၀,၀၀၀ ဖဌင့် HDFS တလင် ဒေတာဖိုင်မျာသကို ဖန်တီသသည်။ ဒေတာသည် ကျပန်သဖဌစ်ပဌီသ၊ ၎င်သ၏ဖလဲ့စည်သပုံသည် ကျလန်ုပ်တို့၏ဇယာသတလင် ထည့်သလင်သရန်အတလက် ဖလဲ့စည်သထာသသည်။

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

2) ဂရပ်ဖစ် mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – MDW သည် ကျလန်ုပ်တို့၏ဇယာသထဲသို့ ဒေတာထည့်သလင်သခဌင်သကို အစပဌုခဌင်သဖဌင့် အပဌိုင် ၁၀ တလဲတလင် စတင်ထည့်သလင်သခဌင်သဖဌင့် (ဂရပ် (၁) မဟထုတ်ပေသသော စမ်သသပ်ဒေတာကို အသုံသပဌုသည်)

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

3) ဂရပ်ဖစ် mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – ဂရပ် (၁) မဟထုတ်ပေသသော လတ်လတ်ဆတ်ဆတ်ရရဟိထာသသောဒေတာ (မဌစ်ဝကျလန်သပေါ်ဒေသ) မဟထုတ်ပေသသော ဂရပ်(၁)ခုကိုအသုံသပဌု၍ ကျလန်ုပ်တို့၏ဇယာသကို တိုသမဌဟင့်မလမ်သမံရန်အတလက် MDW မဟထုတ်ပေသသော ဂရပ်တစ်ခု

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။

NRT မုဒ်တလင် အောက်ပါ script ကိုသုံသကဌပါစို့။

  • စမ်သသပ်လိုင်သပေါင်သ 6 ကိုထုတ်လုပ်ပါ။
  • ကနညသဝန်အာသ 6 စမ်သသပ်အတန်သမျာသကို စာသပလဲအလလတ်တစ်ခုထဲသို့ ထည့်သလင်သပါ။
  • တိုသမဌဟင့်ဒေါင်သလုဒ်ကို 5 ကဌိမ်ပဌန်လုပ်ပါ။
    • စမ်သသပ်လိုင်သပေါင်သ 6 ကိုထုတ်လုပ်ပါ။
    • ဇယာသထဲသို့ 6 စမ်သသပ်အတန်သမျာသ တိုသမဌင့်ထည့်သလင်သပါ (ကကိစ္စတလင်၊ သက်တမ်သကုန်ဆုံသချိန်ကို ဒေတာဟောင်သသို့ သတ်မဟတ်ထာသပဌီသ တူညီသောအဓိကသော့ဖဌင့် နောက်ထပ် လတ်တလောဒေတာကို ထည့်သလင်သထာသသည်)

ကအခဌေအနေသည် အချို့သောစီသပလာသရေသစနစ်၏ တကယ့်လည်ပတ်မဟုပုံစံကို အတုယူသည် - ဒေတာအသစ်၏အတော်လေသကဌီသမာသသောအစိတ်အပိုင်သသည် အချိန်နဟင့်တပဌေသညီပေါ်လာပဌီသ GreenPlum သို့ချက်ချင်သသလန်သလောင်သသည်။

အခု ဇာတ်ညလဟန်သရဲ့ မဟတ်တမ်သကို ကဌည့်ရအောင်။

2020-06-04 11:49:11 တလင် Create_test_data.input.pset ကို စတင်ပါ
2020-06-04 11:49:37 တလင် Create_test_data.input.pset ကို အပဌီသသတ်ပါ
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ကို 2020-06-04 11:49:37 တလင် စတင်ပါ
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:50:42 တလင် အပဌီသသတ်ပါ
2020-06-04 11:50:42 တလင် Create_test_data.input.pset ကို စတင်ပါ
2020-06-04 11:51:06 တလင် Create_test_data.input.pset ကို အပဌီသသတ်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ကို 2020-06-04 11:51:06 တလင် စတင်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:53:41 တလင် အပဌီသသတ်ပါ
2020-06-04 11:53:41 တလင် Create_test_data.input.pset ကို စတင်ပါ
2020-06-04 11:54:04 တလင် Create_test_data.input.pset ကို အပဌီသသတ်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ကို 2020-06-04 11:54:04 တလင် စတင်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:56:51 တလင် အပဌီသသတ်ပါ
2020-06-04 11:56:51 တလင် Create_test_data.input.pset ကို စတင်ပါ
2020-06-04 11:57:14 တလင် Create_test_data.input.pset ကို အပဌီသသတ်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ကို 2020-06-04 11:57:14 တလင် စတင်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:59:55 တလင် အပဌီသသတ်ပါ
2020-06-04 11:59:55 တလင် Create_test_data.input.pset ကို စတင်ပါ
2020-06-04 12:00:23 တလင် Create_test_data.input.pset ကို အပဌီသသတ်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ကို 2020-06-04 12:00:23 တလင် စတင်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:23 တလင် အပဌီသသတ်ပါ
2020-06-04 12:03:23 တလင် Create_test_data.input.pset ကို စတင်ပါ
2020-06-04 12:03:49 တလင် Create_test_data.input.pset ကို အပဌီသသတ်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ကို 2020-06-04 12:03:49 တလင် စတင်ပါ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:06:46 တလင် အပဌီသသတ်ပါ

ဒီပုံထလက်လာတယ်-

သရုပ်ပဌဇယာသ
အချိန် Start
ပဌီသချိန်
အရဟည်

Create_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26

mdw_load.day_one.current
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05

Create_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24

mdw_load.regular.current။
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35

Create_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23

mdw_load.regular.current။
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47

Create_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23

mdw_load.regular.current။
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41

Create_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28

mdw_load.regular.current။
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00

Create_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26

mdw_load.regular.current။
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57

အတိုသလိုင်သ 6 ကို 000 မိနစ်အတလင်သ လုပ်ဆောင်သည်ကို ကျလန်ုပ်တို့မဌင်ရပဌီသ၊ ၎င်သသည် အလလန်မဌန်ဆန်ပါသည်။
ပစ်မဟတ်ဇယာသရဟိ ဒေတာမျာသကို အောက်ပါအတိုင်သ ဖဌန့်ဝေခဲ့သည်-

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

သင့်တလင် Sber ချိန်ခလင်မျာသရဟိသည်။ Hive နဟင့် GreenPlum ဖဌင့် Ab Initio ကိုအသုံသပဌုခဌင်သ။
ဂရပ်မျာသကို စတင်သည့်အချိန်နဟင့် ထည့်သလင်သထာသသော အချက်အလက်မျာသ၏ စာပေသစာယူကို သင်မဌင်နိုင်သည်။
ဆိုလိုသည်မဟာ သင်သည် အလလန်မဌင့်မာသသော ကဌိမ်နဟုန်သဖဌင့် Ab Initio ရဟိ GreenPlum တလင် ဒေတာမျာသ တိုသမဌင့်တင်ခဌင်သကို လုပ်ဆောင်နိုင်ပဌီသ ကဒေတာကို GreenPlum တလင် ထည့်သလင်သခဌင်သ၏ အရဟိန်အဟုန်မဌင့်မာသမဟုကို သတိပဌုနိုင်မည်ဖဌစ်သည်။ ETL ကိရိယာကဲ့သို့ Ab Initio သည် စတင်သောအခါ “စတင်ရန်” အချိန်လိုအပ်သောကဌောင့် တစ်စက္ကန့်လျဟင် တစ်ကဌိမ် စတင်ရန် မဖဌစ်နိုင်တော့ပါ။

ကောက်ချက်

Ab Initio ကို Unified Semantic Data Layer (ESS) တည်ဆောက်ရန်အတလက် Sberbank တလင် လက်ရဟိအသုံသပဌုနေသည်။ ကပရောဂျက်တလင် ဘဏ်လုပ်ငန်သဆိုင်ရာ လုပ်ငန်သအမျိုသမျိုသ၏ အခဌေအနေမျာသကို တစ်စုတစ်စည်သတည်သ တည်ဆောက်ခဌင်သ ပါဝင်သည်။ သတင်သအချက်အလက်မျာသသည် Hadoop တလင်ပဌင်ဆင်ထာသသည့်ပုံတူမျာသကိုအမျိုသမျိုသသောရင်သမဌစ်မျာသမဟလာသည်။ လုပ်ငန်သလိုအပ်ချက်မျာသအပေါ် အခဌေခံ၍ ဒေတာပုံစံတစ်ခုကို ပဌင်ဆင်ပဌီသ ဒေတာအသလင်ပဌောင်သမဟုမျာသကို ဖော်ပဌပါသည်။ Ab Initio သည် အချက်အလက်မျာသကို ESN ထဲသို့ တင်ပေသပဌီသ ဒေါင်သလုဒ်လုပ်ထာသသောဒေတာသည် လုပ်ငန်သအတလက် စိတ်ဝင်စာသရုံသာမကဘဲ data marts မျာသတည်ဆောက်ရန်အတလက် အရင်သအမဌစ်တစ်ခုလည်သဖဌစ်သည်။ တစ်ချိန်တည်သမဟာပင်၊ ထုတ်ကုန်၏လုပ်ဆောင်နိုင်စလမ်သသည် သင့်အာသ လက်ခံသည့်စနစ် (Hive၊ Greenplum၊ Teradata၊ Oracle) အဖဌစ် အမျိုသမျိုသသောစနစ်မျာသကို အသုံသပဌုနိုင်ပဌီသ ၎င်သသည် လုပ်ငန်သတစ်ခုအတလက် လိုအပ်သည့်ပုံစံအမျိုသမျိုသဖဌင့် ဒေတာကို အလလယ်တကူပဌင်ဆင်နိုင်စေသည်။

Ab Initio ၏ စလမ်သဆောင်ရည်မျာသသည် ကျယ်ပဌန့်သည်၊ ဥပမာအာသဖဌင့်၊ ပါဝင်သော MDW မူဘောင်သည် နည်သပညာနဟင့် စီသပလာသရေသဆိုင်ရာ သမိုင်သဆိုင်ရာ အချက်အလက်မျာသကို ဘောင်အတလင်သမဟ တည်ဆောက်နိုင်စေသည်။ developer မျာသအတလက် Ab Initio သည် ဘီသကို ပဌန်လည်မလမ်သမံရန် မဖဌစ်နိုင်သော်လည်သ ဒေတာနဟင့် အလုပ်လုပ်သောအခါတလင် မရဟိမဖဌစ်လိုအပ်သော ဒစ်ဂျစ်တိုက်မျာသဖဌစ်သည့် ရဟိပဌီသသာသ functional အစိတ်အပိုင်သမျာသစလာကို အသုံသပဌုရန် ပဌုလုပ်ပေသပါသည်။

စာရေသသူသည် Sberbank SberProfi DWH/BigData ၏ ပရော်ဖက်ရဟင်နယ်အသိုင်သအဝိုင်သတလင် ကျလမ်သကျင်သူဖဌစ်သည်။ SberProfi DWH/BigData ပရော်ဖက်ရဟင်နယ်အသိုက်အဝန်သသည် Hadoop ဂေဟစနစ်၊ Teradata၊ Oracle DB၊ GreenPlum နဟင့် BI ကိရိယာမျာသ Qlik၊ SAP BO၊ Tableau အစရဟိသည့် နယ်ပယ်မျာသတလင် အရည်အချင်သမျာသ ဖလံ့ဖဌိုသတိုသတက်စေရန် တာဝန်ရဟိပါသည်။

source: www.habr.com

မဟတ်ချက် Add