ဒေတာဂိုဒေါင်၏ ETL အစိတ်အပိုင်းကို ဂိုဒေါင်ကိုယ်တိုင်က မကြာခဏ လွှမ်းမိုးထားပြီး ပင်မဒေတာဘေ့စ် သို့မဟုတ် ရှေ့ဆုံးအစိတ်အပိုင်း၊ BI နှင့် အစီရင်ခံခြင်းထက် အာရုံစိုက်မှုနည်းပါးသည်။ တစ်ချိန်တည်းမှာပင်၊ ဂိုဒေါင်အား ဒေတာဖြည့်သည့် စက်ပြင်မှုဆိုင်ရာ ရှုထောင့်မှကြည့်လျှင် ETL သည် အဓိကအခန်းကဏ္ဍမှ ပါဝင်နေပြီး အခြားအစိတ်အပိုင်းများထက် စီမံခန့်ခွဲသူများထံမှ အာရုံစိုက်မှုနည်းပါးနေရန် လိုအပ်သည်။ ကျွန်ုပ်၏အမည်မှာ အလက်ဇန်းဒါးဖြစ်သည်၊ ယခု ကျွန်ုပ်သည် Rostelecom တွင် ETL ကို စီမံခန့်ခွဲနေပြီး၊ ဤဆောင်းပါးတွင် Rostelecom ရှိ ဒေတာဂိုဒေါင်ကြီးတစ်ခုတွင် အကျော်ကြားဆုံး ETL စနစ်တစ်ခု၏ စီမံခန့်ခွဲသူမှ ကိုင်တွယ်ဖြေရှင်းရမည့်အရာ အနည်းငယ်ကို ဤဆောင်းပါးတွင် မျှဝေရန် ကြိုးစားပါမည်။
အကယ်၍ ချစ်လှစွာသောစာဖတ်သူများသည် ကျွန်ုပ်တို့၏ဒေတာဂိုဒေါင်ပရောဂျက်နှင့် Informatica PowerCenter ထုတ်ကုန်တို့နှင့် ယေဘုယျအားဖြင့် ရင်းနှီးပြီးသားဖြစ်ပါက၊ ထို့နောက် သင်ချက်ချင်းနောက်အပိုင်းသို့ ဆက်သွားနိုင်ပါသည်။
လွန်ခဲ့သောနှစ်ပေါင်းများစွာက ကော်ပိုရိတ်ဒေတာဂိုဒေါင်တစ်ခု၏ စိတ်ကူးသည် ရင့်ကျက်လာပြီး Rostelecom တွင် စတင်အကောင်အထည်ဖော်ခဲ့သည်။ တစ်ဦးချင်းပြဿနာများကိုဖြေရှင်းပေးသည့် သိုလှောင်ရုံအများအပြားကို ဖန်တီးထားပြီးဖြစ်သော်လည်း အခြေအနေများ တိုးပွားလာကာ ပံ့ပိုးမှုကုန်ကျစရိတ်များလည်း တိုးလာကာ အနာဂတ်တွင် ဗဟိုချုပ်ကိုင်မှုတွင် ရှိနေကြောင်း ထင်ရှားလာပါသည်။ ဗိသုကာပညာအရ၊ ၎င်းသည် Hadoop နှင့် GreenPlum၊ အရန်ဒေတာဘေ့စ်များ၊ ETL ယန္တရားများနှင့် BI တွင် အကောင်အထည်ဖော်သည့် အလွှာများစွာပါ၀င်သော သိုလှောင်မှုဖြစ်သည်။
တစ်ချိန်တည်းမှာပင်၊ ပထဝီဝင်အနေအထားအရ ဖြန့်ဝေမှုများပြားသော၊ ကွဲပြားသောဒေတာရင်းမြစ်များကြောင့်၊ အထူးဒေတာအပ်လုဒ်ယန္တရားတစ်ခုကို ဖန်တီးခဲ့ပြီး Informatica မှ ထိန်းချုပ်ထားသည့် လုပ်ဆောင်ချက်ကို ဖန်တီးခဲ့သည်။ ရလဒ်အနေဖြင့် ဒေတာပက်ကေ့ချ်များသည် Hadoop အင်တာဖေ့စ်ဧရိယာတွင်အဆုံးသတ်ပြီးနောက်၊ သိုလှောင်မှုအလွှာများမှတစ်ဆင့် ဒေတာများတင်ဆောင်ခြင်းလုပ်ငန်းစဉ်များ၊ Hadoop နှင့် GreenPlum တို့ကို စတင်ခဲ့ပြီး ၎င်းတို့အား Informatica တွင် အကောင်အထည်ဖော်သည့် ETL ထိန်းချုပ်မှုယန္တရားဟုခေါ်သော စီမံကွပ်ကဲမှုဖြစ်သည်။ ထို့ကြောင့် Informatica စနစ်သည် ဂိုဒေါင်၏လည်ပတ်မှုကို သေချာစေသည့် အဓိကအချက်များထဲမှ တစ်ခုဖြစ်သည်။
ကျွန်ုပ်တို့၏ သိုလှောင်ခန်းကို အောက်ပါပို့စ်များထဲမှ တစ်ခုတွင် ပိုမိုအသေးစိတ်ဖော်ပြပါမည်။
Informatica PowerCenter/Big Data Management သည် လက်ရှိတွင် ဒေတာပေါင်းစည်းမှုကိရိယာများနယ်ပယ်တွင် ထိပ်တန်းဆော့ဖ်ဝဲအဖြစ် သတ်မှတ်ခံထားရသည်။ ၎င်းသည် ETL (Extract Transform Load)၊ ဒေတာအရည်အသွေးစီမံခန့်ခွဲမှု၊ MDM (Master Data Management)၊ ILM (Information Lifecycle Management) နှင့် အခြားအရာများတွင် အပြင်းထန်ဆုံးကစားသမားများထဲမှ တစ်ခုဖြစ်သည့် အမေရိကန်ကုမ္ပဏီ Informatica ၏ ထုတ်ကုန်တစ်ခုဖြစ်သည်။
ကျွန်ုပ်တို့အသုံးပြုသည့် PowerCenter သည် Informatica အပလီကေးရှင်းများကိုယ်တိုင်လည်ပတ်ပြီး ၎င်း၏ဝန်ဆောင်မှုများကို အကောင်အထည်ဖော်သည့် ပေါင်းစပ် Tomcat အက်ပ်ဆာဗာတစ်ခုဖြစ်သည်။
ဒိုမိန်းအမှန်တော့၊ ဤအရာသည် အခြားအရာအားလုံးအတွက် အခြေခံဖြစ်သည်၊ ဝန်ဆောင်မှုများ၊ အသုံးပြုသူများနှင့် GRID အစိတ်အပိုင်းများသည် ဒိုမိန်းအတွင်း လုပ်ဆောင်ပါသည်။
စီမံခန့်ခွဲသူ ကွန်ဆိုးလ်ဝဘ်အခြေခံစီမံခန့်ခွဲမှုနှင့် စောင့်ကြည့်ရေးကိရိယာတစ်ခုဖြစ်သည့် Informatica Developer client အပြင် ထုတ်ကုန်နှင့် အပြန်အလှန်ဆက်ဆံရန်အတွက် အဓိကကိရိယာ
MRS၊ မော်ဒယ်သိုလှောင်မှုဝန်ဆောင်မှုမက်တာဒေတာ သိုလှောင်ရာ၊ သည် မက်တာဒေတာကို ရုပ်ပိုင်းအရ သိမ်းဆည်းထားသည့် ဒေတာဘေ့စ်နှင့် ဖွံ့ဖြိုးတိုးတက်မှု လုပ်ဆောင်နေသည့် Informatica Developer client အကြား အလွှာတစ်ခုဖြစ်သည်။ Repositories သည် အခြားသော Infromatica ဝန်ဆောင်မှုများစွာအတွက် အပါအဝင် ဒေတာဖော်ပြချက်များနှင့် အခြားအချက်အလက်များကို သိမ်းဆည်းထားပါသည်၊ ဥပမာအားဖြင့်၊ လုပ်ဆောင်နေသော အလုပ်များ (Schedules) အတွက် အချိန်ဇယားများ (သို့) စောင့်ကြည့်ခြင်း ဒေတာအပြင် အပလီကေးရှင်းဘောင်ကန့်သတ်ချက်များ အထူးသဖြင့် တူညီသောအပလီကေးရှင်းကို အသုံးပြုခြင်းအား ခွင့်ပြုခြင်း၊ အမျိုးမျိုးသောဒေတာအရင်းအမြစ်များနှင့်လက်ခံရရှိသူများ။
DIS၊ ဒေတာပေါင်းစည်းရေးဝန်ဆောင်မှုဤသည်မှာ ပင်မလုပ်ငန်းဆောင်တာ လုပ်ငန်းစဉ်များ ဖြစ်ပေါ်လာခြင်း၊ ၎င်းတွင် လည်ပတ်နေသော အပလီကေးရှင်းများနှင့် အလုပ်အသွားအလာများ (မြေပုံဆွဲခြင်းနှင့် ၎င်းတို့၏ အပြန်အလှန်တုံ့ပြန်မှုများ၏ အစီအစဥ်ဖော်ပြချက်) နှင့် Mappings (အသွင်ပြောင်းမှုများ၊ ပိတ်ဆို့ခြင်းများ ကိုယ်တိုင်ဖြစ်ပေါ်သည့် အပြောင်းအလဲများ၊ ဒေတာ စီမံဆောင်ရွက်ခြင်း၊ ) နေရာယူ။
GRID ဖွဲ့စည်းမှု - အခြေခံအားဖြင့်၊ DIS မှစတင်သော load ကို node များကြားတွင်ဖြန့်ဝေသောအခါ (ဆိုလိုသည်မှာ၊ ဒိုမိန်း၏အစိတ်အပိုင်းဖြစ်သောဆာဗာများ) ကိုအသုံးပြု၍ ရှုပ်ထွေးသောဆာဗာများကိုအသုံးပြု၍ တည်ဆောက်ခြင်းအတွက် ရွေးချယ်စရာတစ်ခုဖြစ်သည်။ ဤရွေးချယ်မှုကိစ္စတွင်၊ တိကျသော node တစ်ခုတွင်အလုပ်လုပ်မည့်အစား DIS လည်ပတ်သည့်နောက်ထပ် GRID abstraction အလွှာတစ်ခုမှတစ်ဆင့် DIS တွင် ဝန်ကိုဖြန့်ဝေခြင်းအပြင်၊ တိကျသော node တစ်ခုပေါ်တွင်အလုပ်လုပ်မည့်အစား DIS လည်ပတ်သည့်နောက်ထပ် MRS ဖြစ်ရပ်များကိုလည်း ဖန်တီးနိုင်သည်။ ပင်မပျက်ကွက်ပါက ပြင်ပခေါ်ဆိုမှုများကို အရန်ခုံများမှတစ်ဆင့် ပြုလုပ်နိုင်သည့် မြင့်မားသောရရှိနိုင်မှုကိုပင် သင်အကောင်အထည်ဖော်နိုင်သည်။ ကျွန်ုပ်တို့သည် ဤဆောက်လုပ်ရေးရွေးချယ်မှုကို စွန့်လွှတ်လိုက်ပြီဖြစ်သည်။
Informatica PowerCenter၊ ဇယားကွက်
ဒေတာထောက်ပံ့မှုကွင်းဆက်၏တစ်စိတ်တစ်ပိုင်းအဖြစ် အလုပ်၏အစောပိုင်းအဆင့်များတွင်၊ အချို့မှာ ထိုအချိန်က Informatica ၏မတည်မငြိမ်လည်ပတ်မှုကြောင့် ပြဿနာများပုံမှန်ပေါ်ပေါက်ခဲ့သည်။ Informatica 10 ကို ကျွမ်းကျင်ပိုင်နိုင်စွာ တတ်မြောက်ထားသော ဤဝတ္ထု၏ အမှတ်တရအခိုက်အတန့်အချို့ကို ကျွန်ုပ်မျှဝေပါမည်။
ယခင် Informatica လိုဂို
ကျွန်ုပ်တို့၏တာဝန်ဝတ္တရားနယ်ပယ်တွင် အခြားသော Informatica ပတ်၀န်းကျင်များလည်း ပါဝင်သည်၊ ၎င်းတို့တွင် မတူညီသောဝန်ကြောင့် ၎င်းတို့၏ကိုယ်ပိုင်သတ်မှတ်ချက်များရှိသည်၊ သို့သော် ယခုအချိန်တွင် Informatica သည် ဒေတာဂိုဒေါင်၏ ETL အစိတ်အပိုင်းတစ်ခုအဖြစ် မည်သို့တီထွင်ခဲ့သည်ကို အတိအကျမှတ်မိပါမည်။
ဒါက ဘယ်လိုဖြစ်တာလဲ။
2016 ခုနှစ်တွင်၊ ကျွန်ုပ်တို့သည် Informatica ၏အလုပ်အတွက်တာဝန်ယူလာသောအခါ၊ ၎င်းသည် ဗားရှင်း 10.0 သို့ရောက်ရှိနေပြီဖြစ်ပြီး၊ အသေးအဖွဲဗားရှင်း .0 နှင့် ထုတ်ကုန်တစ်ခုကိုအသုံးပြုရန်ဆုံးဖြတ်နေသော အကောင်းမြင်လုပ်ဖော်ကိုင်ဖက်များအတွက် လေးနက်သောဖြေရှင်းချက်တစ်ခုတွင် အရာအားလုံးသည် သိသာထင်ရှားနေပုံပေါ်သည် - ကျွန်ုပ်တို့အသုံးပြုရန်လိုအပ်သည် ဗားရှင်းအသစ်။ ဟာ့ဒ်ဝဲအရင်းအမြစ်များကို ရှုထောင့်မှကြည့်လျှင် အရာအားလုံးသည် ထိုအချိန်က ကောင်းမွန်ခဲ့သည်။
2016 ခုနှစ် နွေဦးပေါက်ကတည်းက ကန်ထရိုက်တာတစ်ဦးသည် Informatica ၏လုပ်ငန်းဆောင်တာအတွက် တာဝန်ယူခဲ့ပြီး စနစ်၏အသုံးပြုသူအနည်းငယ်အရ "၎င်းသည် တစ်ပတ်လျှင် နှစ်ကြိမ်လုပ်ဆောင်ခဲ့သည်။" ဤနေရာတွင် repository သည် PoC အဆင့်တွင်အမှန်တကယ်ဖြစ်ကြောင်းရှင်းလင်းရန်လိုသည်၊ အဖွဲ့တွင်စီမံခန့်ခွဲသူများမရှိခဲ့ဘဲ အကြောင်းအမျိုးမျိုးကြောင့်စနစ်သည် အဆက်မပြတ်ပျက်သွားသည်၊ ထို့နောက် ကန်ထရိုက်တာ၏အင်ဂျင်နီယာက ၎င်းကိုထပ်မံကောက်ယူပြီးနောက် ၎င်းကိုထပ်မံရှင်းလင်းရန်လိုအပ်ပါသည်။
ဆောင်းဦးတွင်၊ စီမံခန့်ခွဲသူ သုံးဦးသည် အဖွဲ့ထဲသို့ ဝင်ရောက်ခဲ့ပြီး ၎င်းတို့၏ တာဝန်ဝတ္တရားများကို အချင်းချင်း ပိုင်းခြားကာ Informatica အပါအဝင် ပရောဂျက်ရှိ စနစ်များ၏ လည်ပတ်မှုကို ပုံမှန်လုပ်ဆောင်ရန် စတင်ခဲ့သည်။ သီးခြားအားဖြင့်၊ ဤထုတ်ကုန်သည် ကျယ်ကျယ်ပြန့်ပြန့်မဟုတ်ကြောင်းနှင့် သင်သည် မည်သည့်မေးခွန်းများအတွက် အဖြေကိုမဆို ရှာဖွေနိုင်ပြီး ပြဿနာတိုင်းကို ဖြေရှင်းနိုင်သည့် ကြီးမားသောအသိုင်းအဝိုင်းတစ်ခု ရှိသည်ဟု ဆိုရပါမည်။ ထို့ကြောင့်၊ ရုရှားလုပ်ဖော်ကိုင်ဖက် Informatica ၏ နည်းပညာပံ့ပိုးမှု အပြည့်အစုံသည် ကျွန်ုပ်တို့၏ အမှားများနှင့် အမှားအယွင်းများအားလုံးကို ပြုပြင်ပေးသော အကူအညီဖြင့် ရုရှားနိုင်ငံလုပ်ဖော်ကိုင်ဖက် Informatica ၏ နည်းပညာအပြည့်အစုံသည် အလွန်အရေးကြီးပါသည်။
ကျွန်ုပ်တို့၏အဖွဲ့၏ developer များနှင့် ကန်ထရိုက်တာအတွက် ပထမဆုံးလုပ်ဆောင်ရမည့်အရာမှာ ဝဘ်စီမံခန့်ခွဲရေးကွန်ဆိုးလ် (Informatica Administrator) ၏လုပ်ဆောင်နိုင်စွမ်းကိုသေချာစေရန် Informatica ကိုယ်တိုင်၏လုပ်ငန်းကို တည်ငြိမ်စေရန်ဖြစ်သည်။
ဤသည်မှာ ကျွန်ုပ်တို့သည် Informatica developer များနှင့် မကြာခဏ တွေ့ဆုံပုံဖြစ်သည်။
အကြောင်းရင်းများကို ရှာဖွေခြင်းလုပ်ငန်းစဉ်ကို ဘေးဖယ်ထားလိုက်ပါ၊ ပျက်ကျရသည့် အဓိကအကြောင်းရင်းမှာ ကွန်ရက်အခင်းအကျင်းရှုထောင့်မှ ဝေးလံခေါင်သီသော ဆာဗာတစ်ခုပေါ်တွင် တည်ရှိသည့် သိုလှောင်ဒေတာဘေ့စ်နှင့် Informatica ဆော့ဖ်ဝဲ၏ အပြန်အလှန်ဆက်ဆံရေးပုံစံဖြစ်သည်။ ၎င်းသည် နှောင့်နှေးမှုများဖြစ်စေပြီး Informatica ဒိုမိန်း၏အခြေအနေကို စောင့်ကြည့်သည့် ယန္တရားများကို အနှောင့်အယှက်ဖြစ်စေသည်။ ဒေတာဘေ့စ်အချို့ကို ချိန်ညှိပြီးနောက်၊ ဒေတာဘေ့စ်နှောင့်နှေးမှုများကို ပိုမိုခံနိုင်ရည်ရှိစေသည့် Informatica ၏ ဘောင်များကို ပြောင်းလဲကာ နောက်ဆုံးတွင် Informatica ဗားရှင်းကို 10.1 သို့ မွမ်းမံပြီး ဒေတာဘေ့စ်ကို ယခင်ဆာဗာမှ Informatica နှင့် ပိုမိုနီးကပ်သော ဆာဗာသို့ လွှဲပြောင်းလိုက်ရာ ပြဿနာမှာ ပျောက်ဆုံးသွားခဲ့သည်။ ဆက်စပ်မှုရှိပြီး ထိုအချိန်မှစ၍ ကျွန်ုပ်တို့ သတိမပြုမိသော ဤကဲ့သို့သော ပျက်စီးမှုများ ရှိလာခဲ့သည်။
Informatica Monitor အလုပ်လုပ်ရန် ကြိုးစားမှုတစ်ခု
အုပ်ချုပ်ရေးယန္တရား၏ အနေအထားမှာလည်း စိုးရိမ်ဖွယ်ဖြစ်သည်။ တက်ကြွသောဖွံ့ဖြိုးတိုးတက်မှုသည် အတော်လေးအကျိုးရှိသောပတ်ဝန်းကျင်တွင် တိုက်ရိုက်လုပ်ဆောင်နေသောကြောင့်၊ လုပ်ဖော်ကိုင်ဖက်များသည် မြေပုံဆွဲခြင်းနှင့် အလုပ်အသွားအလာကို “သွားလာရင်း” ခွဲခြမ်းစိတ်ဖြာရန် အမြဲလိုအပ်ပါသည်။ Informatica အသစ်တွင်၊ Data Integration Service တွင် ယင်းကဲ့သို့ စောင့်ကြည့်ခြင်းအတွက် သီးခြားကိရိယာတစ်ခု မပါရှိသော်လည်း စောင့်ကြည့်စစ်ဆေးသည့်အပိုင်းတွင် စီမံခန့်ခွဲရေးဝဘ်ကွန်ဆိုးလ် (Informatica Administrator Monitor) တွင် အက်ပလီကေးရှင်းများ၊ အလုပ်အသွားအလာနှင့် မြေပုံထုတ်မှုများကို စောင့်ကြည့်နိုင်သည်၊ ပစ်လွှတ်ခြင်း၊ မှတ်တမ်းများ။ အခါအားလျော်စွာ၊ ကွန်ဆိုးလ်သည် လုံးဝမရရှိနိုင်ပါ သို့မဟုတ် DIS ရှိ လက်ရှိလုပ်ငန်းစဉ်များအကြောင်း အချက်အလက်များကို အပ်ဒိတ်မလုပ်တော့ဘဲ သို့မဟုတ် စာမျက်နှာများကို ဖွင့်သည့်အခါ အမှားအယွင်းများ ဖြစ်ပေါ်ခဲ့သည်။
လုပ်ဆောင်ချက်ကို တည်ငြိမ်စေရန် Java ဘောင်များကို ရွေးချယ်ခြင်း။
ပြဿနာကို နည်းလမ်းများစွာဖြင့် ပြုပြင်ခဲ့ပြီး၊ ဘောင်များကို ပြောင်းလဲရန်အတွက် စမ်းသပ်မှုများ လုပ်ဆောင်ခဲ့ပြီး၊ မှတ်တမ်းများနှင့် jstack များကို စုဆောင်းကာ ပံ့ပိုးကူညီမှုထံ ပေးပို့ခဲ့သည်၊ တစ်ချိန်တည်းတွင် တက်ကြွသော googling နှင့် ရိုးရှင်းစွာ စောင့်ကြည့်မှုလည်း ရှိနေပါသည်။
ပထမဦးစွာ၊ စောင့်ကြည့်ရန်အတွက် သီးခြား MRS တစ်ခုကို ဖန်တီးခဲ့သည်၊ နောက်ပိုင်းတွင် ထွက်ပေါ်လာသည့်အတိုင်း၊ ၎င်းသည် ကျွန်ုပ်တို့၏ ပတ်ဝန်းကျင်ရှိ အရင်းအမြစ်များကို အဓိကသုံးစွဲသူများထဲမှ တစ်ခုဖြစ်သည်၊ java heap နှင့် ပတ်သက်သော ကန့်သတ်ချက်များ အများအပြားကို ပြောင်းလဲထားသည်။
ရလဒ်အနေဖြင့် နောက်လာမည့် အပ်ဒိတ် Informatica 10.1.1 ဖြင့် ကွန်ဆိုးလ်နှင့် မော်နီတာ၏ လည်ပတ်မှု တည်ငြိမ်သွားသည်၊ ဆော့ဖ်ဝဲရေးသားသူများသည် ပိုမိုထိရောက်စွာ လုပ်ဆောင်နိုင်လာပြီး ပုံမှန်လုပ်ငန်းစဉ်များ ပိုမိုပုံမှန်ဖြစ်လာခဲ့သည်။
ဖွံ့ဖြိုးတိုးတက်မှုနှင့် အုပ်ချုပ်မှုကြား အပြန်အလှန်ဆက်ဆံရေး အတွေ့အကြုံများသည် စိတ်ဝင်စားဖွယ်ကောင်းပေမည်။ ရှုပ်ထွေးသော စနစ်များကို အသုံးပြုသောအခါတွင် အရာများ မည်သို့လုပ်ဆောင်နိုင်သည်၊ ပြီးနိုင်သည်နှင့် မရနိုင်သောအရာတို့ကို ယေဘူယျနားလည်မှုပြဿနာသည် ရှုပ်ထွေးသောစနစ်များကို အသုံးပြုသည့်အခါ အမြဲတမ်းအရေးကြီးပါသည်။ ထို့ကြောင့်၊ ဆော့ဖ်ဝဲလ်ကို စီမံခန့်ခွဲနည်းအား စီမံခန့်ခွဲရေးအဖွဲ့အား ဦးစွာ လေ့ကျင့်ပေးရန်နှင့် စနစ်အတွင်းရှိ ကုဒ်နှင့် လုပ်ငန်းစဉ်များကို မည်သို့ရေးဆွဲရမည်ကို ဖွံ့ဖြိုးတိုးတက်ရေးအဖွဲ့အား လုံခြုံစွာ လေ့ကျင့်ပေးရန် အကြံပြုနိုင်သည်၊ ထို့နောက်မှသာ ရလဒ်ကို လုပ်ဆောင်ရန် ပထမနှင့် ဒုတိယကို ပေးပို့ပါ။ အချိန်သည် အကန့်အသတ်မရှိသော အရင်းအမြစ်မဟုတ်သည့်အခါ ၎င်းသည် အမှန်တကယ်အရေးကြီးပါသည်။ ရွေးချယ်စရာများကို ကျပန်းရှာဖွေခြင်းဖြင့်ပင် ပြဿနာအများအပြားကို ဖြေရှင်းနိုင်သော်လည်း တစ်ခါတစ်ရံတွင် အချို့သော ဦးစားပေးအသိပညာတစ်ခု လိုအပ်သည် - ကျွန်ုပ်တို့၏ဖြစ်ရပ်သည် ဤ axiom ကို နားလည်ရန် အရေးကြီးကြောင်း အတည်ပြုပါသည်။
ဥပမာအားဖြင့်၊ ကျွန်ုပ်တို့သည် MRS တွင် ဗားရှင်းဖွင့်ခြင်းကို ဖွင့်ရန်ကြိုးစားသောအခါ (အဆုံးတွင်၊ SVN ၏ မတူညီသောဗားရှင်းတစ်ခု လိုအပ်သည်)၊ စနစ်ပြန်လည်စတင်ချိန်သည် မိနစ်ဆယ်ဂဏန်းအထိ တိုးလာသည်ကို တွေ့ရှိပြီးနောက် ကျွန်ုပ်တို့သည် ထိတ်လန့်သွားကြသည်။ စတင်ခြင်းတွင်နှောင့်နှေးခြင်းနှင့် ဗားရှင်းဖွင့်ခြင်းအား ပိတ်ခြင်းအတွက် အကြောင်းရင်းကို တွေ့ရှိပြီးနောက်၊ ကျွန်ုပ်တို့ ကောင်းမွန်စွာ ထပ်မံလုပ်ဆောင်ခဲ့ပါသည်။
Informatica နှင့်ဆက်စပ်နေသော ထင်ရှားသောအတားအဆီးများတွင် ကြီးထွားလာသော java thread များနှင့် ပေါင်းစပ်တိုက်ပွဲတို့ပါဝင်သည်။ တစ်ချိန်ချိန်တွင်၊ ဆိုလိုသည်မှာ၊ တည်ဆောက်ထားသော လုပ်ငန်းစဉ်များကို ရင်းမြစ်စနစ်အများအပြားသို့ တိုးချဲ့ရန် အချိန်ကျရောက်လာပြီဖြစ်သည်။ 10.1.1 ရှိ လုပ်ငန်းစဉ်အားလုံး ကောင်းစွာအလုပ်လုပ်သည်မဟုတ်ကြောင်းနှင့် အချိန်အတန်ကြာပြီးနောက် DIS သည် လုပ်ဆောင်၍မရနိုင်တော့ကြောင်း တွေ့ရှိရပါသည်။ သောင်းနှင့်ချီသော thread များကို တွေ့ရှိခဲ့ပြီး ၎င်းတို့၏ အရေအတွက်သည် အပလီကေးရှင်း ဖြန့်ကျက်ခြင်းလုပ်ငန်းစဉ်အတွင်း အထူးသဖြင့် သိသာထင်ရှားစွာ တိုးလာပါသည်။ တစ်ခါတရံမှာ လုပ်ဆောင်ချက်တွေကို ပြန်လည်ရယူဖို့အတွက် တစ်နေ့ကို အကြိမ်ပေါင်းများစွာ ပြန်လည်စတင်ခဲ့ရပါတယ်။
ဤနေရာတွင် ကျွန်ုပ်တို့သည် ပံ့ပိုးကူညီမှုကို ကျေးဇူးတင်ဖို့လိုသည်၊ ပြဿနာများကို EBF (Emergency Bug Fix) ကို အသုံးပြု၍ ပြဿနာများကို ဒေသအလိုက်သတ်မှတ်ပြီး လျင်မြန်စွာဖြေရှင်းနိုင်သည် - ထို့နောက်တွင် လူတိုင်းသည် tool သည် အမှန်တကယ်အလုပ်လုပ်ကြောင်းကို ခံစားသိရှိလာကြသည်။
အလုပ်လုပ်နေတုန်းပဲ!
ပစ်မှတ်မုဒ်တွင် ကျွန်ုပ်တို့ စတင်လုပ်ဆောင်ချိန်၌၊ Informatica သည် ဤကဲ့သို့ မြင်တွေ့ရသည်။ Informatica 10.1.1HF1 ဗားရှင်း (HF1 သည် HotFix1၊ ရှုပ်ထွေးသော EBFs မှ ရောင်းချသူစုဝေးမှု) နှင့်အတူ ကျွန်ုပ်တို့၏ပြဿနာများကို ချဲ့ထွင်ခြင်းနှင့် အချို့သောအခြားအရာများကို ပြုပြင်ပေးသည့် EBF နှင့် အခြားထည့်သွင်းထားသော ရှုပ်ထွေးသောရောင်းချသူစုဝေးမှုသည် GRID ၏အစိတ်အပိုင်းသုံးခုအနက်မှ ဆာဗာတစ်ခုတွင်၊ 20 x86_64 cores ကြီးမားသောနှေးကွေးသောဒေသခံဒစ်များပေါ်တွင်သိုလှောင်မှုနှင့်သိုလှောင်မှု - ၎င်းသည် Hadoop အစုအဝေးအတွက်ဆာဗာဖွဲ့စည်းပုံဖြစ်သည်။ အခြား အလားတူဆာဗာတွင် - Informatica ဒိုမိန်းနှင့် ETL ထိန်းချုပ်မှု ယန္တရားနှစ်ခုလုံး အလုပ်လုပ်သည့် Oracle DBMS။ ဤအရာအားလုံးကို အဖွဲ့ (Zabbix + Grafana) တွင် အသုံးပြုသည့် စံစောင့်ကြည့်ရေးကိရိယာများဖြင့် စောင့်ကြည့်သည် - Informatica ကိုယ်တိုင်က ၎င်း၏ဝန်ဆောင်မှုများနှင့်အတူ၊ နှင့် ၎င်းထဲသို့ သယ်ဆောင်ခြင်းလုပ်ငန်းစဉ်များကို လုပ်ဆောင်သည်။ ယခုအခါ စွမ်းဆောင်ရည်နှင့် တည်ငြိမ်မှု နှစ်မျိုးစလုံးသည် ပြင်ပအချက်များ ထည့်သွင်းခြင်းမရှိဘဲ ဝန်အားကန့်သတ်သည့် ဆက်တင်များပေါ်တွင် မူတည်နေပြီဖြစ်သည်။
သီးခြားအားဖြင့်၊ GRID အကြောင်းပြောနိုင်သည်။ ပတ်ဝန်းကျင်ကို ဝန်ချိန်ခွင်လျှာ ချိန်ညှိနိုင်ခြေဖြင့် node သုံးခုပေါ်တွင် တည်ဆောက်ထားသည်။ သို့သော်လည်း စမ်းသပ်နေစဉ်အတွင်း ကျွန်ုပ်တို့၏ အပလီကေးရှင်းများ၏ လုပ်ဆောင်နေသည့် ဖြစ်ရပ်များကြား အပြန်အလှန်ဆက်သွယ်မှုပြဿနာများကြောင့်၊ ဤဖွဲ့စည်းပုံသည် မျှော်လင့်ထားသည့်အတိုင်း အလုပ်မဖြစ်ခဲ့ကြောင်း၊ ၎င်းတို့သည် ဤဆောက်လုပ်ရေးအစီအစဉ်ကို ယာယီစွန့်လွှတ်ကာ ဒိုမိန်းသုံးခုထဲမှ နှစ်ခုကို ဖယ်ရှားရန် ဆုံးဖြတ်ခဲ့သည်။ တစ်ချိန်တည်းမှာပင်၊ အစီအစဉ်ကိုယ်တိုင်က တူညီနေခဲ့ပြီး ယခုအခါ ၎င်းသည် GRID ဝန်ဆောင်မှုတစ်ခုအဖြစ် အတိအကျဖြစ်လာသော်လည်း node တစ်ခုသို့ ပျက်ယွင်းသွားသည်။
ယခုအချိန်တွင်၊ မော်နီတာပတ်လမ်းကို ပုံမှန်သန့်ရှင်းရေးလုပ်သည့်အခါ စွမ်းဆောင်ရည်ကျဆင်းခြင်းနှင့် ဆက်နွှယ်နေဆဲဖြစ်သည် - CNN တွင် တစ်ပြိုင်နက်တည်းလုပ်ဆောင်မှုများနှင့် သန့်ရှင်းရေးလုပ်ဆောင်နေခြင်းကြောင့် ETL ထိန်းချုပ်မှုယန္တရား၏လည်ပတ်မှုတွင် ချွတ်ယွင်းမှုများဖြစ်ပေါ်နိုင်သည်။ ၎င်းကို လက်ရှိတွင် "Crutch အဖြစ်" ဖြေရှင်းနေပါသည် - ၎င်း၏ယခင်ဒေတာများ ဆုံးရှုံးသွားသဖြင့် မော်နီတာပတ်လမ်းကို ကိုယ်တိုင်ရှင်းလင်းခြင်းဖြင့် ဖြေရှင်းနေပါသည်။ ပုံမှန်လုပ်ရိုးလုပ်စဉ် လည်ပတ်နေချိန်အတွင်း ကုန်ထုတ်စွမ်းအားအတွက် အလွန်အရေးပါလှသည်မဟုတ်သော်လည်း ယခုအခါတွင် ပုံမှန်ဖြေရှင်းချက်ကို ရှာဖွေနေဆဲဖြစ်သည်။
ဤတူညီသောအခြေအနေမှနောက်ထပ်ပြဿနာတစ်ခုပေါ်ပေါက်သည် - တစ်ခါတစ်ရံကျွန်ုပ်တို့၏ထိန်းချုပ်မှုယန္တရား၏ပစ်လွှတ်မှုအများအပြားဖြစ်ပေါ်သည်။
အပလီကေးရှင်းများစွာ လွှင့်တင်ခြင်းသည် ယန္တရားချို့ယွင်းမှုကို ဖြစ်စေသည်။
အချိန်ဇယားအတိုင်း လည်ပတ်သောအခါ၊ စနစ်တွင် လေးလံသောအချိန်များတွင် ယန္တရားပြိုကွဲသွားစေရန် ဖြစ်ပေါ်လာသည့် အခြေအနေများ ဖြစ်ပေါ်လာတတ်သည်။ ပြဿနာကို ကိုယ်တိုင်ဖြေရှင်းနေဆဲဖြစ်ပြီး အမြဲတမ်းဖြေရှင်းချက်ကို ရှာဖွေနေပါသည်။
ယေဘူယျအားဖြင့်၊ လေးလံသောဝန်ထုပ်ဝန်ပိုးတစ်ခုရှိလာသောအခါ၊ ၎င်းအတွက်လုံလောက်သောအရင်းအမြစ်များပေးဆောင်ရန် အလွန်အရေးကြီးသည်၊ ၎င်းသည် Informatica ကိုယ်တိုင်အတွက် ဟာ့ဒ်ဝဲအရင်းအမြစ်များနှင့်လည်းသက်ဆိုင်သည်၊ ၎င်း၏ဒေတာဘေ့စ်သိုလှောင်မှုအတွက်လည်း အလားတူ၊ အကောင်းဆုံးဆက်တင်များပေးဆောင်ရန် အရေးကြီးသည် သူတို့အတွက်။ ထို့အပြင်၊ မည်သည့်ဒေတာဘေ့စ်နေရာချထားမှုအစီအစဥ်ကပိုကောင်းသနည်း - သီးခြားအိမ်ရှင်တစ်ခုတွင်သို့မဟုတ် Informatica ဆော့ဖ်ဝဲလည်ပတ်သည့်တစ်ခုတည်းတွင်မေးခွန်းဖွင့်ထားသည်။ တစ်ဖက်တွင်၊ ၎င်းသည် ဆာဗာတစ်ခုတွင် စျေးသက်သာမည်ဖြစ်ပြီး ပေါင်းစပ်လိုက်သောအခါတွင်၊ ကွန်ရက်အပြန်အလှန်ဆက်သွယ်မှုဆိုင်ရာ ပြဿနာဖြစ်နိုင်ချေကို လက်တွေ့ကျကျ ဖယ်ရှားလိုက်သည်၊ အခြားတစ်ဖက်တွင်၊ ဒေတာဘေ့စ်မှ host ပေါ်ရှိဝန်အား Informatica မှ load ဖြင့် ဖြည့်စွက်ထားသည်။
မည်သည့် လေးနက်သော ထုတ်ကုန်ကဲ့သို့ပင်၊ Informatica တွင်လည်း ရယ်စရာ အခိုက်အတန့်များ ရှိသည်။
တစ်ခါက၊ မတော်တဆမှုမျိုးတွေကို ခွဲထုတ်ရင်း MRS မှတ်တမ်းတွေက အဖြစ်အပျက်တွေရဲ့ အချိန်ကို ထူးထူးခြားခြား ညွှန်ပြနေတာကို သတိပြုမိပါတယ်။
MRS တွင် Temporal dualism မှတ်တမ်းသည် "ဒီဇိုင်းအားဖြင့်"
အချိန်တံဆိပ်ခေါင်းများကို AM/PM မသတ်မှတ်ဘဲ မွန်းတည့်ချိန်မတိုင်မီ သို့မဟုတ် ပြီးနောက် 12 နာရီပုံစံဖြင့် ရေးသားထားကြောင်း တွေ့ရှိရပါသည်။ ဤကိစ္စနှင့်ပတ်သက်ပြီး အက်ပ်လီကေးရှင်းကိုပင် ဖွင့်ထားပြီး တရားဝင်တုံ့ပြန်မှုကို လက်ခံရရှိခဲ့သည် - ၎င်းသည် ရည်ရွယ်ထားသည့်အတိုင်း အမှတ်အသားများကို ဤဖော်မတ်ဖြင့် MRS မှတ်တမ်းတွင် ရေးမှတ်ထားသည်။ ဆိုလိုသည်မှာ၊ တစ်ခါတစ်ရံတွင် အမှားအယွင်းအချို့ ပေါ်ပေါက်လာချိန်နှင့် ပတ်သက်သည့် ခြေပုန်းခုတ်မှုများ ရှိနေတတ်ပါသည်။
အကောင်းဆုံးဖြစ်အောင် ကြိုးစားပါ။
ယနေ့တွင်၊ Informatica သည် စီမံခန့်ခွဲသူများနှင့် သုံးစွဲသူများအတွက် အဆင်ပြေစေသော တည်ငြိမ်သောကိရိယာတစ်ခုဖြစ်ပြီး ၎င်း၏လက်ရှိစွမ်းဆောင်ရည်နှင့် အလားအလာများအတွက် အလွန်အစွမ်းထက်ပါသည်။ ၎င်းသည် ကျွန်ုပ်တို့၏လုပ်ငန်းဆောင်တာလိုအပ်ချက်များကို အကြိမ်များစွာ ကျော်လွန်နေပြီး ယခုအခါတွင် ပုံမှန်မဟုတ်သော ပုံမှန်မဟုတ်သည့်နည်းလမ်းဖြင့် ပရောဂျက်တွင် de facto ကို အသုံးပြုလျက်ရှိသည်။ အဆိုပါအခက်အခဲများသည် ယန္တရားများအလုပ်လုပ်ပုံနှင့် တစ်စိတ်တစ်ပိုင်းဆက်စပ်နေသည် - တိကျသောအချက်မှာ အချိန်တိုအတွင်းတွင် ကန့်သတ်ဘောင်များကို အပြင်းအထန်မွမ်းမံပြီး repository ဒေတာဘေ့စ်နှင့်အတူ အလုပ်လုပ်သော thread အများအပြားကို အချိန်တိုအတွင်း စတင်လိုက်သည်၊၊ ဆာဗာဟာ့ဒ်ဝဲအရင်းအမြစ်များကို လုံးဝနီးပါးအသုံးချနေချိန်တွင်၊ CPU အားဖြင့်။
ကျွန်ုပ်တို့သည် ယခုလက်ရှိ ကျွန်ုပ်တို့၌ရှိသော စွမ်းဆောင်ရည်နှင့် လုပ်ဆောင်နိုင်စွမ်းဆိုင်ရာ ပြဿနာအချို့ကို ဖယ်ရှားပစ်ရန် အတွင်းပိုင်းယန္တရားအချို့နှင့် ပံ့ပိုးပေးထားသည့် ကတိကဝတ်ပြုထားသည့် Informatica 10.2.1 သို့မဟုတ် 10.2.2 သို့ ပြောင်းရွှေ့ရန် နီးစပ်နေပြီဖြစ်သည်။ ပြီးတော့ ဟာ့ဒ်ဝဲရှုထောင့်ကနေကြည့်ရင်၊ သိုလှောင်မှု တိုးတက်မှုနဲ့ ဖွံ့ဖြိုးတိုးတက်မှုကြောင့် မဝေးတော့တဲ့အနာဂတ်အတွက် အရန်အရံကို ထည့်သွင်းစဉ်းစားပြီး ကျွန်ုပ်တို့အတွက် အကောင်းဆုံးဖွဲ့စည်းမှုတစ်ခုရှိတဲ့ ဆာဗာတွေကို မျှော်လင့်ထားပါတယ်။
ဟုတ်ပါတယ်၊ စမ်းသပ်ခြင်း၊ လိုက်ဖက်ညီမှုကိုစစ်ဆေးခြင်းနှင့် HA GRID အပိုင်းရှိဗိသုကာဆိုင်ရာပြောင်းလဲမှုများဖြစ်နိုင်သည်။ အချိန်တိုအတွင်း ကျွန်ုပ်တို့သည် စနစ်အား အစားထိုးရန် မည်သည့်အရာကိုမျှ မပံ့ပိုးနိုင်သောကြောင့် Informatica အတွင်း ဖွံ့ဖြိုးတိုးတက်မှု ဆက်လက်ရှိနေမည်ဖြစ်သည်။
အနာဂတ်တွင် ဤစနစ်အတွက် တာဝန်ယူမည့်သူများသည် ဖောက်သည်များတင်ပြသော လိုအပ်သော ယုံကြည်စိတ်ချရမှုနှင့် စွမ်းဆောင်ရည်အညွှန်းများဆီသို့ ကျိန်းသေပေါက်ရောက်နိုင်မည်ဖြစ်သည်။
ဆောင်းပါးကို Rostelecom ဒေတာစီမံခန့်ခွဲမှုအဖွဲ့မှ ပြင်ဆင်ထားပါသည်။
လက်ရှိ Informatica လိုဂို
source: www.habr.com