ဒေတာ dichotomy- ဒေတာနှင့် ဝန်ဆောင်မှုများကြား ဆက်စပ်မှုကို ပြန်လည်စဉ်းစားခြင်း။

အားလုံးမင်္ဂလာပါ! ကျွန်ုပ်တို့တွင် သတင်းကောင်းတစ်ခုရှိသည်၊ OTUS သင်တန်းကို ဇွန်လတွင် ထပ်မံဖွင့်လှစ်တော့မည်ဖြစ်သည်။ "ဆော့ဖ်ဝဲဗိသုကာ"သင်နှင့်ကျွန်ုပ်တို့သည် ရှေးယခင်ကတည်းက အသုံးဝင်သောပစ္စည်းများကို မျှဝေခြင်းနှင့်ပတ်သက်၍၊

အကယ်၍ သင်သည် ဤအသေးစားဝန်ဆောင်မှုလုပ်ငန်းတစ်ခုလုံးကို အကြောင်းအရာတစ်ခုမှမပါဘဲ တွေ့လိုက်ရပါက၊ အနည်းငယ်ထူးဆန်းသည်ဟု ထင်သည့်အတွက် ခွင့်လွှတ်နိုင်မည်ဖြစ်သည်။ အက်ပလီကေးရှင်းတစ်ခုအား ကွန်ရက်တစ်ခုမှချိတ်ဆက်ထားသောအပိုင်းအစများအဖြစ် ပိုင်းဖြတ်ခြင်းသည် ရလဒ်ဖြန့်ဝေမှုစနစ်သို့ ရှုပ်ထွေးသောအမှားအယွင်းခံနိုင်မှုမုဒ်များကို ပေါင်းထည့်ခြင်းကို ဆိုလိုသည်။

ဤချဉ်းကပ်မှုတွင် ၎င်းအား သီးခြားဝန်ဆောင်မှုများစွာအဖြစ် ခွဲထုတ်ခြင်းတွင် ပါဝင်သော်လည်း၊ အဆုံးပန်းတိုင်သည် အဆိုပါဝန်ဆောင်မှုများကို မတူညီသောစက်များတွင် လည်ပတ်စေခြင်းထက် များစွာပိုပါသည်။ ဤနေရာတွင် ကျွန်ုပ်တို့သည် ၎င်း၏အနှစ်သာရအရ ဖြန့်ဝေထားသည့် ပြင်ပကမ္ဘာနှင့် အပြန်အလှန်ဆက်ဆံခြင်းအကြောင်း ပြောနေပါသည်။ နည်းပညာပိုင်းအရမဟုတ်ဘဲ၊ လူများစွာ၊ အဖွဲ့များ၊ ပရိုဂရမ်များနှင့် ဤအစိတ်အပိုင်းတစ်ခုစီသည် ၎င်း၏အလုပ်ကို တစ်နည်းနည်းဖြင့် လုပ်ဆောင်ရန် လိုအပ်သည့် ဂေဟစနစ်တစ်ခု၏ သဘောအရဖြစ်သည်။

ဥပမာအားဖြင့် ကုမ္ပဏီများသည် ရည်မှန်းချက်အချို့ကို အောင်မြင်မှုဆီသို့ စုပေါင်းပံ့ပိုးပေးသည့် ဖြန့်ဝေသည့်စနစ်များ အစုအဝေးတစ်ခုဖြစ်သည်။ ကျွန်ုပ်တို့သည် FTPing ဖိုင်များဖြင့် ပေါင်းစည်းမှုအောင်မြင်ရန် သို့မဟုတ် ကျွန်ုပ်တို့၏ကိုယ်ပိုင် သီးခြားပန်းတိုင်များကို အာရုံစိုက်နေချိန်တွင် လုပ်ငန်းပေါင်းစည်းမှုကိရိယာများကို အသုံးပြု၍ ဤအချက်ကို ဆယ်စုနှစ်များစွာ လျစ်လျူရှုထားခဲ့သည်။ ဒါပေမယ့် ဝန်ဆောင်မှုတွေ ထွန်းကားလာတာနဲ့အမျှ အရာအားလုံးက ပြောင်းလဲသွားခဲ့တယ်။ ဝန်ဆောင်မှုများသည် ကျွန်ုပ်တို့အား မိုးကုပ်စက်ဝိုင်းကိုကျော်လွန်၍ အတူတကွလုပ်ဆောင်သော အပြန်အလှန်မှီခိုနေသောပရိုဂရမ်များ၏ကမ္ဘာကိုကြည့်ရှုရန် ကူညီပေးပါသည်။ သို့သော်၊ အောင်မြင်စွာလုပ်ဆောင်နိုင်ရန်၊ အခြေခံအားဖြင့် မတူညီသောကမ္ဘာနှစ်ခု- ကျွန်ုပ်တို့နေထိုင်ရာ ပြင်ပကမ္ဘာ၊ အခြားဝန်ဆောင်မှုများစွာ၏ ဂေဟစနစ်တစ်ခုတွင် နေထိုင်ရာ၊ နှင့် ကျွန်ုပ်တို့တစ်ဦးတည်း အုပ်စိုးသည့် ကျွန်ုပ်တို့၏ကိုယ်ပိုင်၊ အတွင်းကမ္ဘာကို အသိအမှတ်ပြုရန်နှင့် ဒီဇိုင်းဆွဲရန် လိုအပ်ပါသည်။

ဤဖြန့်ဝေနေသောကမ္ဘာသည် ကျွန်ုပ်တို့ကြီးပြင်းလာကာ ကျင့်သားရနေသည့်အရာနှင့် ကွဲပြားသည်။ ရိုးရာကျောက်တုံးဗိသုကာတည်ဆောက်ခြင်း၏ အခြေခံမူများသည် ဝေဖန်မှုများကို မခံမရပ်နိုင်ဖြစ်နေကြသည်။ ထို့ကြောင့် ဤစနစ်များကို မှန်မှန်ကန်ကန်ရရှိရန်မှာ အလန်းစား whiteboard diagram သို့မဟုတ် အေးမြသော သက်သေအထောက်အထားတစ်ခု ဖန်တီးခြင်းထက် ပိုပါသည်။ ဆိုလိုသည်မှာ ထိုစနစ်သည် အချိန်ကြာမြင့်စွာ အောင်မြင်စွာလည်ပတ်နိုင်စေရန် သေချာစေရန်ဖြစ်သည်။ ကံကောင်းထောက်မစွာ၊ ဝန်ဆောင်မှုများသည် ကွဲပြားနေသော်လည်း ၎င်းတို့သည် အချိန်အတော်ကြာအောင် ရှိနေခဲ့သည်။ SOA သင်ခန်းစာများ Docker၊ Kubernetes နှင့် အနည်းငယ် ကြမ်းတမ်းသော hipster မုတ်ဆိတ်မွေးများနှင့် စပ်လျဉ်း၍ပင် သက်ဆိုင်နေသေးသည်။

ဒါကြောင့် ဒီနေ့မှာ စည်းမျဉ်းတွေ ဘယ်လိုပြောင်းသွားလဲ၊ ဝန်ဆောင်မှုတွေကို ချဉ်းကပ်ပုံနဲ့ ဒေတာတစ်ခုနဲ့တစ်ခု အပြန်အလှန်ပေးပို့ပုံတွေကို ပြန်လည်စဉ်းစားဖို့ လိုအပ်ပြီး အဲဒါကိုလုပ်ဖို့ ဘာကြောင့် လုံးဝကွဲပြားတဲ့ ကိရိယာတွေ လိုအပ်မယ်ဆိုတာကို ဒီနေ့ လေ့လာကြည့်ပါမယ်။

Encapsulation သည် အမြဲတမ်း သင့်သူငယ်ချင်းဖြစ်မည်မဟုတ်ပါ။

Microservices များသည် တစ်ခုနှင့်တစ်ခု သီးခြားလုပ်ဆောင်နိုင်သည်။ ဤအရာသည် ၎င်းတို့အား အကြီးမားဆုံးတန်ဖိုးကို ပေးဆောင်သည်။ ဤတူညီသောပိုင်ဆိုင်မှုသည် ဝန်ဆောင်မှုများကို အတိုင်းအတာနှင့် ကြီးထွားရန် ခွင့်ပြုသည်။ အသုံးပြုသူများ သို့မဟုတ် ဒေတာ petabytes ၏ quadrillions သို့ ချဲ့ထွင်ခြင်း၏ အဓိပ္ပာယ်မှာ များစွာမဟုတ်ပါ (ထိုနေရာတွင်လည်း ကူညီပေးနိုင်သော်လည်း)၊ သို့သော် အဖွဲ့များနှင့် အဖွဲ့အစည်းများသည် စဉ်ဆက်မပြတ် ကြီးထွားလာသည်နှင့်အမျှ လူများ၏ သတ်မှတ်ချက်တွင် အတိုင်းအတာဖြင့် ချဲ့ထွင်ခြင်းသဘော။

သို့သော် လွတ်လပ်ရေးသည် နှစ်ဖက်သောဓားဖြစ်သည်။ ဆိုလိုသည်မှာ၊ ဝန်ဆောင်မှုကိုယ်တိုင်က လွယ်ကူပြီး သဘာဝအတိုင်း လုပ်ဆောင်နိုင်သည်။ သို့သော် အခြားသောဝန်ဆောင်မှုကိုအသုံးပြုရန် လိုအပ်သည့်ဝန်ဆောင်မှုတစ်ခုအတွင်း လုပ်ဆောင်မှုတစ်ခုကို လုပ်ဆောင်ပါက၊ ကျွန်ုပ်တို့သည် ဝန်ဆောင်မှုနှစ်ခုလုံးကို တစ်ပြိုင်နက်နီးပါး အပြောင်းအလဲလုပ်ရန် လိုအပ်ပါသည်။ monolith တွင် ဤသို့ပြုလုပ်ရန် လွယ်ကူသည်၊ သင်သည် ပြောင်းလဲမှုတစ်ခုပြုလုပ်ပြီး ထုတ်ဝေရန် ပေးပို့လိုက်ရုံဖြင့်၊ သို့သော် သီးခြားလွတ်လပ်သောဝန်ဆောင်မှုများကို ထပ်တူပြုခြင်းကိစ္စတွင် ပြဿနာများပိုမိုရှိလာမည်ဖြစ်သည်။ အဖွဲ့များနှင့် လွတ်မြောက်ရေး သံသရာများကြား ညှိနှိုင်းဆောင်ရွက်မှုသည် တက်ကြွမှုကို ပျက်ပြားစေသည်။

စံချဉ်းကပ်မှု၏ တစ်စိတ်တစ်ပိုင်းအနေဖြင့်၊ ၎င်းတို့သည် စိတ်အနှောက်အယှက်ဖြစ်စေသော အဆုံးမှ အဆုံးပြောင်းလဲမှုများကို ရှောင်ရှားရန်၊ ဝန်ဆောင်မှုများအကြား လုပ်ဆောင်နိုင်စွမ်းကို ရှင်းလင်းစွာ ပိုင်းခြားရန် ကြိုးစားကြသည်။ တစ်ခုတည်း အကောင့်ဖွင့်ခြင်း ဝန်ဆောင်မှုသည် ဤနေရာတွင် နမူနာကောင်းတစ်ခု ဖြစ်နိုင်သည်။ ၎င်းတွင် အခြားဝန်ဆောင်မှုများနှင့် ကွဲပြားစေမည့် ရှင်းလင်းပြတ်သားသော အခန်းကဏ္ဍတစ်ခုရှိသည်။ ဤရှင်းလင်းစွာ ခွဲထွက်ခြင်းဆိုသည်မှာ ၎င်းပတ်ဝန်းကျင်ရှိ ဝန်ဆောင်မှုများအတွက် လျင်မြန်စွာပြောင်းလဲနေသော တောင်းဆိုမှုများရှိသော ကမ္ဘာတွင်၊ တစ်ခုတည်းသော အကောင့်ဖွင့်ခြင်းဝန်ဆောင်မှုသည် ပြောင်းလဲဖွယ်မရှိဟု ဆိုလိုပါသည်။ ၎င်းသည် တင်းကြပ်စွာ ကန့်သတ်ထားသော အကြောင်းအရာတစ်ခုအတွင်း ရှိနေသည်။

ပြဿနာမှာ လက်တွေ့ကမ္ဘာတွင်၊ လုပ်ငန်းဝန်ဆောင်မှုများသည် တူညီသော သန့်စင်သော အခန်းကဏ္ဍများကို တစ်ချိန်လုံး ခွဲခြားထားနိုင်ခြင်းမရှိပေ။ ဥပမာအားဖြင့်၊ တူညီသောစီးပွားရေးဝန်ဆောင်မှုများသည် အခြားအလားတူဝန်ဆောင်မှုများမှလာသော ဒေတာများဖြင့် ပိုမိုကောင်းမွန်သောအတိုင်းအတာအထိ အလုပ်လုပ်ပါသည်။ အကယ်၍ သင်သည် အွန်လိုင်းလက်လီရောင်းချမှုတွင် ပါဝင်နေပါက မှာယူမှုစီးဆင်းမှု၊ ထုတ်ကုန်ကတ်တလောက် သို့မဟုတ် အသုံးပြုသူအချက်အလက်များသည် သင့်ဝန်ဆောင်မှုများစွာအတွက် လိုအပ်ချက်တစ်ခု ဖြစ်လာမည်ဖြစ်သည်။ ဝန်ဆောင်မှုတစ်ခုစီသည် လည်ပတ်ရန်အတွက် ဤဒေတာကို အသုံးပြုခွင့် လိုအပ်မည်ဖြစ်သည်။

လုပ်ငန်းဝန်ဆောင်မှုအများစုသည် တူညီသောဒေတာစီးကြောင်းကို မျှဝေထားသောကြောင့် ၎င်းတို့၏လုပ်ငန်းသည် အမြဲမပြတ် ရောယှက်နေသည်။

ဒါကြောင့် ကျွန်တော်တို့ ပြောသင့်ပြောထိုက်တဲ့ အရေးကြီးတဲ့ အချက်တစ်ခု ရောက်ရှိလာပါတယ်။ ဝန်ဆောင်မှုများသည် သီးခြားတည်ရှိနေသော အခြေခံအဆောက်အအုံ အစိတ်အပိုင်းများအတွက် ကောင်းစွာလုပ်ဆောင်နိုင်သော်လည်း၊ လုပ်ငန်းအများစုသည် လုပ်ငန်းဝန်ဆောင်မှုအများစုသည် ပိုမိုနီးကပ်စွာ ရောယှက်နေပါသည်။

ဒေတာ dichotomy

ဝန်ဆောင်မှုကို ဦးတည်သည့် ချဉ်းကပ်မှုများ ရှိနှင့်ပြီးဖြစ်သော်လည်း ၎င်းတို့သည် ဝန်ဆောင်မှုများအကြား ဒေတာအများအပြားကို မည်ကဲ့သို့ မျှဝေရမည်ကို ထိုးထွင်းသိမြင်မှု မရှိကြသေးပါ။

အဓိကပြဿနာမှာ ဒေတာနှင့် ဝန်ဆောင်မှုများကို ခွဲခြား၍မရပါ။ တစ်ဖက်တွင်၊ encapsulation သည် ဝန်ဆောင်မှုများကို တစ်ခုနှင့်တစ်ခု ခွဲခြားနိုင်ပြီး ၎င်းတို့၏တိုးတက်မှုနှင့် နောက်ထပ်ပြောင်းလဲမှုများကို လွယ်ကူချောမွေ့စေရန် ဒေတာများကို ဝှက်ထားရန် ကျွန်ုပ်တို့အား တိုက်တွန်းပါသည်။ အခြားတစ်ဖက်တွင်၊ ကျွန်ုပ်တို့သည် အခြားဒေတာများကဲ့သို့ မျှဝေထားသောဒေတာကို လွတ်လပ်စွာခွဲဝေပြီး သိမ်းပိုက်နိုင်ရန်လိုအပ်ပါသည်။ အဓိကအချက်မှာ အခြားသော သတင်းအချက် အလက်စနစ်များကဲ့သို့ လွတ်လပ်စွာ လုပ်ငန်းခွင် ချက်ချင်းစတင်နိုင်စေရန် ဖြစ်သည်။

သို့သော်လည်း သတင်းအချက်အလက်စနစ်များသည် encapsulation နှင့် အနည်းငယ်သာသက်ဆိုင်ပါသည်။ တကယ်တော့ ဒါဟာ အတော်လေး ဆန့်ကျင်ဘက်ပါပဲ။ ဒေတာဘေ့စ်များသည် ၎င်းတို့သိမ်းဆည်းထားသည့် ဒေတာကို ဝင်ရောက်အသုံးပြုခွင့်ပေးရန် တတ်နိုင်သမျှ လုပ်ဆောင်သည်။ ၎င်းတို့သည် ဒေတာကို သင်လိုအပ်သလို ပြင်ဆင်နိုင်စေမည့် အစွမ်းထက်သော ကြေငြာမျက်နှာပြင်ပါရှိလာသည်။ ထိုသို့သော လုပ်ဆောင်နိုင်စွမ်းသည် ပဏာမ သုတေသန အဆင့်တွင် အရေးကြီးသော်လည်း အဆက်မပြတ် ပြောင်းလဲနေသော ဝန်ဆောင်မှုတစ်ခု၏ ကြီးထွားလာနေသော ရှုပ်ထွေးမှုကို စီမံခန့်ခွဲရန်အတွက် မဟုတ်ပါ။

ဤတွင် အကျပ်အတည်းတစ်ခု ပေါ်လာသည်။ လို့ ဆိုနိုင်ပါတယ်။ Dichotomy နောက်ဆုံးတော့၊ သတင်းအချက်အလက်စနစ်တွေက ဒေတာတွေ ပေးဆောင်ခြင်းနဲ့ ဝန်ဆောင်မှုတွေ ဖုံးကွယ်ခြင်းတွေအကြောင်းပါ။

ဤအင်အားစုနှစ်ခုသည် အခြေခံကျသည်။ ၎င်းတို့သည် ကျွန်ုပ်တို့၏အလုပ်များစွာကို ပံ့ပိုးပေးထားပြီး ကျွန်ုပ်တို့တည်ဆောက်သည့်စနစ်များတွင် ထူးချွန်မှုအတွက် အဆက်မပြတ်တိုက်ပွဲဝင်နေပါသည်။

ဝန်ဆောင်မှုစနစ်များ ကြီးထွားဖွံ့ဖြိုးလာသည်နှင့်အမျှ data dichotomy ၏အကျိုးဆက်များကို နည်းလမ်းများစွာဖြင့် ကျွန်ုပ်တို့တွေ့မြင်ရပါသည်။ ဝန်ဆောင်မှုအင်တာဖေ့စ်သည် ယခင်ကထက်ပို၍ကျယ်ပြန့်သောလုပ်ဆောင်နိုင်စွမ်းကိုပေးစွမ်းနိုင်မည်ဖြစ်ပြီး အလွန်ကောင်းမွန်သောပြည်တွင်းဖြစ်ဒေတာဘေ့စ်တစ်ခုသဖွယ်ဖြစ်လာနိုင်သည်၊ သို့မဟုတ် ကျွန်ုပ်တို့ စိတ်ပျက်လာပြီး ဝန်ဆောင်မှုတစ်ခုမှဒေတာအစုအဝေးတစ်ခုလုံးကို ပြန်လည်ရယူရန် သို့မဟုတ် ရွှေ့ရန် နည်းလမ်းအချို့ကို အကောင်အထည်ဖော်မည်ဖြစ်သည်။

တစ်ဖန်၊ ဖန်စီပြည်တွင်းဖြစ် ဒေတာဘေ့စ်တစ်ခုနှင့်တူသော အရာတစ်ခုကို ဖန်တီးခြင်းသည် ပြဿနာများစွာကို ဖြစ်ပေါ်စေမည်ဖြစ်သည်။ ဘာ့ကြောင့် အန္တရာယ်ရှိလဲဆိုတဲ့ အသေးစိတ် အချက်အလက်တွေကိုတော့ ကျနော်တို့ မပြောပါဘူး။ မျှဝေထားသောဒေတာဘေ့စ်ကုန်ကျစရိတ်ကြီးမားသော အင်ဂျင်နီယာနှင့် လုပ်ငန်းလည်ပတ်မှုကို ကိုယ်စားပြုသည်ဟု ဆိုကြပါစို့ အခက်အခဲများ အသုံးပြုရန် ကြိုးစားနေသော ကုမ္ပဏီအတွက်။

ပိုဆိုးတာက ဒေတာပမာဏများသည် ဝန်ဆောင်မှုနယ်နိမိတ်ပြဿနာများကို ချဲ့ထွင်ခြင်းပင်ဖြစ်သည်။ ဝန်ဆောင်မှုတစ်ခုအတွင်း မျှဝေထားသောဒေတာ ပိုများလေလေ၊ အင်တာဖေ့စ်သည် ပိုမိုရှုပ်ထွေးလာကာ မတူညီသောဝန်ဆောင်မှုများမှလာသော ဒေတာအတွဲများကို ပေါင်းစပ်ရန် ပိုမိုခက်ခဲလာမည်ဖြစ်သည်။

ဒေတာအစုံအားလုံးကို ထုတ်ယူခြင်းနှင့် ရွှေ့ခြင်း၏ အစားထိုးနည်းလမ်းမှာလည်း ပြဿနာများရှိသည်။ ဤမေးခွန်းအတွက် ယေဘူယျချဉ်းကပ်ပုံမှာ ဒေတာအတွဲတစ်ခုလုံးကို ရိုးရှင်းစွာပြန်လည်ရယူခြင်းနှင့် သိမ်းဆည်းခြင်းဖြစ်ပြီး ၎င်းကို စားသုံးသည့်ဝန်ဆောင်မှုတစ်ခုစီတွင် စက်တွင်း၌ သိမ်းဆည်းခြင်းကဲ့သို့ဖြစ်သည်။

ပြဿနာမှာ မတူညီသော ဝန်ဆောင်မှုများက ၎င်းတို့စားသုံးသည့် ဒေတာကို ကွဲပြားစွာ အဓိပ္ပာယ်ဖွင့်ဆိုခြင်းကြောင့် ဖြစ်သည်။ ဒီဒေတာက အမြဲတမ်း လက်ထဲမှာရှိတယ်။ ၎င်းတို့ကို ဒေသအလိုက် ပြုပြင်ပြီး လုပ်ဆောင်သည်။ ၎င်းတို့သည် အရင်းအမြစ်ရှိ ဒေတာများနှင့် တူညီသည့်အရာများ မရှိပါက လျင်မြန်စွာ ရပ်တန့်သွားကြသည်။

ကော်ပီများ များများပြောင်းလေလေ၊ အချိန်ကြာလာသည်နှင့်အမျှ ဒေတာများ ကွာခြားလေလေဖြစ်သည်။

ပိုဆိုးတာက၊ ဒီလိုအချက်အလက်တွေကို နောက်ကြောင်းပြန်ကြည့်ဖို့ ခက်တယ် (MDM ဤနေရာသည် အမှန်တကယ် ကယ်ဆယ်နိုင်သည်)။ တကယ်တော့၊ စီးပွားရေးလုပ်ငန်းတွေမှာ ကြုံတွေ့ရနိုင်တဲ့ ခက်ခဲတဲ့နည်းပညာပြဿနာအချို့ဟာ အက်ပလီကေးရှင်းကနေ လျှောက်လွှာတစ်ခုအထိ များပြားတဲ့ မတူညီတဲ့ဒေတာကနေ ဖြစ်ပေါ်လာတာပါ။

ဤပြဿနာအတွက် အဖြေကိုရှာရန်၊ ကျွန်ုပ်တို့သည် မျှဝေထားသောဒေတာကို ကွဲပြားစွာတွေးတောရန် လိုအပ်ပါသည်။ ၎င်းတို့သည် ကျွန်ုပ်တို့တည်ဆောက်သော ဗိသုကာလက်ရာများတွင် ပထမတန်းစားအရာဝတ္ထုများ ဖြစ်လာရပါမည်။ Pat Helland ထိုကဲ့သို့သောဒေတာကို "ပြင်ပ" ဟုခေါ်သည်၊ ၎င်းသည်အလွန်အရေးကြီးသောအင်္ဂါရပ်ဖြစ်သည်။ ကျွန်ုပ်တို့သည် ဝန်ဆောင်မှုတစ်ခု၏ အတွင်းပိုင်းလုပ်ဆောင်ချက်များကို မဖော်ပြဘဲ ကက်ပ်စကွက်များ လိုအပ်သော်လည်း ၎င်းတို့သည် ၎င်းတို့၏အလုပ်များကို မှန်ကန်စွာလုပ်ဆောင်နိုင်စေရန် ဝန်ဆောင်မှုများအတွက် မျှဝေထားသောဒေတာကို လွယ်ကူစွာရယူရန် လိုအပ်ပါသည်။

ပြဿနာမှာ ဝန်ဆောင်မှုအင်တာဖေ့စ်များ၊ စာတိုပေးပို့ခြင်းများ၊ မျှဝေထားသောဒေတာဘေ့စ်သည် ပြင်ပဒေတာနှင့်လုပ်ဆောင်ရန်အတွက် ကောင်းမွန်သောဖြေရှင်းချက်မပေးခဲ့သောကြောင့် ပြဿနာမှာ ယနေ့ခေတ်တွင် ချဉ်းကပ်ပုံနှင့် သက်ဆိုင်ခြင်းမရှိပေ။ ဝန်ဆောင်မှုအင်တာဖေ့စ်များသည် မည်သည့်အတိုင်းအတာတွင်မဆို ဒေတာဖလှယ်ရန်အတွက် သင့်လျော်မှုမရှိပါ။ စာတိုပေးပို့ခြင်းသည် ဒေတာကို ရွေ့လျားစေသော်လည်း ၎င်း၏မှတ်တမ်းကို သိမ်းဆည်းမထားသောကြောင့် ဒေတာသည် အချိန်ကြာလာသည်နှင့်အမျှ ပျက်စီးသွားပါသည်။ မျှဝေထားသော ဒေတာဘေ့စ်များသည် တိုးတက်မှုကို ထိန်းထားနိုင်သည့် အချက်တစ်ခုအပေါ် အလွန်အကျွံအာရုံစိုက်သည်။ ကျွန်ုပ်တို့သည် ဒေတာချို့ယွင်းမှုသံသရာတွင် မလွဲမသွေ ပိတ်မိနေရသည်-

ဒေတာချို့ယွင်းမှု သံသရာ

စီးကြောင်းများ- ဒေတာနှင့် ဝန်ဆောင်မှုများအတွက် ဗဟိုချုပ်ကိုင်မှုလျှော့ချသည့် ချဉ်းကပ်မှု

အကောင်းဆုံးကတော့၊ ကျွန်ုပ်တို့သည် မျှဝေထားသောဒေတာဖြင့် ဝန်ဆောင်မှုများ လုပ်ဆောင်ပုံအား ပြောင်းလဲရန် လိုအပ်ပါသည်။ ဤအချိန်တွင်၊ ချဉ်းကပ်မှု နှစ်ခုစလုံးသည် ပျောက်ကွယ်သွားအောင် ဖြန်းနိုင်သည့် မှော်အမှုန်အမွှားမရှိသောကြောင့် အထက်ဖော်ပြပါ dichotomy ကို ရင်ဆိုင်ရသည်။ သို့သော်၊ ကျွန်ုပ်တို့သည် ပြဿနာကို ပြန်လည်စဉ်းစားနိုင်ပြီး အပေးအယူတစ်ခုသို့ ရောက်ရှိနိုင်သည်။

ဤအပေးအယူသည် ဗဟိုချုပ်ကိုင်မှု အတိုင်းအတာတစ်ခုအထိ ပါဝင်ပါသည်။ ယုံကြည်စိတ်ချရသော၊ အရွယ်အစားရှိ ထုတ်လွှင့်မှုများကို ပံ့ပိုးပေးသောကြောင့် ဖြန့်ဝေထားသော မှတ်တမ်းယန္တရားကို ကျွန်ုပ်တို့အသုံးပြုနိုင်ပါသည်။ ယခု ကျွန်ုပ်တို့သည် ဝန်ဆောင်မှုများကို ဤမျှဝေထားသောစာတွဲများတွင် ပူးပေါင်းလုပ်ဆောင်နိုင်စေရန် ဆောင်ရွက်ပေးလိုသော်လည်း၊ ဤလုပ်ဆောင်မှုကို လုပ်ဆောင်သည့် ရှုပ်ထွေးသော ဗဟိုချုပ်ကိုင်မှုရှိသော ဘုရားသခင်ဝန်ဆောင်မှုများကို ရှောင်ရှားလိုပါသည်။ ထို့ကြောင့်၊ အကောင်းဆုံးရွေးချယ်မှုမှာ သုံးစွဲသူဝန်ဆောင်မှုတစ်ခုစီတွင် stream processing ကိုတည်ဆောက်ရန်ဖြစ်သည်။ ဤနည်းအားဖြင့် ဝန်ဆောင်မှုများသည် မတူညီသော ရင်းမြစ်များမှ ဒေတာအစုံများကို ပေါင်းစပ်ကာ လိုအပ်သည့်ပုံစံဖြင့် ၎င်းတို့နှင့် လုပ်ဆောင်နိုင်မည်ဖြစ်သည်။

ဤချဉ်းကပ်မှုအောင်မြင်ရန်နည်းလမ်းတစ်ခုမှာ streaming platform ကိုအသုံးပြုခြင်းအားဖြင့်ဖြစ်သည်။ ရွေးချယ်စရာများစွာရှိသော်လည်း၊ ၎င်း၏ Stateful Stream Processing ကိုအသုံးပြုခြင်းဖြင့် တင်ပြထားသောပြဿနာကို ထိထိရောက်ရောက်ဖြေရှင်းနိုင်သောကြောင့် ယနေ့ကျွန်ုပ်တို့သည် Kafka ကိုကြည့်ရှုပါမည်။

ဖြန့်ဝေထားသော သစ်ခုတ်ခြင်းယန္တရားကို အသုံးပြုခြင်းဖြင့် ကျွန်ုပ်တို့သည် ကောင်းမွန်သောလမ်းကြောင်းကို လိုက်လျှောက်နိုင်ပြီး မက်ဆေ့ချ်ပို့ခြင်းကို အသုံးပြုနိုင်သည်။ အဖြစ်အပျက်ကိုမောင်းနှင်သောဗိသုကာ. ဤချဉ်းကပ်နည်းသည် ပေးပို့သူထက် လက်ခံသူအား စီးဆင်းမှုကို ထိန်းချုပ်ပေးသောကြောင့် တောင်းဆိုချက်-တုံ့ပြန်မှု ယန္တရားထက် ပိုမိုကောင်းမွန်သော အတိုင်းအတာနှင့် ပိုင်းခြားခြင်းကို ပေးဆောင်ရန် စဉ်းစားထားသည်။ သို့သော်၊ ဤဘဝ၌အရာအားလုံးအတွက်သင်ပေးဆပ်ရန်ရှိသည်၊ ဤနေရာတွင်သင်ပွဲစားလိုအပ်သည်။ သို့သော် ကြီးမားသောစနစ်များအတွက်၊ အပေးအယူသည် ထိုက်တန်သည် (ထိုအရာသည် သင်၏ပျမ်းမျှဝဘ်အက်ပလီကေးရှင်းအတွက်မဟုတ်ပါ)။

ပွဲစားတစ်ဦးသည် သမားရိုးကျ စာတိုပေးပို့ခြင်းစနစ်ထက် ဖြန့်ဝေမှုမှတ်တမ်းအတွက် တာဝန်ရှိပါက၊ သင်သည် ထပ်ဆောင်းအင်္ဂါရပ်များကို အခွင့်ကောင်းယူနိုင်သည်။ သယ်ယူပို့ဆောင်ရေးသည် မျဉ်းကြောင်းအတိုင်း အတိုင်းအတာနှင့် ဖြန့်ဝေထားသော ဖိုင်စနစ်တစ်ခုကဲ့သို့ အတိုင်းအတာအထိ ဆောင်ရွက်နိုင်သည် ။ ဒေတာကို မှတ်တမ်းများတွင် အချိန်အတော်ကြာ သိမ်းဆည်းထားနိုင်သောကြောင့် ကျွန်ုပ်တို့သည် မက်ဆေ့ချ်ဖလှယ်ရုံသာမက အချက်အလက်များ သိမ်းဆည်းခြင်းကိုလည်း ရရှိပါသည်။ ပြောင်းလဲနိုင်သော မျှဝေမှုအခြေအနေကို ကြောက်ရွံ့ခြင်းမရှိဘဲ အရွယ်တင်နိုင်သော သိုလှောင်မှု။

ထို့နောက် ဝန်ဆောင်မှုများကို စားသုံးရန်အတွက် ကြေငြာထားသော ဒေတာဘေ့စ်တူးလ်များကို ထည့်သွင်းရန် ပြည်နယ်အလိုက် တိုက်ရိုက်ထုတ်လွှင့်မှုကို အသုံးပြုနိုင်သည်။ ဤသည်မှာ အလွန်အရေးကြီးသော အကြံတစ်ခုဖြစ်သည်။ ဝန်ဆောင်မှုအားလုံးဝင်ရောက်နိုင်သည့် မျှဝေထားသော တိုက်ရိုက်ထုတ်လွှင့်မှုများတွင် ဒေတာကို သိမ်းဆည်းထားသော်လည်း ဝန်ဆောင်မှု၏ စုစည်းမှုနှင့် လုပ်ဆောင်ခြင်းများသည် သီးသန့်ဖြစ်သည်။ တင်းကြပ်စွာကန့်သတ်ထားသော အကြောင်းအရာတစ်ခုအတွင်း သူတို့ကိုယ်သူတို့ အထီးကျန်ဖြစ်နေသည်။

မပြောင်းလဲနိုင်သော ပြည်နယ်စီးကြောင်းကို ပိုင်းခြားခြင်းဖြင့် ဒေတာ dichotomy ကို ဖယ်ရှားပါ။ ထို့နောက် Stateful Stream Processing ကို အသုံးပြု၍ ဝန်ဆောင်မှုတိုင်းတွင် ဤလုပ်ဆောင်ချက်ကို ပေါင်းထည့်ပါ။

ထို့ကြောင့် သင့်ဝန်ဆောင်မှုသည် အမှာစာများ၊ ထုတ်ကုန်ကတ်တလောက်၊ ဂိုဒေါင်တစ်ခုနှင့် လုပ်ဆောင်ရန် လိုအပ်ပါက၊ ၎င်းသည် အပြည့်အဝဝင်ရောက်ခွင့်ရှိလိမ့်မည်- သင်သာလျှင် မည်သည့်ဒေတာကို ပေါင်းစပ်ရမည်၊ ၎င်းကို လုပ်ဆောင်ရမည့်နေရာနှင့် အချိန်နှင့်အမျှ ပြောင်းလဲသင့်သည်ကို သင်သာလျှင် ဆုံးဖြတ်မည်ဖြစ်သည်။ ဒေတာကို မျှဝေထားသော်လည်း ၎င်းနှင့်အလုပ်လုပ်ပါက လုံးဝဗဟိုချုပ်ကိုင်မှု လျှော့ချထားသည်။ ၎င်းကို ဝန်ဆောင်မှုတစ်ခုစီတွင် ထုတ်လုပ်ထားပြီး အရာအားလုံးသည် သင့်စည်းမျဉ်းများအတိုင်း လုပ်ဆောင်နေသည့် ကမ္ဘာတစ်ခုဖြစ်သည်။

၎င်း၏ခိုင်မာမှုကို အလျှော့မပေးဘဲ ဒေတာမျှဝေပါ။ ၎င်းကို လိုအပ်သောဝန်ဆောင်မှုတိုင်းတွင် အရင်းအမြစ်မဟုတ်ဘဲ လုပ်ဆောင်ချက်ကို ထည့်သွင်းပါ။

ဒေတာများကို အစုလိုက်အပြုံလိုက် ရွှေ့ရန် လိုအပ်သည်။ တစ်ခါတစ်ရံတွင် ဝန်ဆောင်မှုတစ်ခုသည် ရွေးချယ်ထားသော ဒေတာဘေ့စ်အင်ဂျင်ရှိ ဒေသန္တရဒေတာအတွဲတစ်ခု လိုအပ်သည်။ လှည့်ကွက်မှာ လိုအပ်ပါက ဖြန့်ဝေထားသော သစ်ခုတ်ခြင်းယန္တရားကို ဝင်ရောက်ခြင်းဖြင့် အရင်းအမြစ်မှ မိတ္တူကို ပြန်လည်ရယူနိုင်ကြောင်း အာမခံနိုင်သည်။ Kafka ရှိ ချိတ်ဆက်သူများသည် ဤအရာကို ကောင်းမွန်စွာ လုပ်ဆောင်သည်။

ဒါကြောင့် ဒီနေ့ ဆွေးနွေးတဲ့ ချဉ်းကပ်မှုမှာ အားသာချက်များစွာ ရှိပါတယ်။

• ဒေတာကို မှတ်တမ်းများတွင် အချိန်အကြာကြီး သိမ်းဆည်းထားနိုင်သည့် ဘုံစီးကြောင်းပုံစံဖြင့် အသုံးပြုပြီး ဘုံဒေတာနှင့် လုပ်ဆောင်သည့် ယန္တရားအား တစ်ဦးချင်းဆက်စပ်မှုတစ်ခုစီတွင် ကြိုးမဲ့အသုံးပြုထားသောကြောင့် ဝန်ဆောင်မှုများကို လွယ်ကူလျင်မြန်စွာ လုပ်ဆောင်နိုင်စေပါသည်။ ဤနည်းအားဖြင့် ဒေတာ၏ dichotomy ကို ဟန်ချက်ညီစေနိုင်သည်။
• မတူညီသောဝန်ဆောင်မှုများမှရရှိသောဒေတာကို အစုများအဖြစ် အလွယ်တကူပေါင်းစပ်နိုင်သည်။ ၎င်းသည် မျှဝေထားသောဒေတာနှင့် အပြန်အလှန်ဆက်သွယ်မှုကို ရိုးရှင်းစေပြီး ဒေတာဘေ့စ်တွင် ဒေသဆိုင်ရာဒေတာအတွဲများကို ထိန်းသိမ်းထားရန် လိုအပ်မှုကို ဖယ်ရှားပေးသည်။
• Stateful Stream Processing သည် ဒေတာကို ကက်ရှ်လုပ်ခြင်းသာဖြစ်ပြီး အမှန်တရား၏အရင်းအမြစ်သည် ယေဘူယျမှတ်တမ်းများသာ ကျန်ရှိတော့သည်၊ ထို့ကြောင့် အချိန်ကြာလာသည်နှင့်အမျှ ဒေတာဖောက်ပြန်မှုပြဿနာသည် ပြင်းထန်သည်မဟုတ်ပါ။
• ၎င်းတို့၏ အဓိကအချက်မှာ ဝန်ဆောင်မှုများသည် ဒေတာကို မောင်းနှင်ထားခြင်းဖြစ်သည်၊ ဆိုလိုသည်မှာ ဒေတာပမာဏများ အမြဲတိုးပွားနေသော်လည်း၊ ဝန်ဆောင်မှုများသည် လုပ်ငန်းဖြစ်ရပ်များကို လျင်မြန်စွာ တုံ့ပြန်နိုင်ဆဲဖြစ်သည်။
• ကျွမ်းကျင်ပိုင်နိုင်မှု ပြဿနာများသည် ဝန်ဆောင်မှုများမဟုတ်ဘဲ ပွဲစားအပေါ်တွင် ကျရောက်သည်။ ၎င်းသည် ချဲ့ထွင်နိုင်မှုကို ထည့်သွင်းစဉ်းစားရန် မလိုအပ်သောကြောင့် စာရေးဝန်ဆောင်မှုများ၏ ရှုပ်ထွေးမှုကို သိသိသာသာ လျှော့ချပေးပါသည်။
• ဝန်ဆောင်မှုအသစ်များ ပေါင်းထည့်ခြင်းသည် အဟောင်းများကို ပြောင်းလဲရန်မလိုအပ်သောကြောင့် ဝန်ဆောင်မှုအသစ်များကို ချိတ်ဆက်ခြင်းသည် ပိုမိုလွယ်ကူလာပါသည်။

သင်မြင်သည့်အတိုင်း၊ ၎င်းသည် REST မျှသာဖြစ်သည်။ မျှဝေထားသောဒေတာကို ဗဟိုချုပ်ကိုင်မှုလျှော့ချသည့်ပုံစံဖြင့် လုပ်ဆောင်နိုင်စေမည့် ကိရိယာအစုံကို ကျွန်ုပ်တို့ လက်ခံရရှိထားပါသည်။

ယနေ့ဆောင်းပါးတွင် ကဏ္ဍအားလုံးကို မဖော်ပြထားပါ။ တောင်းဆိုချက်-တုံ့ပြန်မှုပါရာဒိုင်းနှင့် ဖြစ်ရပ်ကို မောင်းနှင်သည့် ပါရာဒိုင်းတို့အကြား မည်ကဲ့သို့ ချိန်ညှိရမည်ကို ကျွန်ုပ်တို့ အဖြေရှာရန် လိုအပ်နေသေးသည်။ ဒါပေမယ့် ဒါကို နောက်တစ်ကြိမ် ကိုင်တွယ်မယ်။ ဥပမာအားဖြင့် Stateful Stream Processing သည် အဘယ်ကြောင့် ဤမျှ ကောင်းမွန်ကြောင်း သင်ပိုမိုသိရှိနားလည်ရန် လိုအပ်သည့် အကြောင်းအရာများရှိပါသည်။ ဒီအကြောင်းကို တတိယဆောင်းပါးမှာ ပြောပါမယ်။ ဥပမာအားဖြင့်၊ အဲဒါတွေကို အားကိုးရင်၊ အတိအကျ ဆောင်ရွက်ပေးခြင်း။. ၎င်းသည် အရောင်းအ၀ယ်ဆိုင်ရာ အာမခံချက်ပေးသောကြောင့် ဖြန့်ဝေထားသော စီးပွားရေးစနစ်များအတွက် ဂိမ်းပြောင်းလဲမှုတစ်ခုဖြစ်သည်။ XA အတိုင်းအတာတစ်ခုအတွင်း။ ယင်းကို စတုတ္ထဆောင်းပါးတွင် ဆွေးနွေးပါမည်။ နောက်ဆုံးအနေနဲ့၊ ဒီအခြေခံမူတွေရဲ့ အကောင်အထည်ဖော်မှုအသေးစိတ်တွေကို ကျော်သွားဖို့လိုပါတယ်။

ဒါပေမယ့် အခုအချိန်မှာတော့ ဒါကို သတိရလိုက်ပါ- ဒေတာ dichotomy ဟာ လုပ်ငန်းဝန်ဆောင်မှုတွေကို တည်ဆောက်တဲ့အခါ ကျွန်တော်တို့ ရင်ဆိုင်ရတဲ့ တွန်းအားတစ်ခုပါ။ ဒါကို ငါတို့မှတ်ထားရမယ်။ လှည့်ကွက်မှာ အရာအားလုံးကို ၎င်း၏ခေါင်းပေါ်လှည့်ပြီး မျှဝေထားသောဒေတာကို ပထမတန်းစားအရာဝတ္ထုများအဖြစ် စတင်ကုသရန်ဖြစ်သည်။ Stateful Stream Processing သည် ဤအတွက် ထူးခြားသော အပေးအယူကို ပေးပါသည်။ ၎င်းသည် တိုးတက်မှုကို ရပ်တန့်စေသည့် ဗဟိုချုပ်ကိုင်မှုရှိသော “ဘုရားသခင့်အစိတ်အပိုင်းများ” ကို ရှောင်ကြဉ်သည်။ ထို့အပြင်၊ ၎င်းသည် data streaming pipelines များ၏ လျင်မြန်မှု၊ အတိုင်းအတာနှင့် ခံနိုင်ရည်ရှိမှုကို သေချာစေပြီး ဝန်ဆောင်မှုတိုင်းတွင် ၎င်းတို့ကို ပေါင်းထည့်သည်။ ထို့ကြောင့်၊ ကျွန်ုပ်တို့သည် မည်သည့်ဝန်ဆောင်မှုမှ ၎င်း၏ဒေတာနှင့် ချိတ်ဆက်၍ လုပ်ဆောင်နိုင်သည့် အသိစိတ်၏ ယေဘုယျလမ်းကြောင်းကို အာရုံစိုက်နိုင်ပါသည်။ ၎င်းသည် ဝန်ဆောင်မှုများကို ပိုမို အရွယ်အစား၊ လဲလှယ်နိုင်သော နှင့် ကိုယ်ပိုင်အုပ်ချုပ်ခွင့်ရရှိစေပါသည်။ ထို့ကြောင့် ၎င်းတို့သည် whiteboards နှင့် hypothesis tests များတွင် ကြည့်ကောင်းရုံသာမက၊ ၎င်းတို့သည်လည်း ဆယ်စုနှစ်များစွာကြာအောင် လုပ်ဆောင်ပြီး တိုးတက်ပြောင်းလဲလာမည်ဖြစ်သည်။

သင်တန်းအကြောင်းပိုမိုလေ့လာပါ။

source: www.habr.com