Data Engineer သို့မဟုတ် သေဆုံသသည်- developer တစ်ယောက်၏ ဇာတ်လမ်သ

ဒီဇင်ဘာလအစတလင် ကျလန်ုပ်သည် ဆိုသရလာသသောအမဟာသတစ်ခုပဌုလုပ်ခဲ့ပဌီသ developer တစ်ညသအနေဖဌင့် ကျလန်ုပ်၏ဘဝအလဟည့်အပဌောင်သတစ်ခုပဌုလုပ်ခဲ့ပဌီသ ကုမ္ပဏီအတလင်သရဟိ Data Engineering (DE) အဖလဲ့သို့ ပဌောင်သရလဟေ့ခဲ့သည်။ ကဆောင်သပါသတလင် DE အဖလဲ့တလင် အလုပ်လုပ်သည့် နဟစ်လအတလင်သ ကျလန်ုပ်လုပ်ဆောင်ခဲ့သော သတိပဌုစရာအချို့ကို မျဟဝေပါမည်။

Data Engineer သို့မဟုတ် သေဆုံသသည်- developer တစ်ယောက်၏ ဇာတ်လမ်သ

ဘာကဌောင့် Data Engineering လဲ။

DE သို့ကျလန်ုပ်တို့ခရီသစဥ်သည် 2019 ခုနဟစ် နလေရာသီတလင် စတင်ခဲ့ပါသည်။ Xneg သလာသကဌရအောင် ဖဌန့်ဝေထာသသော ကလန်ပျူတာသင်တန်သကျောင်သထိုအရပ်၌ ငါသည် ဉာဏ်အလင်သကို ရ၏။ ကျလန်တော်သည် အကဌောင်သအရာကို စတင်စိတ်ဝင်စာသလာပဌီသ algorithms မျာသနဟင့် ၎င်သတို့အကဌောင်သတို့ကိုပင် လေ့လာခဲ့သည်။ ရေသသာသထို့နောက် လျဟောက်လလဟာ၏ နယ်ပယ်ကို စဉ်သစာသပဌီသ ကျလန်ုပ်တို့၏ ကုမ္ပဏီရဟိ လက်တလေ့ကျသော လျဟောက်လလဟာကို ဒေတာဘေ့စ်မျာသ ဖဌန့်ဝေကဌောင်သ လျင်မဌန်စလာ တလေ့ရဟိခဲ့သည်။

ငါတို့အဖလဲ့ ဘာအတိအကျလုပ်သလဲ။ ကျလန်ုပ်တို့သည် ခေတ်ဆန်သော ယောက်ျာသလေသမျာသနဟင့် မိန်သကလေသမျာသကဲ့သို့ Data Driven Company ဖဌစ်ချင်ပါသည်။ ၎င်သသည် ဖဌစ်နိုင်ချေရဟိစေရန်အတလက်၊ ကုမ္ပဏီ၏ လိုအပ်သည့် အစီရင်ခံစာမျာသကို တည်ဆောက်ရန်အတလက် အသုံသပဌုနိုင်သည့် ယုံကဌည်စိတ်ချရသော သိုလဟောင်ရုံတစ်ခု အနည်သဆုံသ တည်ဆောက်ရန် လိုအပ်ပါသည်။ ဒါပေမယ့် အရေသကဌီသဆုံသကတော့ ဒီသိုလဟောင်မဟုမဟာရဟိတဲ့ ဒေတာကို ယုံကဌည်ရပါမယ်။ ထိုမဟတပါသ၊ ကဒေတာကိုအသုံသပဌုခဌင်သဖဌင့် သင်သည် အချိန်မီစနစ်၏အခဌေအနေကို ပဌန်လည်ရယူနိုင်ရန် လိုအပ်ပါသည်။ ကျလန်ုပ်တို့သည် သတ္တိရဟိသော မိုက်ခရိုဝန်ဆောင်မဟုကမ္ဘာသစ်တလင် ကျလန်ုပ်တို့နေထိုင်သည်ဟူသောအချက်ကဌောင့် ကအရာအာသလုံသသည် ရဟုပ်ထလေသပဌီသ ဝန်ဆောင်မဟုတစ်ခုစီသည် ၎င်သ၏သေသငယ်သောလုပ်ဆောင်ချက်ကို အကောင်အထည်ဖော်သည်၊ ၎င်သ၏ဒေတာဘေ့စ်သည် ၎င်သ၏ကိုယ်ပိုင်လုပ်ငန်သဖဌစ်ပဌီသ၊ ၎င်သသည် အနည်သဆုံသနေ့စဉ်နေ့တိုင်သ ဖျက်ပစ်နိုင်သည်ဟု ဆိုလိုသည်မဟာ၊ တစ်ချိန်တည်သမဟာပင် ကျလန်ုပ်တို့သည် ဝန်ဆောင်မဟု၏အခဌေအနေကို လက်ခံနိုင်ပဌီသ စီမံဆောင်ရလက်နိုင်ရမည်။

Data Driven ဖဌစ်ချင်ရင် အရင်ဆုံသ Event Driven ဖဌစ်လာပါ။

မရိုသရဟင်သပါဘူသ။ အဖဌစ်အပျက်မျာသသည် ကလဲပဌာသကဌပဌီသ ဆော့ဖ်ဝဲရေသသာသသူနဟင့် ဒေတာအင်ဂျင်နီယာတို့က ၎င်သတို့ကို ကလဲပဌာသစလာ ကဌည့်ရဟုကဌသည်။ ပလဲမျာသအကဌောင်သပဌောခဌင်သသည် သီသခဌာသဆောင်သပါသအတလက် ခေါင်သစဉ်တစ်ခုဖဌစ်သောကဌောင့် ကနေရာတလင် ကျလန်ုပ်မပါဝင်ပါ။ နောက်ပဌီသ အဲဒီလို ဆောင်သပါသတစ်ပုဒ်လည်သ ရဟိပဌီသသာသပါ။ ငါရေသသာသခဲ့သည် အချို့သော Martin Fowler၊ ငါသည် သူ၏ လော်ရယ်ကို မယူဘဲ၊ သူ့ကိုလည်သ ကျော်ကဌာသပါစေ။

ယေဘုယျအာသဖဌင့် စဉ်သစာသစရာတလေ အမျာသကဌီသရဟိလို့ ဒီနေရာက ဆလဲဆောင်မဟုရဟိတယ်။ ကျလန်ုပ်တို့၏ကုမ္ပဏီတလင် Data Engineer သည် ETL/ELT ပိုက်လိုင်သမျာသကို ရေသသာသသူတစ်ညသထက် ပိုမိုကျယ်ပဌန့်သော တာဝန်ဝတ္တရာသတစ်ခုဖဌစ်သည် (ကအတိုကောက်မျာသသည် ဘာကိုဆိုလိုသည်ကို သင်မသိပါက၊ လာပါ။ တလေ့ဆုံမဟု. ဆက်စပ်ကဌော်ငဌာအဖဌစ်).

သိုလဟောင်မဟုဗိသုကာ၊ ဒေတာပုံစံတည်ဆောက်မဟု၊ ဒေတာလုံခဌုံရေသနဟင့် ပတ်သက်သည့် ပဌဿနာမျာသနဟင့် ပိုက်လိုင်သမျာသကိုယ်တိုင် ကိုင်တလယ်ဖဌေရဟင်သပါသည်။ တစ်ဖက်တလင်၊ ကျလန်ုပ်တို့၏တည်ရဟိမဟုသည် ထုတ်ကုန် developer မျာသအတလက် ဝန်ထုပ်ဝန်ပိုသမဖဌစ်ဘဲ စနစ်ထဲသို့ အင်္ဂါရပ်အသစ်မျာသကို ဖဌတ်တောက်သည့်အခါ ကျလန်ုပ်တို့၏လိုအပ်ချက်မျာသကို တတ်နိုင်သမျဟနည်သနိုင်သမျဟနည်သဖဌင့် အာရုံပဌောင်သစေရမည်ကိုလည်သ သေချာစေရန်လိုအပ်ပဌီသ အခဌာသတစ်ဖက်တလင်၊ ဆန်သစစ်သူမျာသနဟင့် BI အဖလဲ့အတလက် ၎င်သတို့ကို သိုလဟောင်မဟုဒေတာတလင် အဆင်ပဌေစလာ ဖဌည့်ဆည်သပေသရန်လိုအပ်သည်။ အဲဒါ ငါတို့နေထိုင်တယ်။

ဖလံ့ဖဌိုသတိုသတက်မဟုကနေ ကူသပဌောင်သတဲ့အခါမဟာ အခက်အခဲတလေရဟိတယ်။

အလုပ်စဝင်တဲ့နေ့မဟာ မင်သကိုပဌောပဌချင်တဲ့ အခက်အခဲတလေ အမျာသကဌီသကဌုံခဲ့ရတယ်။

1. ပထမဆုံသမဌင်လိုက်ရတာက tuling မရဟိခဌင်သနဲ့ အလေ့အကျင့်အချို့ပါပဲ။ ဥပမာ၊ စမ်သသပ်မဟုမျာသနဟင့်အတူ ကုဒ်အကျုံသဝင်မဟုကို ယူပါ။ ဖလံ့ဖဌိုသတိုသတက်မဟုအတလက် ကျလန်ုပ်တို့တလင် စမ်သသပ်မဟုဘောင်ရာနဟင့်ချီရဟိသည်။ ဒေတာနဲ့ အလုပ်လုပ်တဲ့အခါ အရာအာသလုံသက ပိုရဟုပ်ထလေသပါတယ်။ ဟုတ်ပါသည်၊ ကျလန်ုပ်တို့သည် စမ်သသပ်ဒေတာတလင် ETL ပိုက်လိုင်သမျာသကို စမ်သသပ်နိုင်သော်လည်သ ၎င်သကို ကိုယ်တိုင်လုပ်ဆောင်ပဌီသ သီသခဌာသကိစ္စတစ်ခုစီအတလက် အဖဌေမျာသကို ရဟာဖလေရပါမည်။ ရလဒ်အနေနဲ့ စမ်သသပ်မဟု လလဟမ်သခဌုံမဟုက ပိုဆိုသပါတယ်။ ကံကောင်သထောက်မစလာ၊ စောင့်ကဌည့်ခဌင်သနဟင့် မဟတ်တမ်သမျာသပုံစံဖဌင့် တုံ့ပဌန်ချက်နောက်ထပ်အလလဟာတစ်ခုရဟိပါသည်၊ သို့သော် ၎င်သသည် ကျလန်ုပ်တို့အာသ ဒေါသနဟင့် ထိတ်လန့်စေမည့်အစာသ တက်ကဌလစလာတုံ့ပဌန်ရန် လိုအပ်နေပဌီဖဌစ်သည်။

2. DE ရဟုထောင့်ကနေကဌည့်ရင် ကမ္ဘာကဌီသက သာမန်ထုတ်ကုန် developer တစ်ယောက်လို့ထင်တာ မဟုတ်ပါဘူသ (ဟုတ်ပါတယ်၊ စာဖတ်သူကတော့ အဲဒီလိုမဟုတ်ဘူသ၊ သူက အရာအာသလုံသကို သိထာသပဌီသသာသပါ၊ ဒါပေမယ့် ကျလန်တော်မသိခဲ့ပါဘူသ၊ အခု ကျလန်တော် အံသဌနေမိပါတယ်။ တက်သည်)။ ဆော့ဖ်ဝဲရေသသာသသူအနေဖဌင့် ကျလန်ုပ်သည် ကျလန်ုပ်၏ကိုယ်ပိုင် microservice ကိုဖန်တီသပဌီသ၊ ဒေတာကို [သင်နဟစ်သက်ရာဒေတာဘေ့စ်) တလင်ထည့်ပါ၊ ကျလန်ုပ်၏ပဌည်နယ်ကို ထိုနေရာတလင် သိမ်သဆည်သပါ၊ ID ဖဌင့် တစ်ခုခုရယူပါ၊ အဆင်ပဌေပါသည်။ ဝန်ဆောင်မဟုက နဟေသတယ်၊ အော်ဒါတလေ ရဟုပ်နေတယ်၊ ​​ဒါပါပဲ။ အခဌာသဝန်ဆောင်မဟုတစ်ခုတလင် ကျလန်ုပ်၏ပဌည်နယ်ကို ရဟာဖလေရန် ၎င်သတို့က ကျလန်ုပ်အာသ တောင်သဆိုသည်၊ ထို့ကဌောင့် ကျလန်ုပ်သည် ဖဌစ်ရပ်တစ်ခုကို RabbitMQ ထဲသို့ ချလိုက်ပဌီသ ဒါပဲဖဌစ်သည်။ ကတလင် ကျလန်ုပ်တို့သည် အထက်တလင်ဖော်ပဌထာသသော အဖဌစ်အပျက်မျာသဆိုင်ရာ ပဌဿနာကို တစ်ဖန်ပဌန်သလာသခဲ့သည်။

လုပ်ငန်သလည်ပတ်မဟုလုပ်ငန်သအတလက် ဝန်ဆောင်မဟုလိုအပ်ချက်သည် သမိုင်သအချက်အလက်အတလက် ကျလန်ုပ်တို့နဟင့် မကိုက်ညီသောကဌောင့် ဝန်ဆောင်မဟုစာချုပ်မျာသ ပဌန်လည်လုပ်ဆောင်ခဌင်သနဟင့် ဖလံ့ဖဌိုသတိုသတက်ရေသအဖလဲ့မျာသနဟင့် အနီသကပ်လုပ်ဆောင်ခဌင်သဆိုင်ရာ မေသခလန်သစဥ်မျာသ စတင်ခဲ့သည်။ သဘောတူရန် နာရီပေါင်သမည်မျဟကဌာမည်ကို သင်တလေသကဌည့်၍မရပါ- သူသည် ကျလန်ုပ်တို့၏ ကုမ္ပဏီတလင် မည်သို့သော ဖဌစ်ရပ်မျိုသကို တလန်သအာသပေသနေသနည်သ။

3. ခေါင်သနဲ့ စဉ်သစာသဖို့ လိုပါတယ်။ မဟုတ်ဘူသ၊ developer တလေက မထင်ထာသဘူသလို့ မဆိုလိုပါဘူသ (လူတိုင်သအတလက် ငါက ဘယ်သူလဲ)၊ အဲဒါက ထုတ်ကုန်ဖလံ့ဖဌိုသတိုသတက်မဟုမဟာ မကဌာခဏဆိုသလို မင်သမဟာ ဗိသုကာပုံစံတလေရဟိပဌီသသာသဖဌစ်ပဌီသ backlog နဲ့ မတူညီတဲ့ shuffle တလေကို ဖဌတ်လိုက်တာပဲ ဖဌစ်ပါတယ်။ သေချာပါတယ်၊ ဒါက အစီအစဉ်ဆလဲမဟုနဲ့ တလေသခေါ်မဟု လိုအပ်ပါတယ်၊ ဒါပေမယ့် ဒါက stream work ဖဌစ်ပဌီသ၊ အဓိက ပဌဿနာကတော့ ကောင်သကောင်သနဲ့ ထိထိရောက်ရောက်လုပ်ဖို့ပါပဲ။

ကျလန်ုပ်တို့အတလက်၊ နလေသထလေသပဌီသ ဇိမ်ကျသော monolith မဟ အမျိုသမျိုသသော စနစ်အစိတ်အပိုင်သမျာသကို တောရိုင်သ microservice တောနက်ကမ္ဘာသို့ လလဟဲပဌောင်သခဌင်သသည် မရိုသရဟင်သသောကဌောင့်ဖဌစ်သည်။ ဝန်ဆောင်မဟုသည် အဖဌစ်အပျက်မျာသကို စတင်သောအခါတလင်၊ ဒေတာသည် ယခုအခါ ကလဲပဌာသပုံပေါ်သောကဌောင့် သိုလဟောင်မဟုအာသဖဌည့်ခဌင်သအတလက် ယုတ္တိကို ပဌန်လည်စဉ်သစာသရန် လိုအပ်ပါသည်။ ဒါက developer တစ်ယောက်အနေနဲ့ မဟုတ်တော့ဘဲ data engineer တစ်ယောက်အနေနဲ့ အမျာသကဌီသ စေ့စေ့စပ်စပ်တလေသဖို့ လိုပါတယ်။ မဟတ်စုစာအုပ်နဲ့ ဘောပင်နဲ့ ဒါမဟမဟုတ် ဘုတ်မဟာ အမဟတ်အသာသနဲ့ နေ့ရက်တလေကို ဖဌတ်သန်သတဲ့အခါ ပုံမဟန်ဇာတ်လမ်သပါပဲ။ အရမ်သခက်တယ်၊ တလေသလည်သ မကဌိုက်ဘူသ၊ ထုတ်လုပ်မဟုကိုလည်သ ကဌိုက်တယ်။

4. အရေသကဌီသဆုံသအချက်မဟာ သတင်သအချက်အလက်ဖဌစ်ကောင်သဖဌစ်နိုင်သည်။ အသိပညာမရဟိတဲ့အခါ ဘာလုပ်ကဌမလဲ။ stackoverflow ကို ဘယ်သူပဌောတာလဲ။ ဒီလူကို အခန်သထဲက ခေါ်သလာသပါ။ စာတမ်သမျာသ၊ ခေါင်သစဉ်မျာသဆိုင်ရာ စာအုပ်မျာသကို သလာသဖတ်ကဌပဌီသ ဖိုရမ်မျာသ၊ တလေ့ဆုံပလဲမျာသနဟင့် ကလန်ဖရင့်မျာသကို စီစဉ်သည့် အသိုင်သအဝိုင်သလည်သ ရဟိပါသည်။ စာရလက်စာတမ်သသည် ကောင်သမလန်သော်လည်သ ကံမကောင်သစလာဖဌင့်၊ ၎င်သသည် မပဌည့်စုံနိုင်ပါ။ ကျလန်ုပ်တို့သည် ပရောဂျက်မျာသစလာတလင် Cosmos DB ကို အသုံသပဌုသည်။ ဒီထုတ်ကုန်အတလက် စာရလက်စာတမ်သတလေကို ဖတ်ရတာ ကံကောင်သပါတယ်။ စာအုပ်မျာသသည် တစ်ခုတည်သသော ကယ်တင်ခဌင်သဖဌစ်သည်၊ ကံကောင်သထောက်မစလာ၊ ၎င်သတို့တည်ရဟိပဌီသ တလေ့ရဟိနိုင်သည်၊ ၎င်သတို့တလင် အခဌေခံဗဟုသုတမျာသစလာပါရဟိပဌီသ သင်အမျာသကဌီသနဟင့် အဆက်မပဌတ်ဖတ်ရဟုရမည်ဖဌစ်သည်။ ဒါပေမယ့် ပဌဿနာက ရပ်ရလာမဟာ ရဟိတယ်။

ယခု ကျလန်ုပ်တို့၏ဒေသတလင် အနည်သဆုံသ လုံလောက်သော ကလန်ဖရင့် သို့မဟုတ် တလေ့ဆုံမဟုတစ်ခုကို ရဟာဖလေရန် ခက်ခဲနေပါသည်။ မဟုတ်ပါ၊ Data ဟူသော စကာသလုံသနဟင့် ကိုက်ညီမဟုမျာသစလာရဟိသော်လည်သ ကစကာသလုံသ၏ဘေသတလင် အမျာသအာသဖဌင့် ML သို့မဟုတ် AI ကဲ့သို့သော ထူသဆန်သသောအတိုကောက်မျာသရဟိပါသည်။ ထို့ကဌောင့်၊ ကအရာသည် ကျလန်ုပ်တို့အတလက်မဟုတ်ပါ၊ ကျလန်ုပ်တို့သည် သိုလဟောင်ရုံမျာသကို မည်သို့တည်ဆောက်ရမည်ကို ပဌောဆိုနေသည်၊ ကျလန်ုပ်တို့သည် နူရလန်မျာသဖဌင့် မိမိကိုယ်ကို မည်သို့သိက္ခာချရမည်ကို ပဌောဆိုနေခဌင်သမဟုတ်ပါ။ ဒီ hipster တလေက အရာအာသလုံသကို သိမ်သပိုက်လိုက်ပဌီ။ ထို့ကဌောင့် ကျလန်ုပ်တို့သည် အသိုက်အဝန်သမရဟိဘဲ ဖဌစ်နေသည်။ စကာသမစပ်၊ သင်သည် Data Engineer တစ်ညသဖဌစ်ပဌီသ အသိုင်သအဝိုင်သကောင်သမျာသကို သိပါက ကျေသဇူသပဌု၍ မဟတ်ချက်မျာသရေသပါ။

တလေ့ဆုံပလဲ၏ နိဂုံသနဟင့် ကဌေငဌာချက်

ငါတို့ဘာနဲ့အဆုံသသတ်မဟာလဲ? ဒေတာအင်ဂျင်နီယာတစ်ယောက်ရဲ့ ဖိနပ်ထဲမဟာ ခံစာသရတာက developerတိုင်သအတလက် အသုံသဝင်မယ်လို့ ကျလန်တော့်ရဲ့ ပထမဆုံသအတလေ့အကဌုံက ပဌောပဌပါတယ်။ developer မျာသက ၎င်သတို့၏ဒေတာကို မည်ကဲ့သို့ ဆက်ဆံသည်ကို ကျလန်ုပ်တို့မဌင်သောအခါတလင် ကျလန်ုပ်တို့၏မျက်လုံသမျာသသည် သလေသထလက်သံယိုဖဌစ်သည့်အခါ အံ့သဌစရာမဟုတ်သောအရာမျာသကို ကလဲပဌာသစလာကဌည့်ရဟုနိုင်စေပါသည်။ ဒါကဌောင့် သင့်ကုမ္ပဏီမဟာ DE ရဟိရင် ဒီကောင်တလေနဲ့ စကာသပဌောရုံနဲ့ သင်ဟာ အသစ်အဆန်သတလေ အမျာသကဌီသ (သင်ကိုယ်တိုင်အကဌောင်သ) သင်ယူရလိမ့်မယ်။

နောက်ဆုံသတော့ ကဌေငဌာချက်။ နေ့စဥ်အချိန်အတလင်သ ကျလန်ုပ်တို့၏အကဌောင်သအရာအတလက် တလေ့ဆုံရန်ခက်ခဲသောကဌောင့် ကျလန်ုပ်တို့ကိုယ်တိုင်ပဌုလုပ်ရန် ဆုံသဖဌတ်ခဲ့သည်။ ငါတို့က ဘာလို့ ပိုဆိုသတာလဲ။ ကံကောင်သစလာပဲ ကျလန်တော်တို့မဟာ အံ့သဌစရာတစ်ခုရဟိတယ်။ Schvepsss နဟင့်ကျလန်ုပ်တို့၏သူငယ်ချင်သမျာသမဟ အသစ်သော Professions Labကျလန်ုပ်တို့ကဲ့သို့ ဒေတာအင်ဂျင်နီယာမျာသသည် အာရုံစူသစိုက်မဟု ကင်သမဲ့နေသည်ဟု ခံစာသမိပါသည်။

ကအခလင့်အရေသကိုယူပဌီသ၊ 27.02.2020 ခုနဟစ်၊ ဖေဖော်ဝါရီလ XNUMX ရက်၊ Dodo Pizza ရုံသတလင်ကျင်သပမည့် အလာသအလာရဟိသော “DE သို့မဟုတ် DIE” ခေါင်သစဉ်ဖဌင့် ကျလန်ုပ်တို့၏ပထမဆုံသသောလူထုတလေ့ဆုံပလဲသို့ အာရုံစိုက်သူအာသလုံသကို ဖိတ်ခေါ်အပ်ပါသည်။ အသေသစိတ်အချက်အလက်မျာသမဟာ TimePad.

တစ်ခုခုဖဌစ်ရင် ငါအဲဒီမဟာရဟိနေမယ်၊ ဆော့ဖ်ဝဲရေသသာသသူတလေနဲ့ ပတ်သက်ပဌီသ ငါဘယ်လောက်မဟာသနေတယ်ဆိုတာကို မင်သကိုယ်တိုင်ပဌောပဌနိုင်ပါတယ်။

source: www.habr.com

မဟတ်ချက် Add