ပြီးခဲ့သော ရှစ်နှစ်တာကာလအတွင်း ကျွန်ုပ်သည် ပရောဂျက်မန်နေဂျာအဖြစ် လုပ်ကိုင်နေပါသည် (အလုပ်တွင် ကုဒ်မရေးတတ်ပါ) သည် ကျွန်ုပ်၏နည်းပညာဆိုင်ရာ နောက်ခံကို သဘာဝအတိုင်း ထိခိုက်စေပါသည်။ နည်းပညာကွာဟချက်ကို ပိတ်ပြီး Data engineer ရာထူးကို ရယူရန် ဆုံးဖြတ်ခဲ့သည်။ Data Engineer ၏ အဓိက ကျွမ်းကျင်မှုမှာ ဒေတာသိုလှောင်ရုံများကို ဒီဇိုင်းဆွဲခြင်း၊ တည်ဆောက်ခြင်းနှင့် ထိန်းသိမ်းခြင်း စွမ်းရည်ဖြစ်သည်။
လေ့ကျင့်ရေးအစီအစဥ်တစ်ခုလုပ်ထားတော့ ဒါက ကျွန်တော့်အတွက်သာမက အသုံးဝင်မယ်ထင်ပါတယ်။ အစီအစဥ်သည် ကိုယ်တိုင်လေ့လာရေးသင်တန်းများကို အဓိကထားလုပ်ဆောင်ပါသည်။ ရုရှားဘာသာစကား အခမဲ့သင်တန်းများကို ဦးစားပေးထားသည်။
ကဏ္ဍများ-
- အယ်လဂိုရီသမ်များနှင့် ဒေတာဖွဲ့စည်းပုံများ။ သော့အပိုင်း။ ၎င်းကိုလေ့လာပါ၊ အခြားအရာအားလုံးလည်းအဆင်ပြေလိမ့်မည်။ ကုဒ်ကို လက်ထဲရောက်ပြီး အခြေခံတည်ဆောက်ပုံများနှင့် အယ်လဂိုရီသမ်များကို အသုံးပြုရန် အရေးကြီးသည်။
- ဒေတာဘေ့စ်များနှင့် ဒေတာသိုလှောင်ရုံများ ၊ Business Intelligence ။ ကျွန်ုပ်တို့သည် အယ်လဂိုရီသမ်များမှ ဒေတာသိုလှောင်မှုနှင့် လုပ်ဆောင်ခြင်းသို့ ပြောင်းရွှေ့နေပါသည်။
- Hadoop နှင့် Big Data ။ ဒေတာဘေ့စ်ကို ဟာ့ဒ်ဒရိုက်တွင် မပါဝင်သည့်အခါ သို့မဟုတ် ဒေတာများကို ခွဲခြမ်းစိတ်ဖြာရန် လိုအပ်သည့်အခါ၊ သို့သော် Excel သည် ၎င်းတို့ကို မတင်နိုင်တော့ဘဲ ကြီးမားသောဒေတာများ စတင်လာသည်။ ကျွန်တော့်အမြင်အရတော့ ယခင်နှစ်ပုဒ်ကို နက်နက်နဲနဲလေ့လာပြီးမှသာ ဒီအပိုင်းကို ဆက်သွားဖို့လိုအပ်ပါတယ်။
အယ်လဂိုရီသမ်များနှင့် ဒေတာဖွဲ့စည်းပုံများ
ကျွန်ုပ်၏အစီအစဉ်တွင်၊ သင်္ချာနှင့် အယ်လဂိုရီသမ်ပြုလုပ်ခြင်းဆိုင်ရာ အခြေခံများကို ထပ်ခါတလဲလဲ လေ့လာခြင်း၊ Python သင်ယူခြင်းတို့ကို ထည့်သွင်းခဲ့သည်။
ဒေတာဘေ့စ်များနှင့် ဒေတာသိုလှောင်ရုံများ ၊ Business Intelligence
- စာအုပ်- Martin Kleppman - အလွန်တင်ထားသော အပလီကေးရှင်းများ။ ပရိုဂရမ်ရေးဆွဲခြင်း၊ ချဲ့ထွင်ခြင်း၊ ပံ့ပိုးပေးခြင်း။ စာအုပ်တွင် မတူညီသော ဒေတာမော်ဒယ်များ အလုပ်လုပ်ပုံ၊ အတွင်းပိုင်းမှ ၎င်းတို့၏ အကောင်အထည်ဖော်မှု၊ အလုပ်ပေါ်မူတည်၍ ကန့်သတ်ချက်များနှင့် ရွေးချယ်မှုများကို ဖော်ပြထားပါသည်။
ဒေတာဂိုဒေါင်များ တည်ဆောက်ခြင်းနှင့် ပတ်သက်သည့် အကြောင်းအရာများ၊ ETL၊ OLAP cubes များသည် ကိရိယာများပေါ်တွင် အလွန်မှီခိုနေရသောကြောင့် ဤစာတမ်းပါ သင်တန်းများသို့ လင့်ခ်များကို ကျွန်ုပ် မပေးပါ။ ကုမ္ပဏီတစ်ခုရှိ တိကျသော ပရောဂျက်တစ်ခုတွင် လုပ်ဆောင်သည့်အခါ ယင်းစနစ်များကို လေ့လာရန် အကြံပြုလိုပါသည်။ ETL နှင့် အသိမိတ်ဆွေများအတွက် သင်ကြိုးစားနိုင်ပါသည်။ သို့မဟုတ် .
ကျွန်တော့်အမြင်အရတော့ ခေတ်မီ Data Vault ဒီဇိုင်းနည်းစနစ်ကို လေ့လာဖို့ အရေးကြီးတယ်။ , . ၎င်းကို လေ့လာရန် အကောင်းဆုံးနည်းလမ်းမှာ ရိုးရှင်းသော ဥပမာတစ်ခုဖြင့် ၎င်းကို အကောင်အထည်ဖော်ရန်ဖြစ်သည်။ GitHub တွင် Data Vault အကောင်အထည်ဖော်မှု ဥပမာများစွာရှိသည်။ . ခေတ်မီဒေတာဂိုဒေါင်စာအုပ်- Hans Hultgren မှ Data Vault ဖြင့် လျင်မြန်သောဒေတာဂိုဒေါင်ကို ပုံစံထုတ်ခြင်း။
သုံးစွဲသူများအတွက် Business Intelligence ကိရိယာများနှင့် ရင်းနှီးစေရန်၊ သင်သည် အစီရင်ခံစာများ၊ ဒက်ရှ်ဘုတ်များ၊ အသေးစားဒေတာဂိုဒေါင်များ Power BI Desktop ကို အခမဲ့အသုံးပြုနိုင်ပါသည်။ ပညာရေးဆိုင်ရာပစ္စည်းများ- , .
Hadoop နှင့် Big Data
- ပြင်ပအဖွဲ့အစည်းစာကြည့်တိုက်များမပါဘဲ MapReduce ၏လွတ်လပ်သောအကောင်အထည်ဖော်မှုဖြင့်သင်စတင်ရန်လိုအပ်သည်။ ၎င်းသည် အနာဂတ်တွင် ကဏ္ဍစုံ အကောင်အထည်ဖော်မှုများကို ပိုမိုကောင်းမွန်စွာ နားလည်နိုင်စေမည်ဖြစ်သည်။ Python တွင် ကောင်းမွန်သော ဥပမာတစ်ခုကို ဖော်ပြထားပါသည်။ .
ကောက်ချက်
သင်သင်ယူသမျှကို အလုပ်တွင် အသုံးချ၍မရနိုင်ပါ။ ထို့ကြောင့် သင်သည် အသိပညာအသစ်များကို အသုံးချရန် ကြိုးစားမည့် ဘွဲ့ကြိုပရောဂျက်တစ်ခု လိုအပ်ပါသည်။
အစီအစဉ်တွင် ဒေတာခွဲခြမ်းစိတ်ဖြာခြင်းနှင့် Machine Learning နှင့်ပတ်သက်သည့် အကြောင်းအရာများ မရှိပါ။ ၎င်းသည် Data Scientist လုပ်ငန်းနှင့် ပိုမိုသက်ဆိုင်ပါသည်။ AWS clouds၊ Azure နှင့် ပတ်သက်သည့် အကြောင်းအရာများလည်း မရှိပါ။ ဤအခင်းအကျင်းများသည် ပလပ်ဖောင်း၏ရွေးချယ်မှုအပေါ်တွင် များစွာမူတည်ပါသည်။
အသိုင်းအဝိုင်းအတွက် မေးခွန်းများ-
ကျွန်ုပ်၏ အဆင့်သတ်မှတ်ခြင်း အစီအစဉ်သည် မည်မျှ လုံလောက်ပါသနည်း။ ဖယ်ရှားရန် သို့မဟုတ် ထည့်ရန် အဘယ်အရာ
Thesis တစ်ခုအနေနဲ့ ဘယ်ပရောဂျက်ကို အကြံပြုချင်ပါသလဲ။
source: www.habr.com