Data Engineer နှင့် Data Scientist - သူတို့ ဘာလုပ်နိုင်သလဲ ၊

ဌာနအကြီးအကဲ Elena Gerasimova နှင့်အတူဒေတာသိပ္ပံနှင့် ပိုင်းခြားစိတ်ဖြာမှု» Netology တွင် ၎င်းတို့ အချင်းချင်း အပြန်အလှန် တုံ့ပြန်ပုံနှင့် Data Scientists နှင့် Data Engineers ကွာခြားပုံကို ဆက်လက် နားလည်ပါသည်။

ပထမပိုင်းတုန်းက သူတို့ပြောဖူးတယ်။ Data Scientist နှင့် Data Engineer တို့၏ အဓိက ကွာခြားချက်များအကြောင်း.

ဤအကြောင်းအရာတွင် ကျွမ်းကျင်ပညာရှင်များရှိသင့်သည့် အသိပညာနှင့် ကျွမ်းကျင်မှုများ၊ အလုပ်ရှင်များက မည်သည့်ပညာရေးကို တန်ဖိုးထားသနည်း၊ အင်တာဗျူးများကို ပြုလုပ်ပုံနှင့် ဒေတာအင်ဂျင်နီယာများနှင့် ဒေတာသိပ္ပံပညာရှင်များ မည်မျှရရှိသည်ကို ဆွေးနွေးပါမည်။ 

သိပ္ပံပညာရှင်တွေနဲ့ အင်ဂျင်နီယာတွေ သိထားသင့်တယ်။

အထူးကုနှစ်ယောက်လုံးအတွက် အထူးပြုပညာရေးသည် ကွန်ပျူတာသိပ္ပံဖြစ်သည်။

ဒေတာသိပ္ပံပညာရှင်—ဒေတာသိပ္ပံပညာရှင် သို့မဟုတ် အကဲခတ်သူ—သည် ၎င်းတို့၏ကောက်ချက်များ၏မှန်ကန်မှုကို သက်သေပြနိုင်ရမည်။ ဒါကို မသိဘဲနဲ့ လုပ်လို့ မရဘူး။ စာရင်းဇယားနှင့် စာရင်းအင်းဆိုင်ရာ အခြေခံသင်္ချာ.

စက်သင်ယူမှုနှင့် ဒေတာခွဲခြမ်းစိတ်ဖြာမှု ကိရိယာများသည် ခေတ်သစ်ကမ္ဘာတွင် မရှိမဖြစ်လိုအပ်ပါသည်။ ပုံမှန်ကိရိယာများ မရရှိနိုင်ပါက ကျွမ်းကျင်မှုရှိရန် လိုအပ်ပါသည်။ ကိရိယာအသစ်များကို လျင်မြန်စွာလေ့လာရင်း၊ လုပ်ဆောင်စရာများကို အလိုအလျောက်လုပ်ဆောင်ရန် ရိုးရှင်းသော script များကို ဖန်တီးပါ။.

ဒေတာသိပ္ပံပညာရှင်သည် ခွဲခြမ်းစိတ်ဖြာမှု၏ရလဒ်များကို ထိထိရောက်ရောက် ဆက်သွယ်ပေးရမည်ကို သတိပြုရန် အရေးကြီးပါသည်။ ဒါကို ကူညီပေးပါလိမ့်မယ်။ data visualization သို့မဟုတ် သုတေသနနှင့် စမ်းသပ်မှုများ၏ ရလဒ်များ။ ကျွမ်းကျင်သူများသည် ဇယားများနှင့် ဂရပ်များကို ဖန်တီးနိုင်ရမည်၊ မြင်ယောင်ထင်မြင်နိုင်သော ကိရိယာများကို အသုံးပြုကာ ဒက်ရှ်ဘုတ်များမှ အချက်အလက်များကို နားလည်ပြီး ရှင်းပြနိုင်ရပါမည်။

ဒေတာအင်ဂျင်နီယာတစ်ယောက်အတွက် နယ်ပယ်သုံးခုက ရှေ့ကိုရောက်နေပါပြီ။

အယ်လဂိုရီသမ်များနှင့် ဒေတာဖွဲ့စည်းပုံများ. ကုဒ်ရေးသားခြင်းနှင့် အခြေခံတည်ဆောက်ပုံများနှင့် အယ်လဂိုရီသမ်များကို အသုံးပြုတတ်ရန် အရေးကြီးသည်-

• algorithm ရှုပ်ထွေးမှု ခွဲခြမ်းစိတ်ဖြာခြင်း၊
• ရှင်းရှင်းလင်းလင်း၊ ထိန်းသိမ်းနိုင်သော code ရေးနိုင်မှု၊ 
• batch processing၊
• အချိန်နှင့်တပြေးညီ လုပ်ဆောင်ခြင်း။

ဒေတာဘေ့စ်များနှင့် ဒေတာသိုလှောင်ရုံများ ၊ Business Intelligence:

• ဒေတာသိမ်းဆည်းခြင်းနှင့် စီမံဆောင်ရွက်ခြင်း၊
• ပြီးပြည့်စုံသော စနစ်များ ဒီဇိုင်း၊
• ဒေတာထည့်သွင်းမှု၊
• ဖြန့်ဝေဖိုင်စနစ်များ။

Hadoop နှင့် Big Data. ဒေတာများ ပိုများလာကာ ၃-၅ နှစ်တာကာလအတွင်း ဤနည်းပညာများသည် အင်ဂျင်နီယာတိုင်းအတွက် လိုအပ်လာမည်ဖြစ်ပါသည်။ အပေါင်း-

• ဒေလိက်
• cloud ဝန်ဆောင်မှုပေးသူများနှင့်အလုပ်လုပ်သည်။

စက်သင်ယူမှု နေရာတိုင်းတွင် အသုံးပြုနိုင်ပြီး မည်သည့်စီးပွားရေးပြဿနာများကို ဖြေရှင်းပေးမည်ကို နားလည်ရန် အရေးကြီးပါသည်။ မော်ဒယ်များ ပြုလုပ်ရန် မလိုအပ်ပါ (ဒေတာ သိပ္ပံပညာရှင်များသည် ၎င်းကို ကိုင်တွယ်ဖြေရှင်းနိုင်သည်)၊ သို့သော် ၎င်းတို့၏ အသုံးချပရိုဂရမ်နှင့် သက်ဆိုင်သော လိုအပ်ချက်များကို သင်နားလည်ရန် လိုအပ်ပါသည်။

အင်ဂျင်နီယာတွေနဲ့ သိပ္ပံပညာရှင်တွေ ဘယ်လောက်ဝင်ငွေရလဲ။

Data Engineer ဝင်ငွေ

နိုင်ငံတကာမှာ လက်တွေ့လုပ်တယ်။ Glassdoor ၏ အဆိုအရ စတင်သည့်လစာများသည် ပုံမှန်အားဖြင့် တစ်နှစ်လျှင် $100 ရှိပြီး အတွေ့အကြုံအရ သိသာစွာ တိုးမြင့်လာပါသည်။ ထို့အပြင် ကုမ္ပဏီများသည် စတော့ရွေးချယ်မှုများနှင့် 000-5% နှစ်စဉ်ဘောနပ်စ်များကို ပေးလေ့ရှိသည်။

ရုရှားတွင် အသက်မွေးဝမ်းကြောင်းတစ်ခု၏အစတွင်၊ လစာသည် များသောအားဖြင့် ဒေသများတွင် ရူဘယ် ၅၀,ဝဝဝ နှင့် မော်စကိုတွင် ၈၀,ဝဝဝ ထက်မနည်း။ ဤအဆင့်တွင် ပြီးမြောက်သော သင်တန်းမှလွဲ၍ အခြားအတွေ့အကြုံ မလိုအပ်ပါ။

အလုပ် 1-2 နှစ်ပြီးနောက် - 90-100 ရူဘယ်လမ်းခွဲ။

ခက်ရင်းခွသည် 120-160 နှစ်အတွင်း 2-5 သို့တိုးလာသည်။ ယခင်ကုမ္ပဏီများ၏ အထူးပြုမှု၊ ပရောဂျက်များ၏ အရွယ်အစား၊ ဒေတာကြီးကြီးမားမားဖြင့် လုပ်ဆောင်ခြင်းစသည့် အချက်များကို ထည့်သွင်းထားသည်။

အလုပ် ၅ နှစ်ကြာပြီးနောက် သက်ဆိုင်ရာဌာနများတွင် လစ်လပ်နေရာများကို ရှာဖွေရန် သို့မဟုတ် အထူးပြုရာထူးများကဲ့သို့သော အထူးပြုရာထူးများအတွက် လျှောက်ထားရန် ပိုမိုလွယ်ကူသည်။

• ဘဏ် သို့မဟုတ် တယ်လီကွန်းတွင် ဗိသုကာပညာရှင် သို့မဟုတ် ဦးဆောင်ပြုစုသူ - 250 ခန့်။

• သင်အနီးကပ်ဆုံးလုပ်ဆောင်ခဲ့သော နည်းပညာများဖြင့် ရောင်းချသူထံမှ ကြိုတင်ရောင်းချခြင်း - 200 နှင့် ဖြစ်နိုင်သည့်ဆုကြေးငွေ (ရူဘယ် 1-1,5 သန်း)။ 

• SAP ကဲ့သို့သော Enterprise လုပ်ငန်းဆိုင်ရာ အသုံးချမှုများကို အကောင်အထည်ဖော်ရာတွင် ကျွမ်းကျင်သူများ - 350 အထိ။

ဒေတာသိပ္ပံပညာရှင်များ၏ဝင်ငွေ

လေ့လာ ကုမ္ပဏီ "Normal Research" နှင့် စုဆောင်းရေးအေဂျင်စီ New.HR မှ ခွဲခြမ်းစိတ်ဖြာသူများ၏ စျေးကွက်သည် Data Science ကျွမ်းကျင်သူများသည် အခြားသော အထူးပြုလေ့လာသူများထက် ပျမ်းမျှလစာပိုမိုရရှိကြောင်း ပြသပါသည်။ 

ရုရှားတွင် အတွေ့အကြုံတစ်နှစ်အထိရှိသော ဒေတာသိပ္ပံပညာရှင်တစ်ဦး၏လစာသည် ရူဘယ် ၁၁၃ဝဝဝ မှဖြစ်သည်။ 

လေ့ကျင့်ရေးအစီအစဉ်များ ပြီးဆုံးပါက လုပ်ငန်းအတွေ့အကြုံအဖြစ် ထည့်သွင်းစဉ်းစားပါသည်။

1-2 နှစ်အကြာတွင်၊ ထိုသို့သောအထူးကုသည် 160 အထိရရှိပြီးဖြစ်သည်။

အတွေ့အကြုံ 4-5 နှစ်ရှိဝန်ထမ်းတစ်ဦးအတွက်လမ်းဆုံလမ်းခွသည် 310 သို့တိုးလာသည်။

အင်တာဗျုးတွေကို ဘယ်လိုဆောင်ရွက်ကြလဲ။

အနောက်နိုင်ငံများတွင်၊ အသက်မွေးဝမ်းကြောင်းဆိုင်ရာလေ့ကျင့်ရေးပရိုဂရမ်များမှဘွဲ့ရများသည် ဘွဲ့ရပြီးနောက် ပျမ်းမျှ 5 ပတ်အကြာတွင် ၎င်းတို့၏ပထမဆုံးအင်တာဗျူးရှိသည်။ 85% ခန့်သည် 3 လအကြာတွင်အလုပ်ရှာကြသည်။

ဒေတာအင်ဂျင်နီယာနှင့် ဒေတာသိပ္ပံပညာရှင်ရာထူးများအတွက် အင်တာဗျူးလုပ်ငန်းစဉ်သည် တူညီသည်။ များသောအားဖြင့် အဆင့်ငါးဆင့် ပါဝင်ပါသည်။

အကျဉ်းချုပ်. ပင်မအတွေ့ အကြုံမရှိသော ကိုယ်စားလှယ်လောင်းများ (ဥပမာ၊ စျေးကွက်ရှာဖွေရေး) သည် ကုမ္ပဏီတစ်ခုစီအတွက် အသေးစိတ်အဖုံးလွှာကို ပြင်ဆင်ရန် သို့မဟုတ် ထိုကုမ္ပဏီ၏ ကိုယ်စားလှယ်ထံမှ ကိုးကားချက်တစ်ခုရှိရန် လိုအပ်သည်။

နည်းပညာပိုင်းဆိုင်ရာ စိစစ်မှု. များသောအားဖြင့် ဖုန်းဖြင့် ပြုလုပ်လေ့ရှိသည်။ တစ်ခု သို့မဟုတ် နှစ်ခု ရှုပ်ထွေးပြီး အလုပ်ရှင်၏ လက်ရှိအစုနှင့် ပတ်သက်သည့် ရိုးရှင်းသော မေးခွန်းများစွာ ပါဝင်သည်။

HR အင်တာဗျူး. ဖုန်းဖြင့်ပြုလုပ်နိုင်ပါသည်။ ဤအဆင့်တွင် ကိုယ်စားလှယ်လောင်းအား အထွေထွေလုံလောက်မှုနှင့် ဆက်သွယ်ပြောဆိုနိုင်မှုတို့အတွက် စမ်းသပ်စစ်ဆေးသည်။

နည်းပညာဆိုင်ရာအင်တာဗျူး. အများစုမှာ လူကိုယ်တိုင် ဖြစ်ပွားတတ်သည်။ မတူညီသော ကုမ္ပဏီများတွင် ဝန်ထမ်းဇယားရှိ ရာထူးအဆင့်များ ကွဲပြားပြီး ရာထူးများကို ကွဲပြားစွာ အမည်ပေးနိုင်ပါသည်။ ထို့ကြောင့် ဤအဆင့်တွင် ၎င်းသည် နည်းပညာဆိုင်ရာ အသိပညာကို စမ်းသပ်ပြီးဖြစ်သည်။

CTO/ Chief Architect နှင့် အင်တာဗျူး. အင်ဂျင်နီယာနှင့် သိပ္ပံပညာရှင်များသည် ဗျူဟာမြောက်ရာထူးများဖြစ်ပြီး ကုမ္ပဏီများစွာအတွက် ၎င်းတို့သည်လည်း အသစ်များဖြစ်သည်။ မန်နေဂျာသည် ဖြစ်နိုင်ချေရှိသော လုပ်ဖော်ကိုင်ဖက်ကို နှစ်သက်ပြီး သူ၏အမြင်များကို သဘောတူရန် အရေးကြီးပါသည်။

သိပ္ပံပညာရှင်များနှင့် အင်ဂျင်နီယာများအား ၎င်းတို့၏ အသက်မွေးဝမ်းကြောင်းဆိုင်ရာ တိုးတက်မှုတွင် အဘယ်အရာက ကူညီပေးမည်နည်း။

Data နဲ့ အလုပ်လုပ်ဖို့ Tools အသစ်တွေ အများကြီးပေါ်လာပါပြီ။ လူအနည်းငယ်က လူတိုင်းမှာ တန်းတူရည်တူကောင်းတယ်။ 

လုပ်ငန်းအတွေ့အကြုံမရှိသော ကုမ္ပဏီများစွာသည် ဝန်ထမ်းများကို ခန့်အပ်ရန် အဆင်သင့်မဖြစ်သေးပါ။ သို့သော်၊ နောက်ခံအနည်းဆုံးနှင့် လူကြိုက်များသည့်ကိရိယာများ၏ အခြေခံများကို တတ်ကျွမ်းသည့် ကိုယ်စားလှယ်လောင်းများသည် ၎င်းတို့ကိုယ်တိုင် လေ့လာသင်ယူပြီး ဖွံ့ဖြိုးတိုးတက်လာပါက လိုအပ်သောအတွေ့အကြုံကို ရရှိနိုင်ပါသည်။

data engineer နှင့် data scientist အတွက် အသုံးဝင်သော အရည်အသွေးများ

သင်ယူလိုစိတ်နှင့် စွမ်းရည်. သင်ချက်ချင်း အတွေ့အကြုံကို လိုက်ရှာရန် သို့မဟုတ် ကိရိယာအသစ်အတွက် အလုပ်များပြောင်းရန် မလိုအပ်သော်လည်း နယ်ပယ်အသစ်သို့ ပြောင်းလိုစိတ်ရှိရန် လိုအပ်ပါသည်။

လုပ်ရိုးလုပ်စဉ် လုပ်ငန်းစဉ်များကို အလိုအလျောက် အကောင်အထည်ဖော်လိုသော ဆန္ဒ. ၎င်းသည် ကုန်ထုတ်စွမ်းအားအတွက်သာမက မြင့်မားသောဒေတာအရည်အသွေးနှင့် စားသုံးသူထံသို့ ပေးပို့မှုအမြန်နှုန်းကို ထိန်းသိမ်းထားရန်အတွက်လည်း အရေးကြီးပါသည်။

လုပ်ငန်းစဉ်များ၏ "ခေါင်းပါးအောက်ရှိအရာ" ​​ကို အာရုံစူးစိုက်မှုနှင့် နားလည်မှု. လုပ်ငန်းစဉ်များကို စေ့စေ့စပ်စပ် စူးစမ်းလေ့လာသော ကျွမ်းကျင်သူသည် ပြဿနာကို ပိုမိုမြန်ဆန်စွာ ဖြေရှင်းနိုင်မည်ဖြစ်သည်။

အယ်လဂိုရီသမ်များ၊ ဒေတာဖွဲ့စည်းပုံများနှင့် ပိုက်လိုင်းများအကြောင်း ကောင်းစွာ အသိပညာအပြင် သင်လိုအပ်ပါသည်။ ထုတ်ကုန်များတွင်စဉ်းစားရန်သင်ယူပါ။ — ပုံတစ်ပုံတည်းအဖြစ် ဗိသုကာပညာနှင့် စီးပွားရေးဖြေရှင်းချက်ကို ကြည့်ပါ။ 

ဥပမာအားဖြင့်၊ နာမည်ကြီး ၀ န်ဆောင်မှုတစ်ခုခုကိုယူပြီး၎င်းအတွက်ဒေတာဘေ့စတစ်ခုတည်ဆောက်ရန်အသုံးဝင်သည်။ ထို့နောက် ၎င်းအား ဒေတာဖြည့်ပေးမည့် ETL နှင့် DW ကို မည်ကဲ့သို့ တီထွင်ရမည်ကို စဉ်းစားပါ၊ မည်သို့သော စားသုံးသူများ ဖြစ်လာမည်နည်း၊ ဒေတာအကြောင်း သိရန် ၎င်းတို့အတွက် အရေးကြီးသည်နှင့် ဝယ်ယူသူများသည် အပလီကေးရှင်းများနှင့် ဆက်ဆံပုံ- အလုပ်ရှာဖွေခြင်းနှင့် ချိန်းတွေ့ခြင်း၊ ကားငှားခြင်းအတွက်၊ ပေါ့တ်ကာစ်အက်ပ်၊ ပညာရေးဆိုင်ရာ ပလပ်ဖောင်း။

လေ့လာဆန်းစစ်သူ၊ ဒေတာသိပ္ပံပညာရှင်နှင့် အင်ဂျင်နီယာတစ်ဦး၏ ရာထူးများသည် အလွန်နီးစပ်သောကြောင့် သင်သည် အခြားနေရာများထက် လမ်းကြောင်းတစ်ခုမှ အခြားသို့ လျင်မြန်စွာ ပြောင်းရွှေ့နိုင်သည်။

မည်သို့ပင်ဆိုစေကာမူ IT နောက်ခံမရှိသောသူများထက် IT နောက်ခံရှိသူများအတွက် ပိုမိုလွယ်ကူမည်ဖြစ်သည်။ ပျမ်းမျှအားဖြင့်၊ စိတ်အားထက်သန်သော အရွယ်ရောက်ပြီးသူများသည် 1,5-2 နှစ်တစ်ကြိမ် အလုပ်ပြန်လုပ်ကာ အလုပ်ပြောင်းသည်။ ပွင့်လင်းသောအရင်းအမြစ်များကိုသာ အားကိုးသောသူများနှင့် နှိုင်းယှဉ်ပါက အုပ်စုတစ်စုနှင့် နည်းပြတစ်ဦးနှင့် လေ့လာသူများအတွက် ပိုမိုလွယ်ကူပါသည်။

Netology ၏ အယ်ဒီတာများထံမှ သိရသည်။

အကယ်၍ သင်သည် Data Engineer သို့မဟုတ် Data Scientist ၏ အသက်မွေးဝမ်းကြောင်းကို ကြည့်ရှုပါက၊ ကျွန်ုပ်တို့၏ သင်တန်းအစီအစဉ်များကို လေ့လာရန် သင့်အား ဖိတ်ခေါ်အပ်ပါသည်။

• “အသက်မွေးဝမ်းကျောင်း၊ဒေတာအင်ဂျင်နီယာ"။  
• “အသက်မွေးဝမ်းကျောင်း၊ဒေတာကိုသိပ္ပံပညာရှင်"။
• ကောင်းပြီ"Data Analyst"။

source: www.habr.com