Whale ဖြင့် ဒေတာကို လွယ်ကူလျင်မြန်စွာ ရှာဖွေနည်း

ဤဆောင်းပါးသည် KDPV တွင် သင်တွေ့မြင်ရသော အရိုးရှင်းဆုံးနှင့် အမြန်ဆန်ဆုံးဒေတာရှာဖွေရေးကိရိယာအကြောင်း ဆွေးနွေးထားသည်။ စိတ်ဝင်စားစရာမှာ ဝေလငါးသည် အဝေးထိန်း git ဆာဗာတွင် လက်ခံကျင်းပရန် ဒီဇိုင်းထုတ်ထားသည်။ အသေးစိတ်အချက်အလတ်များကို အောက်တွင်ဖော်ပြထားပါသည်။

Airbnb ၏ Data Discovery Tool သည် ကျွန်ုပ်၏ဘဝကို မည်သို့ပြောင်းလဲစေသနည်း။

ကျွန်ုပ်၏အသက်မွေးဝမ်းကျောင်းတွင်၊ ကျွန်ုပ်သည် ပျော်ရွှင်စရာပြဿနာအချို့ကို လုပ်ဆောင်ရခြင်းကို နှစ်သက်ခဲ့ဖူးသည်- ကျွန်ုပ်သည် MIT တွင် ဘွဲ့ယူစဉ်က flowသင်္ချာဘာသာရပ်ကို လေ့လာခဲ့ပြီး တိုးမြင့်လာသော မော်ဒယ်များကို လုပ်ဆောင်ခဲ့ပြီး open source ပရောဂျက်တစ်ခုဖြင့် လုပ်ဆောင်ခဲ့သည်။ ဓာတ်လှေကား Wayfair တွင်၊ Airbnb တွင် ပင်မစာမျက်နှာကို ပစ်မှတ်ထားသော မော်ဒယ်အသစ်များနှင့် CUPED တိုးတက်မှုများကို အကောင်အထည်ဖော်ခဲ့သည်။ ဒါပေမယ့် ဒီအလုပ်တွေအားလုံးက စွဲမက်ဖွယ်ကောင်းတာမဟုတ်ဖူး—တကယ်တော့၊ ဒေတာတွေကို ရှာဖွေခြင်း၊ သုတေသနပြုခြင်းနှင့် တရားဝင်ခြင်းအတွက် အချိန်အများစုကို ကျွန်မ မကြာခဏ ကုန်ဆုံးလေ့ရှိပါတယ်။ ၎င်းသည် အလုပ်တွင် အဆက်မပြတ်ဖြစ်နေသော်လည်း Airbnb သို့ ဒေတာရှာဖွေမှုတူးလ်ဖြင့် ဖြေရှင်းပြီးသည့်တိုင်အောင် ၎င်းသည် ကျွန်ုပ်အတွက် ပြဿနာမဖြစ်ခဲ့ပါ။ ဒေတာပေါ်တယ်.

{{data}} ကို ဘယ်မှာ ရှာရမလဲ။ ဒေတာပေါ်တယ်.
ဒီကော်လံက ဘာကို ဆိုလိုတာလဲ။ ဒေတာပေါ်တယ်.
{{metric}} ယနေ့ မည်သို့လုပ်ဆောင်နေသနည်း။ ဒေတာပေါ်တယ်.
ဘဝခံစားမှုဆိုတာဘာလဲ။ IN ဒေတာပေါ်တယ်ဖြစ်နိုင်ပါတယ်။

ကောင်းပြီ၊ မင်းပုံပြပြီးပြီ။ ဒေတာကို ရှာဖွေခြင်းနှင့် ၎င်းကို ဆိုလိုသည် ၊ ၎င်းကို မည်သို့ဖန်တီးထားသည် နှင့် ၎င်းကို မည်သို့အသုံးပြုရမည်ကို နားလည်ရန် နာရီအနည်းငယ်သာ ကြာသည်၊ မိနစ်အနည်းငယ်သာ ကြာသည်။ ရိုးရှင်းသော ကောက်ချက်ဆွဲခြင်း သို့မဟုတ် အယ်လဂိုရီသမ်အသစ်များ (… သို့မဟုတ် ဒေတာနှင့်ပတ်သက်သည့် ကျပန်းမေးခွန်းများကို ဖြေခြင်း) မဟုတ်ဘဲ တစ်စုံတစ်ယောက်ရှိပြီးသား အကြောင်းအရာများကို ကြိုးစားဖန်တီးရန် Slack တွင် လုပ်ဖော်ကိုင်ဖက်များအား မှတ်စုများဖြတ်၍ မှတ်စုများကို တူးဖော်ခြင်း၊ ထပ်တလဲလဲ SQL queries များရေးသားခြင်းနှင့် Slack တွင် လုပ်ဖော်ကိုင်ဖက်များအား ရည်ညွှန်းခြင်းတို့ကို အချိန်ဖြုန်းနိုင်သည်။ .

ပြဿနာကဘာလဲ?

ကျွန်ုပ်၏သူငယ်ချင်းအများစုသည် ထိုကဲ့သို့သောကိရိယာကို အသုံးပြုခွင့်မရှိသည်ကို ကျွန်ုပ်သဘောပေါက်ပါသည်။ ကုမ္ပဏီအနည်းငယ်သည် Dataportal ကဲ့သို့သော ပလပ်ဖောင်းတူးလ်ကို တည်ဆောက်ခြင်းနှင့် ထိန်းသိမ်းခြင်းအတွက် ကြီးမားသောအရင်းအမြစ်များကို မြှုပ်နှံရန် ဆန္ဒရှိနေပါသည်။ Open Source ဖြေရှင်းချက်အနည်းငယ်ရှိသော်လည်း၊ ၎င်းတို့သည် သီးသန့် DevOps အင်ဂျင်နီယာမပါဘဲ သတ်မှတ်ရန်နှင့် ထိန်းသိမ်းရန် ခက်ခဲစေသည်။ ဒါကြောင့် အသစ်တစ်ခုကို ဖန်တီးဖို့ ဆုံးဖြတ်လိုက်တယ်။

ဝေလငါး- မိုက်မဲစွာ ရိုးရှင်းသော ဒေတာရှာဖွေရေးကိရိယာ

ဟုတ်တယ်၊ မအူမလည်နဲ့ ငါက မိုက်မဲတဲ့ ရိုးရှင်းတာကို ဆိုလိုတယ်။ ဝေလငါးတွင် အစိတ်အပိုင်းနှစ်ခုသာရှိသည်။

1. မက်တာဒေတာကို စုဆောင်းပြီး MarkDown တွင် ဖော်မတ်ပြုလုပ်သည့် Python စာကြည့်တိုက်။
2. ဤဒေတာကိုရှာဖွေရန်အတွက် Rust command line interface

ပြုပြင်ထိန်းသိမ်းမှုအတွက် အတွင်းပိုင်းအခြေခံအဆောက်အအုံ၏ ရှုထောင့်မှကြည့်လျှင် စာသားဖိုင်များနှင့် စာသားကို အပ်ဒိတ်လုပ်သည့် ပရိုဂရမ်များစွာသာ ရှိပါသည်။ ဒါပါပဲ၊ ထို့ကြောင့် Github ကဲ့သို့ git server တွင် hosting သည်အသေးအဖွဲဖြစ်သည်။ လေ့လာရန် query language အသစ်မရှိ၊ စီမံခန့်ခွဲမှုအခြေခံအဆောက်အအုံမရှိ၊ အရန်သိမ်းဆည်းမှုများမရှိပါ။ Git ကို လူတိုင်းသိသောကြောင့် စင့်ခ်လုပ်ခြင်းနှင့် ပူးပေါင်းဆောင်ရွက်ခြင်းသည် အခမဲ့ဖြစ်သည်။ လုပ်ဆောင်ချက်ကို အနီးကပ် လေ့လာကြည့်ရအောင် Whale v1.0.

အပြည့်အဝ featured git-based GUI

ဝေလငါးသည် အဝေးမှ git ဆာဗာ၏ သမုဒ္ဒရာထဲတွင် ကူးခတ်ရန် ဒီဇိုင်းထုတ်ထားသည်။ သူ အလွန်လွယ်ကူပါတယ် ပြင်ဆင်သတ်မှတ်နိုင်သည်- အချို့သောချိတ်ဆက်မှုများကို သတ်မှတ်ပါ၊ Github လုပ်ဆောင်ချက် ဇာတ်ညွှန်းကို ကူးယူပါ (သို့မဟုတ် သင်ရွေးချယ်ထားသော CI/CD ပလပ်ဖောင်းအတွက် တစ်ခုရေးပါ) နှင့် သင့်တွင် ဒေတာရှာဖွေမှု ဝဘ်တူးလ်တစ်ခု ချက်ချင်းရပါလိမ့်မည်။ သင်သည် Github တွင် သင်၏ spreadsheet များကို ရှာဖွေခြင်း၊ ကြည့်ရှုခြင်း၊ မှတ်တမ်းတင်ခြင်းနှင့် မျှဝေနိုင်မည်ဖြစ်သည်။

Github လုပ်ဆောင်ချက်များကို အသုံးပြု၍ ထုတ်လုပ်ထားသော ပင်တိုင်ဇယား၏ ဥပမာ။ အပြည့်အဝအလုပ်လုပ်တဲ့သရုပ်ပြ ဤကဏ္ဍတွင်ကြည့်ပါ။.

သင်၏သိုလှောင်ခန်းအတွက် CLI အမြန်ရှာဖွေပါ။

Whale သည် သင့်စားပွဲများတစ်လျှောက်တွင် အစွမ်းထက်သော၊ မီလီစက္ကန့်ရှာဖွေမှုများကို ပံ့ပိုးပေးကာ အမိန့်ပေးစာကြောင်းတွင် နေထိုင်ပြီး ရှူရှိုက်သည်။ သန်းပေါင်းများစွာသော စားပွဲများဖြင့်ပင် ကျွန်ုပ်တို့သည် ဝေလငါးများကို မယုံနိုင်လောက်အောင် စွမ်းဆောင်နိုင်စေရန်နှင့် Rust တွင် နောက်ခံကို ပြန်လည်တည်ဆောက်ခြင်းဖြင့်လည်း လုပ်ဆောင်နိုင်ခဲ့သည်။ ရှာဖွေမှုနှောင့်နှေးမှုကို သင်သတိမထားမိတော့ပါ [hello Google DS]။

ဝေလငါးသရုပ်ပြ၊ ဇယားသန်းရှာဖွေမှု။

မက်ထရစ်များ အလိုအလျောက် တွက်ချက်ခြင်း [beta တွင်]

ဒေတာသိပ္ပံပညာရှင်တစ်ဦးအနေဖြင့် ကျွန်ုပ်အနှစ်သက်ဆုံးအရာများထဲမှ တစ်ခုသည် အသုံးပြုနေသည့် ဒေတာအရည်အသွေးကို စစ်ဆေးရန်အတွက် တူညီသောမေးခွန်းများကို ထပ်ခါထပ်ခါ လုပ်ဆောင်နေပါသည်။ Whale သည် သင်၏ မက်တာဒေတာရှင်းလင်းရေးပိုက်လိုင်းများနှင့်အတူ လုပ်ဆောင်ရန် စီစဉ်ထားမည့် ရိုးရှင်းသော SQL တွင် မက်ထရစ်များကို သတ်မှတ်နိုင်စွမ်းကို ပံ့ပိုးပေးသည်။ ပင်မဇယားအတွင်း၌ YAML မက်ထရစ်များပိတ်ဆို့ခြင်းကို သတ်မှတ်ပြီး Whale သည် အချိန်ဇယားတစ်ခုပေါ်တွင် အလိုအလျောက်လုပ်ဆောင်ပြီး မက်ထရစ်များတွင် ထည့်သွင်းထားသော မေးခွန်းများကို လုပ်ဆောင်မည်ဖြစ်သည်။

```metrics
metric-name:
  sql: |
    select count(*) from table
```

Github နှင့် ပေါင်းစပ်ထားသော ဤချဉ်းကပ်မှုသည် ဝေလငါးသည် မက်ထရစ် အဓိပ္ပါယ်ဖွင့်ဆိုချက်များအတွက် လွယ်ကူသော ဗဟိုအချက်အချာရင်းမြစ်တစ်ခုအဖြစ် လုပ်ဆောင်နိုင်သည်ဟု ဆိုလိုသည်။ ဝေလငါးသည် "~/ ရှိ အချိန်တံဆိပ်နှင့်အတူ တန်ဖိုးများကိုပင် သိမ်းဆည်းသည်။ အကယ်၍ သင်သည် ဇယားကွက်အချို့ သို့မဟုတ် ပိုမိုနက်ရှိုင်းစွာ သုတေသနပြုလိုပါက ဝေလငါး/မက်ထရစ်များ"။

အနာဂတ်မှာ

ကျွန်ုပ်တို့၏ဝေလငါး၏အကြိုထုတ်လွှဗားရှင်းအသုံးပြုသူများနှင့်စကားပြောပြီးနောက်တွင်၊ လူများသည် ပိုမိုလုပ်ဆောင်နိုင်စွမ်းလိုအပ်ကြောင်း ကျွန်ုပ်တို့သဘောပေါက်ပါသည်။ အဘယ်ကြောင့် ဇယားရှာဖွေရေးကိရိယာကို အသုံးပြုရသနည်း။ မက်ထရစ်ရှာဖွေမှုတူးလ်ကို ဘာကြောင့် မလုပ်တာလဲ။ ဘာကြောင့် စောင့်ကြည့်မနေတာလဲ။ SQL query execution tool ကို ဘာကြောင့် မလုပ်တာလဲ။ ဝေလငါး v1 သည် မူလက ရိုးရိုး CLI အဖော်ကိရိယာတစ်ခုအဖြစ် စိတ်ကူးထားစဉ် Dataportal/Amundsen၊ ၎င်းသည် အပြည့်အဝ သီးသန့်သီးသန့် ပလပ်ဖောင်းအဖြစ် ပြောင်းလဲနေပြီဖြစ်ပြီး ၎င်းသည် Data Scientist ၏ ကိရိယာတန်ဆာပလာအစုံ၏ အဓိကအစိတ်အပိုင်းတစ်ခု ဖြစ်လာလိမ့်မည်ဟု ကျွန်ုပ်တို့ မျှော်လင့်ပါသည်။

ဖွံ့ဖြိုးတိုးတက်ရေးလုပ်ငန်းစဉ်တွင် သင်မြင်လိုသောအရာများရှိပါက ကျွန်ုပ်တို့၏ပူးပေါင်းပါဝင်ပါ။ Slack အသိုင်းအဝိုင်းသို့၊ ပြဿနာများကို ဖွင့်ပါ။ Githubသို့မဟုတ် တိုက်ရိုက်ဆက်သွယ်ပါ။ LinkedIn တို့. ကျွန်ုပ်တို့တွင် အမိုက်စား အင်္ဂါရပ်များစွာ ရှိနှင့်ပြီးဖြစ်သည် - Jinja နမူနာပုံစံများ၊ စာညှပ်များ၊ ရှာဖွေမှု စစ်ထုတ်မှုများ၊ Slack သတိပေးချက်များ၊ Jupyter ပေါင်းစည်းမှု၊ မက်ထရစ်များအတွက် CLI ဒက်ရှ်ဘုတ်တစ်ခုပင်ဖြစ်သည် - သို့သော် သင်၏ထည့်သွင်းမှုကို ကျွန်ုပ်တို့နှစ်သက်ပါသည်။

ကောက်ချက်

Whale ကို အခြားသူများနှင့် ပူးပေါင်းတည်ထောင်ရခြင်းကို မကြာသေးမီက ကျွန်ုပ်နှစ်သက်ခဲ့သော Dataframe မှ တီထွင်ထိန်းသိမ်းထားခြင်းဖြစ်သည်။ ဝေလငါးများကို ဒေတာသိပ္ပံပညာရှင်များအတွက် ပြုလုပ်ထားသော်လည်း Dataframe ကို ဒေတာသိပ္ပံပညာရှင်များအတွက် ပြုလုပ်ထားသည်။ ပိုပြီး နီးနီးကပ်ကပ် လက်တွဲလိုတဲ့ သူတွေအတွက် အားမနာပါနဲ့ လိပ်စာကျွန်ုပ်တို့သည် သင့်အား စောင့်ဆိုင်းစာရင်းတွင် ထည့်ပါမည်။

နှင့် ပရိုမိုကုဒ်ဖြင့် HABRနဖူးစည်းတွင်ဖော်ပြထားသော လျှော့စျေးသို့ 10% ထပ်မံရရှိနိုင်ပါသည်။

• ဒေတာသိပ္ပံ အွန်လိုင်း Bootcamp
• Data Analyst ၏ အသက်မွေးဝမ်းကြောင်းကို အစမှ သင်ကြားလေ့ကျင့်ပေးခြင်း
• Data Analytics အွန်လိုင်း Bootcamp
• Data Science ပညာရပ်ကို အစမှအဆုံး သင်ကြားပေးခြင်း။
• Python for Web Development သင်တန်း

နောက်ထပ်သင်တန်းများ

• Data Analytics သင်တန်း
• DevOps သင်တန်း
• ပရော်ဖက်ရှင်နယ် Web developer
• အလုပ်အကိုင် iOS developer အစမှ
• ပရော်ဖက်ရှင်နယ် Android developer သည် အစမှအဆုံးဖြစ်သည်။
• ပရော်ဖက်ရှင်နယ် Java developer သည် အစမှအဆုံးဖြစ်သည်။
• JavaScript သင်တန်း
• စက်သင်ယူမှုသင်တန်း
• "ဒေတာသိပ္ပံအတွက် သင်္ချာနှင့် စက်သင်ယူခြင်း" သင်တန်း၊
• အဆင့်မြင့်သင်တန်း "Machine Learning Pro + Deep Learning"

အထူးအသားပေး ဆောင်းပါးများ

• အွန်လိုင်းသင်တန်းများမပါပဲ Data Scientist တစ်ယောက်ဖြစ်အောင် ဘယ်လိုလုပ်မလဲ။
• အခမဲ့ Ivy League သင်တန်းများ 450
• Machine Learning ကို တစ်ပတ် ၅ ရက် ၉ လဆက်တိုက် လေ့လာနည်း
• ဒေတာခွဲခြမ်းစိတ်ဖြာသူသည် မည်မျှရရှိသနည်း- 2020 ခုနှစ်တွင် ရုရှားနိုင်ငံရှိ လစာနှင့် လစ်လပ်နေရာများ၏ ခြုံငုံသုံးသပ်ချက်
• သတ္တုတွင်းလုပ်ငန်းတွင် စက်သင်ယူခြင်းနှင့် ကွန်ပျူတာအမြင်

source: www.habr.com