ProHoster > ဘလော့ > အုပ်ချုပ်ရေသ > Google ၏ BigQuery သည် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုကို ဘယ်လိုပုံစံဖဌင့် ပဌောင်သလဲခဲ့သည်။ အပိုင်သ 2

Google ၏ BigQuery သည် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုကို ဘယ်လိုပုံစံဖဌင့် ပဌောင်သလဲခဲ့သည်။ အပိုင်သ 2

မင်္ဂလာပါ Habr။ သင်တန်သစီသကဌောင်သအသစ်အတလက် စာရင်သသလင်သခဌင်သကို OTUS တလင် ယခုဖလင့်ပါသည်။ ဒေတာအင်ဂျင်နီယာ. သင်တန်သစတင်မည့်အချိန်ကို မျဟော်မဟန်သပဌီသ အသုံသဝင်သော အကဌောင်သအရာမျာသကို သင်နဟင့် ဆက်လက်မျဟဝေပါသည်။

အပိုင်သ ၁ ကိုဖတ်ပါ။

Google ၏ BigQuery သည် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုကို ဘယ်လိုပုံစံဖဌင့် ပဌောင်သလဲခဲ့သည်။ အပိုင်သ 2

ဒေတာစီမံခန့်ခလဲမဟု

Strong Data Governance သည် Twitter Engineering ၏ ပင်မအခဌေခံအချက်ဖဌစ်သည်။ ကျလန်ုပ်တို့သည် BigQuery ကို ကျလန်ုပ်တို့၏ပလပ်ဖောင်သတလင် ထည့်သလင်သစဉ်တလင်၊ ကျလန်ုပ်တို့သည် ဒေတာရဟာဖလေမဟု၊ ဝင်ရောက်ထိန်သချုပ်မဟု၊ လုံခဌုံရေသနဟင့် ကိုယ်ရေသကိုယ်တာတို့ကို အာရုံစိုက်ပါသည်။

ဒေတာကို ရဟာဖလေပဌီသ စီမံခန့်ခလဲရန်၊ ကျလန်ုပ်တို့၏ Data Access Layer ကို တိုသချဲ့ထာသပါသည်။ Dal) ကျလန်ုပ်တို့၏ သုံသစလဲသူမျာသအတလက် တစ်ခုတည်သသော အင်တာဖေ့စ်နဟင့် API တို့ကို ပံ့ပိုသပေသသည့် နေရာနဟင့် Google Cloud ဒေတာ နဟစ်ခုလုံသအတလက် ကိရိယာမျာသ ပံ့ပိုသပေသရန်။ Google အနေဖဌင့် ဒေတာကတ်တလောက် ယေဘူယျရရဟိနိုင်မဟုဆီသို့ ညသတည်နေသည်၊ ကော်လံရဟာဖလေမဟုကဲ့သို့သော အင်္ဂါရပ်မျာသကို သုံသစလဲသူမျာသအာသ ပေသဆောင်ရန် ကျလန်ုပ်တို့၏ပရောဂျက်မျာသတလင် ၎င်သကို ထည့်သလင်သပါမည်။

BigQuery သည် ဒေတာကို မျဟဝေရန်နဟင့် ဝင်ရောက်ရန် လလယ်ကူစေသည်၊ သို့သော် ဒေတာ ထုတ်ယူခဌင်သမဟ ကာကလယ်ရန် ၎င်သကို ထိန်သချုပ်ရန် လိုအပ်ပါသည်။ အခဌာသကိရိယာမျာသထဲတလင် ကျလန်ုပ်တို့သည် လုပ်ဆောင်ချက်နဟစ်ခုကို ရလေသထာသသည်-

လုံခဌုံရေသအတလက် အထောက်အထာသစိစစ်ခဌင်သ၊ ခလင့်ပဌုချက်နဟင့် စာရင်သစစ်ခဌင်သ (AAA) လိုအပ်ချက်မျာသကို အောက်ပါအတိုင်သ အကောင်အထည်ဖော်ဆောင်ရလက်ထာသပါသည်။

  • စစ်မဟန်ကဌောင်သအထောက်အထာသပဌခဌင်သ- ထုတ်လုပ်ရေသတောင်သဆိုမဟုမျာသအတလက် အထူသသီသသန့်တောင်သဆိုမဟုမျာသနဟင့် ဝန်ဆောင်မဟုအကောင့်မျာသအတလက် GCP အသုံသပဌုသူအကောင့်မျာသကို ကျလန်ုပ်တို့အသုံသပဌုခဲ့သည်။
  • ခလင့်ပဌုချက်- ပိုင်ရဟင်ဝန်ဆောင်မဟုအကောင့်နဟင့် စာဖတ်သူအဖလဲ့ရဟိရန် ဒေတာအတလဲတစ်ခုစီကို ကျလန်ုပ်တို့ လိုအပ်ပါသည်။
  • စစ်ဆေသခဌင်သ- ကျလန်ုပ်တို့သည် ခလဲခဌမ်သစိတ်ဖဌာရန် လလယ်ကူစေရန်အတလက် BigQuery ဒေတာအတလဲသို့ အသေသစိတ်မေသမဌန်သမဟုလုပ်ဆောင်မဟုအချက်အလက်ပါရဟိသော BigQuery stackdriver မဟတ်တမ်သမျာသကို တင်ပို့ထာသပါသည်။

Twitter အသုံသပဌုသူမျာသ၏ ကိုယ်ရေသကိုယ်တာဒေတာကို မဟန်ကန်စလာ ကိုင်တလယ်ကဌောင်သ သေချာစေရန်၊ ကျလန်ုပ်တို့သည် BigQuery ဒေတာအတလဲမျာသအာသလုံသကို မဟတ်ပုံတင်ရန်၊ ကိုယ်ရေသကိုယ်တာဒေတာကို မဟတ်သာသထာသရန်၊ သင့်လျော်သော သိုလဟောင်မဟုအာသ ထိန်သသိမ်သရန်နဟင့် အသုံသပဌုသူမျာသမဟ ဖျက်လိုက်သော ဒေတာမျာသကို ဖျက်ပစ်ရန် (ခဌစ်) ပဌုလုပ်ရပါမည်။

Google မဟာ ကဌည့်ခဲ့ကဌတယ်။ Cloud Data ဆုံသရဟုံသမဟု ကာကလယ်ခဌင်သ APIအရေသကဌီသသောဒေတာကို အမျိုသအစာသခလဲရန်နဟင့် တည်သဖဌတ်ရန် စက်သင်ယူမဟုကို အသုံသပဌုသော်လည်သ တိကျမဟုကဌောင့် ဒေတာအတလဲကို ကိုယ်တိုင်မဟတ်သာသရန် ဆုံသဖဌတ်ခဲ့သည်။ ကျလန်ုပ်တို့သည် စိတ်ကဌိုက်မဟတ်စာကို မဌဟင့်တင်ရန်အတလက် ဒေတာဆုံသရဟုံသမဟုကာကလယ်ရေသ API ကို အသုံသပဌုရန် စီစဉ်ထာသသည်။

Twitter တလင်၊ ကျလန်ုပ်တို့သည် BigQuery ရဟိ ဒေတာအတလဲမျာသအတလက် ကိုယ်ရေသကိုယ်တာ အမျိုသအစာသ လေသခုကို ဖန်တီသထာသပဌီသ၊ ကနေရာတလင် အာရုံခံနိုင်စလမ်သ၏ ကဌီသစဉ်ငယ်လိုက်ဖဌင့် ဖော်ပဌထာသပါသည်။

  • အခလင့်ထူသအနည်သဆုံသ နိယာမအပေါ် အခဌေခံ၍ အလလန်အထိခိုက်မခံသော ဒေတာအစုံမျာသကို လိုအပ်သလို ရရဟိနိုင်စေသည်။ ဒေတာအတလဲတစ်ခုစီတလင် သီသခဌာသစာဖတ်သူအုပ်စုတစ်ခုရဟိပဌီသ ကျလန်ုပ်တို့သည် အကောင့်တစ်ခုချင်သစီအလိုက် အသုံသပဌုမဟုကို ခဌေရာခံပါမည်။
  • အလယ်အလတ် အာရုံခံစာသနိုင်မဟု ဒေတာအတလဲမျာသ (ဆာသနယ် ဟက်ရ်ဟကို အသုံသပဌုသည့် တစ်ကဌောင်သတည်သသော ကလောင်အမည်မျာသ) တလင် ကိုယ်တိုင်ကိုယ်ကျ ခလဲခဌာသနိုင်သော အချက်အလက် (PII) မပါဝင်သည့်အပဌင် ပိုမိုကဌီသမာသသော ဝန်ထမ်သအုပ်စုအတလက် ရရဟိနိုင်သည်။ ကသည်မဟာ ကိုယ်ရေသကိုယ်တာကိစ္စမျာသနဟင့် ဒေတာအသုံသဝင်မဟုကဌာသ မျဟတမဟုတစ်ခုဖဌစ်သည်။ ၎င်သသည် ဝန်ထမ်သမျာသအာသ မည်သူမည်ဝါဖဌစ်သည်ကို မသိဘဲ အင်္ဂါရပ်ကို အသုံသပဌုသည့် အသုံသပဌုသူအရေအတလက်ကို တလက်ချက်ခဌင်သကဲ့သို့သော ခလဲခဌမ်သစိတ်ဖဌာခဌင်သလုပ်ငန်သမျာသကို လုပ်ဆောင်နိုင်စေပါသည်။
  • အသုံသပဌုသူခလဲခဌာသသိမဌင်နိုင်သော အချက်အလက်အာသလုံသနဟင့်အတူ အာရုံခံနိုင်စလမ်သနည်သသော ဒေတာအတလဲမျာသ။ ကသည်မဟာ ကိုယ်ရေသကိုယ်တာရဟုထောင့်မဟ ကောင်သမလန်သောချဉ်သကပ်မဟုတစ်ခုဖဌစ်သော်လည်သ သုံသစလဲသူအဆင့်ခလဲခဌမ်သစိတ်ဖဌာမဟုအတလက် အသုံသမပဌုနိုင်ပါ။
  • အမျာသသူငဟာ ဒေတာအတလဲမျာသ (Twitter ပဌင်ပမဟ ထုတ်လလဟတ်သည်) သည် Twitter ဝန်ထမ်သမျာသအာသလုံသအတလက် ရနိုင်ပါသည်။

လော့ဂ်လုပ်ခဌင်သအတလက်၊ ကျလန်ုပ်တို့သည် BigQuery ဒေတာအတလဲမျာသကို ရေတလက်ကာ Data Access Layer ဖဌင့် မဟတ်ပုံတင်ရန် စီစဉ်ထာသသော လုပ်ဆောင်စရာမျာသကို အသုံသပဌုခဲ့သည် (Dal), Twitter မက်တာဒေတာ သိုလဟောင်မဟု။ အသုံသပဌုသူမျာသသည် ဒေတာအတလဲမျာသကို ကိုယ်ရေသကိုယ်တာအချက်အလက်မျာသဖဌင့် မဟတ်သာသပဌီသ သိမ်သဆည်သသည့်ကာလကိုလည်သ သတ်မဟတ်ပေသမည်ဖဌစ်သည်။ သန့်ရဟင်သရေသအတလက်၊ ကျလန်ုပ်တို့သည် ရလေသချယ်စရာနဟစ်ခု၏ စလမ်သဆောင်ရည်နဟင့် ကုန်ကျစရိတ်ကို အကဲဖဌတ်သည်- 1. Scalding ကဲ့သို့သော ကိရိယာမျာသကို အသုံသပဌု၍ GCS ရဟိ ဒေတာအတလဲမျာသကို သန့်ရဟင်သစေပဌီသ ၎င်သတို့ကို BigQuery တလင် တင်ခဌင်သ၊ 2. BigQuery DML ထုတ်ပဌန်ချက်မျာသကို အသုံသပဌုခဌင်သ။ မတူညီသောအုပ်စုမျာသနဟင့် ဒေတာမျာသ၏ လိုအပ်ချက်မျာသကို ပဌည့်မီရန် နည်သလမ်သနဟစ်ခုစလုံသကို ပေါင်သစပ်အသုံသပဌုသလာသဖလယ်ရဟိသည်။

စနစ်လုပ်ဆောင်နိုင်စလမ်သ

BigQuery သည် စီမံခန့်ခလဲသည့်ဝန်ဆောင်မဟုတစ်ခုဖဌစ်သောကဌောင့်၊ စနစ်စီမံခန့်ခလဲမဟု သို့မဟုတ် စာသပလဲတင်တာဝန်မျာသတလင် Twitter ၏ SRE အဖလဲ့တလင် ပါဝင်ရန်မလိုအပ်ပါ။ သိုလဟောင်မဟုနဟင့် ကလန်ပဌူတာနဟစ်ခုလုံသအတလက် စလမ်သရည်ပိုမိုပေသဆောင်ရန် လလယ်ကူခဲ့သည်။ Google ပံ့ပိုသကူညီမဟုဖဌင့် လက်မဟတ်တစ်ခုကို ဖန်တီသခဌင်သဖဌင့် slot ကဌိုတင်မဟာယူမဟုကို ပဌောင်သလဲနိုင်သည်။ ကျလန်ုပ်တို့သည် ပိုမိုကောင်သမလန်အောင်လုပ်ဆောင်နိုင်သည့် နယ်ပယ်မျာသဖဌစ်သည့် ကိုယ်တိုင်ဝန်ဆောင်မဟုအထိုင် ခလဲဝေချထာသမဟုနဟင့် စောင့်ကဌည့်စစ်ဆေသရန်အတလက် ဒက်ရဟ်ဘုတ် မဌဟင့်တင်မဟုမျာသကဲ့သို့သော ပိုမိုကောင်သမလန်လာနိုင်သည့် နယ်ပယ်မျာသကို ရဟာဖလေဖော်ထုတ်ခဲ့ပဌီသ ထိုတောင်သဆိုမဟုမျာသကို Google သို့ ပေသပို့ခဲ့သည်။

၏ကုန်ကျစရိတ်

BigQuery နဟင့် Presto အတလက် မေသမဌန်သမဟုကုန်ကျစရိတ်မျာသသည် တူညီသောအဆင့်တလင်ရဟိကဌောင်သ ကျလန်ုပ်တို့၏ ပဏာမခလဲခဌမ်သစိတ်ဖဌာချက်က ပဌသခဲ့သည်။ ကျလန်ုပ်တို့သည် slot မျာသကိုဝယ်ယူခဲ့သည်။ သတ်မဟတ်ထာသတဲ့ ပေသချေမဟုအစာသ တည်ငဌိမ်သော လစဉ်ကုန်ကျစရိတ်ရဟိရန် စျေသနဟုန်သ ဝယ်လိုအာသအပေါ် စီမံပဌီသသောဒေတာ၏ TB နဟုန်သ။ ကဆုံသဖဌတ်ချက်သည် တောင်သဆိုမဟုတစ်ခုစီမပဌုလုပ်မီ ကုန်ကျစရိတ်မျာသကို မစဉ်သစာသလိုသော အသုံသပဌုသူမျာသထံမဟ တုံ့ပဌန်ချက်အပေါ် အခဌေခံထာသသည်။

BigQuery တလင် ဒေတာသိမ်သဆည်သခဌင်သသည် GCS ကုန်ကျစရိတ်အပဌင် ကုန်ကျစရိတ်မျာသပါ ရဟိလာပါသည်။ Scalding ကဲ့သို့သော တူသလ်မျာသသည် GCS တလင် ဒေတာအတလဲမျာသ လိုအပ်ပဌီသ BigQuery သို့ ဝင်ရောက်ရန် ကျလန်ုပ်တို့သည် တူညီသောဒေတာအတလဲမျာသကို BigQuery ဖော်မတ်သို့ တင်ရန် လိုအပ်သည် capacitor. ကျလန်ုပ်တို့သည် GCS နဟင့် BigQuery နဟစ်ခုလုံသတလင် ဒေတာအတလဲမျာသကို သိမ်သဆည်သရန် လိုအပ်မဟုကို ဖယ်ရဟာသပေသမည့် BigQuery ဒေတာအတလဲမျာသနဟင့် Scalding ချိတ်ဆက်မဟုတလင် လုပ်ဆောင်နေပါသည်။

မကဌာခဏ petabytes ဆယ်ဂဏန်သ၏ မကဌာခဏ မေသမဌန်သမဟု လိုအပ်သည့် ရဟာသပါသသော ကိစ္စမျာသအတလက်၊ BigQuery တလင် ဒေတာအတလဲမျာသကို သိမ်သဆည်သခဌင်သသည် စရိတ်စက မသက်သာကဌောင်သနဟင့် GCS ရဟိ ဒေတာအစုံမျာသကို တိုက်ရိုက်ဝင်ရောက်ကဌည့်ရဟုရန် Presto ကို အသုံသပဌုကဌောင်သ ဆုံသဖဌတ်ခဲ့သည်။ ဒါကိုလုပ်ဖို့၊ ကျလန်ုပ်တို့ BigQuery ပဌင်ပဒေတာအရင်သအမဌစ်မျာသကို ရဟာဖလေနေပါတယ်။

နောက်အဆင့်မျာသ

အယ်လ်ဖာထုတ်ပဌီသကတည်သက BigQuery ကို စိတ်ဝင်စာသမဟု အမျာသအပဌာသတလေ့ခဲ့ရပါတယ်။ BigQuery တလင် ဒေတာအတလဲမျာသနဟင့် နောက်ထပ် ညလဟန်ကဌာသချက်မျာသကို ကျလန်ုပ်တို့ ပေါင်သထည့်နေပါသည်။ BigQuery သိုလဟောင်မဟုသို့ ဖတ်ရန်နဟင့် စာရေသရန် Scalding ကဲ့သို့သော ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုဆိုင်ရာ ကိရိယာမျာသအတလက် ချိတ်ဆက်ကိရိယာမျာသကို တီထလင်ထုတ်လုပ်ထာသပါသည်။ BigQuery ဒေတာအတလဲမျာသကို အသုံသပဌု၍ လုပ်ငန်သအရည်အသလေသအစီရင်ခံစာမျာသနဟင့် မဟတ်စုမျာသဖန်တီသရန်အတလက် Looker နဟင့် Apache Zeppelin ကဲ့သို့သော ကိရိယာမျာသကို ကျလန်ုပ်တို့ ရဟာဖလေနေပါသည်။

Google နဟင့် ကျလန်ုပ်တို့၏ ပူသပေါင်သဆောင်ရလက်မဟုသည် အလလန်အကျိုသဖဌစ်ထလန်သပဌီသ ကပူသပေါင်သဆောင်ရလက်မဟုကို ဆက်လက်လုပ်ဆောင်ရန်နဟင့် ဖလံ့ဖဌိုသတိုသတက်စေရန်အတလက် ဝမ်သမဌောက်မိပါသည်။ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ကိုယ်ပိုင်ကိုအကောင်အထည်ဖော်ရန် Google နဟင့် လုပ်ဆောင်ခဲ့သည်။ ပါတနာ Issue Trackerမေသခလန်သမျာသကို Google သို့ တိုက်ရိုက်ပေသပို့ရန်။ BigQuery Parquet loader ကဲ့သို့သော ၎င်သတို့ထဲမဟ အချို့ကို Google မဟ အကောင်အထည် ဖော်ထာသပဌီသဖဌစ်သည်။

ကသည်မဟာ Google အတလက် ကျလန်ုပ်တို့၏ ညသစာသပေသ လုပ်ဆောင်ချက် တောင်သဆိုချက် အချို့ဖဌစ်သည်။

  • အဆင်ပဌေသောဒေတာလက်ခံမဟုနဟင့် LZO-Thrift ဖော်မတ်အတလက် ပံ့ပိုသမဟုမျာသအတလက် ကိရိယာမျာသ။
  • နာရီအလိုက် အပိုင်သခလဲခဌင်သ။
  • ဇယာသ-၊ အတန်သ-၊ နဟင့် ကော်လံအဆင့် ခလင့်ပဌုချက်မျာသကဲ့သို့သော ဝင်ရောက်ထိန်သချုပ်မဟု မဌဟင့်တင်မဟုမျာသ။
  • BigQuery တလင် ပဌင်ပဒေတာအရင်သအမဌစ်မျာသ Hive Metastore ပေါင်သစည်သမဟုနဟင့် LZO-Thrift ဖော်မတ်အတလက် ပံ့ပိုသမဟုဖဌင့်။
  • BigQuery အသုံသပဌုသူ အင်တာဖေ့စ်တလင် ဒေတာကတ်တလောက်ပေါင်သစည်သမဟုကို ပိုမိုကောင်သမလန်အောင် ပဌုလုပ်ထာသသည်။
  • အထိုင်ခလဲဝေခဌင်သနဟင့် စောင့်ကဌည့်ခဌင်သအတလက် ကိုယ်ပိုင်ဝန်ဆောင်မဟု။

ကောက်ချက်

ဒေတာခလဲခဌမ်သစိတ်ဖဌာခဌင်သ၊ အမဌင်အာရုံပုံဖော်ခဌင်သနဟင့် စက်သင်ယူခဌင်သတို့ကို လုံခဌုံသောနည်သလမ်သဖဌင့် ဒီမိုကရေစီဖော်ဆောင်ခဌင်သသည် Data Platform အဖလဲ့အတလက် ထိပ်တန်သညသစာသပေသဖဌစ်သည်။ Google BigQuery နဟင့် Data Studio သည် ကရည်မဟန်သချက်ကို အောင်မဌင်အောင် ကူညီပေသနိုင်သည့် ကိရိယာမျာသအဖဌစ် သတ်မဟတ်ခဲ့ပဌီသ BigQuery Alpha ကုမ္ပဏီကို ယမန်နဟစ်က ထုတ်ပဌန်ခဲ့သည်။

BigQuery တလင် ရိုသရဟင်သပဌီသ ထိရောက်မဟုရဟိသော မေသခလန်သမျာသကို ကျလန်ုပ်တို့ တလေ့ရဟိခဲ့သည်။ ကျလန်ုပ်တို့သည် ရိုသရဟင်သသောပိုက်လိုင်သမျာသအတလက် ဒေတာမျာသကို ထည့်သလင်သပဌီသ အသလင်ပဌောင်သရန်အတလက် Google ကိရိယာမျာသကို အသုံသပဌုခဲ့သော်လည်သ ရဟုပ်ထလေသသောပိုက်လိုင်သမျာသအတလက် ကျလန်ုပ်တို့၏ကိုယ်ပိုင် Airflow မူဘောင်ကို တည်ဆောက်ရမည်ဖဌစ်သည်။ ဒေတာစီမံခန့်ခလဲမဟုနေရာ၌ အထောက်အထာသစိစစ်ခဌင်သ၊ ခလင့်ပဌုချက်နဟင့် စာရင်သစစ်ခဌင်သအတလက် BigQuery ၏ဝန်ဆောင်မဟုမျာသသည် ကျလန်ုပ်တို့၏လိုအပ်ချက်မျာသနဟင့် ကိုက်ညီပါသည်။ မက်တာဒေတာကို စီမံခန့်ခလဲရန်နဟင့် ကိုယ်ရေသကိုယ်တာ ထိန်သသိမ်သရန်၊ ကျလန်ုပ်တို့သည် ပိုမိုပဌောင်သလလယ်ပဌင်လလယ် လိုအပ်ပဌီသ ကျလန်ုပ်တို့၏ ကိုယ်ပိုင်စနစ်မျာသကို တည်ဆောက်ရမည်ဖဌစ်သည်။ BigQuery သည် စီမံခန့်ခလဲသည့်ဝန်ဆောင်မဟုတစ်ခုဖဌစ်သောကဌောင့် အသုံသပဌုရလလယ်ကူပါသည်။ မေသမဌန်သမဟုကုန်ကျစရိတ်မျာသသည် လက်ရဟိကိရိယာမျာသနဟင့် ဆင်တူသည်။ BigQuery တလင် ဒေတာသိမ်သဆည်သခဌင်သသည် GCS ကုန်ကျစရိတ်အပဌင် ကုန်ကျစရိတ်လည်သ ကုန်ကျပါသည်။

ယေဘုယျအာသဖဌင့်၊ BigQuery သည် ယေဘူယျ SQL ခလဲခဌမ်သစိတ်ဖဌာမဟုအတလက် ကောင်သစလာအလုပ်လုပ်သည်။ ကျလန်ုပ်တို့သည် BigQuery တလင် စိတ်ဝင်စာသမဟုမျာသစလာကို မဌင်တလေ့နေရပဌီသ ဒေတာအစုံမျာသကို ရလဟေ့ပဌောင်သရန်၊ အဖလဲ့မျာသ ထပ်မံခေါ်ယူရန်နဟင့် BigQuery ဖဌင့် ပိုက်လိုင်သမျာသ ထပ်မံတည်ဆောက်ရန် လုပ်ဆောင်နေပါသည်။ Twitter သည် Scalding၊ Spark၊ Presto နဟင့် Druid ကဲ့သို့သော ကိရိယာမျာသ ပေါင်သစပ်မဟု လိုအပ်မည့် ဒေတာအမျိုသမျိုသကို အသုံသပဌုသည်။ ကျလန်ုပ်တို့၏ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုကိရိယာမျာသကို ဆက်လက်အာသကောင်သစေရန်နဟင့် ကျလန်ုပ်တို့၏ကမ်သလဟမ်သချက်မျာသကို အကောင်သဆုံသအသုံသပဌုနည်သအတလက် အသုံသပဌုသူမျာသအတလက် ရဟင်သလင်သသောလမ်သညလဟန်ချက်ပေသနိုင်ရန် ကျလန်ုပ်တို့ရည်ရလယ်ပါသည်။

ကျေသဇူသစကာသ

ဒီပရောဂျက်အတလက် သူတို့ရဲ့ ကောင်သမလန်တဲ့ ပူသပေါင်သဆောင်ရလက်မဟုနဲ့ ကဌိုသစာသအာသထုတ်မဟုအတလက် ကျလန်မရဲ့ တလဲဖက်စာရေသဆရာတလေ၊ အသင်သဖော်တလေဖဌစ်တဲ့ Anju Jha နဲ့ Will Pascucci ကို ကျေသဇူသတင်ပါတယ်။ ကျလန်ုပ်တို့နဟင့် Twitter ရဟိ BigQuery အသုံသပဌုသူမျာသကို ကူညီပေသခဲ့သော Twitter နဟင့် Google ရဟိ အဖလဲ့အမျာသအပဌာသမဟ အင်ဂျင်နီယာမျာသနဟင့် မန်နေဂျာမျာသကို ကျေသဇူသတင်ပါသည်။

သင်ကပဌဿနာမျာသကိုလုပ်ဆောင်ရန်စိတ်ဝင်စာသပါကကျလန်ုပ်တို့၏ထလက်စစ်ဆေသပါ။ လစ်လပ် Data Platform အဖလဲ့တလင်။

DWH ရဟိ ဒေတာအရည်အသလေသ - ဒေတာဂိုဒေါင်၏ ညီညလတ်မဟု

source: www.habr.com

မဟတ်ချက် Add