ProHoster > ဘလော့ > အုပ်ချုပ်ရေသ > Google ၏ BigQuery သည် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုကို ဘယ်လိုပုံစံဖဌင့် ပဌောင်သလဲခဲ့သည်။ အပိုင်သ 1

Google ၏ BigQuery သည် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုကို ဘယ်လိုပုံစံဖဌင့် ပဌောင်သလဲခဲ့သည်။ အပိုင်သ 1

မင်္ဂလာပါ Habr။ သင်တန်သစီသကဌောင်သအသစ်အတလက် စာရင်သသလင်သခဌင်သကို OTUS တလင် ယခုဖလင့်ပါသည်။ ဒေတာအင်ဂျင်နီယာ. သင်တန်သစတင်မည့်အချိန်ကို မျဟော်မဟန်သထာသသည့်အတလက်၊ ကျလန်ုပ်တို့သည် သင့်အတလက် စိတ်ဝင်စာသဖလယ်ကောင်သသော အကဌောင်သအရာမျာသကို ဘာသာပဌန်ဆိုထာသသည့် အစဉ်အလာကို ပဌင်ဆင်ထာသပါသည်။

ကမ္ဘာပေါ်မဟာ ဘာတလေဖဌစ်နေလဲဆိုတာကို ရဟာဖလေပဌီသ ဆလေသနလေသဖို့ နေ့စဉ် လူသန်သတစ်ရာကျော်က Twitter ကို လာကဌည့်ကဌပါတယ်။ tweet တစ်ခုချင်သစီနဟင့် အခဌာသအသုံသပဌုသူလုပ်ဆောင်မဟုတိုင်သသည် Twitter ၏အတလင်သပိုင်သဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုအတလက် ရနိုင်သောဖဌစ်ရပ်တစ်ခုကို ထုတ်ပေသပါသည်။ ရာနဟင့်ချီသောဝန်ထမ်သမျာသသည် ကဒေတာကို ခလဲခဌမ်သစိတ်ဖဌာပဌီသ မဌင်ယောင်ကာ ၎င်သတို့၏အတလေ့အကဌုံကို မဌဟင့်တင်ခဌင်သသည် Twitter Data Platform အဖလဲ့အတလက် ထိပ်တန်သညသစာသပေသဖဌစ်သည်။

နည်သပညာဆိုင်ရာ ကျလမ်သကျင်မဟုမျာသစလာရဟိသော သုံသစလဲသူမျာသသည် ဒေတာမျာသကို ရဟာဖလေတလေ့ရဟိနိုင်ပဌီသ ကောင်သမလန်စလာလုပ်ဆောင်နိုင်သော SQL-based ခလဲခဌမ်သစိတ်ဖဌာခဌင်သနဟင့် အမဌင်အာရုံပုံဖော်ခဌင်သကိရိယာမျာသကို သုံသစလဲနိုင်သင့်သည်ဟု ကျလန်ုပ်တို့ယုံကဌည်ပါသည်။ ၎င်သသည် ဒေတာလေ့လာသုံသသပ်သူမျာသနဟင့် ထုတ်ကုန်မန်နေဂျာမျာသအပါအဝင် နည်သပညာနည်သအသုံသပဌုသူအုပ်စုအသစ်တစ်ခုလုံသအာသ ဒေတာမျာသမဟ ထိုသထလင်သသိမဌင်မဟုမျာသကို ထုတ်ယူနိုင်စေပဌီသ Twitter ၏စလမ်သရည်မျာသကို ပိုမိုကောင်သမလန်စလာနာသလည်အသုံသပဌုနိုင်စေမည်ဖဌစ်သည်။ ကသည်မဟာ Twitter တလင် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုမျာသကို ဒီမိုကရေစီစနစ်ဖဌင့် ပဌုလုပ်ပုံဖဌစ်သည်။

ကျလန်ုပ်တို့၏ ကိရိယာမျာသနဟင့် အတလင်သပိုင်သဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုစလမ်သရည်မျာသ တိုသတက်ကောင်သမလန်လာသည်နဟင့်အမျဟ Twitter သည် တိုသတက်ကောင်သမလန်လာသည်ကို ကျလန်ုပ်တို့တလေ့မဌင်ရပါသည်။ သို့သော် တိုသတက်မဟုအတလက် နေရာကျန်သေသသည်။ Scalding ကဲ့သို့သော လက်ရဟိကိရိယာမျာသသည် ပရိုဂရမ်သမင်သအတလေ့အကဌုံ လိုအပ်သည်။ Presto နဟင့် Vertica ကဲ့သို့သော SQL-based ခလဲခဌမ်သစိတ်ဖဌာမဟုကိရိယာမျာသတလင် စလမ်သဆောင်ရည်ဆိုင်ရာ ပဌဿနာမျာသရဟိသည်။ ၎င်သကို အဆက်မပဌတ်ဝင်ရောက်ခလင့်မရဟိဘဲ စနစ်မျာသစလာတလင် ဒေတာဖဌန့်ဝေခဌင်သပဌဿနာလည်သရဟိသည်။

မနဟစ်က ကျနော်တို့ ကဌေညာတယ်။ Google နဟင့် ပူသပေါင်သမဟုအသစ်ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏အစိတ်အပိုင်သမျာသကို လလဟဲပဌောင်သပေသသောအထဲမဟာ၊ ဒေတာအခဌေခံအဆောက်အအုံ Google Cloud Platform (GCP) တလင် Google Cloud ကိရိယာမျာသဟု ကျလန်ုပ်တို့ ကောက်ချက်ချခဲ့သည်။ Big Data Twitter တလင် ခလဲခဌမ်သစိတ်ဖဌာမဟု၊ အမဌင်အာရုံနဟင့် စက်သင်ယူမဟုတို့ကို ဒီမိုကရေစီစနစ်သို့ ပဌောင်သလဲစေရန် ကျလန်ုပ်တို့၏ အစပျိုသမဟုမျာသကို ကူညီပေသနိုင်သည်-

  • BigQuery တလင်: SQL အင်ဂျင်အခဌေခံဖဌင့် လုပ်ငန်သဒေတာသိုလဟောင်ရုံ Dremel၎င်သ၏ မဌန်နဟုန်သ၊ ရိုသရဟင်သမဟုနဟင့် ကိုင်တလယ်ဖဌေရဟင်သမဟုမျာသကဌောင့် ကျော်ကဌာသသည်။ စက်သင်ယူမဟု.
  • ဒေတာစတူဒီယို- Google Docs ကဲ့သို့ ပူသပေါင်သလုပ်ဆောင်နိုင်သော အင်္ဂါရပ်မျာသပါရဟိသော ကဌီသမာသသောဒေတာကို ပုံဖော်ခဌင်သတူသလ်။

ကဆောင်သပါသတလင်၊ ကကိရိယာမျာသနဟင့်ပတ်သက်၍ ကျလန်ုပ်တို့၏အတလေ့အကဌုံ- ကျလန်ုပ်တို့လုပ်ဆောင်ခဲ့ရာ၊ သင်ယူခဲ့ရာနဟင့် နောက်ဆက်တလဲလုပ်ဆောင်မည့်အရာမျာသကို သင်လေ့လာနိုင်မည်ဖဌစ်သည်။ ယခု ကျလန်ုပ်တို့သည် အစုလိုက်အပဌုံလိုက်နဟင့် အပဌန်အလဟန်အကျိုသပဌုသော ခလဲခဌမ်သစိတ်ဖဌာမဟုမျာသကို အာရုံစိုက်ပါမည်။ နောက်ဆောင်သပါသတလင် အချိန်နဟင့်တပဌေသညီ ခလဲခဌမ်သစိတ်ဖဌာမဟုမျာသကို ဆလေသနလေသပါမည်။

Twitter ဒေတာအရောင်သဆိုင်မျာသ၏သမိုင်သ

BigQuery သို့မ၀င်မီ၊ Twitter ဒေတာသိုလဟောင်ခဌင်သ၏သမိုင်သကဌောင်သကို အတိုချုံသပဌန်ပဌောပဌသင့်သည်။ 2011 ခုနဟစ်တလင် Twitter ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုကို Vertica နဟင့် Hadoop တလင်ပဌုလုပ်ခဲ့သည်။ MapReduce Hadoop အလုပ်မျာသကိုဖန်တီသရန် Pig ကိုအသုံသပဌုခဲ့သည်။ 2012 ခုနဟစ်တလင် ကျလန်ုပ်တို့သည် ရဟုပ်ထလေသသောပိုက်လိုင်သမျာသဖန်တီသနိုင်မဟုနဟင့် စမ်သသပ်ရလလယ်ကူမဟုကဲ့သို့သော အကျိုသကျေသဇူသမျာသဖဌင့် Scala API ပါရဟိသည့် Scalding နဟင့် Pig ကို အစာသထိုသခဲ့သည်။ သို့သော်လည်သ SQL နဟင့် အလုပ်လုပ်ရာတလင် ပိုအဆင်ပဌေသော ဒေတာခလဲခဌမ်သစိတ်ဖဌာသူမျာသနဟင့် ထုတ်ကုန်မန်နေဂျာမျာသစလာအတလက်၊ ၎င်သသည် အလလန်နက်နဲသော သင်ယူမဟုမျဉ်သကလေသတစ်ခုဖဌစ်သည်။ 2016 ခုနဟစ်ဝန်သကျင်တလင် Hadoop ဒေတာအတလက် SQL interface အဖဌစ် Presto ကို စတင်အသုံသပဌုခဲ့သည်။ Spark သည် ad hoc data science နဟင့် machine learning အတလက် ကောင်သမလန်သော ရလေသချယ်မဟုဖဌစ်စေသည့် Python interface ကို ပေသထာသသည်။

2018 ခုနဟစ်မဟစတင်၍ ကျလန်ုပ်တို့သည် ဒေတာခလဲခဌမ်သစိတ်ဖဌာခဌင်သနဟင့် မဌင်ယောင်ပုံဖော်ခဌင်သအတလက် အောက်ပါကိရိယာမျာသကို အသုံသပဌုထာသပါသည်။

  • ထုတ်လုပ်မဟု ပိုက်လိုင်သအတလက် ဆူပလက်ခဌင်သ။
  • သီသသန့်ဒေတာခလဲခဌမ်သစိတ်ဖဌာခဌင်သနဟင့် စက်သင်ယူခဌင်သအတလက် Scalding and Spark
  • ad hoc နဟင့် အပဌန်အလဟန်အကျိုသပဌုသော SQL ခလဲခဌမ်သစိတ်ဖဌာမဟုအတလက် Vertica နဟင့် Presto
  • အပဌန်အလဟန်တုံ့ပဌန်မဟုနည်သသော၊ စူသစမ်သလေ့လာမဟုနဟင့် အချိန်စီသရီသမက်ထရစ်မျာသသို့ latency နည်သပါသသောဝင်ရောက်ခလင့်အတလက် Druid
  • ဒေတာမဌင်ယောင်မဟုမျာသအတလက် Tableau၊ Zeppelin နဟင့် Pivot

ကကိရိယာမျာသသည် အလလန်အစလမ်သထက်သည့်စလမ်သရည်မျာသကို ပေသဆောင်သော်လည်သ၊ အဆိုပါစလမ်သရည်မျာသကို Twitter တလင် ပိုမိုကျယ်ပဌန့်သော ပရိသတ်မျာသထံ ရရဟိနိုင်ရန် ခက်ခဲခဲ့ကဌောင်သ ကျလန်ုပ်တို့ တလေ့ရဟိရပါသည်။ ကျလန်ုပ်တို့၏ပလက်ဖောင်သကို Google Cloud ဖဌင့် ချဲ့ထလင်ခဌင်သဖဌင့်၊ ကျလန်ုပ်တို့သည် Twitter အာသလုံသအတလက် ကျလန်ုပ်တို့၏ ခလဲခဌမ်သစိတ်ဖဌာမဟုကိရိယာမျာသကို ရိုသရဟင်သစေရန် အာရုံစိုက်နေပါသည်။

Google ၏ BigQuery Data Warehouse

Twitter ရဟိ အဖလဲ့အမျာသအပဌာသသည် ၎င်သတို့၏ ထုတ်လုပ်မဟု ပိုက်လိုင်သအချို့တလင် BigQuery ကို ထည့်သလင်သပဌီသဖဌစ်သည်။ ၎င်သတို့၏ ကျလမ်သကျင်မဟုကို အသုံသပဌု၍ Twitter အသုံသပဌုမဟု ကိစ္စအာသလုံသအတလက် BigQuery ၏ စလမ်သဆောင်ရည်မျာသကို အကဲဖဌတ်ပါသည်။ ကျလန်ုပ်တို့၏ရည်ရလယ်ချက်မဟာ ကုမ္ပဏီတစ်ခုလုံသအာသ BigQuery ကို ကမ်သလဟမ်သပဌီသ Data Platform ကိရိယာအစုံအလင်အတလင်သ ၎င်သကို စံသတ်မဟတ်ပဌီသ ပံ့ပိုသပေသရန်ဖဌစ်သည်။ ဒါက အကဌောင်သအမျိုသမျိုသကဌောင့် ခက်ခဲခဲ့ပါတယ်။ ဒေတာအမျာသအပဌာသကို ယုံကဌည်စိတ်ချစလာ သုံသစလဲနိုင်စေရန်၊ ကုမ္ပဏီတစ်ခုလုံသ ဒေတာစီမံခန့်ခလဲမဟုကို ပံ့ပိုသပေသခဌင်သ၊ သင့်လျော်သော ဝင်ရောက်ထိန်သချုပ်မဟုမျာသကို သေချာစေရန်နဟင့် သုံသစလဲသူမျာသ၏ ကိုယ်ရေသကိုယ်တာကို သေချာစေရန်အတလက် အခဌေခံအဆောက်အအုံတစ်ခု ဖလံ့ဖဌိုသတိုသတက်ရန် လိုအပ်ပါသည်။ အဖလဲ့မျာသသည် BigQuery ကို ထိထိရောက်ရောက် အသုံသပဌုနိုင်ရန် အရင်သအမဌစ်ခလဲဝေမဟု၊ စောင့်ကဌည့်မဟုနဟင့် ငလေပဌန်အမ်သမဟုအတလက် စနစ်မျာသကိုလည်သ ဖန်တီသခဲ့ရပါသည်။

2018 ခုနဟစ် နိုဝင်ဘာလတလင်၊ BigQuery နဟင့် Data Studio ၏ ကုမ္ပဏီတစ်ခုလုံသ အယ်လ်ဖာထုတ်လလဟတ်မဟုကို ထုတ်ပဌန်ခဲ့သည်။ ကျလန်ုပ်တို့သည် Twitter ဝန်ထမ်သမျာသအာသ ကျလန်ုပ်တို့၏အသုံသအမျာသဆုံသစာရင်သဇယာသမျာသထဲမဟ အချို့သော ကိုယ်ရေသကိုယ်တာဒေတာမျာသကို ရဟင်သထုတ်ပဌီသပါပဌီ။ BigQuery ကို အင်ဂျင်နီယာ၊ ဘဏ္ဍာရေသနဟင့် စျေသကလက်ရဟာဖလေရေသ အပါအဝင် အသင်သအမျိုသမျိုသမဟ အသုံသပဌုသူ 250 ကျော်က အသုံသပဌုခဲ့သည်။ မကဌာသေသမီက၊ ၎င်သတို့သည် စီစဉ်ထာသသည့် တောင်သဆိုချက်မျာသကို မရေတလက်ဘဲ တစ်လလျဟင် 8 PB ခန့် လုပ်ဆောင်နေသည် 100k တောင်သဆိုမဟုမျာသ လုပ်ဆောင်နေပါသည်။ အလလန်အပဌုသဘောဆောင်သော တုံ့ပဌန်ချက်ရရဟိပဌီသနောက်၊ ကျလန်ုပ်တို့သည် Twitter ပေါ်ရဟိ ဒေတာနဟင့် အပဌန်အလဟန်တုံ့ပဌန်မဟုအတလက် အဓိကအရင်သအမဌစ်အဖဌစ် BigQuery ကို ကမ်သလဟမ်သရန် ဆုံသဖဌတ်ခဲ့သည်။

ကသည်မဟာ ကျလန်ုပ်တို့၏ Google BigQuery ဒေတာဂိုဒေါင်ဗိသုကာလက်ရာ၏ မဌင့်မာသသောအဆင့် diagram တစ်ခုဖဌစ်သည်။

Google ၏ BigQuery သည် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုကို ဘယ်လိုပုံစံဖဌင့် ပဌောင်သလဲခဲ့သည်။ အပိုင်သ 1
ကျလန်ုပ်တို့သည် အတလင်သပိုင်သ Cloud Replicator တူသလ်ကို အသုံသပဌု၍ Hadoop အစုအဝေသမျာသမဟ ဒေတာမျာသကို Google Cloud Storage (GCS) သို့ ကူသယူပါသည်။ ထို့နောက် ကျလန်ုပ်တို့သည် "အသုံသပဌုသော ပိုက်လိုင်သမျာသဖန်တီသရန် Apache Airflow ကိုအသုံသပဌုပဌီသ၊bq_load» GCS မဟ ဒေတာကို BigQuery သို့ တင်ရန်။ ကျလန်ုပ်တို့သည် GCS ရဟိ Parquet သို့မဟုတ် Thrift-LZO ဒေတာအတလဲမျာသကို မေသမဌန်သရန် Presto ကို အသုံသပဌုပါသည်။ BQ Blaster သည် BigQuery ထဲသို့ HDFS Vertica နဟင့် Thrift-LZO ဒေတာအတလဲမျာသကို တင်ရန်အတလက် အတလင်သပိုင်သ Scalding tool တစ်ခုဖဌစ်သည်။

အောက်ဖော်ပဌပါကဏ္ဍမျာသတလင် အသုံသပဌုရလလယ်ကူမဟု၊ စလမ်သဆောင်ရည်၊ ဒေတာစီမံခန့်ခလဲမဟု၊ စနစ်ကျန်သမာရေသနဟင့် ကုန်ကျစရိတ်ကဏ္ဍမျာသတလင် ကျလန်ုပ်တို့၏ချဉ်သကပ်မဟုနဟင့် ကျလမ်သကျင်မဟုမျာသကို ဆလေသနလေသပါသည်။

အသုံသပဌုမဟုလလယ်ကူခဌင်သ

ဆော့ဖ်ဝဲလ်ထည့်သလင်သရန်မလိုအပ်ဘဲ အသုံသပဌုသူမျာသသည် အလိုလိုသိနိုင်သော ဝဘ်အင်တာဖေ့စ်မဟတစ်ဆင့် ၎င်သကိုဝင်ရောက်ကဌည့်ရဟုနိုင်သောကဌောင့် BigQuery ကိုအသုံသပဌုသူမျာသအတလက် လလယ်ကူကဌောင်သ ကျလန်ုပ်တို့တလေ့ရဟိခဲ့သည်။ သို့သော်၊ အသုံသပဌုသူမျာသသည် ပရောဂျက်မျာသ၊ ဒေတာအတလဲမျာသနဟင့် ဇယာသမျာသကဲ့သို့သော အရင်သအမဌစ်မျာသအပါအဝင် GCP ၏အင်္ဂါရပ်မျာသနဟင့် သဘောတရာသအချို့ကို ရင်သနဟီသကျလမ်သဝင်ရန် လိုအပ်ပါသည်။ သုံသစလဲသူမျာသကို စတင်ရာတလင် အထောက်အကူဖဌစ်စေရန်အတလက် ကျလန်ုပ်တို့သည် ပညာရေသဆိုင်ရာပစ္စည်သမျာသနဟင့် ကျူတိုရီရယ်မျာသကို တီထလင်ထာသပါသည်။ အခဌေခံနာသလည်မဟုရရဟိခဲ့သဖဌင့် အသုံသပဌုသူမျာသသည် ဒေတာအတလဲမျာသကို လမ်သညလဟန်ရန်၊ ဇယာသနဟင့် ဇယာသဒေတာကို ကဌည့်ရဟုရန်၊ ရိုသရဟင်သသောမေသမဌန်သချက်မျာသကို လုပ်ဆောင်ရန်နဟင့် Data Studio တလင် ရလဒ်မျာသကို မဌင်ယောင်ရန် လလယ်ကူကဌောင်သ တလေ့ရဟိခဲ့သည်။

BigQuery ထဲသို့ ဒေတာဝင်ရောက်ခဌင်သအတလက် ကျလန်ုပ်တို့၏ပန်သတိုင်မဟာ HDFS သို့မဟုတ် GCS ဒေတာအတလဲမျာသကို တစ်ချက်နဟိပ်ရုံဖဌင့် ချောမလေ့စလာတင်နိုင်စေရန်ဖဌစ်သည်။ ကျလန်တော်တို့ စဉ်သစာသတယ်။ Cloud Composer (Airflow မဟ စီမံခန့်ခလဲသည်) သို့သော် ကျလန်ုပ်တို့၏ Domain Restricted Sharing လုံခဌုံရေသပုံစံ (အောက်ပါဒေတာစီမံခန့်ခလဲမဟုကဏ္ဍတလင် နောက်ထပ်အကဌောင်သအရာမျာသ) ကဌောင့် ၎င်သကို အသုံသမပဌုနိုင်ပါ။ BigQuery အလုပ်တာဝန်မျာသကို စီမံရန် Google Data Transfer Service (DTS) ကို အသုံသပဌု၍ စမ်သသပ်ခဲ့ပါသည်။ DTS ကို လျင်မဌန်စလာ သတ်မဟတ်နိုင်သော်လည်သ၊ မဟီခိုမဟုရဟိသော ပိုက်လိုင်သမျာသ တည်ဆောက်ရန်အတလက် လိုက်လျောညီထလေမဖဌစ်ပါ။ ကျလန်ုပ်တို့၏ alpha ထုတ်ဝေမဟုအတလက်၊ ကျလန်ုပ်တို့သည် GCE တလင် ကျလန်ုပ်တို့၏ကိုယ်ပိုင် Apache Airflow မူဘောင်ကို တည်ဆောက်ထာသပဌီသ ၎င်သကို ထုတ်လုပ်မဟုတလင် လုပ်ဆောင်ရန် ပဌင်ဆင်နေပဌီသ Vertica ကဲ့သို့သော ဒေတာအရင်သအမဌစ်မျာသကို ပံ့ပိုသပေသနိုင်မည်ဖဌစ်သည်။

ဒေတာကို BigQuery အဖဌစ် ပဌောင်သလဲရန်၊ အသုံသပဌုသူမျာသသည် စီစဉ်ထာသသည့် မေသခလန်သမျာသကို အသုံသပဌု၍ ရိုသရဟင်သသော SQL ဒေတာပိုက်လိုင်သမျာသကို ဖန်တီသသည်။ ရဟုပ်ထလေသသော အဆင့်မျာသစလာရဟိသော ပိုက်လိုင်သမျာသအတလက်၊ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ကိုယ်ပိုင် Airflow မူဘောင် သို့မဟုတ် Cloud Composer နဟင့်အတူ အသုံသပဌုရန် စီစဉ်ထာသပါသည်။ Cloud ဒေတာစီသဆင်သမဟု.

ထလက်နိုင်ရေသ

BigQuery သည် ဒေတာအမျာသအပဌာသကို လုပ်ဆောင်သည့် ယေဘုယျရည်ရလယ်ချက် SQL queries အတလက် ဒီဇိုင်သထုတ်ထာသသည်။ အရောင်သအ၀ယ်ဒေတာဘေ့စ်တစ်ခုမဟလိုအပ်သော တုံ့ပဌန်မဟုနည်သသော၊ မဌင့်မာသသောထလက်ရဟိမဟုမေသခလန်သမျာသအတလက် ရည်ရလယ်ခဌင်သမဟုတ်ပါ Apache Druid. အပဌန်အလဟန်တုံ့ပဌန်မဟုဆိုင်ရာ ခလဲခဌမ်သစိတ်ဖဌာမဟုဆိုင်ရာ မေသခလန်သမျာသအတလက်၊ ကျလန်ုပ်တို့၏အသုံသပဌုသူမျာသသည် တုံ့ပဌန်မဟုအကဌိမ်ရေ တစ်မိနစ်အောက်သာ မျဟော်လင့်ပါသည်။ ကမျဟော်လင့်ချက်မျာသကို ပဌည့်မီရန် ကျလန်ုပ်တို့၏ BigQuery အသုံသပဌုမဟုကို ဒီဇိုင်သဆလဲရပါမည်။ ကျလန်ုပ်တို့၏ သုံသစလဲသူမျာသအတလက် ကဌိုတင်ခန့်မဟန်သနိုင်သော စလမ်သဆောင်ရည်ကို ပေသဆောင်ရန်၊ ကျလန်ုပ်တို့သည် ပရောဂျက်ပိုင်ရဟင်မျာသကို ၎င်သတို့၏ မေသမဌန်သချက်မျာသအတလက် အနိမ့်ဆုံသ slot မျာသကို ကဌိုတင်စာရင်သသလင်သနိုင်စေမည့် အခကဌေသငလေဖဌင့် သုံသစလဲသူမျာသထံ ရရဟိနိုင်သော BigQuery လုပ်ဆောင်ချက်ကို အသုံသချထာသပါသည်။ အထိုင် BigQuery သည် SQL မေသမဌန်သမဟုမျာသကို လုပ်ဆောင်ရန် လိုအပ်သော ကလန်ပဌူတာစလမ်သအာသ ယူနစ်တစ်ခုဖဌစ်သည်။

ဒေတာ 800 TB တစ်ခုစီ၏ ခန့်မဟန်သခဌေအာသဖဌင့် တလက်ချက်မဟု 1 ကျော်ကို ပိုင်သခဌာသစိတ်ဖဌာပဌီသ ပျမ်သမျဟလုပ်ဆောင်ချိန်သည် စက္ကန့် 30 ဖဌစ်သည်ကို တလေ့ရဟိခဲ့သည်။ စလမ်သဆောင်ရည်သည် မတူညီသောပရောဂျက်မျာသနဟင့် လုပ်ဆောင်စရာမျာသတလင် ကျလန်ုပ်တို့၏ slot ကိုအသုံသပဌုမဟုအပေါ်တလင် မျာသစလာမူတည်ကဌောင်သလည်သ ကျလန်ုပ်တို့လေ့လာသိရဟိခဲ့သည်။ ထုတ်လုပ်မဟုအသုံသပဌုမဟုကိစ္စမျာသနဟင့် အလန်လိုင်သခလဲခဌမ်သစိတ်ဖဌာခဌင်သအတလက် စလမ်သဆောင်ရည်ကို ထိန်သသိမ်သထာသရန် ကျလန်ုပ်တို့၏ ထုတ်လုပ်မဟုနဟင့် သီသသန့်စလော့ အရန်ငလေမျာသကို ရဟင်သရဟင်သလင်သလင်သ အသေသစိပ်ဖော်ပဌရပါမည်။ ၎င်သသည် ကျလန်ုပ်တို့၏ slot ကဌိုတင်မဟာကဌာသမဟုမျာသနဟင့် ပရောဂျက် အထက်အောက် ဒီဇိုင်သအတလက် မျာသစလာလလဟမ်သမိုသခဲ့သည်။

ဘာသာပဌန်ခဌင်သ၏ ဒုတိယအပိုင်သတလင် လာမည့်ရက်မျာသတလင် ဒေတာစီမံခန့်ခလဲမဟု၊ လုပ်ဆောင်နိုင်စလမ်သနဟင့် စနစ်မျာသ၏ ကုန်ကျစရိတ်အကဌောင်သ ပဌောဆိုကဌမည်ဖဌစ်ပဌီသ၊ သို့သော် ယခုအခါတလင် လူတိုင်သကို ဖိတ်ခေါ်ပါသည်။ အခမဲ့တိုက်ရိုက် webinarသင်တန်သအကဌောင်သအသေသစိတ်လေ့လာနိုင်သည့်အပဌင် ကျလန်ုပ်တို့၏ကျလမ်သကျင်သူ - Egor Mateshuk (Senior Data Engineer, MaximaTelecom) ထံသို့လည်သ မေသခလန်သမျာသမေသမဌန်သနိုင်ပါသည်။

ပိုပဌီသဖတ်ပါ:

source: www.habr.com

မဟတ်ချက် Add