အစစ်အမှန်အပလီကေးရှင်းများတွင် ClickHouse ကိုအသုံးပြုခြင်း၏သီအိုရီနှင့်အလေ့အကျင့်။ Alexander Zaitsev (2018)

ယခုအခါ နေရာတိုင်းနီးပါးတွင် ဒေတာအများအပြားရှိနေသော်လည်း၊ ခွဲခြမ်းစိတ်ဖြာသောဒေတာဘေ့စ်များသည် အလွန်ထူးခြားဆန်းပြားနေသေးသည်။ ၎င်းတို့သည် လူသိနည်းပြီး ၎င်းတို့ကို ထိထိရောက်ရောက် အသုံးပြုနိုင်ခြင်းမှာ ပိုဆိုးသည်။ အများအပြားသည် အခြားအခြေအနေများအတွက် ဒီဇိုင်းထုတ်ထားသည့် MySQL သို့မဟုတ် PostgreSQL ဖြင့် "ရှားစောင်းကိုစားပါ" ၊ NoSQL ဖြင့် ခံစားနေကြရသည်၊ သို့မဟုတ် စီးပွားဖြစ်ဖြေရှင်းနည်းများအတွက် အပိုပေးချေမှုများ ရှိနေကြသည်။ ClickHouse သည် ဂိမ်း၏စည်းမျဉ်းများကို ပြောင်းလဲစေပြီး ခွဲခြမ်းစိတ်ဖြာမှု DBMS ၏ကမ္ဘာသို့ဝင်ရောက်ခြင်းအတွက် သတ်မှတ်ချက်ကို သိသိသာသာလျှော့ချပေးသည်။

BackEnd Conf 2018 မှ အစီရင်ခံပြီး ၎င်းကို စပီကာ၏ခွင့်ပြုချက်ဖြင့် ထုတ်ဝေထားသည်။

ငါက ဘယ်သူလဲ၊ ဘာကြောင့် ClickHouse အကြောင်း ပြောနေတာလဲ။ ကျွန်ုပ်သည် ClickHouse ကိုအသုံးပြုသည့် LifeStreet မှ ဖွံ့ဖြိုးတိုးတက်ရေးဒါရိုက်တာတစ်ဦးဖြစ်ပါသည်။ ထို့အပြင်၊ ကျွန်ုပ်သည် Altinity ၏တည်ထောင်သူဖြစ်သည်။ ၎င်းသည် ClickHouse ကို မြှင့်တင်ပေးပြီး Yandex သည် ClickHouse ကို ပိုမိုအောင်မြင်စေရန် ကူညီပေးသည့် Yandex ပါတနာဖြစ်သည်။ ClickHouse နှင့်ပတ်သက်သော ဗဟုသုတများကိုလည်း မျှဝေရန် အသင့်ဖြစ်နေပါပြီ။

ငါ Petya Zaitsev ၏အစ်ကိုမဟုတ်ပါ။ ဒီအကြောင်းကို မကြာခဏမေးတယ်။ မဟုတ်ဘူး၊ ငါတို့က ညီအစ်ကိုတွေမဟုတ်ဘူး။

ClickHouse "လူတိုင်းသိတယ်"

• အလွန်မြန်၊
• အရမ်းအဆင်ပြေတယ်။
• Yandex တွင်အသုံးပြုသည်။

ဘယ်ကုမ္ပဏီတွေနဲ့ ဘယ်လိုအသုံးပြုတယ်ဆိုတာ မသိတာ နည်းနည်းတော့ နည်းပါတယ်။

Yandex မှလွဲ၍ အဘယ်ကြောင့် ClickHouse ကို မည်သည့်နေရာတွင်၊ မည်သို့အသုံးပြုသည်ကို ပြောပြပါမည်။

မတူညီသောကုမ္ပဏီများရှိ ClickHouse ၏အကူအညီဖြင့် သီးခြားလုပ်ဆောင်စရာများကို ဖြေရှင်းနည်း၊ သင့်လုပ်ငန်းတာဝန်များအတွက် သင်အသုံးပြုနိုင်သည့် ClickHouse ကိရိယာများနှင့် ၎င်းတို့ကို မတူညီသောကုမ္ပဏီများတွင်အသုံးပြုပုံတို့ကို ပြောပြပါမည်။

ရှုထောင့်အမျိုးမျိုးမှ ClickHouse ကိုပြသသည့် ဥပမာသုံးခုကို ကျွန်တော်ကောက်ယူခဲ့သည်။ စိတ်ဝင်စားဖို့ကောင်းမယ်ထင်တယ်။

ပထမမေးခွန်းမှာ "ကျွန်ုပ်တို့ဘာကြောင့် ClickHouse ကိုလိုအပ်တာလဲ။" ဒါဟာ အတော်လေး သိသာထင်ရှားတဲ့ မေးခွန်းတစ်ခုလို့ ထင်ရပေမယ့် အဲဒါအတွက် အဖြေတစ်ခုထက်ပိုပါတယ်။

• ပထမအဖြေက စွမ်းဆောင်ရည်အတွက်ပါ။ ClickHouse သည်အလွန်မြန်သည်။ ClickHouse ပေါ်ရှိ ပိုင်းခြားစိတ်ဖြာမှုမှာလည်း အလွန်မြန်ဆန်သည်။ အခြားအရာသည် အလွန်နှေးသည် သို့မဟုတ် အလွန်ဆိုးရွားသည့်နေရာတွင် မကြာခဏ အသုံးပြုနိုင်သည်။
• ဒုတိယအဖြေကတော့ ကုန်ကျစရိတ်ပါ။ ပထမဦးစွာ၊ အတိုင်းအတာ၏ကုန်ကျစရိတ်။ ဥပမာအားဖြင့်၊ Vertica သည် လုံးဝကောင်းမွန်သော ဒေတာဘေ့စ်တစ်ခုဖြစ်သည်။ သင့်တွင် ဒေတာ terabytes များစွာမရှိလျှင် ၎င်းသည် အလွန်ကောင်းမွန်ပါသည်။ သို့သော် ရာနှင့်ချီသော terabytes သို့မဟုတ် petabytes နှင့် ပတ်သက်လာသောအခါ၊ လိုင်စင်နှင့် ပံ့ပိုးမှုကုန်ကျစရိတ်သည် အတော်လေး သိသာထင်ရှားသော ပမာဏသို့ ရောက်သွားပါသည်။ ပြီးတော့ ဈေးကြီးတယ်။ ClickHouse သည်အခမဲ့ဖြစ်သည်။
• တတိယအဖြေကတော့ လည်ပတ်စရိတ်။ ဒါက အနည်းငယ်ကွဲပြားတဲ့ ချဉ်းကပ်မှုတစ်ခုပါ။ RedShift သည် ကောင်းမွန်သော analog တစ်ခုဖြစ်သည်။ RedShift တွင် သင်သည် ဆုံးဖြတ်ချက်တစ်ခုကို အလွန်လျင်မြန်စွာ ချနိုင်သည်။ ၎င်းသည် ကောင်းမွန်စွာလုပ်ဆောင်နိုင်သော်လည်း တစ်ချိန်တည်းတွင်၊ နာရီတိုင်း၊ နေ့တိုင်း၊ လတိုင်း၊ ဤသည်မှာ သိသိသာသာစျေးကြီးသောဝန်ဆောင်မှုဖြစ်သောကြောင့် Amazon မှအတော်လေးပေးချေရမည်ဖြစ်ပါသည်။ Google BigQuery လည်းပါပါတယ်။ အကယ်၍ တစ်စုံတစ်ယောက်က ၎င်းကိုအသုံးပြုပါက သင်သည် တောင်းဆိုချက်များစွာကို လုပ်ဆောင်နိုင်ပြီး ရုတ်တရက် ဒေါ်လာရာနှင့်ချီ၍ ဘေလ်တစ်ခုရနိုင်သည်ကို သူသိသည်။

ClickHouse တွင် ဤပြဿနာများ မရှိပါ။

ClickHouse ကို အခုဘယ်မှာသုံးလဲ။ Yandex အပြင်၊ ClickHouse ကို မတူညီသော လုပ်ငန်းများနှင့် ကုမ္ပဏီများစွာတွင် အသုံးပြုပါသည်။

• ပထမဦးစွာ၊ ၎င်းသည် ဝဘ်အက်ပလီကေးရှင်းခွဲခြမ်းစိတ်ဖြာမှုဖြစ်သည်၊ ဆိုလိုသည်မှာ၊ ဤသည်မှာ Yandex မှလာသော အသုံးပြုမှုကိစ္စဖြစ်သည်။
• AdTech ကုမ္ပဏီများစွာသည် ClickHouse ကို အသုံးပြုကြသည်။
• မတူညီသောရင်းမြစ်များမှ ငွေပေးငွေယူမှတ်တမ်းများကို ခွဲခြမ်းစိတ်ဖြာရန် လိုအပ်သော ကုမ္ပဏီများစွာ။
• ကုမ္ပဏီအများအပြားသည် လုံခြုံရေးမှတ်တမ်းများကို စောင့်ကြည့်ရန် ClickHouse ကို အသုံးပြုကြသည်။ ၎င်းတို့ကို ClickHouse သို့ အပ်လုဒ်လုပ်ကာ အစီရင်ခံစာများ ပြုလုပ်ကာ လိုအပ်သော ရလဒ်များကို ရယူကြသည်။
• ကုမ္ပဏီများသည် ၎င်းကို ငွေကြေးဆိုင်ရာ ခွဲခြမ်းစိတ်ဖြာမှုတွင် စတင်အသုံးပြုလာသည်၊ ဆိုလိုသည်မှာ တဖြည်းဖြည်း လုပ်ငန်းကြီးများသည် ClickHouse ဆီသို့ ချဉ်းကပ်လာကြသည်။
• cloudflare အကယ်၍ တစ်စုံတစ်ယောက်က ClickHouse ကို လိုက်ကြည့်ပါက၊ ဤကုမ္ပဏီအမည်ကို ကြားဖူးကြပေမည်။ ၎င်းသည် အသိုင်းအ၀ိုင်းမှ မရှိမဖြစ်ပံ့ပိုးကူညီသူများထဲမှ တစ်ခုဖြစ်သည်။ ၎င်းတို့တွင် အလွန်ပြင်းထန်သော ClickHouse တပ်ဆင်မှုတစ်ခုရှိသည်။ ဥပမာအားဖြင့်၊ သူတို့သည် ClickHouse အတွက် Kafka Engine ကိုလုပ်ခဲ့သည်။
• ဆက်သွယ်ရေးကုမ္ပဏီများကို စတင်အသုံးပြုလာသည်။ ကုမ္ပဏီအများအပြားသည် ClickHouse ကို အယူအဆအပေါ် သက်သေအဖြစ် သို့မဟုတ် ထုတ်လုပ်ထားပြီးသားဖြစ်သည်။
• ကုမ္ပဏီတစ်ခုသည် ထုတ်လုပ်မှုလုပ်ငန်းစဉ်များကို စောင့်ကြည့်ရန် ClickHouse ကိုအသုံးပြုသည်။ သူတို့က microcircuits ကိုစမ်းသပ်ပြီး parameters တွေကိုရေးချပြီး 2 လောက်လက္ခဏာတွေရှိပါတယ်။ ပြီးတော့ သူတို့က ဂိမ်းကောင်းလား ဆိုးလား ခွဲခြမ်းစိတ်ဖြာတယ်။
• Blockchain ခွဲခြမ်းစိတ်ဖြာမှု။ Bloxy.info ကဲ့သို့သော ရုရှားကုမ္ပဏီတစ်ခုရှိသည်။ ဤသည်မှာ ethereum ကွန်ရက်၏ ခွဲခြမ်းစိတ်ဖြာချက်ဖြစ်သည်။ သူတို့က ClickHouse မှာလည်း လုပ်တယ်။

ပြီးတော့ အရွယ်အစားက အရေးမကြီးဘူး။ ဆာဗာအသေးတစ်လုံးကို အသုံးပြုသည့် ကုမ္ပဏီများစွာရှိသည်။ ပြီးတော့ သူတို့ရဲ့ပြဿနာတွေကို ဖြေရှင်းပေးတယ်။ ထို့အပြင် ကုမ္ပဏီများသည် ဆာဗာများစွာ သို့မဟုတ် ဆာဗာများစွာ၏ အစုအဝေးကြီးများကိုပင် အသုံးပြုကြသည်။

မှတ်တမ်းတွေကိုကြည့်ရင်၊

• Yandex- ဆာဗာပေါင်း ၅၀၀ ကျော်၊ ၎င်းတို့သည် တစ်နေ့လျှင် မှတ်တမ်းပေါင်း ၂၅ ဘီလီယံ သိမ်းဆည်းထားသည်။
• LifeStreet- ဆာဗာ ၆၀၊ တစ်နေ့လျှင် ၇၅ ဘီလီယံခန့် မှတ်တမ်းများ။ Yandex ထက်စာရင် ဆာဗာတွေနည်းပြီး မှတ်တမ်းတွေပိုများတယ်။
• CloudFlare- ဆာဗာ ၃၆ ခု၊ ၎င်းတို့သည် တစ်နေ့လျှင် မှတ်တမ်းပေါင်း ဘီလီယံ ၂၀၀ သိမ်းဆည်းသည်။ ၎င်းတို့တွင် ဆာဗာများပင် နည်းပါးပြီး ဒေတာများကို ပို၍ပင် သိမ်းဆည်းထားသည်။
• Bloomberg- တစ်နေ့လျှင် ဆာဗာပေါင်း ၁၀၂ ခု၊ ထည့်သွင်းမှု တစ်ထရီလီယံခန့်။ မှတ်တမ်းကိုင်ဆောင်သူ။

ပထဝီဝင်အနေအထားအရ ဒါကလည်း အများကြီးပဲ။ ဤနေရာတွင် ဤမြေပုံသည် ကမ္ဘာပေါ်တွင် ClickHouse ကိုအသုံးပြုနေသည့် အပူပေးမြေပုံကို ပြသထားသည်။ ရုရှား၊ တရုတ်၊ အမေရိကတို့ ဒီမှာ ထင်ရှားပါတယ်။ ဥရောပနိုင်ငံအနည်းငယ်ရှိတယ်။ ပြီးတော့ အစုအဖွဲ့ ၄ ခုရှိတယ်။

ဤသည်မှာ နှိုင်းယှဥ်ခွဲမှုဖြစ်ပြီး၊ ပကတိကိန်းဂဏန်းများကို ရှာဖွေရန်မလိုအပ်ပါ။ ၎င်းသည် Altinity ဝဘ်ဆိုက်တွင် ရုရှားစကားပြောသူမရှိသောကြောင့် အင်္ဂလိပ်-စာဖတ်သည့်ဧည့်သည်များကို ခွဲခြမ်းစိတ်ဖြာခြင်းဖြစ်သည်။ ရုရှား၊ ယူကရိန်း၊ ဘီလာရုစ်၊ ဥပမာ- ရုရှားစကားပြောသော အသိုင်းအဝိုင်း၊ ၎င်းတို့သည် အသုံးပြုသူအများဆုံးဖြစ်သည်။ ထို့နောက် အမေရိကန်နှင့် ကနေဒါတို့ ရောက်ရှိလာသည်။ တရုတ်က အရမ်းလိုက်ဖက်တယ်။ လွန်ခဲ့တဲ့ ခြောက်လလောက်က တရုတ်ဆိုတာ မရှိသလောက်ဘဲ၊ အခု တရုတ်က ဥရောပကို ကျော်ပြီး ဆက်ပြီး ကြီးထွားနေတယ်။ ဥရောပဟောင်းသည် နောက်တွင်မဝေးတော့ဘဲ ClickHouse အသုံးပြုမှုတွင် ဦးဆောင်သူမှာ ပြင်သစ်ဖြစ်သည်။

ငါဘာလို့ ဒါတွေအကုန်ပြောပြတာလဲ။ ClickHouse သည် ကြီးမားသောဒေတာခွဲခြမ်းစိတ်ဖြာမှုအတွက် စံဖြေရှင်းချက်တစ်ခုဖြစ်လာကြောင်းပြသရန်နှင့် နေရာများစွာတွင် အသုံးပြုနေပြီဖြစ်သည်။ သင်အသုံးပြုပါက၊ သင်သည်မှန်ကန်သောလမ်းကြောင်းသို့ရောက်နေသည်။ မသုံးရသေးရင် တစ်ယောက်တည်း အထီးကျန်ပြီး ဘယ်သူမှ ကူညီမှာ မဟုတ်ဘူး၊ တော်တော်များများက ဒါကို လုပ်နေကြပြီမို့လို့ပါ။

ဤအရာများသည် ကုမ္ပဏီများစွာရှိ တကယ့် ClickHouse အသုံးပြုမှု နမူနာများဖြစ်သည်။

• ပထမဥပမာမှာ ကြော်ငြာကွန်ရက်တစ်ခုဖြစ်သည်- Vertica မှ ClickHouse သို့ ပြောင်းရွှေ့ခြင်း။ Vertica မှ ကူးပြောင်းသွားသော သို့မဟုတ် အသွင်ကူးပြောင်းရေး လုပ်ငန်းစဉ်တွင် ပါဝင်နေသည့် ကုမ္ပဏီအချို့ကိုလည်း ကျွန်တော် သိပါသည်။
• ဒုတိယဥပမာမှာ ClickHouse တွင် ငွေပေးငွေယူသိုလှောင်မှုဖြစ်သည်။ ဤသည်မှာ antipatterns ပေါ်တွင်တည်ဆောက်ထားသော ဥပမာတစ်ခုဖြစ်သည်။ ဆော့ဖ်ဝဲအင်ဂျင်နီယာများ၏ အကြံဉာဏ်ဖြင့် ClickHouse တွင် မလုပ်သင့်သောအရာအားလုံးကို ဤနေရာတွင် ပြီးပါပြီ။ ပြီးတော့ အဲဒါက အရမ်းထိထိရောက်ရောက်လုပ်တယ်။ ၎င်းသည် ပုံမှန် ငွေပေးငွေယူ ဖြေရှင်းချက်ထက် များစွာ ပိုကောင်းပါသည်။
• တတိယဥပမာမှာ ClickHouse တွင် ဖြန့်ဝေထားသော တွက်ချက်မှုဖြစ်သည်။ ClickHouse ကို Hadoop ဂေဟစနစ်သို့ မည်ကဲ့သို့ ပေါင်းစည်းနိုင်သည်နှင့် ပတ်သက်၍ မေးခွန်းထုတ်ခဲ့ပါသည်။ ကုမ္ပဏီတစ်ခုသည် ClickHouse ပေါ်ရှိ ကွန်တိန်နာကို လျှော့ချပေးသည့် မြေပုံတစ်ခုနှင့် ဆင်တူသည့် အရာတစ်ခုကို ပြုလုပ်ပုံ၊ အလွန်အသေးအဖွဲမဟုတ်သော အလုပ်တစ်ခုကို တွက်ချက်ရန်၊ ဒေတာဒေသအလိုက် ပြောင်းလဲခြင်းကို ခြေရာခံခြင်း စသည်ဖြင့် ဥပမာတစ်ခုကို ပြပါမည်။

• LifeStreet သည် ကြော်ငြာကွန်ရက်တစ်ခုပါရှိသော နည်းပညာအားလုံးပါရှိသော Ad Tech ကုမ္ပဏီတစ်ခုဖြစ်သည်။
• သူမသည် ကြော်ငြာ optimization၊ ပရိုဂရမ်မာလေလံဆွဲခြင်းတွင် ပါဝင်နေသည်။
• ဒေတာအများအပြား- တစ်နေ့လျှင် ဖြစ်ရပ်ပေါင်း ၁၀ ဘီလီယံခန့်။ တစ်ချိန်တည်းမှာပင် အဖြစ်အပျက်များကို ဖြစ်ရပ်ခွဲများစွာ ခွဲခြားနိုင်သည်။
• ဤဒေတာ၏ ဖောက်သည်များစွာရှိပြီး ၎င်းတို့သည် လူများသာမက၊ များစွာပါရှိသည် - ၎င်းတို့သည် ပရိုဂရမ်မာတစ်လေလံဆွဲရာတွင် ပါဝင်သည့် အမျိုးမျိုးသော algorithms များဖြစ်သည်။

ကုမ္ပဏီသည် ရှည်လျားပြီး ဆူးခက်သောလမ်းကို ရောက်ရှိလာသည်။ ပြီးတော့ အဲဒါကို HighLoad မှာ ပြောခဲ့တယ်။ ပထမဦးစွာ LifeStreet သည် MySQL (Oracle တွင် ခဏရပ်ကာ) မှ Vertica သို့ပြောင်းခဲ့သည်။ ၎င်းနှင့်ပတ်သက်သည့် ဇာတ်လမ်းတစ်ပုဒ်ကို သင်ရှာဖွေနိုင်သည်။

အရာအားလုံးသည် အလွန်ကောင်းမွန်သော်လည်း ဒေတာကြီးထွားလာပြီး Vertica သည် ဈေးကြီးကြောင်း လျင်မြန်စွာ သိသာလာသည်။ ထို့ကြောင့် အမျိုးမျိုးသော ရွေးချယ်စရာများကို ရှာဖွေခဲ့ကြသည်။ ၎င်းတို့ထဲမှ အချို့ကို ဤနေရာတွင် ဖော်ပြထားပါသည်။ အမှန်မှာ၊ ကျွန်ုပ်တို့သည် 13th မှ 16th နှစ်အထိ စျေးကွက်တွင်ရရှိနိုင်သည့် databases အားလုံးနီးပါးကို သက်သေအထောက်အထား သို့မဟုတ် တစ်ခါတစ်ရံတွင် စွမ်းဆောင်ရည်စမ်းသပ်ခြင်းပြုခဲ့ပြီး လုပ်ဆောင်နိုင်စွမ်းအရ ခန့်မှန်းခြေအားဖြင့် သင့်လျော်ပါသည်။ ပြီးတော့ HighLoad မှာ သူတို့ထဲက တချို့အကြောင်းလည်း ပြောဖူးတယ်။

ဒေတာများ တိုးလာသောကြောင့် ပထမနေရာ၌ Vertica မှ ပြောင်းရွှေ့ရန် တာဝန်ဖြစ်သည်။ ပြီးတော့ သူတို့က နှစ်တွေကြာလာတာနဲ့အမျှ အဆတိုးလာတယ်။ ထို့နောက် စင်ပေါ်တက်ခဲ့ကြသော်လည်း မည်သို့ပင်ဆိုစေကာမူ၊ ဤတိုးတက်မှု၊ ခွဲခြမ်းစိတ်ဖြာမှုအချို့လုပ်ဆောင်ရန် လိုအပ်သည့် ဒေတာပမာဏအတွက် လုပ်ငန်းလိုအပ်ချက်များကို ခန့်မှန်းကာ petabytes ကို မကြာမီ ဆွေးနွေးမည်ဖြစ်ကြောင်း ရှင်းရှင်းလင်းလင်းသိရသည်။ ပြီးတော့ petabytes တွေအတွက် ပေးချေတာက အရမ်းစျေးကြီးနေပြီ၊ ဒါကြောင့် ဘယ်မှာသွားရမယ့် အခြားရွေးချယ်စရာတစ်ခုကို ရှာနေခဲ့တယ်။

ဘယ်သွားရမလဲ အချိန်အတော်ကြာအောင် ဘယ်ကိုသွားရမယ်ဆိုတာ ရှင်းရှင်းလင်းလင်းမသိရဘဲ တစ်ဖက်မှာ စီးပွားဖြစ်ဒေတာဘေ့စ်တွေရှိတာကြောင့် ကောင်းကောင်းအလုပ်လုပ်ပုံရပါတယ်။ အချို့က Vertica နီးပါး အလုပ်လုပ်ကြပြီး အချို့က ပိုဆိုးသည်။ ဒါပေမယ့် သူတို့အကုန်လုံးက ဈေးကြီးတယ်၊ ဘယ်အရာမှ စျေးသက်သာပြီး ပိုကောင်းတာ မတွေ့နိုင်ဘူး။

အခြားတစ်ဖက်တွင်၊ အလွန်များပြားခြင်းမရှိသော open source ဖြေရှင်းချက်များ ရှိသည်၊ ဆိုလိုသည်မှာ ခွဲခြမ်းစိတ်ဖြာမှုအတွက်၊ ၎င်းတို့ကို လက်ချောင်းများပေါ်တွင် ရေတွက်နိုင်သည်။ ၎င်းတို့သည် အခမဲ့ သို့မဟုတ် စျေးပေါသော်လည်း နှေးကွေးသည်။ ၎င်းတို့သည် လိုအပ်သော အသုံးဝင်သော လုပ်ဆောင်နိုင်စွမ်းများ မကြာခဏ ချို့တဲ့ကြသည်။

စီးပွားဖြစ်ဒေတာဘေ့စ်များနှင့် open source တွင်ရှိသောအခမဲ့အားလုံးကိုပေါင်းစပ်ရန်ဘာမျှမရှိပါ။

မမျှော်လင့်ဘဲ Yandex သည် ယုန်ကဲ့သို့ မှော်ဆရာတစ်ဦးကဲ့သို့ ဦးထုပ်မှော်ဆရာကဲ့သို့ ယုန်ကဲ့သို့ ClickHouse ကို ဆွဲထုတ်သည်အထိ ဘာမျှမဖြစ်ပါ။ ပြီးတော့ ဒါဟာ မမျှော်လင့်ထားတဲ့ ဆုံးဖြတ်ချက်တစ်ခုပါပဲ၊ သူတို့က “ဘာကြောင့်လဲ” ဆိုတဲ့ မေးခွန်းကို မေးနေကြဆဲပါ။

ပြီးတော့ ချက်ချင်းဆိုသလိုပဲ 2016 နွေရာသီမှာ ClickHouse ဆိုတာ ဘာလဲဆိုတာကို စပြီးလေ့လာကြည့်တယ်။ တခါတရံ Vertica ထက် ပိုမြန်တယ်လို့ ထွက်လာတယ်။ မတူညီသော တောင်းဆိုမှုများဖြင့် မတူညီသော အခြေအနေများကို ကျွန်ုပ်တို့ စမ်းသပ်ခဲ့သည်။ အကယ်၍ query သည် ဇယားတစ်ခုတည်းကိုသာ အသုံးပြုပါက၊ ဆိုလိုသည်မှာ Join (join) မရှိဘဲ ClickHouse သည် Vertica ထက် နှစ်ဆမြန်သည်။

ငါအရမ်းမပျင်းဘဲ တစ်နေ့က Yandex စမ်းသပ်မှုတွေကို ကြည့်တယ်။ အဲဒီမှာ အတူတူပါပဲ- ClickHouse က Vertica ထက် နှစ်ဆ ပိုမြန်တယ်၊ ဒါကြောင့် သူတို့ မကြာခဏ ပြောလေ့ရှိတယ်။

သို့သော် စုံစမ်းမေးမြန်းမှုများတွင် ပါဝင်မှုများရှိနေပါက၊ အရာအားလုံးသည် အလွန်ရှင်းလင်းပြတ်သားစွာ ထွက်ပေါ်လာမည်မဟုတ်ပေ။ ပြီးတော့ ClickHouse က Vertica ထက် နှစ်ဆ ပိုနှေးနိုင်ပါတယ်။ တောင်းဆိုချက်ကို အနည်းငယ်ပြင်ပြီး ပြန်ရေးပါက၊ ၎င်းတို့သည် အနီးစပ်ဆုံးတူညီပါသည်။ မဆိုးပါဘူး။ အလကား။

စမ်းသပ်မှုရလဒ်များကိုလက်ခံရရှိပြီး မတူညီသောရှုထောင့်များမှကြည့်ရှုပြီးနောက် LifeStreet သည် ClickHouse သို့သွားခဲ့သည်။

ဒါက 16 နှစ်​​မြောက်​ဖြစ်​​နေပြီ​နော်​။ ကြွက်တွေ ငိုပြီး ကြိတ်မိပေမယ့် ရှားစောင်းလက်ပတ်ကို ဆက်စားတဲ့ ကြွက်တွေအကြောင်း ဟာသတစ်ခုလိုပါပဲ။ ဒီအကြောင်းအသေးစိတ်ဖော်ပြထားတယ်၊ ဒီအကြောင်းနဲ့ပတ်သက်တဲ့ဗီဒီယိုလည်းရှိတယ်။

ထို့ကြောင့်၊ ကျွန်ုပ်သည် ၎င်းအကြောင်းကို အသေးစိတ် မပြောဘဲ၊ ရလဒ်များအကြောင်းနှင့် ထိုအချိန်က မပြောပြခဲ့သော စိတ်ဝင်စားစရာ အနည်းငယ်ကိုသာ ပြောပြပါမည်။

ရလဒ်များမှာ-

• အောင်မြင်သော ရွှေ့ပြောင်းခြင်းစနစ်သည် တစ်နှစ်ကျော်ကြာ လုပ်ကိုင်နေပြီဖြစ်သည်။
• ကုန်ထုတ်စွမ်းအားနှင့် ပြောင်းလွယ်ပြင်လွယ် တိုးလာခဲ့သည်။ တစ်ရက်လျှင် သိမ်းဆည်းရန် တတ်နိုင်သည့် မှတ်တမ်း ၁၀ ဘီလီယံ ထဲမှ LifeStreet သည် ယခုအခါ တစ်နေ့လျှင် မှတ်တမ်း ၇၅ ဘီလီယံကို သိမ်းဆည်းထားပြီး ၎င်းကို ၃ လ သို့မဟုတ် ထို့ထက်ပို၍ လုပ်ဆောင်နိုင်သည်။ အထွတ်အထိပ်တွင် ရေတွက်ပါက၊ ၎င်းသည် တစ်စက္ကန့်လျှင် ဖြစ်ရပ်ပေါင်း တစ်သန်းအထိရှိသည်။ တစ်နေ့လျှင် SQL queries တစ်သန်းကျော်သည် အများစုမှာ မတူညီသော စက်ရုပ်များမှ ဤစနစ်သို့ရောက်ရှိလာသည်။
• Vertica အတွက်ထက် ClickHouse အတွက် ဆာဗာများကို ပိုမိုအသုံးပြုထားသော်လည်း၊ ၎င်းတို့သည် Vertica တွင် စျေးကြီးသော SAS ဒစ်များကို အသုံးပြုသောကြောင့် ဟာ့ဒ်ဝဲလ်တွင် သိမ်းဆည်းထားသည်။ ClickHouse သည် SATA ကိုသုံးသည်။ အဘယ့်ကြောင့်နည်း။ အဘယ်ကြောင့်ဆိုသော် Vertica တွင် ထည့်သွင်းမှုသည် တစ်ပြိုင်တည်းဖြစ်သည်။ နှင့် ထပ်တူပြုခြင်း သည် disks များ အလွန်နှေးကွေးခြင်း မပြုရန် လိုအပ်ပြီး network သည် အလွန်အကျွံ နှေးကွေးခြင်း မရှိစေရ ၊ ဆိုလိုသည်မှာ စျေးကြီးသော လုပ်ဆောင်ချက် ဖြစ်သည် ။ နှင့် ClickHouse တွင်ထည့်သွင်းမှုသည် ပြိုင်တူဖြစ်သည်။ ထို့အပြင်၊ သင်သည် အရာအားလုံးကို စက်တွင်း၌ အမြဲရေးနိုင်သည်၊ ၎င်းအတွက် အပိုကုန်ကျစရိတ်များ မရှိတော့သောကြောင့် နှေးကွေးသော drive များတွင်ပင် Vertika ထဲသို့ ဒေတာများကို ClickHouse ထဲသို့ ပိုမိုမြန်ဆန်စွာ ထည့်သွင်းနိုင်သည်။ ပြီးတော့ စာဖတ်တာက အတူတူပါပဲ။ SATA တွင်ဖတ်ခြင်း RAID တွင်ရှိနေပါက၊ ၎င်းသည်အားလုံးလုံလောက်သည်။
• လိုင်စင်ဖြင့် အကန့်အသတ်မရှိ၊ ဆိုလိုသည်မှာ ဆာဗာ 3 ရှိ ဒေတာ 60 petabytes (ဆာဗာ 20 သည် ပုံစံတူတစ်ခုဖြစ်သည်) နှင့် အချက်အလက်များနှင့် ပေါင်းစည်းမှုတွင် 6 ထရီလီယံ မှတ်တမ်းများ။ ဒီလိုမျိုး Vertica မှာ ဘာတစ်ခုမှ မတတ်နိုင်ဘူး။

အခု ဒီဥပမာထဲက လက်တွေ့ကျတဲ့ အရာတွေကို ကျွန်တော် လှည့်ကြည့်လိုက်တယ်။

• ပထမအချက်မှာ ထိရောက်သောအစီအစဥ်ဖြစ်သည်။ schema ပေါ်မှာ အများကြီးမူတည်တယ်။
• ဒုတိယအချက်မှာ ထိရောက်သော SQL မျိုးဆက်ဖြစ်သည်။

ပုံမှန် OLAP မေးခွန်းသည် ရွေးချယ်မှုတစ်ခုဖြစ်သည်။ ကော်လံအချို့သည် အုပ်စုလိုက်သွားပြီး၊ အချို့ကော်လံများသည် စုစည်းလုပ်ဆောင်မှုများသို့ သွားကြသည်။ အတုံးတစ်စိပ်အဖြစ် ကိုယ်စားပြုနိုင်သည့် နေရာလည်း ရှိပါသည်။ အဖွဲ့တစ်ခုလုံးကို ပရောဂျက်တစ်ခုအဖြစ် ယူဆနိုင်သည်။ အဲဒါကြောင့် Multivariate data analysis လို့ခေါ်ပါတယ်။

ရံဖန်ရံခါတွင် ဤအချက်၏ဗဟိုအချက်နှင့် လက္ခဏာများ ဘက်များ၊ ရောင်ခြည်များတစ်လျှောက်ရှိ ကြယ်အစီအစဥ်ပုံစံဖြင့် စံနမူနာပြလေ့ရှိသည်။

ရုပ်ပိုင်းဆိုင်ရာ ဒီဇိုင်းအရ၊ စားပွဲပေါ်တွင် မည်ကဲ့သို့ လိုက်ဖက်မှုရှိသည်ကို ပုံမှန်အားဖြင့် ကိုယ်စားပြုမှု ပြုလုပ်လေ့ရှိသည်။ သင်သည် ပုံမှန်မဟုတ်ခြင်းကို လျှော့ချနိုင်သော်လည်း ၎င်းသည် ဒစ်ခ်ပေါ်တွင် စျေးကြီးပြီး စုံစမ်းမှုများတွင် အလွန်ထိရောက်မှုမရှိပါ။ ထို့ကြောင့်၊ ၎င်းတို့သည် ပုံမှန်အားဖြင့် ကိုယ်စားပြုမှုတစ်ခု၊ ဆိုလိုသည်မှာ အချက်အလက်ဇယားတစ်ခုနှင့် များစွာသော အတိုင်းအတာဇယားများဖြစ်သည်။

ဒါပေမယ့် ClickHouse မှာ ကောင်းကောင်းအလုပ်မလုပ်ပါဘူး။ အကြောင်းရင်း နှစ်ခု ရှိပါတယ်-

• ပထမအချက်မှာ ClickHouse တွင် ချိတ်ဆက်မှုများ အလွန်ကောင်းမွန်ခြင်းမရှိသောကြောင့်၊ ဆိုလိုသည်မှာ ချိတ်ဆက်မှုများရှိသော်လည်း ၎င်းတို့သည် မကောင်းသောကြောင့်ဖြစ်သည်။ နေမကောင်းလို့။
• ဒုတိယအချက်မှာ ဇယားများကို မွမ်းမံထားခြင်း ဖြစ်သည်။ အများအားဖြင့် ကြယ်ပတ်လမ်းပတ်လည်ရှိ ဤပန်းကန်ပြားများတွင် တစ်ခုခုကို ပြောင်းလဲရန် လိုအပ်သည်။ ဥပမာ၊ ဖောက်သည်အမည်၊ ကုမ္ပဏီအမည် စသည်ဖြင့်၊ ပြီးတော့ အလုပ်မဖြစ်ဘူး။

ပြီးတော့ ClickHouse မှာ ဒီထဲက နည်းလမ်းတစ်ခုရှိပါတယ်။ နှစ်ခုပင်

• ပထမအချက်မှာ အဘိဓာန်အသုံးပြုခြင်း ဖြစ်သည်။ ပြင်ပအဘိဓာန်များသည် အပ်ဒိတ်များနှင့် အခြားအရာများဖြင့် star-schema နှင့် ပြဿနာကို 99% ကူညီဖြေရှင်းပေးသည်။
• ဒုတိယအချက်မှာ array များကို အသုံးပြုခြင်း ဖြစ်သည်။ Array များသည် join နှင့် normalization တွင်ပြဿနာများကိုဖယ်ရှားရန်လည်းကူညီပေးသည်။

• ပါဝင်ရန်မလိုအပ်ပါ။
• အဆင့်မြှင့်တင်နိုင်သည်။ 2018 ခုနှစ် မတ်လမှစတင်၍ အဘိဓာန်များကို တစ်စိတ်တစ်ပိုင်း အပ်ဒိတ်လုပ်ရန် စာရွက်စာတမ်းမရှိသောအခွင့်အရေးတစ်ခု (စာရွက်စာတမ်းအထောက်အထားတွင် ၎င်းကိုတွေ့လိမ့်မည်မဟုတ်ပါ)၊ ဆိုလိုသည်မှာ ပြောင်းလဲထားသောထည့်သွင်းမှုများဖြစ်သည်။ လက်တွေ့မှာတော့ စားပွဲတစ်ခုလိုပါပဲ။
• မမ်မိုရီတွင် အမြဲရှိနေသောကြောင့် အဘိဓာန်တစ်ခုနှင့် ချိတ်ဆက်ပါက ၎င်းသည် ဒစ်ခ်ပေါ်ရှိ ဇယားတစ်ခုထက် ပိုမြန်ပြီး ၎င်းသည် ကက်ရှ်တွင် ရှိနေသည့်အချက်မဟုတ်သေးပါ၊ ဖြစ်နိုင်ချေများပါသည်။

• သင်လည်းပါဝင်ရန်မလိုအပ်ပါ။
• ဤသည်မှာ ကျစ်လျစ်သော 1 မှ အများအပြား ကိုယ်စားပြုမှုဖြစ်သည်။
• ကျွန်တော့်အမြင်အရတော့ array တွေကို geeks တွေအတွက် ဖန်တီးထားပါတယ်။ ၎င်းတို့သည် lambda လုပ်ဆောင်ချက်များ စသည်တို့ဖြစ်သည်။

ဒါက အနီရောင်စကားလုံးတွေအတွက် မဟုတ်ပါဘူး။ ၎င်းသည် အလွန်ရိုးရှင်းပြီး ပြေပြစ်သောနည်းလမ်းဖြင့် အရာများစွာကို လုပ်ဆောင်နိုင်စေမည့် အလွန်အစွမ်းထက်သော လုပ်ဆောင်နိုင်စွမ်းတစ်ခုဖြစ်သည်။

ခင်းကျင်းမှုများကို ဖြေရှင်းရာတွင် အထောက်အကူဖြစ်စေသော ရိုးရိုးဥပမာများ။ ဤဥပမာများသည် ရိုးရိုးရှင်းရှင်းနှင့် လုံလောက်သည်-

• တဂ်များဖြင့် ရှာဖွေပါ။ အကယ်၍ သင့်တွင် hashtag များရှိပြီး အချို့သော ပို့စ်များကို hashtag ဖြင့် ရှာဖွေလိုပါသည်။
• သော့တန်ဖိုးအတွဲများဖြင့် ရှာဖွေပါ။ တန်ဘိုးရှိသော အင်္ဂါရပ်အချို့လည်း ရှိပါသည်။
• အခြားတစ်ခုခုသို့ ဘာသာပြန်ရန် လိုအပ်သောသော့များစာရင်းကို သိမ်းဆည်းခြင်း။

ဤအလုပ်များအားလုံးကို array မပါဘဲ ဖြေရှင်းနိုင်ပါသည်။ တဂ်များကို စာကြောင်းအချို့တွင် ထည့်သွင်းနိုင်ပြီး ပုံမှန်အသုံးအနှုန်းတစ်ခု သို့မဟုတ် သီးခြားဇယားတစ်ခုဖြင့် ရွေးချယ်နိုင်သော်လည်း၊ ထို့နောက်တွင် သင် Joins ပြုလုပ်ရပါမည်။

ClickHouse တွင်၊ သင်ဘာမှလုပ်ရန်မလိုအပ်ပါ၊ hashtags အတွက် string array ကိုဖော်ပြရန် သို့မဟုတ် key-value စနစ်များအတွက် nested structure တစ်ခုပြုလုပ်ရန်လုံလောက်ပါသည်။

Nested တည်ဆောက်ပုံသည် အကောင်းဆုံးအမည်မဟုတ်ပါ။ ၎င်းတို့သည် အမည်တွင် ဘုံအစိတ်အပိုင်းတစ်ခုနှင့် ဆက်စပ်သောဝိသေသလက္ခဏာအချို့ပါရှိသော array နှစ်ခုဖြစ်သည်။

tag ဖြင့်ရှာဖွေရန်အလွန်လွယ်ကူသည်။ လုပ်ဆောင်ချက်တစ်ခုရှိသည်။ hasArray တွင် ဒြပ်စင်တစ်ခုပါ၀င်ကြောင်း စစ်ဆေးပေးသည်။ လူတိုင်း၊ ကျွန်ုပ်တို့၏ ညီလာခံနှင့် သက်ဆိုင်သော စာတမ်းများအားလုံးကို တွေ့ရှိခဲ့သည်။

subid ဖြင့်ရှာဖွေခြင်းသည် အနည်းငယ်ပိုရှုပ်ထွေးပါသည်။ ကျွန်ုပ်တို့သည် သော့၏အညွှန်းကိန်းကို ဦးစွာရှာဖွေရန် လိုအပ်ပြီး၊ ထို့နောက် ဤအညွှန်းဖြင့် ဒြပ်စင်ကိုယူကာ ဤတန်ဖိုးသည် ကျွန်ုပ်တို့ လိုအပ်သည်ရှိမရှိ စစ်ဆေးပါ။ သို့သော်၎င်းသည်အလွန်ရိုးရှင်းပြီးကျစ်လစ်သိပ်သည်းသည်။

စာကြောင်းတစ်ကြောင်းထဲမှာ အားလုံးကို သိမ်းထားရင် ရေးချင်တဲ့ ပုံမှန်အသုံးအနှုန်းက ပထမတော့ ယုတ်မာလိမ့်မယ်။ ဒုတိယအချက်မှာ၊ ၎င်းသည် array နှစ်ခုထက် များစွာ ပိုရှည်သည်။

နောက်ဥပမာ။ ID ကို သိမ်းဆည်းသည့်နေရာတွင် သင့်တွင် ခင်းကျင်းတစ်ခုရှိသည်။ ပြီးတော့ သူတို့ကို နာမည်အဖြစ် ဘာသာပြန်နိုင်ပါတယ်။ လုပ်ဆောင်ချက် arrayMap. ၎င်းသည် ပုံမှန် lambda လုပ်ဆောင်ချက်ဖြစ်သည်။ သင်သည် ထိုနေရာတွင် lambda အသုံးအနှုန်းများကို ဖြတ်သန်းပါ။ ပြီးတော့ ID တစ်ခုစီအတွက် နာမည်တန်ဖိုးကို အဘိဓာန်ကနေ ဆွဲထုတ်တယ်။

ရှာဖွေမှုကို ထိုနည်းအတိုင်း လုပ်ဆောင်နိုင်သည်။ ဒြပ်စင်များ ကိုက်ညီမှုရှိမရှိ စစ်ဆေးရန် ကြိုတင်လုပ်ဆောင်မှုတစ်ခုကို ကျော်သွားပါသည်။

ဤအရာများသည် circuit ကို အလွန်ရိုးရှင်းစေပြီး ပြဿနာများစွာကို ဖြေရှင်းပေးသည်။

ဒါပေမယ့် ကျွန်တော်တို့ ရင်ဆိုင်နေရတဲ့ နောက်ပြဿနာတစ်ခုကတော့ ထိရောက်တဲ့ မေးခွန်းတွေပါ။

• ClickHouse တွင် query planner မရှိပါ။ လုံးဝမဟုတ်ဘူး။
• မည်သို့ပင်ဆိုစေကာမူ ရှုပ်ထွေးသောမေးခွန်းများကို စီစဉ်ရန် လိုအပ်နေသေးသည်။ ဘယ်ကိစ္စတွေမှာလဲ။
• စုံစမ်းမှုတွင် ပါဝင်မှုများစွာရှိပါက၊ ၎င်းတို့ကို ရွေးချယ်မှုအခွဲများဖြင့် ထုပ်ပိုးထားသည်။ နောက်ပြီးတော့ သူတို့ကို သေဒဏ်ပေးမယ့် အမိန့်က အရေးကြီးတယ်။
• ဒုတိယ - တောင်းဆိုချက်ဖြန့်ဝေလျှင်။ ဖြန့်ဝေမေးမြန်းမှုတစ်ခုတွင်၊ အတွင်းအကျဆုံးရွေးချယ်မှုတစ်ခုသာ ဖြန့်ဝေခြင်းကို လုပ်ဆောင်ပြီး အခြားအရာအားလုံးကို သင်ချိတ်ဆက်ပြီး ထိုနေရာ၌ လုပ်ဆောင်သည့် ဆာဗာတစ်ခုထံသို့ ပေးပို့သွားမည်ဖြစ်သည်။ ထို့ကြောင့်၊ သင်သည် Join (join) အများအပြားဖြင့် မေးခွန်းများကို ဖြန့်ဝေထားပါက မှာယူမှုကို ရွေးချယ်ရန် လိုအပ်ပါသည်။

ပိုမိုရိုးရှင်းသောကိစ္စများတွင်ပင်၊ တစ်ခါတစ်ရံတွင် အချိန်ဇယားဆွဲသူ၏အလုပ်နှင့် မေးခွန်းများကို အနည်းငယ်ပြန်ရေးရန်လည်း လိုအပ်ပါသည်။

ဒါက ဥပမာတစ်ခုပါ။ ဘယ်ဘက်ခြမ်းတွင် ထိပ်တန်းနိုင်ငံ 5 ခုကို ပြသထားသည့် မေးခွန်းတစ်ခုဖြစ်သည်။ ကျွန်တော့်အမြင်အရတော့ 2,5 စက္ကန့်ကြာတယ်။ ညာဘက်ခြမ်းတွင် တူညီသောမေးမြန်းချက် ဖြစ်သော်လည်း အနည်းငယ် ပြန်လည်ရေးသားထားသည်။ စာကြောင်းအလိုက် အုပ်စုဖွဲ့မည့်အစား သော့ (int) ဖြင့် အုပ်စုဖွဲ့လိုက်ပါသည်။ ပြီးတော့ ပိုမြန်တယ်။ ပြီးတော့ ရလဒ်နဲ့ အဘိဓာန်တစ်ခုကို ချိတ်ဆက်ခဲ့ကြတယ်။ 2,5 စက္ကန့်အစား တောင်းဆိုချက်သည် 1,5 စက္ကန့်ကြာသည်။ ဒါကောင်းတယ်။

ပြန်လည်ရေးသားခြင်း စစ်ထုတ်မှုများနှင့် အလားတူ ဥပမာတစ်ခု။ ဒါက ရုရှားအတွက် တောင်းဆိုချက်ပါ။ ၎င်းသည် 5 စက္ကန့်ကြာအလုပ်လုပ်သည်။ အကယ်၍ ကျွန်ုပ်တို့သည် စာကြောင်းမဟုတ်သော်လည်း ရုရှားနှင့်သက်ဆိုင်သော သော့အချို့ပါသော ဂဏန်းများဖြင့် ၎င်းကို ထပ်မံနှိုင်းယှဉ်ပါက ၎င်းသည် ပိုမိုမြန်ဆန်မည်ဖြစ်သည်။

ဒီလိုလှည့်ကွက်တွေ အများကြီးရှိတယ်။ ၎င်းတို့သည် သင့်အား လျင်မြန်စွာ လည်ပတ်နေပြီဟု သင်ထင်သည့် မေးခွန်းများကို သိသိသာသာ အရှိန်မြှင့်နိုင်စေသည်၊ သို့မဟုတ် နှေးနှေးနှေးကွေးစွာ လည်ပတ်နေပြီဖြစ်သည်။ သူတို့က ပိုမြန်အောင်လုပ်နိုင်တယ်။

• ဖြန့်ဝေမုဒ်တွင် အများဆုံးအလုပ်လုပ်သည်။
• ကျွန်တော်လုပ်ခဲ့သလိုပဲ ints အလိုက် အနိမ့်ဆုံးအမျိုးအစားအလိုက် စီခြင်း။
• အဘိဓာန်များတွင် ချိတ်ဆက်ခြင်း (join) ရှိပါက၊ ၎င်းတို့ကို နောက်ဆုံးနည်းလမ်းအဖြစ် လုပ်ဆောင်ခြင်းက ပိုကောင်းသည်၊ သင့်တွင် ဒေတာ အနည်းဆုံး တစ်စိတ်တစ်ပိုင်းဖြင့် အုပ်စုဖွဲ့ပြီးပါက၊ ထို့နောက် ချိတ်ဆက်လုပ်ဆောင်မှု သို့မဟုတ် အဘိဓာန်ခေါ်ဆိုမှုကို အကြိမ်ရေနည်းပါးစေပြီး ပိုမိုမြန်ဆန်မည်ဖြစ်သည်။
• စစ်ထုတ်မှုများကို အစားထိုးခြင်း။

ကျွန်တော် သရုပ်ပြရုံတင်မကဘူး တခြားနည်းပညာတွေလည်း ရှိပါသေးတယ်။ ၎င်းတို့အားလုံးသည် တစ်ခါတစ်ရံတွင် မေးခွန်းများလုပ်ဆောင်မှုကို သိသိသာသာ အရှိန်မြှင့်နိုင်သည်။

နောက်ဥပမာတစ်ခုသို့ ဆက်သွားကြပါစို့။ USA မှ ကုမ္ပဏီ X သူမဘာလုပ်နေလဲ?

အလုပ်တစ်ခုရှိပါသည်-

• ကြော်ငြာအရောင်းအ၀ယ်များကို အော့ဖ်လိုင်းချိတ်ဆက်ခြင်း။
• မတူညီသော စည်းနှောင်မှုပုံစံများကို ပုံဖော်ခြင်း။

ဇာတ်လမ်းက ဘာလဲ။

သာမာန်ဧည့်သည်တစ်ဦးသည် ဥပမာအားဖြင့်၊ မတူညီသော ကြော်ငြာများမှ တစ်လလျှင် အကြိမ် ၂၀ ရောက်ရှိလာသည်၊ သို့မဟုတ် ဤဆိုဒ်ကို မှတ်မိသောကြောင့် တစ်ခါတရံတွင် ကြော်ငြာမပါဘဲ လာတတ်ပါသည်။ ကုန်ပစ္စည်းအချို့ကို ကြည့်ပြီး၊ ခြင်းတောင်းထဲထည့်ကာ တောင်းထဲမှထုတ်သည်။ ပြီးတော့ နောက်ဆုံးတော့ တစ်ခုခုဝယ်တယ်။

ကျိုးကြောင်းဆီလျော်သောမေးခွန်းများ- "လိုအပ်ပါက ကြော်ငြာခအတွက် မည်သူက ပေးဆောင်သင့်သနည်း။ နှင့် “မည်သည့်ကြော်ငြာက သူ့အပေါ် လွှမ်းမိုးမှုရှိပါသနည်း”။ အဲ့ဒါက သူဘာကြောင့်ဝယ်ခဲ့တာလဲ၊ ဒီလူကို ဘယ်လိုဝယ်ရမှာလည်း။

ဤပြဿနာကိုဖြေရှင်းရန်အတွက် သင်သည် ဝဘ်ဆိုက်ပေါ်ရှိ အဖြစ်အပျက်များကို မှန်ကန်သောနည်းဖြင့် ချိတ်ဆက်ရန် လိုအပ်သည်၊ ဆိုလိုသည်မှာ ၎င်းတို့ကြားတွင် ချိတ်ဆက်မှုတစ်ခုကို တစ်နည်းနည်းဖြင့် တည်ဆောက်ပါ။ ထို့နောက် ၎င်းတို့ကို DWH သို့ ခွဲခြမ်းစိတ်ဖြာရန် ပေးပို့သည်။ ဤခွဲခြမ်းစိတ်ဖြာမှုအပေါ် အခြေခံ၍ မည်သူနှင့် မည်သည့်ကြော်ငြာများကို ပြသရန် မော်ဒယ်များကို တည်ဆောက်ပါ။

ကြော်ငြာအရောင်းအ၀ယ်တစ်ခုသည် ကြော်ငြာတစ်ခုပြသခြင်းမှအစပြုသည့် ဆက်စပ်အသုံးပြုသူဖြစ်ရပ်များအစုအဝေးတစ်ခုဖြစ်ပြီး၊ ထို့နောက် တစ်ခုခုဖြစ်လာသည်၊ ထို့နောက် ဝယ်ယူမှုတစ်ခုဖြစ်နိုင်သည်၊ ထို့နောက် ဝယ်ယူမှုတစ်ခုအတွင်း ဝယ်ယူမှုများရှိလာနိုင်သည်။ ဥပမာအားဖြင့်၊ ဤအရာသည် မိုဘိုင်းအက်ပလီကေးရှင်း သို့မဟုတ် မိုဘိုင်းဂိမ်းတစ်ခုဖြစ်ပါက၊ များသောအားဖြင့် အက်ပ်လီကေးရှင်းကို အခမဲ့ထည့်သွင်းခြင်းဖြစ်ပြီး ထိုနေရာတွင် တစ်ခုခုပြီးပါက၊ ယင်းအတွက် ငွေလိုအပ်နိုင်သည်။ လူတစ်ဦးသည် အပလီကေးရှင်းတွင် သုံးစွဲလေလေ၊ တန်ဖိုးကြီးလေဖြစ်သည်။ ဒါပေမယ့် ဒီအတွက် သင်ဟာ အရာအားလုံးကို ချိတ်ဆက်ဖို့ လိုပါတယ်။

ချည်နှောင်ထားသော မော်ဒယ်များစွာရှိသည်။

လူကြိုက်အများဆုံးမှာ-

• အပြန်အလှန်တုံ့ပြန်မှုသည် ကလစ်တစ်ခု သို့မဟုတ် ဆွဲဆောင်မှုတစ်ခုဖြစ်သည့် နောက်ဆုံး အပြန်အလှန်တုံ့ပြန်မှုဖြစ်သည်။
• ပထမဆုံး အပြန်အလှန် တုံ့ပြန်မှု၊ ဆိုလိုသည်မှာ လူတစ်ဦးကို ဝဘ်ဆိုက်သို့ ခေါ်ဆောင်သည့် ပထမဆုံးအရာ။
• Linear ပေါင်းစပ်မှု - အားလုံးအညီအမျှ။
• နှိမ့်ချခြင်း။
• နောက် ... ပြီးတော့။

ပထမနေရာက ဘယ်လိုအလုပ်လုပ်လဲ။ Runtime နှင့် Cassandra ရှိခဲ့သည်။ Cassandra ကို ငွေပေးငွေယူ သိုလှောင်မှုအဖြစ် အသုံးပြုခဲ့သည်၊ ဆိုလိုသည်မှာ ဆက်စပ်သော လွှဲပြောင်းမှုများအားလုံးကို ၎င်းတွင် သိမ်းဆည်းထားသည်။ အချို့သောဖြစ်ရပ်များသည် Runtime တွင်လာသောအခါ၊ ဥပမာအားဖြင့်၊ အချို့သောစာမျက်နှာ သို့မဟုတ် အခြားအရာတစ်ခုကိုပြသသည့်အခါ Cassandra သို့ တောင်းဆိုခဲ့သည်- ထိုကဲ့သို့သောလူရှိသလား၊ မရှိဘူးလား။ ထို့နောက် ၎င်းနှင့်သက်ဆိုင်သော အရောင်းအဝယ်များကို ရရှိခဲ့ပါသည်။ ပြီးတော့ ချိတ်ဆက်မှုတွေ လုပ်ခဲ့ပါတယ်။

တောင်းဆိုချက်တွင် ငွေပေးငွေယူ ID တစ်ခုရှိ၍ ကံကောင်းပါက၊ လွယ်ကူပါသည်။ ဒါပေမယ့် အများအားဖြင့်တော့ ကံမကောင်းပါဘူး။ ထို့ကြောင့်၊ နောက်ဆုံး ငွေပေးငွေယူ သို့မဟုတ် နောက်ဆုံးကလစ်ဖြင့် ငွေပေးငွေယူကို ရှာရန် လိုအပ်ပါသည်။

နောက်ဆုံး ကလစ်နဲ့ ချိတ်ထားသရွေ့တော့ အားလုံးက ကောင်းကောင်းအလုပ်လုပ်ပါတယ်။ အဘယ်ကြောင့်ဆိုသော်၊ ကျွန်ုပ်တို့သည် တစ်လလျှင် ဝင်းဒိုးတစ်ခုသတ်မှတ်ထားလျှင် တစ်ရက်လျှင် ကလစ် ၁၀ သန်း၊ တစ်လလျှင် သန်း ၃၀၀ ရှိသည်။ Cassandra တွင် လျင်မြန်စွာ လည်ပတ်နိုင်စေရန်အတွက် အားလုံးသည် မှတ်ဉာဏ်ထဲတွင် ရှိနေရမည်ဖြစ်ပြီး၊ Runtime သည် လျင်မြန်စွာ တုံ့ပြန်ရန် လိုအပ်သောကြောင့် ဆာဗာ 10-300 ခုခန့် ယူခဲ့ရသည်။

အရောင်းအ၀ယ်တစ်ခုအား ပြသရန် လင့်ခ်ချိတ်လိုသောအခါတွင် ယင်းသည် ချက်ချင်းပင် ပျော်စရာမကောင်းတော့ပါ။ အဘယ့်ကြောင့်နည်း။ အဆ 30 ပိုသောဖြစ်ရပ်များကိုသိမ်းဆည်းရန်လိုအပ်သည်ကိုတွေ့မြင်နိုင်သည်။ ထို့ကြောင့်၊ သင်သည် နောက်ထပ် ဆာဗာများ အဆ ၃၀ လိုအပ်သည်။ ၎င်းသည် နက္ခတ်ဗေဒင်ဆိုင်ရာ ပုံသဏ္ဍာန်တစ်မျိုးမျိုးဖြစ်ကြောင်း ထွက်ပေါ်လာသည်။ လင့်ခ်ကိုလုပ်ဆောင်ရန်အတွက် ဆာဗာ 30 အထိ ဆက်လက်ထားရှိရန်၊ Runtime တွင် ဆာဗာများ သိသိသာသာနည်းနေသော်လည်း၊ ၎င်းသည် မှားယွင်းသောကိန်းဂဏန်းတစ်မျိုးဖြစ်သည်။ ပြီးတော့ သူတို့ ဘာလုပ်ရမလဲ စဉ်းစားလာတယ်။

ပြီးတော့ ကျွန်တော်တို့ ClickHouse ကိုသွားတယ်။ ClickHouse တွင်မည်သို့ပြုလုပ်ရမည်နည်း။ ပထမတစ်ချက်တွင်၊ ဤအရာသည် ဆန့်ကျင်ဘက်ပုံစံများဟု ထင်ရသည်။

• ငွေပေးငွေယူ တိုးလာသည်နှင့်အမျှ ကျွန်ုပ်တို့သည် ၎င်းနှင့်ဆက်စပ်သည့် ဖြစ်ရပ်များ ပိုများလာသည်၊ ဆိုလိုသည်မှာ ၎င်းသည် ပြောင်းလဲနိုင်သော၊ ClickHouse သည် ပြောင်းလဲနိုင်သော အရာဝတ္ထုများနှင့် အလွန်အလုပ်မလုပ်ပါ။
• ဧည့်သည်တစ်ဦးသည် ကျွန်ုပ်တို့ထံ ရောက်ရှိလာသောအခါ၊ သူ၏ လည်ပတ်မှု ID ဖြင့် သူ၏ အရောင်းအ၀ယ်များကို သော့ဖြင့် ဆွဲထုတ်ရန် လိုအပ်ပါသည်။ ဒါက အချက်ပြမေးမြန်းမှုတစ်ခုလည်းဖြစ်ပြီး ClickHouse မှာ သူတို့မလုပ်ပါဘူး။ အများအားဖြင့် ClickHouse တွင် … စကင်န်ကြီးကြီးမားမားရှိသော်လည်း ဤနေရာတွင် ကျွန်ုပ်တို့သည် မှတ်တမ်းအချို့ကို ရယူရန်လိုအပ်ပါသည်။ antipattern တစ်ခုလည်းဖြစ်သည်။
• ထို့အပြင်၊ ငွေပေးငွေယူသည် json တွင်ရှိသော်လည်း ၎င်းတို့သည် ၎င်းကို ပြန်လည်မရေးလိုသောကြောင့် ၎င်းတို့သည် json ကို ပုံစံမကျသောနည်းလမ်းဖြင့် သိမ်းဆည်းထားလိုကြပြီး လိုအပ်ပါက ၎င်းထဲမှတစ်ခုခုကို ဆွဲထုတ်လိုက်ကြသည်။ ပြီးတော့ ဒါက ဆန့်ကျင်ဘက်ပုံစံတစ်ခုလည်း ဖြစ်ပါတယ်။

ဆိုလိုသည်မှာ၊ antipatterns အစုတစ်ခုဖြစ်သည်။

သို့သော် အလွန်ကောင်းမွန်သော စနစ်တစ်ခုကို ဖန်တီးနိုင်ခဲ့သည်။

ဘာတွေလုပ်ခဲ့လဲ။ မှတ်တမ်းများကို ခွဲ၍ မှတ်တမ်းများ ခွဲထုတ်သည့် မှတ်တမ်းများကို ClickHouse ပေါ်လာသည်။ ClickHouse မှ မှတ်တမ်းများလက်ခံရရှိသည့် အသိအမှတ်ပြုဝန်ဆောင်မှုတစ်ခု ပေါ်လာသည်။ ထို့နောက် ဝင်ရောက်မှုတစ်ခုစီအတွက်၊ visit id ဖြင့်၊ ကျွန်ုပ်သည် မလုပ်ဆောင်ရသေးသော ငွေပေးငွေယူမှုများနှင့် လျှပ်တစ်ပြက်ရိုက်ချက်များ၊ ဆိုလိုသည်မှာ ယခင်အလုပ်၏ ရလဒ်ဖြစ်သည့် ယခင်အလုပ်၏ရလဒ်၊ ကျွန်တော်သည် ၎င်းတို့ထဲမှ ယုတ္တိဗေဒကို ဖန်တီးထားပြီး၊ မှန်ကန်သော ငွေပေးငွေယူကို ရွေးချယ်ပြီး ဖြစ်ရပ်အသစ်များကို ချိတ်ဆက်ထားသည်။ ထပ်မံဝင်ရောက်ခဲ့သည်။ မှတ်တမ်းသည် ClickHouse သို့ ပြန်သွားသည်၊ ဆိုလိုသည်မှာ ၎င်းသည် အဆက်မပြတ် လည်ပတ်နေသော စနစ်ဖြစ်သည်။ ထို့အပြင်၊ ကျွန်ုပ်သည် ၎င်းကို ခွဲခြမ်းစိတ်ဖြာရန် DWH သို့ သွားခဲ့သည်။

ဒီပုံစံက အရမ်းအလုပ်မလုပ်ဘူး။ ClickHouse အတွက် ပိုမိုလွယ်ကူစေရန်၊ visit id မှ တောင်းဆိုမှုတစ်ခုရှိသောအခါ၊ ၎င်းတို့သည် ဤတောင်းဆိုမှုများကို 1-000 visit ids တုံးများအဖြစ် အုပ်စုဖွဲ့ကာ လူ 2-000 အတွက် ငွေပေးငွေယူအားလုံးကို ထုတ်ယူခဲ့သည်။ ပြီးတော့ အားလုံး အလုပ်ဖြစ်သွားတယ်။

ClickHouse အတွင်းသို့ကြည့်လျှင် ဤအရာအားလုံးကို ဝန်ဆောင်မှုပေးသော အဓိကစားပွဲ 3 ခုသာရှိသည်။

မှတ်တမ်းများကို အပ်လုဒ်လုပ်သည့် ပထမဆုံးဇယားဖြစ်ပြီး မှတ်တမ်းများကို လုပ်ဆောင်ခြင်းမရှိဘဲ အပ်လုဒ်လုပ်ထားသည်။

ဒုတိယစားပွဲ။ ရုပ်လုံးပေါ်လာသောအမြင်အားဖြင့်၊ ဤမှတ်တမ်းများမှ၊ မသက်ဆိုင်သေးသော အဖြစ်အပျက်များ၊ ဆိုလိုသည်မှာ၊ မသက်ဆိုင်သော အဖြစ်အပျက်များ ကိုက်ခံရခြင်း ဖြစ်သည်။ လျှပ်တစ်ပြက်ရိုက်ချက်တစ်ခုတည်ဆောက်ရန် ဤမှတ်တမ်းများမှ ငွေပေးငွေယူများကို ရုပ်လုံးပေါ်လာစေသော မြင်ကွင်းဖြင့် ထုတ်ယူခဲ့သည်။ ဆိုလိုသည်မှာ၊ အထူးရုပ်လုံးပေါ်လာသော မြင်ကွင်းသည် လျှပ်တစ်ပြက်တစ်ခု ဖန်တီးပေးသည်၊ ဆိုလိုသည်မှာ ငွေပေးငွေယူ၏ နောက်ဆုံးအခြေအနေဖြစ်သည်။

ဤသည်မှာ SQL တွင်ရေးထားသောစာသားဖြစ်သည်။ အဲဒီထဲမှာ အရေးကြီးတဲ့ အချက်တချို့ကို မှတ်ချက်ပေးချင်ပါတယ်။

ပထမအရေးကြီးသည်မှာ ClickHouse ရှိ json မှ ကော်လံများနှင့် အကွက်များကို ဆွဲထုတ်နိုင်မှုဖြစ်သည်။ ဆိုလိုသည်မှာ ClickHouse တွင် json နှင့်အလုပ်လုပ်ရန်နည်းလမ်းအချို့ရှိသည်။ ၎င်းတို့သည် အလွန်ရှေးကျသည်။

visitParamExtractInt သည် သင့်အား json မှ attribute များကို ထုတ်ယူရန် ခွင့်ပြုသည်၊ ဆိုလိုသည်မှာ ပထမဆုံး hit အလုပ်ဖြစ်သည်။ ဤနည်းဖြင့် သင်သည် ငွေပေးငွေယူ id ကို ထုတ်ယူနိုင်သည် သို့မဟုတ် id သို့ ဝင်ရောက်ကြည့်ရှုနိုင်သည်။ ဒီတစ်ခါ။

ဒုတိယအချက်မှာ၊ ဆန်းကျယ်သော ရုပ်လုံးပေါ်လာသော အကွက်ကို ဤနေရာတွင် အသုံးပြုပါသည်။ ဘာကိုဆိုလိုတာလဲ? ဆိုလိုသည်မှာ ၎င်းကို ဇယားတွင် ထည့်သွင်း၍မရပါ၊ ဆိုလိုသည်မှာ ၎င်းကို မထည့်သွင်းပါ၊ ၎င်းကို တွက်ချက်ပြီး ထည့်သွင်းသည့်အခါတွင် သိမ်းဆည်းထားသည်။ ကူးထည့်သောအခါ၊ ClickHouse သည် သင့်အတွက် လုပ်ဆောင်ပေးသည်။ နောက်တော့ သင်လိုအပ်တဲ့အရာက json ထဲက ဆွဲထုတ်ပြီးသားပါ။

ဤကိစ္စတွင်၊ ရုပ်လုံးပေါ်လာသောမြင်ကွင်းသည် အကြမ်းတန်းများအတွက်ဖြစ်သည်။ လက်တွေ့ဆန်သော သစ်လုံးများပါသော ပထမဇယားကို အသုံးပြုရုံသာဖြစ်သည်။ ပြီးတော့ သူဘာလုပ်တာလဲ။ ပထမဦးစွာ၊ ၎င်းသည် သီးခြားလူတစ်ဦးအတွက် သူ၏ငွေပေးငွေယူကို အမြန်ဆွဲထုတ်ရန် လိုအပ်သောကြောင့် ပထမဦးစွာ ၎င်းသည် အမျိုးအစားခွဲခြင်းအား ပြောင်းလဲလိုက်သည်၊ ဆိုလိုသည်မှာ ယခု စီစဥ်ခြင်းသည် အလည်အပတ် id ဖြင့်သွားပါသည်။

ဒုတိယအရေးကြီးသည်မှာ index_granularity ဖြစ်သည်။ MergeTree ကို သင်တွေ့ဖူးပါက၊ ပုံမှန်အားဖြင့် index_granularity အားဖြင့် 8 ဖြစ်သည်။ ဒါဘာလဲ? ဤသည်မှာ အညွှန်းကိန်းကျဲမှု ကန့်သတ်ချက်ဖြစ်သည်။ ClickHouse တွင် အညွှန်းသည် ကျဲသည်၊ ၎င်းသည် ဝင်ရောက်မှုတိုင်းကို ဘယ်သောအခါမှ အညွှန်းမတင်ပါ။ ၎င်းသည် 192 8 တိုင်း ပြုလုပ်သည်။ ဒေတာများစွာကို တွက်ချက်ရန် လိုအပ်သောအခါတွင် ၎င်းသည် ကောင်းမွန်သော်လည်း၊ ကြီးမားသော overhead ရှိသောကြောင့် အနည်းငယ်သောအခါတွင် ဆိုးရွားပါသည်။ အညွှန်းကိန်း အသေးစိတ်ကို လျှော့ချပါက၊ အထက်မှ လျှော့ပါ။ လုံလောက်တဲ့ memory မရှိတာကြောင့် တစ်ခုတည်းကို လျှော့ချလို့မရပါဘူး။ အညွှန်းကို မှတ်ဉာဏ်ထဲတွင် အမြဲသိမ်းဆည်းထားသည်။

Snapshot သည် အခြားသော စိတ်ဝင်စားဖွယ် ClickHouse အင်္ဂါရပ်အချို့ကိုလည်း အသုံးပြုပါသည်။

ပထမအချက်မှာ AggregatingMergeTree ဖြစ်သည်။ နှင့် AggregatingMergeTree သည် argMax ကို သိမ်းဆည်းထားသည်၊ ဆိုလိုသည်မှာ ဤသည်မှာ နောက်ဆုံးအချိန်တံဆိပ်နှင့် သက်ဆိုင်သည့် ငွေပေးငွေယူအခြေအနေဖြစ်သည်။ ပေးထားသောဧည့်သည်အတွက် အချိန်တိုင်း ငွေပေးငွေယူထုတ်ပေးပါသည်။ ဤငွေပေးငွေယူ၏နောက်ဆုံးအခြေအနေတွင်၊ ကျွန်ုပ်တို့သည် ဖြစ်ရပ်တစ်ခုထည့်သွင်းပြီး ကျွန်ုပ်တို့တွင် အခြေအနေအသစ်တစ်ခုရှိသည်။ အဲဒါက ClickHouse ကို ထပ်ပြီး ရိုက်တယ်။ ArgMax သည် ဤရုပ်လုံးပေါ်လာသောအမြင်ဖြင့်၊ ကျွန်ုပ်တို့သည် လက်ရှိအခြေအနေကို အမြဲရရှိနိုင်ပါသည်။

• စည်းနှောင်ခြင်းကို Runtime မှ "ခွဲထားသည်" ဖြစ်သည်။
• တစ်လလျှင် ငွေပေးငွေယူ ၃ ဘီလီယံအထိ သိမ်းဆည်းပြီး စီမံဆောင်ရွက်သည်။ ၎င်းသည် Cassandra တွင်ရှိခဲ့သော ပမာဏထက် ပိုမိုကြီးမားသော အစီစဥ်တစ်ခုဖြစ်သည်၊ ဆိုလိုသည်မှာ ပုံမှန်ငွေပေးငွေယူစနစ်တစ်ခုဖြစ်သည်။
• 2x5 ClickHouse ဆာဗာများ အစုအဝေး။ ဆာဗာ ၅ ခုနှင့် ဆာဗာတစ်ခုစီတွင် ပုံစံတူတစ်ခုရှိသည်။ ကလစ်ကိုအခြေခံသည့် ထည့်သွင်းတွက်ချက်မှုပြုလုပ်ရန်အတွက် Cassandra တွင် ၎င်းသည် နည်းပါးနေပြီး ဤနေရာတွင် ကျွန်ုပ်တို့တွင် စွဲမက်ဖွယ်အခြေခံရှိသည်။ ဆိုလိုသည်မှာ၊ ဆာဗာအရေအတွက်ကို အဆ ၃၀ တိုးမည့်အစား ၎င်းတို့ကို လျှော့ချနိုင်ခဲ့သည်။

နောက်ဆုံးဥပမာမှာ စတော့စျေးနှုန်းပြောင်းလဲမှုများ၏ ဆက်စပ်မှုကို ခွဲခြမ်းစိတ်ဖြာသည့် ဘဏ္ဍာရေးကုမ္ပဏီ Y ဖြစ်သည်။

ပြီးတော့ တာဝန်က-

• ရှယ်ယာ 5 ခန့်ရှိပါတယ်။
• 100 မီလီစက္ကန့်တိုင်း ကိုးကားချက်များကို သိသည်။
• အချက်အလက်တွေ စုဆောင်းထားတာ 10 နှစ်ကျော်ပါပြီ။ ထင်ရှားသည်မှာ၊ အချို့သောကုမ္ပဏီများအတွက်၊ အချို့အတွက်နည်းပါးသည်။
• စုစုပေါင်း အတန်းပေါင်း ဘီလီယံ 100 ခန့် ရှိပါသည်။

အပြောင်းအလဲများ၏ ဆက်စပ်မှုကို တွက်ချက်ရန် လိုအပ်ပါသည်။

ဤသည်မှာ စတော့နှစ်ခုနှင့် ၎င်းတို့၏ကိုးကားချက်များဖြစ်သည်။ တစ်ခုတက်ပြီး နောက်တစ်ခုတက်ရင် ဒါက အပြုသဘောဆောင်တဲ့ ဆက်နွယ်မှုပါပဲ၊ ဆိုလိုတာက တစ်ခုတက်သွားပြီး နောက်တစ်ခုက တက်သွားတယ်။ ဂရပ်၏အဆုံးတွင် တစ်လုံးသည် တက်သွားပါက၊ နောက်တစ်ခု ကျသွားပါက၊ ၎င်းသည် အနုတ်လက္ခဏာဆောင်သော ဆက်နွယ်မှုဖြစ်သည်၊ ဆိုလိုသည်မှာ တစ်ခုသည် တက်လာသောအခါ၊ နောက်တစ်ခုသည် ပြုတ်ကျသည်။

ဤအပြန်အလှန်ပြောင်းလဲမှုများကို ခွဲခြမ်းစိတ်ဖြာခြင်းဖြင့် ငွေရေးကြေးရေးဈေးကွက်တွင် ခန့်မှန်းချက်များကို ပြုလုပ်နိုင်သည်။

ဒါပေမယ့် အလုပ်က ခက်တယ်။ ဒီအတွက် ဘာတွေလုပ်ဆောင်နေလဲ။ ကျွန်ုပ်တို့တွင် အချိန်၊ စတော့နှင့် ဈေးနှုန်းများပါရှိသော မှတ်တမ်းပေါင်း 100 ဘီလီယံရှိသည်။ စျေးနှုန်း အယ်လဂိုရီသမ်မှ ပထမအကြိမ် 100 ဘီလီယံ အဆကို တွက်ချက်ရန် လိုအပ်သည်။ RunningDifference သည် strings နှစ်ခုကြား ခြားနားချက်ကို စဉ်ဆက်မပြတ် တွက်ချက်ပေးသည့် ClickHouse အတွင်းရှိ လုပ်ဆောင်ချက်တစ်ခုဖြစ်သည်။

ထို့နောက် ဆက်စပ်မှုကို တွက်ချက်ရန် လိုအပ်ပြီး အတွဲတစ်ခုစီအတွက် ဆက်စပ်မှုကို တွက်ချက်ရမည်ဖြစ်သည်။ ရှယ်ယာ 5 အတွက် အတွဲများသည် 000 သန်းဖြစ်သည်။ ပြီးတော့ ဒါက အများကြီးပါပဲ၊ ဥပမာ၊ ဆက်စပ်မှုတစ်ခုကို တွက်ချက်ဖို့ ၁၂.၅ ကြိမ် လိုအပ်တယ်။

အကယ်၍ တစ်ယောက်ယောက်က မေ့သွားခဲ့ရင် ͞x နဲ့ ͞y ဟာ အဖော်မွန်တစ်ယောက်ပါ။ နမူနာမျှော်လင့်ချက်။ ဆိုလိုသည်မှာ၊ အမြစ်များနှင့် ပေါင်းလဒ်များကို တွက်ချက်ရန်သာမက၊ ဤပေါင်းလဒ်များအတွင်းရှိ နောက်ထပ် sums တစ်ခုလည်း လိုအပ်ပါသည်။ တွက်ချက်မှုများစွာကို အကြိမ်ပေါင်း 12,5 သန်း လုပ်ပြီး နာရီများဖြင့် အုပ်စုဖွဲ့၍ပင် ပြုလုပ်ရမည်ဖြစ်သည်။ ငါတို့မှာလည်း နာရီတွေအများကြီးရှိတယ်။ ပြီးတော့ စက္ကန့် 60 အတွင်းမှာ လုပ်ရပါမယ်။ ဟာသတစ်ခုပါပဲ။

ClickHouse မရောက်မီတွင် ဤအရာအားလုံးသည် အလွန်နှေးကွေးစွာ အလုပ်လုပ်သောကြောင့် အနည်းဆုံး တစ်နည်းနည်းဖြင့် အချိန်ရှိရန် လိုအပ်ပါသည်။

၎င်းတို့သည် Hadoop၊ Spark၊ Greenplum တွင် တွက်ချက်ရန် ကြိုးစားခဲ့သည်။ ဤအရာအားလုံးသည် အလွန်နှေးကွေးသည် သို့မဟုတ် စျေးကြီးသည်။ ဆိုလိုသည်မှာ၊ တစ်နည်းနည်းဖြင့် တွက်ချက်နိုင်ခဲ့သော်လည်း နောက်ပိုင်းတွင် ဈေးကြီးခဲ့သည်။

ထို့နောက် ClickHouse တက်လာပြီး အရာများ ပိုကောင်းလာသည်။

ဆက်စပ်မှုများကို ဒေသစံသတ်မှတ်၍မရသောကြောင့် ကျွန်ုပ်တို့တွင် ဒေတာနေရာဒေသနှင့် ပြဿနာရှိနေကြောင်း သင့်အား ကျွန်ုပ်သတိပေးပါသည်။ ကျွန်ုပ်တို့သည် ဆာဗာတစ်ခုတွင် ဒေတာအချို့ကို ထားနိုင်သည်၊ အချို့မှာ အခြားတစ်ခုပေါ်တွင် တွက်ချက်၍မရပါ၊ ကျွန်ုပ်တို့သည် နေရာတိုင်းတွင် ဒေတာအားလုံးရှိရပါမည်။

သူတို့ဘာလုပ်ခဲ့ကြသလဲ။ အစပိုင်းမှာတော့ data တွေကို localized လုပ်တယ်။ ဆာဗာတစ်ခုစီသည် အစုရှယ်ယာတစ်စု၏ စျေးနှုန်းသတ်မှတ်ခြင်းဆိုင်ရာ အချက်အလက်များကို သိမ်းဆည်းပါသည်။ ပြီးတော့ သူတို့က ထပ်မထပ်ဘူး။ ထို့ကြောင့်၊ ၎င်းသည် logReturn ကိုအပြိုင်နှင့်အမှီအခိုကင်းစွာတွက်ချက်ရန်ဖြစ်နိုင်သည်၊ ဤအရာအားလုံးသည်ယခုအချိန်အထိအပြိုင်နှင့်ဖြန့်ဝေသည်။

ထို့နောက် ဖော်ပြနိုင်စွမ်း မဆုံးရှုံးဘဲ ဤဒေတာများကို လျှော့ချရန် ဆုံးဖြတ်ခဲ့သည်။ အချိန်ကာလတစ်ခုစီအတွက် arrays များကိုအသုံးပြုခြင်းကို လျှော့ချပါ၊ စတော့များခင်းကျင်းခြင်းနှင့် ဈေးနှုန်းများကို array တစ်ခုပြုလုပ်ပါ။ ထို့ကြောင့်၊ ၎င်းသည် ဒေတာနေရာလွတ်များစွာယူသည်။ သူတို့နဲ့ အလုပ်လုပ်ရတာ နည်းနည်းလွယ်တယ်။ ၎င်းတို့သည် အပြိုင်လုနီးပါး လုပ်ဆောင်မှုများဖြစ်သည်၊ ဆိုလိုသည်မှာ ကျွန်ုပ်တို့သည် တစ်စိတ်တစ်ပိုင်း အပြိုင်ဖတ်ပြီးနောက် ဆာဗာသို့ စာရေးပါ။

အဲဒီနောက်မှာတော့ ထပ်တူပြုနိုင်ပါတယ်။ အက္ခရာ "r" ဆိုသည်မှာ ဤဒေတာကို ကျွန်ုပ်တို့ ပုံတူကူးထားသည်။ ဆိုလိုသည်မှာ၊ ကျွန်ုပ်တို့တွင် ဆာဗာသုံးခုလုံးတွင် တူညီသောဒေတာရှိသည် - ဤအရာများသည် ခင်းကျင်းမှုများဖြစ်သည်။

ထို့နောက် တွက်ချက်ရန် လိုအပ်သော ဆက်နွယ်မှု 12,5 သန်း၏ ဤအစုမှ အထူး script တစ်ခုဖြင့် သင်သည် ပက်ကေ့ဂျ်များ ပြုလုပ်နိုင်ပါသည်။ ဆိုလိုသည်မှာ ဆက်စပ်မှုအတွဲ ၅၀၀၀ ပါသော အလုပ် ၂၅၀၀။ ဤတာဝန်သည် တိကျသော ClickHouse ဆာဗာပေါ်တွင် တွက်ချက်ရန်ဖြစ်သည်။ သူ့မှာ ဒေတာအားလုံးရှိတယ်၊ ဘာဖြစ်လို့လဲဆိုတော့ ဒေတာက အတူတူပဲ၊ အဲဒါတွေကို စဉ်ဆက်မပြတ် တွက်ချက်နိုင်တယ်။

တစ်ဖန်၊ ဤသည်နှင့်တူသည်။ ပထမ၊ ကျွန်ုပ်တို့တွင် ဤဖွဲ့စည်းပုံတွင် ဒေတာအားလုံးရှိသည်- အချိန်၊ ရှယ်ယာများ၊ ဈေးနှုန်း။ ထို့နောက် ကျွန်ုပ်တို့သည် logReturn၊ တူညီသောဖွဲ့စည်းပုံ၏ဒေတာကို တွက်ချက်သည်၊ သို့သော် ကျွန်ုပ်တို့တွင် logReturn ရှိပြီးသားစျေးနှုန်းအစား၊ ထို့နောက် ၎င်းတို့ကို ပြန်လည်ပြင်ဆင်ခဲ့သည်၊ ဆိုလိုသည်မှာ စတော့များနှင့် ဈေးနှုန်းများအတွက် အချိန်နှင့် groupArray ကို ကျွန်ုပ်တို့ရရှိသည်။ ထပ်တူပြုပါသည်။ ထို့နောက်တွင်၊ ကျွန်ုပ်တို့သည် လုပ်ဆောင်စရာများစွာကို ဖန်တီးပြီး ၎င်းတို့ကို ရေတွက်နိုင်ရန် ClickHouse သို့ ကျွေးမွေးခဲ့သည်။ ပြီးတော့ အလုပ်ဖြစ်တယ်။

အယူအဆအထောက်အထားအရ၊ အလုပ်သည် လုပ်ငန်းခွဲတစ်ခုဖြစ်သည်၊ ဆိုလိုသည်မှာ၊ ဒေတာကို နည်းပါးစေသည်။ ပြီးတော့ ဆာဗာသုံးခုပဲရှိတယ်။

ဤပထမအဆင့်နှစ်ဆင့်- Log_return တွက်ချက်ခြင်းနှင့် array များတွင် ထုပ်ပိုးခြင်းမှာ တစ်နာရီခန့် ကြာသည်။

ဆက်စပ်မှု၏တွက်ချက်မှုသည်နာရီ 50 ခန့်ဖြစ်သည်။ ဒါပေမယ့် ရက်သတ္တပတ်တွေကြာအောင် အလုပ်လုပ်တဲ့အတွက် နာရီ ၅၀ မလုံလောက်ပါဘူး။ ဒါဟာ ကြီးမားတဲ့ အောင်မြင်မှုပါ။ ရေတွက်မယ်ဆိုရင် တစ်စက္ကန့်ကို အကြိမ် 50 နှုန်းကို ဒီအစုအဝေးမှာ ရေတွက်ပါတယ်။

သို့သော် အရေးကြီးဆုံးအချက်မှာ ဤစနစ်သည် ပိတ်ဆို့မှုများ မရှိဘဲ လက်တွေ့အားဖြင့်၊ ဆိုလိုသည်မှာ၊ ၎င်းသည် မျဉ်းကြောင်းအတိုင်း အတိုင်းအတာဖြစ်သည်။ ပြီးတော့ သူတို့ စစ်ဆေးတယ်။ အောင်မြင်စွာ ချဲ့ထွင်လိုက်ပါ။

• မှန်ကန်သောအစီအစဥ်သည် တိုက်ပွဲတစ်ဝက်ဖြစ်သည်။ မှန်ကန်သောအစီအစဥ်သည် လိုအပ်သော ClickHouse နည်းပညာများအားလုံးကို အသုံးပြုခြင်းဖြစ်သည်။
• Summing/AggregatingMergeTrees သည် အထူးကိစ္စရပ်တစ်ခုအဖြစ် ပြည်နယ်လျှပ်တစ်ပြက်ရိုက်ချက်ကို စုစည်းရန် သို့မဟုတ် ထည့်သွင်းစဉ်းစားရန် ခွင့်ပြုသည့် နည်းပညာများဖြစ်သည်။ ၎င်းသည် အရာများစွာကို များစွာရိုးရှင်းစေသည်။
• Materialized Views သည် သင့်အား အညွှန်းတစ်ခုကန့်သတ်ချက်ကို ကျော်ဖြတ်နိုင်စေပါသည်။ ရှင်းရှင်းလင်းလင်း မပြောခဲ့ဘဲ၊ မှတ်တမ်းများကို တင်သည့်အခါ ကုန်ကြမ်းမှတ်တမ်းများသည် အညွှန်းတစ်ခုနှင့် ဇယားတွင် ရှိနေပြီး ရည်ညွှန်းချက်မှတ်တမ်းများသည် ဇယားထဲတွင် ရှိသည်၊ ဆိုလိုသည်မှာ ဒေတာတူညီသည်၊ စစ်ထုတ်ထားသော်လည်း အညွှန်းသည် လုံးဝကွဲပြားပါသည်။ ၎င်းသည် တူညီသောဒေတာဖြစ်ပုံရသော်လည်း အမျိုးအစားခွဲပုံခြင်း ကွဲပြားသည်။ နှင့် Materialized Views သည် သင့်အား လိုအပ်ပါက ထိုသို့ ClickHouse ကန့်သတ်ချက်ကို ကျော်လွှားနိုင်စေပါသည်။
• အမှတ်မေးမြန်းမှုများအတွက် အညွှန်းအသေးစိတ်ကို လျှော့ချပါ။
• ဒေတာကို စမတ်ကျကျ ဖြန့်ဝေပြီး ဆာဗာအတွင်း ဒေတာကို တတ်နိုင်သမျှ နေရာချထားရန် ကြိုးစားပါ။ တောင်းဆိုချက်များသည် အတတ်နိုင်ဆုံး တတ်နိုင်သမျှ ဒေသန္တရကို အသုံးပြုကြောင်း သေချာစေရန် ကြိုးစားပါ။

ဤမိန့်ခွန်းတိုတိုကို နိဂုံးချုပ်၍ ClickHouse သည် ယခုအခါ စီးပွားဖြစ်ဒေတာဘေ့စ်များနှင့် ပွင့်လင်းရင်းမြစ်ဒေတာဘေ့စ်နှစ်ခုလုံး၏ ပိုင်နက်နယ်မြေကို အခိုင်အမာ သိမ်းပိုက်ထားပြီးဖြစ်သည်၊ ဆိုလိုသည်မှာ ခွဲခြမ်းစိတ်ဖြာမှုများအတွက် အထူးသင့်လျော်ပါသည်။ သူက ဒီရှုခင်းနဲ့ လိုက်ဖက်ပါတယ်။ ထို့အပြင်၊ သင့်တွင် ClickHouse ရှိသောအခါတွင်၊ သင်သည် InfiniDB မလိုအပ်သောကြောင့် တဖြည်းဖြည်းနှင့် အခြားသူများကို စုစည်းလာပါသည်။ ပုံမှန် SQL ပံ့ပိုးမှုပြုလုပ်ပါက Vertika ကို မကြာမီ မလိုအပ်တော့ပါ။ ပျော်ရွှင်ပါစေ!

-အစီရင်ခံစာအတွက် ကျေးဇူးတင်ပါသည်။ အရမ်းစိတ်ဝင်စားဖို့ကောင်းတယ်။ Apache Phoenix နှင့် နှိုင်းယှဉ်မှုများ ရှိပါသလား။

မဟုတ်ဘူး၊ ဘယ်သူနဲ့မှ နှိုင်းလို့ မကြားဖူးဘူး။ ကျွန်ုပ်တို့နှင့် Yandex တို့သည် မတူညီသောဒေတာဘေ့စ်များနှင့် ClickHouse နှိုင်းယှဉ်မှုများကို ခြေရာခံရန် ကြိုးစားကြသည်။ အဘယ်ကြောင့်ဆိုသော် တစ်စုံတစ်ခုက ClickHouse ထက် မြန်နေပါက၊ Lesha Milovidov သည် ညဘက်တွင် မအိပ်နိုင်ဘဲ ၎င်းကို လျင်မြန်စွာ အရှိန်မြှင့်နိုင်သောကြောင့် ဖြစ်သည်။ အဲဒီလို နှိုင်းယှဥ်တာ မကြားဖူးဘူး။

• (Aleksey Milovidov) Apache Phoenix သည် Hbase မှ မောင်းနှင်သည့် SQL အင်ဂျင်တစ်ခုဖြစ်သည်။ Hbase သည် အဓိကအားဖြင့် သော့တန်ဖိုး အလုပ်ကိစ္စအတွက် ဖြစ်သည်။ ထိုနေရာတွင်၊ စာကြောင်းတစ်ခုစီတွင်၊ အများသူငှာအမည်များပါသော ကော်လံများ အများအပြားရှိနိုင်သည်။ Hbase၊ Cassandra အစရှိတဲ့ စနစ်တွေအကြောင်း ပြောနိုင်ပါတယ်။ ၎င်းသည် ၎င်းတို့အတွက် ပုံမှန်မဟုတ်သည့် တိကျစွာလေးလံသော ခွဲခြမ်းစိတ်ဖြာမှုမေးခွန်းများဖြစ်သည်။ သို့မဟုတ် ClickHouse နှင့် ပတ်သက်၍ အတွေ့အကြုံမရှိသေးပါက ၎င်းတို့သည် ကောင်းမွန်သည်ဟု သင်ထင်ကောင်းထင်နိုင်ပါသည်။

• Спасибо

  • မင်္ဂလာနေ့လည်ခင်းပါ ကျွန်ုပ်တွင် ခွဲခြမ်းစိတ်ဖြာမှုစနစ်တစ်ခုရှိသောကြောင့် ဤအကြောင်းအရာကို ကျွန်ုပ်အတော်လေးစိတ်ဝင်စားနေပြီဖြစ်သည်။ ဒါပေမယ့် ClickHouse ကိုကြည့်တဲ့အခါမှာတော့ ClickHouse ဟာ ဖြစ်ရပ်ခွဲခြမ်းစိတ်ဖြာမှုအတွက် အလွန်သင့်တော်ပါတယ်၊ ပြောင်းလဲနိုင်တဲ့ ခံစားချက်ကို ရရှိပါတယ်။ အကယ်၍ ကျွန်ုပ်သည် ကြီးမားသောဇယားများဖြင့် လုပ်ငန်းဒေတာများစွာကို ခွဲခြမ်းစိတ်ဖြာရန် လိုအပ်ပါက၊ ကျွန်ုပ်နားလည်သလောက် ClickHouse သည် ကျွန်ုပ်အတွက် အလွန်သင့်လျော်မည်မဟုတ်ပေ။ အထူးသဖြင့် သူတို့ပြောင်းရင်ပေါ့။ ဒါက မှန်သလား ဒါမှမဟုတ် ချေပနိုင်တဲ့ ဥပမာတွေ ရှိပါသလား။

  • ဒါမှန်တယ်။ ၎င်းသည် အထူးပြု ခွဲခြမ်းစိတ်ဖြာသည့် ဒေတာဘေ့စ်အများစု၏ မှန်ကန်သည်။ ပြောင်းလဲနိုင်သော စားပွဲကြီးတစ်ခု သို့မဟုတ် တစ်ခုထက်ပိုသော စားပွဲကြီးများနှင့် ဖြည်းဖြည်းချင်း ပြောင်းလဲနိုင်သော သေးငယ်သော စားပွဲများစွာအတွက် ၎င်းတို့ကို အံဝင်ခွင်ကျဖြစ်စေသည်။ ဆိုလိုသည်မှာ ClickHouse သည် အရာခပ်သိမ်းကိုထည့်သွင်းနိုင်ပြီး အလွန်ရှုပ်ထွေးသောမေးခွန်းများကိုတည်ဆောက်နိုင်သည့် Oracle နှင့်မတူပါ။ ClickHouse ကို ထိထိရောက်ရောက်အသုံးပြုရန်အတွက် ClickHouse တွင် ကောင်းမွန်စွာအလုပ်လုပ်နိုင်သော အစီအစဥ်တစ်ခုကို တည်ဆောက်ရန်လိုအပ်ပါသည်။ ဆိုလိုသည်မှာ၊ အလွန်အကျွံ ပုံမှန်ဖြစ်အောင် ရှောင်ကြဉ်ပါ၊ အဘိဓာန်များကို သုံးပါ၊ ရှည်လျားသော လင့်ခ်များကို ပိုနည်းအောင် ကြိုးစားပါ။ ဤနည်းဖြင့် ဤအစီအစဥ်ကို တည်ဆောက်ပါက၊ အလားတူ လုပ်ငန်းတာဝန်များကို ClickHouse တွင် သမားရိုးကျ ဆက်စပ်ဒေတာဘေ့စ်ထက် ပိုမိုထိရောက်စွာ ဖြေရှင်းနိုင်မည်ဖြစ်သည်။

အစီရင်ခံစာအတွက် ကျေးဇူးတင်ပါသည်။ နောက်ဆုံး ငွေကြေးကိစ္စနဲ့ ပတ်သက်ပြီး မေးစရာရှိတယ်။ သူတို့မှာ ခွဲခြမ်းစိတ်ဖြာမှုရှိတယ်။ အတက်အဆင်း နှိုင်းယှဥ်ရန် လိုအပ်သည်။ ပြီးတော့ ဒီခွဲခြမ်းစိတ်ဖြာချက်အတွက် သီးသန့်စနစ်ကို သင်တည်ဆောက်ခဲ့တာကို နားလည်ပါတယ်။ ဥပမာအားဖြင့်၊ မနက်ဖြန်တွင်၊ ၎င်းတို့သည် ဤဒေတာနှင့်ပတ်သက်သည့် အခြားအစီရင်ခံစာတစ်ခု လိုအပ်ပါက၊ ၎င်းတို့သည် schema ကို ပြန်လည်တည်ဆောက်ပြီး ဒေတာကို အပ်လုဒ်လုပ်ရန် လိုအပ်ပါသလား။ ဆိုလိုသည်မှာ တောင်းဆိုချက်ရရှိရန် ကြိုတင်လုပ်ဆောင်ခြင်းတစ်မျိုးမျိုး လုပ်ဆောင်ရန်ဖြစ်သည်။

ဟုတ်ပါတယ်၊ ဒါက အရမ်းတိကျတဲ့အလုပ်တစ်ခုအတွက် ClickHouse ကိုအသုံးပြုခြင်းဖြစ်ပါတယ်။ ၎င်းကို Hadoop တွင်ပိုမိုအစဉ်အလာအားဖြင့်ဖြေရှင်းနိုင်သည်။ Hadoop အတွက်၊ ဤသည်မှာ စံပြအလုပ်တစ်ခုဖြစ်သည်။ သို့သော် Hadoop တွင်၎င်းသည်အလွန်နှေးကွေးသည်။ ကျွန်ုပ်၏ရည်ရွယ်ချက်မှာ ClickHouse သည် ပုံမှန်အားဖြင့် လုံးဝကွဲပြားခြားနားသောနည်းလမ်းများဖြင့် ဖြေရှင်းနိုင်သော အလုပ်များကို ဖြေရှင်းနိုင်သည်ကို သက်သေပြရန်ဖြစ်ပြီး တစ်ချိန်တည်းတွင် ၎င်းကို ပိုမိုထိရောက်စွာလုပ်ဆောင်ပါ။ ၎င်းကို သီးခြားအလုပ်တစ်ခုအတွက် အံဝင်ခွင်ကျဖြစ်စေသည်။ အလားသဏ္ဍာန်တူသည့် ပြဿနာတစ်ခုခုရှိလျှင် အလားတူနည်းဖြင့် ဖြေရှင်းနိုင်သည်မှာ ရှင်းပါသည်။

ရှင်းပါပြီ။ နာရီ 50 စီမံဆောင်ရွက်ထားကြောင်း ၊ အစကတည်းက ဒေတာကို ဘယ်တုန်းက တင်ခဲ့တာလဲ ဒါမှမဟုတ် ရလဒ်တွေ ရခဲ့တာလား။

ဟုတ်ကဲ့ဟုတ်ကဲ့။

OK ကျေးဇူးအများကြီးတင်ပါတယ်။

၎င်းသည် ဆာဗာ ၃ ခု အစုအဝေးတွင် ဖြစ်သည်။

မင်္ဂလာပါ အစီရင်ခံစာအတွက် ကျေးဇူးတင်ပါသည်။ အရာအားလုံးက အရမ်းစိတ်ဝင်စားဖို့ကောင်းတယ်။ လုပ်ဆောင်နိုင်စွမ်းအကြောင်း အနည်းငယ်မေးမည်မဟုတ်သော်လည်း တည်ငြိမ်မှုအရ ClickHouse အသုံးပြုခြင်းအကြောင်း။ အဲဒါက မင်းမှာ ရှိသလား၊ ပြန်ယူဖို့ လိုသလား။ ဤကိစ္စတွင် ClickHouse မည်ကဲ့သို့ပြုမူသနည်း။ ပြီးတော့ မင်းမှာ ပုံတူတစ်ခုပါသွားတာလား။ ဥပမာအားဖြင့်၊ ၎င်းသည် ၎င်း၏ကန့်သတ်ချက်ထက်ကျော်လွန်ပြီး ပြုတ်ကျနေချိန်တွင် ClickHouse တွင် ပြဿနာတစ်ခုကြုံတွေ့ခဲ့ရသည်။

ဟုတ်ပါတယ်၊ စံပြစနစ်တွေ မရှိပါဘူး။ နောက်ပြီး ClickHouse မှာလည်း ကိုယ်ပိုင်ပြဿနာတွေရှိတယ်။ ဒါပေမယ့် Yandex.Metrica အချိန်အကြာကြီး အလုပ်မလုပ်ဘူးလို့ ကြားဖူးပါသလား။ မဖြစ်နိုင်ဘူး။ ၎င်းသည် ClickHouse တွင် 2012-2013 ကတည်းက ယုံကြည်စိတ်ချစွာ အလုပ်လုပ်ခဲ့သည်။ ကျွန်တော့် အတွေ့အကြုံနဲ့ ပတ်သက်ပြီး ဒီလိုပဲ ပြောနိုင်ပါတယ်။ ပြီးပြည့်စုံတဲ့ ကျရှုံးမှုမျိုး ကျွန်တော်တို့ ဘယ်တုန်းကမှ မရှိခဲ့ပါဘူး။ တစ်စိတ်တစ်ပိုင်းအရာအချို့ ဖြစ်ပေါ်လာနိုင်သော်လည်း ၎င်းတို့သည် လုပ်ငန်းကို ပြင်းထန်စွာထိခိုက်စေရန် မည်သည့်အခါမျှ မစိုးရိမ်ရပါ။ ဘယ်တုန်းကမှ မဖြစ်ခဲ့ဘူး။ ClickHouse သည် အလွန်ယုံကြည်စိတ်ချရပြီး ကျပန်းပျက်မသွားပါ။ အဲဒါကို မင်း စိတ်ပူနေစရာ မလိုဘူး။ အကြမ်းထည်တော့ မဟုတ်ဘူး။ ဒါကို ကုမ္ပဏီတော်တော်များများက သက်သေပြခဲ့ပြီးပါပြီ။

မင်္ဂလာပါ! Data schema ကို ချက်ချင်းစဉ်းစားဖို့ လိုတယ် လို့ ပြောခဲ့ပါတယ်။ ဖြစ်ပျက်ခဲ့လျှင်ကော။ ငါ့ဒေတာတွေ တဖွဲဖွဲကျနေတယ်။ ခြောက်လကုန်သွားသည်နှင့် ဤကဲ့သို့နေထိုင်ရန် မဖြစ်နိုင်ကြောင်း ကျွန်ုပ်နားလည်ပါသည်၊ ကျွန်ုပ်သည် ဒေတာကို ပြန်လည်အပ်လုဒ်လုပ်ပြီး ၎င်းတို့နှင့် တစ်ခုခုလုပ်ရန် လိုအပ်ပါသည်။

ဒါက သင့်စနစ်ပေါ်မှာ မူတည်ပါတယ်။ ရပ်တန့်လုနီးပါးဖြင့် ပြုလုပ်ရန် နည်းလမ်းများစွာရှိပါသည်။ ဥပမာအားဖြင့်၊ ၎င်းကို ထူးခြားစွာ ပုံဖော်နိုင်လျှင် မတူညီသော ဒေတာဖွဲ့စည်းပုံတစ်ခု ပြုလုပ်ရန် Materialized View ကို ဖန်တီးနိုင်သည်။ ဆိုလိုသည်မှာ ClickHouse ကို အသုံးပြု၍ မြေပုံဆွဲခြင်းအား ခွင့်ပြုပါက အချို့သောအရာများကို ထုတ်ယူပါ၊ ပင်မသော့ကို ပြောင်းလဲပါ၊ အပိုင်းခွဲခြင်းကို ပြောင်းလဲပါ၊ ထို့နောက် သင်သည် Materialized View ကို ပြုလုပ်နိုင်ပါသည်။ သင့်ဒေတာအဟောင်းကို ထိုနေရာတွင် ရေးချပါ၊ အသစ်များကို အလိုအလျောက်ရေးပါမည်။ ထို့နောက် Materialized View ကိုအသုံးပြု၍ မှတ်တမ်းကိုပြောင်းပြီး ဇယားဟောင်းကိုသတ်ပါ။ ဤသည်မှာ ယေဘုယျအားဖြင့် မရပ်မနားနည်းလမ်းဖြစ်သည်။

သငျသညျကိုကျေးဇူးတင်ပါသည်။

source: www.habr.com