Oleg Anastasyev နှင့်အသေးစားအင်တာဗျူး- Apache Cassandra ရှိ အမှားခံနိုင်ရည်

Odnoklassniki သည် RuNet တွင် Apache Cassandra ၏အကြီးဆုံးအသုံးပြုသူဖြစ်ပြီး ကမ္ဘာပေါ်တွင်အကြီးဆုံးအသုံးပြုသူဖြစ်သည်။ ကျွန်ုပ်တို့သည် ဓာတ်ပုံအဆင့်သတ်မှတ်ချက်များကို သိမ်းဆည်းရန် 2010 ခုနှစ်တွင် Cassandra ကို စတင်အသုံးပြုခဲ့ပြီး ယခုအခါ Cassandra သည် node ပေါင်းထောင်နှင့်ချီရှိ ဒေတာများ၏ petabytes ကို စီမံခန့်ခွဲနေပြီဖြစ်သည်။ NewSQL အရောင်းအဝယ်ဒေတာဘေ့စ်.
စက်တင်ဘာလ 12 ရက်နေ့တွင် ကျွန်ုပ်တို့၏စိန့်ပီတာစဘတ်ရုံးတွင် ကျွန်ုပ်တို့ကျင်းပပါမည်။ Apache Cassandra အတွက် ရည်စူးထားသော ဒုတိယအကြိမ် တွေ့ဆုံမှု. ပွဲ၏အဓိကဟောပြောသူမှာ Odnoklassniki Oleg Anastasyev ၏အင်ဂျင်နီယာချုပ်ဖြစ်သည်။ Oleg သည် ဖြန့်ဝေမှုနှင့် အမှား-ခံနိုင်ရည်စနစ်နယ်ပယ်တွင် ကျွမ်းကျင်သူတစ်ဦးဖြစ်ပြီး Cassandra နှင့် 10 နှစ်ကျော် အကြိမ်ကြိမ် လုပ်ဆောင်ခဲ့သည်။ အစည်းအဝေးများတွင် ဤထုတ်ကုန်ကို အသုံးပြုခြင်း၏ အင်္ဂါရပ်များအကြောင်း ပြောခဲ့သည်။.

တွေ့ဆုံမှု၏အကြိုတွင်၊ Cassandra နှင့်ဖြန့်ဝေသည့်စနစ်များ၏အမှားအယွင်းကိုခံနိုင်ရည်ရှိခြင်းအကြောင်း Oleg နှင့်တွေ့ဆုံဆွေးနွေးခဲ့ပြီးအစည်းအဝေးတွင်သူဘာပြောမလဲ၊ ဤပွဲကိုတက်ရောက်ရန်အဘယ်ကြောင့်ထိုက်တန်သနည်းဟုမေးမြန်းခဲ့သည်။

Oleg သည် ၎င်း၏ ပရိုဂရမ်ရေးခြင်း အသက်မွေးဝမ်းကြောင်းကို ၁၉၉၅ ခုနှစ်တွင် စတင်ခဲ့သည်။ ဘဏ်လုပ်ငန်း၊ တယ်လီကွန်းနှင့် သယ်ယူပို့ဆောင်ရေးတို့တွင် ဆော့ဖ်ဝဲကို တီထွင်ခဲ့သည်။ သူသည် Odnoklassniki တွင် ထိပ်တန်း developer တစ်ဦးအနေဖြင့် platform team တွင် 1995 ခုနှစ်ကတည်းက လုပ်ဆောင်ခဲ့သည်။ သူ၏တာဝန်များတွင် ဝန်အားမြင့်မားသောစနစ်များအတွက် ဗိသုကာလက်ရာများနှင့် ဖြေရှင်းချက်များ၊ ကြီးမားသောဒေတာသိုလှောင်ရုံများ၊ ပေါ်တယ်စွမ်းဆောင်ရည်နှင့် ယုံကြည်စိတ်ချရမှုဆိုင်ရာ ပြဿနာများကို ဖြေရှင်းပေးခြင်းတို့ ပါဝင်သည်။ ကုမ္ပဏီတွင်းရှိ developer များကိုလည်း လေ့ကျင့်ပေးသည်။

- Oleg၊ မင်္ဂလာပါ။ မေလတွင် ဖြစ်ပွားခဲ့သည်။ ပထမဆုံးတွေ့ဆုံမှုApache Cassandra အား ရည်စူး၍ ဆွေးနွေးမှုများသည် ညဥ့်နက်သည်အထိ ဆက်သွားသည်ဟု တက်ရောက်လာသူများက ပြောသည်၊ ကျေးဇူးပြု၍ ပထမအကြိမ်တွေ့ဆုံမှုအပေါ် မင်းရဲ့ အထင်အမြင်က ဘယ်လိုရှိလဲ။

မတူညီသော ကုမ္ပဏီများမှ နောက်ခံအမျိုးမျိုးရှိသော developer များသည် ၎င်းတို့၏ နာကျင်မှု၊ ပြဿနာများအတွက် မမျှော်လင့်ထားသော ဖြေရှင်းနည်းများနှင့် အံ့သြဖွယ်ဇာတ်လမ်းများဖြင့် ရောက်လာကြသည်။ ဆွေးနွေးပွဲအများစုကို ဆွေးနွေးမှုပုံစံဖြင့် ကျင်းပနိုင်ခဲ့သော်လည်း စီစဉ်ထားသည့် အကြောင်းအရာများအနက် သုံးပုံတစ်ပုံကိုသာ ထိတွေ့ဆွေးနွေးနိုင်မှု အများအပြားရှိခဲ့သည်။ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏အစစ်အမှန်ထုတ်လုပ်မှုဝန်ဆောင်မှုများ၏နမူနာကိုအသုံးပြု၍ မည်သို့စောင့်ကြည့်စစ်ဆေးသည်ကို အာရုံစိုက်ခဲ့ပါသည်။

ကျွန်တော် စိတ်ဝင်စားပြီး တကယ်ကို သဘောကျခဲ့ပါတယ်။

- ကြေငြာချက်ဖြင့် အကဲဖြတ်ခြင်း၊ ဒုတိယတွေ့ဆုံမှု အမှားခံနိုင်ရည်အတွက် လုံးလုံးလျားလျား မှီခိုနေမည်၊ အဘယ်ကြောင့် ဤအကြောင်းအရာကို သင်ရွေးချယ်ခဲ့သနည်း။

Cassandra သည် သုံးစွဲသူများ၏ တောင်းဆိုချက်များကို တိုက်ရိုက်ပေးဆောင်ခြင်းထက် ကျော်လွန်လုပ်ဆောင်နိုင်စွမ်းများစွာရှိသော ပုံမှန်အလုပ်များသော ဖြန့်ဝေသည့်စနစ်ဖြစ်သည်- အတင်းအဖျင်းပြောခြင်း၊ ပျက်ကွက်မှုရှာဖွေတွေ့ရှိခြင်း၊ အစီအစဉ်ပြောင်းလဲမှုများ၊ အစုအဝေးချဲ့ထွင်ခြင်း/လျှော့ချခြင်း၊ ဆန့်ကျင်ခြင်း၊ အရန်သိမ်းဆည်းခြင်းနှင့် ပြန်လည်ရယူခြင်းစသည်ဖြင့်။ မည်သည့်ဖြန့်ဝေမှုစနစ်တွင်မဆို၊ ဟာ့ဒ်ဝဲပမာဏများလာသည်နှင့်အမျှ ချို့ယွင်းမှုများဖြစ်နိုင်ခြေများလာသောကြောင့် Cassandra ထုတ်လုပ်မှုအစုအဖွဲ့များ၏ လည်ပတ်မှုသည် ချို့ယွင်းမှုနှင့် အော်ပရေတာလုပ်ဆောင်ချက်များတွင် အပြုအမူကို ခန့်မှန်းရန် ၎င်း၏ဖွဲ့စည်းပုံအား နက်နဲစွာနားလည်မှုလိုအပ်ပါသည်။ Cassandra ကို နှစ်ပေါင်းများစွာ အသုံးပြုပြီးနောက်၊ သိသာထင်ရှားသော ကျွမ်းကျင်မှုများ စုဆောင်းထားရှိသည်။မျှဝေရန် အဆင်သင့်ဖြစ်သည့်အပြင် ဆိုင်ရှိ လုပ်ဖော်ကိုင်ဖက်များသည် ပုံမှန်ပြဿနာများကို မည်သို့ဖြေရှင်းရမည်ကို ဆွေးနွေးလိုပါသည်။

- Cassandra နှင့်ပတ်သက်လာသောအခါ သင်သည် အမှားခံနိုင်ရည်ရှိခြင်းအတွက် ဘာကိုဆိုလိုသနည်း။

ပထမအချက်မှာ၊ ပုံမှန်ဟာ့ဒ်ဝဲချို့ယွင်းချက်များ- စက်များ၊ ဒစ်များ၊ သို့မဟုတ် nodes/ဒေတာစင်တာများနှင့်အတူ ကွန်ရက်ချိတ်ဆက်မှု ဆုံးရှုံးသွားခြင်းအတွက် စနစ်၏စွမ်းရည်။ သို့သော် ခေါင်းစဉ်ကိုယ်တိုင်က ပိုမိုကျယ်ပြန့်ပြီး အထူးသဖြင့် လူများပြင်ဆင်ခဲသော ပျက်ကွက်မှုများအပါအဝင်၊ အထူးသဖြင့် အော်ပရေတာအမှားများအပါအဝင် ကျရှုံးမှုများမှ ပြန်လည်ရယူခြင်း ပါဝင်သည်။

— ဝန်အများဆုံးနှင့် အကြီးဆုံး ဒေတာအစုအဝေး၏ ဥပမာကို သင်ပေးနိုင်ပါသလား။

ကျွန်ုပ်တို့၏ အကြီးဆုံးအစုအဝေးများထဲမှ တစ်ခုသည် လက်ဆောင်အစုအဝေးဖြစ်သည်- node 200 ကျော်နှင့် ဒေတာရာပေါင်းများစွာ TB ဖြစ်သည်။ သို့သော် ၎င်းကို ဖြန့်ဝေထားသော ကက်ရှ်တစ်ခုဖြင့် ဖုံးအုပ်ထားသောကြောင့် ၎င်းသည် တင်ဆောင်မှု အများဆုံးမဟုတ်ပေ။ ကျွန်ုပ်တို့၏အလုပ်အများဆုံးအုပ်စုများသည် စာရေးရန်အတွက် RPS ထောင်ပေါင်းများစွာနှင့် စာဖတ်ရန်အတွက် ထောင်ပေါင်းများစွာသော RPS ကို ကိုင်တွယ်သည်။

- အလို! တစ်စုံတစ်ခု မည်မျှ မကြာခဏ ကွဲတတ်သနည်း။

ဟုတ်တယ် တစ်ချိန်လုံး! စုစုပေါင်း၊ ကျွန်ုပ်တို့တွင် ဆာဗာပေါင်း ၆ဝဝဝ ကျော်ရှိပြီး အပတ်တိုင်း ဆာဗာအချို့နှင့် ဒါဇင်များစွာသော ဒစ်ခ်များကို အစားထိုးနေသည် (စက်ရေယာဉ်စု၏ အဆင့်မြှင့်တင်မှုနှင့် ချဲ့ထွင်မှု အပြိုင်လုပ်ငန်းစဉ်များကို ထည့်သွင်းစဉ်းစားခြင်းမပြုဘဲ)။ ရှုံးနိမ့်မှု အမျိုးအစားတစ်ခုစီအတွက်၊ ဘာလုပ်ရမယ်ဆိုတဲ့ ရှင်းလင်းပြတ်သားတဲ့ ညွှန်ကြားချက်တွေ ရှိတယ်၊ ဖြစ်နိုင်ရင် အရာအားလုံးက အလိုအလျောက် အလိုအလျောက် လုပ်ဆောင်ပေးတယ်၊ ဒါကြောင့် ကျရှုံးမှုတွေက ပုံမှန်ဖြစ်ပြီး 6% မှာတော့ သုံးစွဲသူတွေက သတိမထားမိဘဲ ဖြစ်တတ်ပါတယ်။

– အဲဒီလို ငြင်းဆိုမှုတွေကို ဘယ်လို ကိုင်တွယ်မလဲ။

Cassandra ၏လည်ပတ်မှုအစနှင့်ပထမဖြစ်ရပ်များမှအစ၊ ၎င်းတို့ထံမှအရန်သိမ်းဆည်းခြင်းနှင့်ပြန်လည်ရယူခြင်းအတွက်ယန္တရားများကိုကျွန်ုပ်တို့လုပ်ဆောင်ခဲ့ပြီး Cassandra အစုအဝေးများ၏အခြေအနေကိုထည့်သွင်းစဉ်းစားသည့်အသုံးပြုမှုလုပ်ငန်းစဉ်များကိုတည်ဆောက်ခဲ့ပြီး၊ ဥပမာအားဖြင့်၊ node များကိုပြန်လည်စတင်ရန်ခွင့်ပြုမည်မဟုတ်ပါ။ ဒေတာဆုံးရှုံးမှုဖြစ်နိုင်လျှင်။ အစည်းအဝေးမှာ ဒါတွေအားလုံးကို ဆွေးနွေးဖို့ စီစဉ်ထားပါတယ်။

- သင်ပြောခဲ့သည့်အတိုင်း၊ လုံးဝယုံကြည်စိတ်ချရသောစနစ်များမရှိပါ။ ဘယ်လိုကျရှုံးမှုတွေအတွက် ပြင်ဆင်ပြီး ကိုင်တွယ်ဖြေရှင်းနိုင်လဲ။

ကျွန်ုပ်တို့၏ Cassandra အစုအဝေးများ တပ်ဆင်မှုများအကြောင်း ပြောဆိုပါက၊ ကျွန်ုပ်တို့သည် DC တစ်ခု သို့မဟုတ် DC တစ်ခုလုံးတွင် စက်အများအပြား ဆုံးရှုံးသွားပါက အသုံးပြုသူများသည် မည်သည့်အရာကိုမျှ သတိပြုမိမည်မဟုတ်ပါ။ DCs အရေအတွက် တိုးလာသည်နှင့်အမျှ၊ DC နှစ်ခု ချို့ယွင်းသွားသောအခါတွင် လည်ပတ်နိုင်မှုကို သေချာစေရန် စတင်ရန် ကျွန်ုပ်တို့ စဉ်းစားနေပါသည်။

- Cassandra အမှားခံနိုင်ရည်နဲ့ ပတ်သက်ပြီး သင်ဘာတွေ ချို့တဲ့နေတယ်လို့ ထင်ပါသလဲ။

Cassandra သည် အခြားသော NoSQL စတိုးများကဲ့သို့ပင်၊ ၎င်း၏အတွင်းပိုင်းဖွဲ့စည်းပုံနှင့် ဖြစ်ပေါ်နေသော တက်ကြွသောလုပ်ငန်းစဉ်များကို နက်ရှိုင်းစွာ နားလည်ရန် လိုအပ်သည်။ ပြောရမယ်ဆိုရင် ရိုးရှင်းမှု၊ ကြိုတင်ခန့်မှန်းနိုင်မှုနဲ့ စောင့်ကြည့်နိုင်စွမ်းတွေ ကင်းမဲ့တယ်လို့ ပြောချင်ပါတယ်။ သို့သော် အခြားအစည်းအဝေးတက်ရောက်သူများ၏ ထင်မြင်ယူဆချက်များကို နားထောင်ရသည်မှာ စိတ်ဝင်စားစရာဖြစ်လိမ့်မည်။

Oleg၊ မေးခွန်းတွေကို ဖြေဖို့ အချိန်ပေးတဲ့အတွက် အရမ်းကျေးဇူးတင်ပါတယ်။

ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏စိန့်ပီတာစဘတ်ရုံးတွင် စက်တင်ဘာလ 12 ရက်နေ့တွင် တွေ့ဆုံမှုတွင် Apache Cassandra လည်ပတ်သည့်နယ်ပယ်မှ ကျွမ်းကျင်သူများနှင့် ဆက်သွယ်လိုသူတိုင်းကို စောင့်မျှော်နေပါသည်။

လာပါ၊ စိတ်ဝင်စားစရာဖြစ်လိမ့်မယ်။

ပွဲအတွက် စာရင်းသွင်းပါ။

source: www.habr.com