လွန်ခဲ့သော ရက်အနည်းငယ်က ဖြစ်ပွားခဲ့သည်။ Hydra ညီလာခံ. JUG.ru Group မှ အမျိုးသားများသည် အိပ်မက်စပီကာများ (Leslie Lamport! Cliff Click! Martin Kleppmann!) ကို ဖိတ်ကြားပြီး ဖြန့်ဝေသည့်စနစ်များနှင့် တွက်ချက်ခြင်းအတွက် နှစ်ရက်လုံးလုံး ကြိုးပမ်းခဲ့ကြသည်။ Kontur သည် ညီလာခံ၏ လုပ်ဖော်ကိုင်ဖက် သုံးဦးထဲမှ တစ်ဦးဖြစ်သည်။ ကျွန်ုပ်တို့သည် တဲတွင် စကားပြောကြသည်၊ ကျွန်ုပ်တို့၏ ဖြန့်ဝေထားသော သိုလှောင်ခန်းအကြောင်း ပြောကြသည်၊ ဘင်ဂိုကစားပြီး ပဟေဋ္ဌိများကို ဖြေရှင်းကြသည်။

ဤသည်မှာ ၎င်းတို့၏စာသားရေးသားသူထံမှ Kontur ရပ်တည်ချက်ရှိ အလုပ်များကို ခွဲခြမ်းစိတ်ဖြာသည့် ပို့စ်တစ်ခုဖြစ်သည်။ ဟိုက်ဒရာပေါ်မှာ ဘယ်သူရှိလဲ - ဒါက မင်းရဲ့ ဦးနှောက်ကို ဆွဲဆန့်နိုင်တဲ့ အခွင့်အရေးမဟုတ်တဲ့ သာယာတဲ့အတွေ့အကြုံကို သတိရဖို့ အကြောင်းပြချက်ပါပဲ။ ကြီးမားသည်-မှတ်ချက်။

၎င်းတို့၏ ဆုံးဖြတ်ချက်ကို ချရေးရန် စာရွက်စာတန်းကို ဆလိုက်များအဖြစ် ဖျက်ခဲ့ကြသည့် ပါဝင်သူများပင် ရှိခဲ့ပါသည်။ နောက်ပြောင်တာမဟုတ်ပါဘူး - စိစစ်ဖို့အတွက် ဒီစာရွက်ကို လွှဲပေးခဲ့တယ်၊

စုစုပေါင်း လုပ်ငန်းသုံးမျိုး ရှိသည်-

• Load Balancing အတွက် အလေးများဖြင့် ပုံတူများကို ရွေးချယ်ခြင်းအကြောင်း
• မမ်မိုရီဒေတာဘေ့စ်တစ်ခုနှင့် ပတ်သက်သော query ရလဒ်များကို စီရန်အကြောင်း
• ring topology ဖြင့် ဖြန့်ဝေသည့်စနစ်တွင် ပြည်နယ်လွှဲပြောင်းမှု

Task 1. ClusterClient

ဖြန့်ဝေမှုစနစ်၏ N အလေးချိန်ထပ်တူပုံစံများမှ K ၏ထိရောက်သောရွေးချယ်မှုအတွက် အယ်လဂိုရီသမ်တစ်ခုကို အဆိုပြုရန် လိုအပ်သည်-

သင့်အဖွဲ့သည် N node များ အမြောက်အမြား ဖြန့်ဝေထားသော အစုအဝေးတစ်ခုအတွက် ကလိုင်းယင့်ဒစ်ဂျစ်တိုက်တစ်ခုကို တီထွင်ရန် တာဝန်ပေးထားသည်။ စာကြည့်တိုက်သည် node များနှင့်ဆက်စပ်နေသည့် အမျိုးမျိုးသော metadata များကို ခြေရာခံပြီး (ဥပမာ၊ ၎င်းတို့၏ latencies၊ 4xx/5xx တုံ့ပြန်မှုနှုန်းများ စသည်ဖြင့်) ကို မှတ်သားထားပြီး floating point weights W1..WN ကို ၎င်းတို့အား သတ်မှတ်ပေးမည်ဖြစ်သည်။ တစ်ပြိုင်တည်း အကောင်အထည်ဖော်မှုဗျူဟာကို ပံ့ပိုးရန်အတွက်၊ စာကြည့်တိုက်သည် K ၏ N node များကို ကျပန်းရွေးချယ်နိုင်သင့်သည်၊ ရွေးချယ်ခံရနိုင်သည့်အခွင့်အရေးသည် node ၏အလေးချိန်နှင့်အချိုးကျသင့်သည်။

node များကို ထိရောက်စွာရွေးချယ်ရန် algorithm တစ်ခုကို အဆိုပြုပါ။ ကြီးမားသော O အမှတ်အသားကို အသုံးပြု၍ ၎င်း၏ တွက်ချက်မှုဆိုင်ရာ ရှုပ်ထွေးမှုကို ခန့်မှန်းပါ။

ဘာကြောင့် အားလုံး အင်္ဂလိပ်လို ဖြစ်နေတာလဲ။

အဘယ်ကြောင့်ဆိုသော် ဤပုံစံဖြင့် ညီလာခံတက်ရောက်သူများသည် ၎င်းတို့နှင့်အတူ တိုက်ပွဲဝင်ခဲ့ကြပြီး အင်္ဂလိပ်သည် ဟိုက်ဒရာ၏ တရားဝင်ဘာသာစကားဖြစ်သောကြောင့် ဖြစ်သည်။ အလုပ်များကို ဤကဲ့သို့ကြည့်ရသည်-

စာရွက်နဲ့ ခဲတံကိုယူ၊ တွေးပါ၊ spoiler ကိုချက်ချင်းဖွင့်ဖို့ အလျင်စလိုမလုပ်ပါနဲ့🙂

အဖြေရှာ (ဗီဒီယို) လေ့လာခြင်း

5:53 တွင် စတင်၍ 4 မိနစ်သာ

ပြီးတော့ ဒီပုံပါဇယားပါရှိတဲ့ ယောက်ျားလေးတွေက သူတို့ရဲ့အဖြေကို ဘယ်လိုဖန်တီးခဲ့ကြသလဲ၊

အဖြေ (စာသား) လေ့လာခြင်း

အောက်ပါဖြေရှင်းချက်သည် မျက်နှာပြင်ပေါ်တွင် တည်ရှိသည်- ပုံတူအားလုံး၏အလေးချိန်များကို ပေါင်းစည်းပါ၊ 0 မှ အလေးချိန်အားလုံး၏ပေါင်းလဒ်အထိ ကျပန်းနံပါတ်တစ်ခုထုတ်ပေးပါ၊ ထို့နောက် ပုံတူအလေးချိန် 0 မှ (i-1)th ရှိသော i-replica ကိုရွေးချယ်ပါ။ ကျပန်းနံပါတ်ထက်နည်းပြီး 0 မှ i-th မှ ပုံတူအလေးများ၏ ပေါင်းလဒ်သည် ၎င်းထက် ပိုများသည်။ ထို့ကြောင့် ပုံတူတစ်ခုကို ရွေးရန် ဖြစ်နိုင်ပြီး နောက်တစ်ခုကို ရွေးရန်၊ ရွေးချယ်ထားသော ပုံစံတူကို မစဉ်းစားဘဲ လုပ်ထုံးလုပ်နည်းတစ်ခုလုံးကို ထပ်လုပ်ရန် လိုအပ်သည်။ ထိုကဲ့သို့သော အယ်လဂိုရီသမ်ဖြင့်၊ ပုံတူတစ်ခုကို ရွေးချယ်ရာတွင် ရှုပ်ထွေးမှုသည် O(N)၊ K ပုံတူများကို ရွေးချယ်ရာတွင် ရှုပ်ထွေးမှုသည် O(N K) ~ O(N2) ဖြစ်သည်။

Quadratic ရှုပ်ထွေးမှုသည် ဆိုးရွားသော်လည်း ပိုမိုကောင်းမွန်အောင် ပြုလုပ်နိုင်သည်။ ဒီလိုလုပ်ဖို့ ကျွန်တော်တို့ တည်ဆောက်မယ်။ အပိုင်းသစ်ပင် အလေးချိန်၏ပေါင်းစုများအတွက်။ အရွက်များတွင် ပုံတူအလေးများပါရှိမည်ဖြစ်ပြီး အရွက်များတွင် အနက်တစ်ပိုင်း lg N ကိုရရှိမည်ဖြစ်ပြီး ကျန်ရှိသော node များတွင် အပင်၏အမြစ်ရှိ အလေးချိန်အားလုံး၏ပေါင်းလဒ်အထိဖြစ်သည်။ ထို့နောက်၊ ကျွန်ုပ်တို့သည် 0 မှ အလေးချိန်အားလုံး၏ပေါင်းလဒ်အထိ ကျပန်းနံပါတ်တစ်ခုထုတ်ပေးသည်၊ i-th ပုံစံတူကိုရှာပါ၊ ၎င်းကိုသစ်ပင်မှဖယ်ရှားကာ ကျန်ပုံတူများကိုရှာဖွေရန် လုပ်ငန်းစဉ်ကိုပြန်လုပ်ပါ။ ဤ algorithm ဖြင့် သစ်ပင်တစ်ပင်တည်ဆောက်ခြင်း၏ ရှုပ်ထွေးမှုသည် O(N)၊ i-th ပုံစံတူကို ရှာဖွေခြင်းနှင့် သစ်ပင်မှဖယ်ရှားခြင်း၏ ရှုပ်ထွေးမှုသည် O(lg N)၊ K ပုံတူများကို ရွေးချယ်ခြင်း၏ ရှုပ်ထွေးမှုသည် O(N + K) ဖြစ်သည်။ lg N) ~ O(N lg N) ။

linear-log ရှုပ်ထွေးမှုသည် အထူးသဖြင့် K ကြီးများအတွက် quadratic complexity ထက် ပိုကောင်းပါတယ်။

ဒါက ဒီ algorithm ပါ။ ကုဒ်တွင်အကောင်အထည်ဖော်သည်။ "ပရောဂျက်မှ ClusterClient စာကြည့်တိုက်များ၊အရှေ့” . (ထိုနေရာတွင် သစ်ပင်ကို O(N lg N) ဖြင့်တည်ဆောက်ထားသော်လည်း ၎င်းသည် algorithm ၏နောက်ဆုံးရှုပ်ထွေးမှုကို မထိခိုက်စေပါ။)

Task 2. မြင်းကျား

မမ်မိုရီအတွင်း စာရွက်စာတမ်းများကို တိကျစွာ အညွှန်းမဟုတ်သော အကွက်တစ်ခုဖြင့် ထိရောက်စွာ စီခွဲရန်အတွက် အယ်လဂိုရီသမ်တစ်ခုကို အဆိုပြုရန် လိုအပ်သည်-

သင့်အဖွဲ့သည် ခွဲစိပ်ထားသော မှတ်ဉာဏ်အတွင်း စာရွက်စာတမ်းဒေတာဘေ့စ်ကို ဖန်တီးရန် တာဝန်ပေးထားသည်။ ယေဘူယျအလုပ်ဝန်သည် အရွယ်အစား M အစုအဝေးမှ မထင်သလို (အညွှန်းမဟုတ်သော) ဂဏန်းအကွက်ဖြင့် စီထားသော ထိပ်တန်း N စာရွက်စာတမ်းများကို ရွေးရန်ဖြစ်သည် (ပုံမှန်အားဖြင့် N < 100 << M)။ ထိပ်တန်း S စာရွက်စာတမ်းများ (S ~ N) ကို ကျော်သွားပြီးနောက် ထိပ်တန်း N ကို ရွေးရန် အနည်းငယ်နည်းသည့် အလုပ်တာဝန်ဖြစ်သည်။

ထိုသို့သောမေးခွန်းများကို ထိရောက်စွာလုပ်ဆောင်ရန် algorithm တစ်ခုကို အဆိုပြုပါ။ ပျမ်းမျှကိစ္စရပ်နှင့် အဆိုးဆုံးအခြေအနေများတွင် O notation ကြီးများကို အသုံးပြု၍ ၎င်း၏တွက်ချက်မှုဆိုင်ရာ ရှုပ်ထွေးမှုကို ခန့်မှန်းပါ။

အဖြေရှာ (ဗီဒီယို) လေ့လာခြင်း

34:50 တွင် စတင်၍ 6 မိနစ်သာ

အဖြေ (စာသား) လေ့လာခြင်း

မျက်နှာပြင်ဖြေရှင်းချက်- စာရွက်စာတမ်းများအားလုံးကို စီပါ (ဥပမာ နှင့် အမြန်ဆုံး) ထို့နောက် N+S စာရွက်စာတမ်းများကိုယူပါ။ ဤကိစ္စတွင်၊ စီခြင်း၏ရှုပ်ထွေးမှုသည် ပျမ်းမျှ O(M lg M) တွင် အဆိုးဆုံး O(M2) ဖြစ်သည်။

M စာရွက်စာတမ်းများအားလုံးကို စီခွဲပြီးနောက် ၎င်းတို့ထဲမှ အနည်းငယ်ကိုသာ ယူခြင်းသည် ထိရောက်မှုမရှိသည်မှာ ထင်ရှားပါသည်။ စာရွက်စာတမ်းများအားလုံးကို စီရန်မဟုတ်စေရန်အတွက် algorithm တစ်ခုသည် သင့်လျော်ပါသည်။ အမြန်ရွေးချယ်ပါ။လိုချင်သောစာရွက်စာတမ်းများ၏ N+S ကိုရွေးချယ်မည် (၎င်းတို့ကို မည်သည့် algorithm ဖြင့်စီမည်)။ ဤအခြေအနေတွင်၊ ရှုပ်ထွေးမှုသည် ပျမ်းမျှအားဖြင့် O(M) သို့ လျော့ကျသွားမည်ဖြစ်ပြီး အဆိုးဆုံးအခြေအနေမှာ တူညီနေမည်ဖြစ်သည်။

သို့သော် သင်သည် ၎င်းကို ပို၍ထိရောက်စွာ လုပ်ဆောင်နိုင်သည် - algorithm ကိုသုံးပါ။ binary heap လွှင့်ခြင်း။. ဤကိစ္စတွင်၊ ပထမ N+S စာရွက်စာတမ်းများကို min- သို့မဟုတ် max-heap (အမျိုးအစားခွဲရန် ဦးတည်ချက်အပေါ်မူတည်၍) ပေါင်းထည့်ထားပြီး၊ ထို့နောက် လက်ရှိ အနည်းဆုံး သို့မဟုတ် အများဆုံး စာရွက်စာတမ်းပါရှိသော သစ်ပင်၏ အမြစ်နှင့် နှိုင်းယှဉ်ပြီး နောက်တစ်ခုစီကို စာရွက်စာတမ်း၊ လိုအပ်ရင် သစ်ပင်မှာထည့်.. ဤကိစ္စတွင်၊ အဆိုးဆုံးအခြေအနေတွင်၊ သင်သည် သစ်ပင်ကို အဆက်မပြတ် ပြန်လည်တည်ဆောက်ရသည့်အခါတွင် ရှုပ်ထွေးမှုသည် O(M lg M)၊ ပျမ်းမျှအားဖြင့် ရှုပ်ထွေးမှုသည် O(M) ကို အမြန်ရွေးချယ်သကဲ့သို့ဖြစ်သည်။

သို့သော်၊ လက်တွေ့တွင် စာရွက်စာတမ်းအများစုကို ၎င်း၏အမြစ်ဒြပ်စင်နှင့် နှိုင်းယှဉ်ပြီးနောက် အမှိုက်ပုံအား ပြန်လည်တည်ဆောက်ခြင်းမပြုဘဲ လွှင့်ပစ်နိုင်သောကြောင့် heap streaming သည် ပိုမိုထိရောက်ပါသည်။ ဤကဲ့သို့ စီခြင်းအား Kontur တွင် တီထွင်ပြီး အသုံးပြုသည့် Zebra in-memory document database တွင် အကောင်အထည်ဖော်ပါသည်။

လုပ်ဆောင်စရာ ၃။ ပြည်နယ် လဲလှယ်မှုများ

အပြောင်းအရွှေ့အခြေအနေများအတွက် အထိရောက်ဆုံး algorithm ကို အဆိုပြုရန် လိုအပ်ပါသည်။

သင့်အဖွဲ့သည် N node များ၏ ဖြန့်ဝေမှုအစုအဝေးအတွက် ဖန်စီပြည်နယ် လဲလှယ်ရေးယန္တရားကို ဖော်ဆောင်ရန် တာဝန်ပေးထားသည်။ i-th node ၏ အခြေအနေအား (i+1)-th node သို့ လွှဲပြောင်းသင့်သည်၊ N-th node ၏အခြေအနေကို ပထမ node သို့ လွှဲပြောင်းသင့်သည်။ node နှစ်ခုသည် ၎င်းတို့၏ပြည်နယ်များကို atomically ဖလှယ်သောအခါတွင် တစ်ခုတည်းသော လုပ်ဆောင်မှုမှာ state swap ဖြစ်သည်။ state swap သည် M မီလီစက္ကန့် ကြာကြောင်း သိရှိရပါသည်။ Node တိုင်းသည် သတ်မှတ်ထားသော အခိုက်အတန့်တွင် state swap တစ်ခုတည်းတွင် ပါဝင်နိုင်သည်။

အစုအဝေးတစ်ခုရှိ node များအားလုံးကို လွှဲပြောင်းရန် အချိန်မည်မျှကြာသနည်း။

အဖြေ (စာသား) လေ့လာခြင်း

မျက်နှာပြင်ဖြေရှင်းချက်- ပထမနှင့်ဒုတိယဒြပ်စင်များ၏ပြည်နယ်များကိုဖလှယ်ပါ၊ ထို့နောက်ပထမနှင့်တတိယ၊ ထို့နောက်ပထမနှင့်စတုတ္ထနှင့်အခြားအရာများကိုဖလှယ်ပါ။ လဲလှယ်မှုတစ်ခုစီပြီးနောက်၊ ဒြပ်စင်တစ်ခု၏အခြေအနေသည် လိုချင်သောအနေအထားတွင်ရှိလိမ့်မည်။ O(N) ပြောင်းလဲမှုများ ပြုလုပ်ပြီး O(N M) အချိန်ကို သုံးစွဲရပါမည်။

တစ်ပြေးညီအချိန်သည် ရှည်သောကြောင့် သင်သည် ဒြပ်စင်များ၏ ပြည်နယ်များကို အတွဲများဖြင့် ဖလှယ်နိုင်သည်- ပထမနှင့် ဒုတိယ၊ တတိယနှင့် စတုတ္ထ၊ စသည်ဖြင့်။ ပြည်နယ်တစ်ခုချင်းဖလှယ်ပြီးနောက်၊ ဒုတိယအစိတ်အပိုင်းတိုင်းသည် မှန်ကန်သောအနေအထားတွင် ရှိနေမည်ဖြစ်သည်။ O(lg N) အပြောင်းအလဲများကို ပြုလုပ်ပြီး O(M lg N) အချိန်ကို သုံးစွဲရပါမည်။

သို့သော်၊ အပြောင်းအရွှေ့ကို linear တွင်မဟုတ်ဘဲ၊ အဆက်မပြတ်အချိန်အတွင်း ပိုမိုထိရောက်အောင်ပြုလုပ်နိုင်သည်။ ဒါကိုလုပ်ဖို့၊ ပထမအဆင့်မှာ၊ ပထမဒြပ်စင်ရဲ့အခြေအနေကို နောက်ဆုံးတစ်ခု၊ ဒုတိယတစ်ခုနဲ့ နောက်ဆုံးတစ်ခု၊ စသည်ဖြင့် ဖလှယ်ဖို့လိုအပ်ပါတယ်။ နောက်ဆုံးဒြပ်စင်၏ အခြေအနေသည် မှန်ကန်သောအနေအထားတွင် ရှိနေမည်ဖြစ်သည်။ ယခု ကျွန်ုပ်တို့သည် ဒုတိယဒြပ်စင်၏ အခြေအနေကို နောက်ဆုံးတစ်ခု၊ တတိယတစ်ခုနှင့် နောက်ဆုံးတစ်ခုနှင့် အခြားအရာနှင့် လဲလှယ်ရန် လိုအပ်ပါသည်။ ဤအလှည့်အပြောင်းပြီးနောက်၊ ဒြပ်စင်အားလုံး၏ပြည်နယ်များသည် မှန်ကန်သောအနေအထားတွင်ရှိလိမ့်မည်။ စုစုပေါင်း O(2M) ~ O(1) ပြောင်းလဲမှုများ ရှိပါမည်။

ထိုသို့သောအဖြေသည် လည်ပတ်မှုတစ်ခုသည် axial symmetries နှစ်ခု၏ ပေါင်းစပ်မှုတစ်ခုဖြစ်ကြောင်း မှတ်မိနေသေးသော သင်္ချာပညာရှင်တစ်ဦးအား အံ့သြမည်မဟုတ်ပါ။ စကားမစပ်၊ ၎င်းကို တစ်လုံးချင်းမဟုတ်ဘဲ K < N ရာထူးများဖြင့် ပြောင်းလဲမှုအတွက် အသေးအဖွဲဟု ယေဘုယျအားဖြင့် အဓိပ္ပာယ်ဖွင့်ဆိုထားသည်။ (အတိအကျလုပ်နည်းကို comment မှာရေးပေးပါ။)

ပဟေဠိတွေကို ကြိုက်လား။ အခြားဖြေရှင်းနည်းများကို သင်သိပါသလား။ မှတ်ချက်များတွင်မျှဝေပါ။

ဤသည်မှာ အဆုံးတွင် အသုံးဝင်သောလင့်ခ်အချို့ဖြစ်သည်။

• အကြောင်းပိုမိုလေ့လာပါ။ အခြေခံအဆောက်အအုံ ဖွံ့ဖြိုးတိုးတက်ရေး အသွင်အပြင်
• အတွင်းပိုင်းမှတ်တမ်းများကိုကြည့်ပါ။ အစီရင်ခံစာများနှင့်အတူလက်ကမ်းကြော်ငြာ ဖြန့်ဝေမှုစနစ်များအကြောင်း
• ဗီဒီယို သင်ခန်းစာများကို ကြည့်ရှုပါ။သာမန်လူများအတွက် ပုံမှန်မဟုတ်သော algorithms»
• ကျွန်တော်တို့ရဲ့စာရင်းသွင်းပါ။ Telegram တွင် ချန်နယ်

source: www.habr.com