Bioyino - ဖြန့်ဝေနိုင်သော၊ အရွယ်တင်နိုင်သော မက်ထရစ်များ စုစည်းမှု

ထို့ကြောင့် သင်သည် မက်ထရစ်များကို စုဆောင်းပါ။ ကျွန်တော်ကတော့ အတိုင်းပါပဲ။ ကျွန်ုပ်တို့သည်လည်း မက်ထရစ်များကို စုဆောင်းပါသည်။ စီးပွားရေးအတွက် လိုအပ်တာတော့ ဟုတ်ပါတယ်။ ယနေ့ကျွန်ုပ်တို့၏စောင့်ကြည့်ရေးစနစ်၏ပထမဆုံးလင့်ခ်အကြောင်းပြောပါမည် - statsd-သဟဇာတပေါင်းစည်းဆာဗာ bioyinoငါတို့ဘာလို့ရေးခဲ့တာလဲ၊ ဘာကြောင့် brubeck ကို စွန့်လွှတ်တာလဲ။

ကျွန်ုပ်တို့၏ ယခင်ဆောင်းပါးများမှ (1, 2) ကျွန်ုပ်တို့အသုံးပြု၍ အမှတ်အသားများကို အချိန်အတန်ကြာသည်အထိ ရှာဖွေတွေ့ရှိနိုင်ပါသည်။ ကဗျာ. ၎င်းကို C ဖြင့် ရေးထားသည်။ ကုဒ်အမြင်အရ၊ ၎င်းသည် ပလပ်တစ်ခုကဲ့သို့ ရိုးရှင်းပါသည် (သင်ပါဝင်ကူညီလိုသည့်အခါတွင် အရေးကြီးသည်) နှင့် အရေးအကြီးဆုံးမှာ၊ ၎င်းသည် ကျွန်ုပ်တို့၏ volumes per second (MPS) 2 million metrics (MPS) ကို အထွတ်အထိပ်ရောက်ချိန်တွင် ကိုင်တွယ်ပေးသည် မည်သည့်ပြဿနာမျှမရှိဘဲ။ စာတမ်းတွင် ကြယ်ပွင့်ဖြင့် MPS 4 သန်းကို ပံ့ပိုးပေးသည်ဟု ဖော်ပြထားသည်။ ဆိုလိုသည်မှာ သင်သည် Linux တွင် ကွန်ရက်ကို မှန်ကန်စွာ ပြင်ဆင်သတ်မှတ်ပါက ဖော်ပြထားသော ကိန်းဂဏန်းကို ရရှိမည်ဖြစ်သည်။ (ကွန်ရက်မှ ထွက်ပါက MPS မည်မျှရနိုင်သည်ကို ကျွန်ုပ်တို့ မသိပါ)။ ဤအားသာချက်များကြားမှ၊ ကျွန်ုပ်တို့သည် brubeck နှင့် ပတ်သက်၍ လေးနက်သောတိုင်ကြားချက်များစွာရှိခဲ့ပါသည်။

တောင်းဆိုချက် ၁။ ပရောဂျက်၏ developer ဖြစ်သော Github သည် ၎င်းကို မပံ့ပိုးတော့ဘဲ ဖာထေးမှုများ ထုတ်ဝေခြင်းနှင့် ပြင်ဆင်ခြင်းများ ပြုလုပ်ခြင်း၊ ကျွန်ုပ်တို့၏ လက်ခံခြင်းနှင့် (ကျွန်ုပ်တို့သာမဟုတ်) PR ဖြစ်သည်။ ပြီးခဲ့သောလအနည်းငယ်အတွင်း (ဖေဖော်ဝါရီလမှ မတ် 2018 ခုနှစ်အတွင်း) လှုပ်ရှားမှုများ ပြန်လည်စတင်ခဲ့သော်လည်း 2 နှစ်နီးပါးကြာအောင် ငြိမ်သက်သွားခဲ့သည်။ ထို့အပြင် စီမံကိန်းကို ဖော်ဆောင်လျက်ရှိသည်။ အတွင်းပိုင်း Gihub လိုအပ်ချက်များအတွက်အင်္ဂါရပ်အသစ်များကို မိတ်ဆက်ခြင်းအတွက် ကြီးမားသောအတားအဆီးဖြစ်လာနိုင်သည်။

တောင်းဆိုချက် ၁။ တွက်ချက်မှုများ၏တိကျမှု။ Brubeck သည် စုစုပေါင်းတန်ဖိုး 65536 ကို စုစည်းထားသည်။ ကျွန်ုပ်တို့၏အခြေအနေတွင်၊ အချို့သောမက်ထရစ်များအတွက်၊ ပေါင်းစပ်ကာလ (30 စက္ကန့်အတွင်း)၊ များစွာသောတန်ဖိုးများသည် အထွတ်အထိပ်သို့ရောက်ရှိနိုင်သည် (1)။ ဤနမူနာ၏ရလဒ်အနေဖြင့် အမြင့်ဆုံးနှင့် အနိမ့်ဆုံးတန်ဖိုးများသည် အသုံးမဝင်တော့ပေ။ ဥပမာ၊ ဤကဲ့သို့သော၊

ဒါကြောင့်ဖြစ်သကဲ့သို့

ဘယ်လိုဖြစ်သင့်လဲ။

တူညီသောအကြောင်းကြောင့် ပမာဏများကို ယေဘုယျအားဖြင့် မှားယွင်းစွာ တွက်ချက်ပါသည်။ အပြစ်ကင်းသည်ဟုထင်ရသောမက်ထရစ်ကိုလက်ခံရရှိသောအခါ ယေဘုယျအားဖြင့် ဆာဗာအား segfault သို့ပေးပို့သည့် 32-bit float ပြည့်လျှံမှုနှင့်အတူ bug တစ်ခုကို ဤနေရာတွင်ထည့်ပါ၊ အရာအားလုံးသည် ကောင်းမွန်လာပါသည်။ ချို့ယွင်းချက်အား မပြုပြင်ရသေးပါ။

နောက်ဆုံးတော့ X ကို တောင်းဆိုသည်။. စာရေးနေစဉ်တွင်၊ ကျွန်ုပ်တို့ ရှာဖွေနိုင်ခဲ့သည့် လုပ်ဆောင်နိုင်သော statsd အကောင်အထည်ဖော်မှု 14 ခုလုံးကို တင်ပြရန် အသင့်ဖြစ်နေပါပြီ။ MPS 4 သန်းကို လက်ခံရန် မလုံလောက်တော့သည့် တစ်ခုတည်းသော အခြေခံအဆောက်အအုံအချို့ တိုးတက်လာသည်ဟု စိတ်ကူးကြည့်ကြပါစို့။ သို့မဟုတ် မကြီးထွားသေးလျှင်ပင်၊ သို့သော် မက်ထရစ်များသည် သင့်အတွက် အလွန်အရေးကြီးနေပြီဖြစ်သောကြောင့် ဇယားကွက်များတွင် တိုတောင်းသော 2-3 မိနစ်ကြာသည့်တိုင် ကျဆင်းမှုသည် အရေးကြီးပြီး မန်နေဂျာများကြားတွင် မဖြတ်နိုင်သော စိတ်ဓာတ်ကျခြင်းများကို ဖြစ်ပေါ်စေပါသည်။ စိတ်ဓာတ်ကျခြင်းကို ကုသခြင်းသည် ကျေးဇူးမကင်းသော အလုပ်ဖြစ်သောကြောင့် နည်းပညာပိုင်းဆိုင်ရာ ဖြေရှင်းမှုများ လိုအပ်ပါသည်။

ပထမဦးစွာ၊ ဆာဗာပေါ်တွင်ရုတ်တရက်ပြဿနာတစ်ခုသည်ရုံးတွင်စိတ်ရောဂါဖုတ်ကောင်ရုပ်ပွားခြင်းကိုမဖြစ်စေရန်အတွက်အမှားသည်းခံမှုဖြစ်သည်။ ဒုတိယအနေဖြင့်၊ Linux ကွန်ရက်အစုအဝေးတွင် နက်ရှိုင်းစွာ မတူးဖော်ဘဲ လိုအပ်သည့်အရွယ်အစားအထိ “အနံ” ကို အေးဆေးစွာ ကြီးထွားခြင်းမရှိဘဲ MPS 4 သန်းကျော်ကို လက်ခံနိုင်စေရန် ချဲ့ထွင်ခြင်း ဖြစ်သည်။

ကျွန်ုပ်တို့တွင် အတိုင်းအတာတစ်ခုအထိ နေရာလွတ်ရှိသောကြောင့်၊ အမှားခံနိုင်ရည်ဖြင့် စတင်ရန် ဆုံးဖြတ်ခဲ့သည်။ "အကြောင်း! အမှားခံနိုင်မှု။ ရိုးရှင်းပါတယ်၊ ငါတို့လုပ်နိုင်တယ်” ဟုကျွန်ုပ်တို့တွေးပြီး ဆာဗာ 2 ခုကိုဖွင့်ကာ တစ်ခုစီတွင် brubeck ၏မိတ္တူကိုတင်ပါသည်။ ထိုသို့လုပ်ဆောင်ရန်၊ ကျွန်ုပ်တို့သည် ဆာဗာနှစ်ခုလုံးသို့ မက်ထရစ်များနှင့်အတူ အသွားအလာများကို ကူးယူကာ ၎င်းအတွက်ပင် ရေးသားခဲ့ရပါသည်။ သေးငယ်သောအသုံးဝင်မှု. ဒါကို အမှားခံနိုင်ရည်ရှိမှု ပြဿနာကို ကျွန်တော်တို့ ဖြေရှင်းခဲ့ပေမယ့်... သိပ်တော့ အဆင်မပြေပါဘူး။ အစပိုင်းတွင် အရာအားလုံးကောင်းမွန်ပုံပေါ်သည်- brubeck တစ်ခုစီသည် ၎င်း၏ကိုယ်ပိုင်ဗားရှင်းကို စုစည်းပြီး ဒေတာများကို စက္ကန့် 30 တိုင်း Graphite သို့ စာရေးကာ၊ ကြားကာလဟောင်းကို ထပ်ရေးသည် (၎င်းကို Graphite ဘက်တွင် လုပ်ဆောင်သည်)။ အကယ်၍ ဆာဗာတစ်ခု ရုတ်တရက် ပျက်ကွက်ပါက၊ ကျွန်ုပ်တို့တွင် စုစည်းထားသော ဒေတာ၏ ကိုယ်ပိုင်မိတ္တူနှင့်အတူ ဒုတိယတစ်ခု အမြဲရှိသည်။ သို့သော်ဤတွင်ပြဿနာဖြစ်ပါသည်- ဆာဗာပျက်ကွက်လျှင်ဂရပ်များပေါ်တွင် "saw" ပေါ်လာသည်။ ၎င်းမှာ brubeck ၏ စက္ကန့် 30-ကြားကာလများကို ထပ်တူပြု၍မရသောကြောင့်၊ ပျက်ကျသွားသည့်အချိန်တွင် ၎င်းတို့ထဲမှ တစ်ခုကို ထပ်မရေးထားခြင်းကြောင့်ဖြစ်သည်။ ဒုတိယဆာဗာစတင်သောအခါတွင်၊ တူညီသောအရာဖြစ်လိမ့်မည်။ တော်တော်သည်းခံနိုင်ပေမယ့် ပိုကောင်းချင်တယ်! ကျွမ်းကျင်ပိုင်နိုင်မှု ပြဿနာက ပျောက်မသွားပါဘူး။ မက်ထရစ်များအားလုံးသည် ဆာဗာတစ်ခုတည်းသို့ “ပျံသန်း” ဆဲဖြစ်သောကြောင့် ကွန်ရက်အဆင့်ပေါ်မူတည်၍ တူညီသော MPS 2-4 သန်းအထိ ကန့်သတ်ထားသည်။

ပြဿနာအကြောင်းကို အနည်းငယ်စဉ်းစားပြီး တစ်ချိန်တည်းမှာပင် ဂေါ်ပြားဖြင့် နှင်းများကို တူးဖော်ပါက၊ အောက်ပါ သိသာထင်ရှားသော အကြံဉာဏ်ကို သတိရမိနိုင်သည်- သင်သည် ဖြန့်ဝေမုဒ်တွင် လုပ်ဆောင်နိုင်သော statsd တစ်ခု လိုအပ်ပါသည်။ ဆိုလိုသည်မှာ၊ အချိန်နှင့် မက်ထရစ်များကြားတွင် node များကြား ထပ်တူပြုခြင်းကို အကောင်အထည်ဖော်သည့် တစ်ခုဖြစ်သည်။ “ဟုတ်ပါတယ်၊ ဒီလိုဖြေရှင်းချက်မျိုး ရှိပြီးသားဖြစ်ကောင်းဖြစ်နိုင်ပါတယ်” ဟု ကျွန်ုပ်တို့ပြောပြီး Google သို့သွားခဲ့သည်။ သူတို့ ဘာမှမတွေ့ဘူး။ မတူညီသော statsd အတွက်စာရွက်စာတမ်းများကိုဖြတ်သန်းပြီးနောက် (https://github.com/etsy/statsd/wiki#server-implementations ဒီဇင်ဘာလ 11.12.2017 ရက်၊ XNUMX) တွင်ကျွန်ုပ်တို့လုံးဝဘာမှမတွေ့ပါ။ ထင်ရှားသည်မှာ၊ ဆော့ဖ်ဝဲရေးသားသူများနှင့် ဤဖြေရှင်းချက်အသုံးပြုသူများသည် ဤမျှလောက်များပြားသော မက်ထရစ်များကို မကြုံတွေ့ရသေးပါ၊ မဟုတ်ပါက ၎င်းတို့သည် တစ်ခုခုကို သေချာပေါက် ပေါ်လာမည်ဖြစ်သည်။

ထို့နောက် Just for Fun hackathon (ပရောဂျက်၏အမည်ကို hackathon မစတင်မီ script မှထုတ်ပေးသည်) တွင်ရေးသားခဲ့သော "အရုပ်" statsd - bioyino အကြောင်း သတိရပြီး ကျွန်ုပ်တို့၏ကိုယ်ပိုင် statsd များအရေးတကြီးလိုအပ်ကြောင်း သိရှိလိုက်ရပါသည်။ ဘာအတွက်လဲ?

• ကမ္ဘာပေါ်တွင် statsd clones နည်းပါးလွန်းသောကြောင့်၊
• အဘယ်ကြောင့်ဆိုသော် ၎င်းသည် အလိုရှိသော သို့မဟုတ် နီးစပ်မှုကို ပေးစွမ်းနိုင်သောကြောင့် (ဆာဗာများအကြား စုစည်းမက်ထရစ်များကို ထပ်တူပြုခြင်းနှင့် ပဋိပက္ခများ ပေးပို့ခြင်းပြဿနာကို ဖြေရှင်းခြင်းအပါအဝင်)၊
• brubeck ထက် မက်ထရစ်များကို ပိုမိုတိကျစွာ တွက်ချက်နိုင်သောကြောင့်၊
• brubeck သည် ကျွန်ုပ်တို့အား လက်တွေ့ကျကျ မဖြည့်ဆည်းပေးနိုင်သောကြောင့် သင်သည် ပိုမိုအသေးစိတ်ကိန်းဂဏန်းများကို သင်ကိုယ်တိုင်စုဆောင်းနိုင်သောကြောင့်၊
• ဘာကြောင့်လဲ ဆိုတော့ ကျွန်တော့်မှာ ကိုယ်ပိုင် hyperperformance ဖြန့်ဝေတဲ့ စကေးဓာတ်ခွဲခန်း အက်ပလီကေးရှင်းကို ပရိုဂရမ်လုပ်ခွင့် ရခဲ့တယ်၊ အဘယ်ကြောင့်ဆိုသော် ကျွန်ုပ်သည် အခြား အလားတူ hyperfor ၏ ဗိသုကာလက်ရာကို လုံးလုံးလျားလျား ပြန်လုပ်မည်မဟုတ်သောကြောင့် ဖြစ်သည်။

ဘာရေးရမလဲ။ ဟုတ်ပါတယ်, Rust ။ အဘယ်ကြောင့်?

• ရှေ့ပြေးပုံစံဖြေရှင်းချက်ရှိနေပြီဖြစ်သောကြောင့်၊
• ဆောင်းပါးရေးသားသူသည် ထိုအချိန်က Rust ကို သိထားပြီးဖြစ်၍ ၎င်းကို open-source တွင်ထည့်ခွင့်ရရှိကာ ထုတ်လုပ်ရန်အတွက် တစ်ခုခုရေးရန် စိတ်အားထက်သန်နေသောကြောင့်၊
• အဘယ်ကြောင့်ဆိုသော် GC ပါသော ဘာသာစကားများသည် လက်ခံရရှိသည့်လမ်းကြောင်း၏ သဘောသဘာဝကြောင့် (အချိန်နှင့်တပြေးညီနီးပါး) နှင့် GC ခေတ္တရပ်ခြင်းကို လက်တွေ့အားဖြင့် လက်မခံနိုင်သောကြောင့်၊
• အဘယ်ကြောင့်ဆိုသော် သင်သည် C နှင့် ယှဉ်နိုင်သော စွမ်းဆောင်ရည် အများဆုံး လိုအပ်သောကြောင့် ဖြစ်သည်။
• အဘယ်ကြောင့်ဆိုသော် Rust သည် ကျွန်ုပ်တို့အား မကြောက်မရွံ့သော တူညီသောငွေကြေးကို ပေးဆောင်ပြီး ၎င်းကို C/C++ တွင် စတင်ရေးသားပါက၊ ကျွန်ုပ်တို့သည် ပို၍ပင် အားနည်းချက်များ၊ ကြားခံလွှမ်းမိုးမှုများ၊ လူမျိုးရေးအခြေအနေများနှင့် brubeck ထက် အခြားကြောက်စရာကောင်းသော စကားလုံးများကို ရယူနိုင်မည်ဖြစ်သည်။

Rust နှင့် ပတ်သက်သည့် ငြင်းခုံမှုများလည်း ရှိခဲ့သည်။ ကုမ္ပဏီသည် Rust တွင် ပရောဂျက်များကို ဖန်တီးရာတွင် အတွေ့အကြုံမရှိပါ၊ ယခု ကျွန်ုပ်တို့သည် ၎င်းကို ပင်မပရောဂျက်တွင် အသုံးပြုရန် အစီအစဉ်မရှိပါ။ ထို့ကြောင့်၊ မည်သည့်အရာမျှ ပြေလည်သွားမည်ကို စိုးရိမ်မှုများရှိခဲ့သော်လည်း ကျွန်ုပ်တို့သည် အခွင့်အရေးတစ်ခုယူကာ ကြိုးစားရန် ဆုံးဖြတ်ခဲ့သည်။

အချိန်တွေကုန်သွားတယ်...

နောက်ဆုံးတွင် မအောင်မြင်သော အကြိမ်ပေါင်းများစွာ ကြိုးစားပြီးနောက်၊ ပထမဆုံး အလုပ်လုပ်သည့်ဗားရှင်းသည် အဆင်သင့်ဖြစ်နေပါပြီ။ ဘာဖြစ်တာလဲ? ဒါက ဘာဖြစ်တာလဲ။

node တစ်ခုစီသည် ၎င်း၏ကိုယ်ပိုင် မက်ထရစ်အစုံလိုက်များကို လက်ခံရရှိပြီး ၎င်းတို့ကို စုဆောင်းကာ နောက်ဆုံး စုစည်းမှုအတွက် ၎င်းတို့၏ အစုံအလင် လိုအပ်သည့် အမျိုးအစားများအတွက် မက်ထရစ်များကို စုစည်းမထားပေ။ node များကို ဖြန့်ဝေသောသော့ပရိုတိုကော တစ်မျိုးမျိုးဖြင့် တစ်ခုနှင့်တစ်ခု ချိတ်ဆက်ထားပြီး၊ ၎င်းတို့အနက်မှ တစ်ဦးတည်းသာ (ဤနေရာတွင် ကျွန်ုပ်တို့ ငိုသည်) ကို ရွေးချယ်နိုင်စေကာမူ Great One သို့ မက်ထရစ်များ ပေးပို့ရန် ထိုက်တန်သည်။ ဒီပြဿနာကို လောလောဆယ် ဖြေရှင်းပေးနေပါတယ်။ ကောင်စစ်ဝန်သို့သော် နောင်တွင် စာရေးသူ၏ ရည်မှန်းချက်များ တိုးလာသည်။ ကိုယ်ပိုင် အကောင်အထည်ဖော်ခြင်း။ အထိုက်တန်ဆုံးသူသည် အများဆန္ဒသဘောဆန္ဒအရ ခေါင်းဆောင်ဆုံမှတ်ဖြစ်မည့် နေရာဖြစ်သည်။ အများသဘောတူမှုအပြင်၊ node များသည် မကြာခဏ (ပုံသေအားဖြင့် တစ်စက္ကန့်လျှင် တစ်ကြိမ်) ၎င်းတို့၏အိမ်နီးနားချင်းများထံ ထိုစက္ကန့်အတွင်း ၎င်းတို့စုဆောင်းရန် ကြိုတင်စုစည်းထားသော မက်ထရစ်များ၏ အစိတ်အပိုင်းများကို ပို့ပေးပါသည်။ အတိုင်းအတာ ချဲ့ထွင်ခြင်းနှင့် အမှားခံနိုင်ရည်အား ထိန်းသိမ်းထားသည် - node တစ်ခုစီသည် မက်ထရစ်အစုံအလင်ကို အပြည့်အ၀ရရှိထားဆဲဖြစ်သော်လည်း မက်ထရစ်များကို TCP မှတစ်ဆင့် စုစည်းပြီး ပေးပို့ပြီး binary ပရိုတိုကောအဖြစ် ကုဒ်လုပ်ထားသောကြောင့် ထပ်တူကုန်ကျစရိတ်များကို UDP နှင့် နှိုင်းယှဉ်ပါက သိသိသာသာ လျော့ကျသွားပါသည်။ အဝင်မက်ထရစ်များ များပြားနေသော်လည်း စုဆောင်းမှုသည် အလွန်နည်းပါးသော memory နှင့် CPU ပင်လျော့နည်းနေရန် လိုအပ်သည်။ ကျွန်ုပ်တို့၏ အလွန်ချုံ့နိုင်သော ကုန်သွယ်မှုများအတွက်၊ ၎င်းသည် ဆယ်ဂဏန်းမဂ္ဂါဘိုက်ဒေတာမျှသာဖြစ်သည်။ အပိုဆုကြေးအနေဖြင့်၊ ကျွန်ုပ်တို့သည် burbeck ကဲ့သို့ပင် Graphite တွင် မလိုအပ်သောဒေတာများကို ပြန်လည်ရေးသားခြင်းမပြုရပါ။

မက်ထရစ်များပါရှိသော UDP packet များသည် ရိုးရှင်းသော Round Robin မှတဆင့် ကွန်ရက်စက်ပစ္စည်းရှိ node များအကြား ဟန်ချက်မညီပါ။ ဟုတ်ပါတယ်၊ ကွန်ရက်ဟာ့ဒ်ဝဲသည် ပက်ကတ်များ၏ အကြောင်းအရာများကို ခွဲခြမ်းစိတ်ဖြာခြင်းမပြုသောကြောင့် ၎င်းသည် ဘာမျှမသိသည့် မက်ထရစ်များကို ဖော်ပြခြင်းမပြုဘဲ တစ်စက္ကန့်လျှင် 4M ပက်ကတ်များထက် များစွာပို၍ ဆွဲယူနိုင်သည်။ အထုပ်တစ်ခုစီတွင် တစ်ကြိမ်လျှင် မက်ထရစ်များ တစ်ကြိမ်မလာဟု ထည့်သွင်းစဉ်းစားပါက၊ ဤနေရာ၌ စွမ်းဆောင်ရည် ပြဿနာတစ်စုံတစ်ရာကို ကျွန်ုပ်တို့ ကြိုမြင်မည်မဟုတ်ပါ။ ဆာဗာတစ်ခု ပျက်သွားပါက၊ ကွန်ရက်စက်ပစ္စည်းသည် ဤအချက်ကို လျင်မြန်စွာ (1-2 စက္ကန့်အတွင်း) ရှာဖွေတွေ့ရှိပြီး ပျက်စီးသွားသော ဆာဗာကို လည်ပတ်မှုမှ ဖယ်ရှားသည်။ ယင်း၏ရလဒ်အနေဖြင့်၊ passive (ဆိုလိုသည်မှာ ခေါင်းဆောင်မဟုတ်သော) node များကို ဇယားများတွင် နုတ်ထွက်မှုများကို သတိမထားမိဘဲ လက်တွေ့ကျကျ ဖွင့်နိုင်ပြီး ပိတ်နိုင်သည်။ ကျွန်ုပ်တို့ အများဆုံးရှုံးသည်မှာ နောက်ဆုံးစက္ကန့်တွင် ပါလာသည့် မက်ထရစ်များ၏ တစ်စိတ်တစ်ပိုင်းဖြစ်သည်။ ခေါင်းဆောင်တစ်ဦး၏ ရုတ်တရက် ဆုံးရှုံးမှု/ပိတ်သိမ်းခြင်း/ခလုတ်သည် သေးငယ်သော ကွဲလွဲမှုတစ်ခုကို ဖန်တီးနေဆဲဖြစ်သည် (စက္ကန့် 30 ကြားကာလသည် ထပ်တူကျနေသေးသည်)၊ သို့သော် node များကြားတွင် ဆက်သွယ်မှုများရှိနေပါက၊ ဥပမာအားဖြင့်၊ ထပ်တူပြုခြင်း packets များကို ပေးပို့ခြင်းဖြင့် ဤပြဿနာများကို လျှော့ချနိုင်သည် .

အတွင်းပိုင်းဖွဲ့စည်းပုံအကြောင်းအနည်းငယ်။ အပလီကေးရှင်းသည် ချည်မျှင်များစွာပါရှိသော်လည်း threading architecture သည် brubeck တွင်အသုံးပြုသည့်ပုံစံနှင့် ကွဲပြားသည်။ brubeck ရှိ thread များသည် တူညီသည် - ၎င်းတို့ တစ်ခုစီသည် အချက်အလက် စုဆောင်းခြင်းနှင့် စုစည်းမှု နှစ်ခုစလုံးအတွက် တာဝန်ရှိသည်။ bioyino တွင် အလုပ်သမားများကို ကွန်ရက်အတွက် တာဝန်ရှိသူများနှင့် စုစည်းမှုတာဝန်ရှိသူများဟူ၍ အုပ်စုနှစ်စုခွဲထားသည်။ ဤဌာနခွဲသည် သင့်အား မက်ထရစ်အမျိုးအစားများပေါ်မူတည်၍ အပလီကေးရှင်းကို ပိုမိုပျော့ပြောင်းစွာ စီမံခန့်ခွဲနိုင်စေသည်- ပြင်းထန်သော စုစည်းမှုလိုအပ်သည့်အခါ စုစည်းမှုများ ထည့်သွင်းနိုင်သည်၊ ကွန်ရက်အသွားအလာများသောနေရာတွင် ကွန်ရက်စီးဆင်းမှုအရေအတွက်ကို သင်ပေါင်းထည့်နိုင်သည်။ လောလောဆယ်တွင်၊ ကျွန်ုပ်တို့၏ဆာဗာများတွင် ကျွန်ုပ်တို့သည် ကွန်ရက် ၈ ခုနှင့် ပေါင်းစည်းမှုလမ်းကြောင်း ၄ ခုတွင် အလုပ်လုပ်ပါသည်။

ရေတွက်ခြင်း (စုစည်းမှုအတွက် တာဝန်ရှိသည်) အပိုင်းသည် ပျင်းစရာကောင်းသည်။ ကွန်ရက်စီးဆင်းမှုများဖြင့် ဖြည့်သွင်းထားသည့် ကြားခံများကို ရေတွက်သည့် စီးဆင်းမှုများကြားတွင် ဖြန့်ဝေထားပြီး ၎င်းတို့ကို နောက်ပိုင်းတွင် ခွဲခြမ်းစိပ်ဖြာပြီး စုစည်းထားသည်။ တောင်းဆိုချက်အရ၊ အခြား nodeများသို့ ပေးပို့ရန်အတွက် မက်ထရစ်များကို ပေးပါသည်။ node များကြား ဒေတာပေးပို့ခြင်းနှင့် Consul နှင့် လုပ်ဆောင်ခြင်းအပါအဝင်၊ ဤအရာအားလုံးကို မူဘောင်ပေါ်တွင် လုပ်ဆောင်နေခြင်း၊ Tokio.

မက်ထရစ်များကို လက်ခံရရှိရန် တာဝန်ရှိသော ကွန်ရက်အပိုင်းကြောင့် ဖွံ့ဖြိုးတိုးတက်မှုကာလအတွင်း နောက်ထပ်ပြဿနာများစွာ ဖြစ်ပွားခဲ့သည်။ ကွန်ရက်စီးဆင်းမှုအား သီးခြားအဖွဲ့အစည်းများသို့ ခွဲထုတ်ခြင်း၏ အဓိကပန်းတိုင်မှာ စီးဆင်းမှုတစ်ခု၏အချိန်ကို လျှော့ချလိုသောဆန္ဒဖြစ်သည်။ မဟုတ် socket မှဒေတာကိုဖတ်ရန်။ asynchronous UDP နှင့် ပုံမှန် recvmsg ကို အသုံးပြုထားသော ရွေးစရာများ လျင်မြန်စွာ ပျောက်ကွယ်သွားသည်- ပထမသည် ဖြစ်ရပ်လုပ်ဆောင်ခြင်းအတွက် အသုံးပြုသူ-နေရာကို CPU အလွန်အကျွံသုံးစွဲသည်၊ ဒုတိယမှာ ဆက်စပ်ခလုတ်များစွာ လိုအပ်ပါသည်။ ထို့ကြောင့်ယခုအသုံးပြုသည်။ recvmmsg ကြီးမားသော ကြားခံများဖြင့် (ကြားခံများ၊ လူကြီးလူကောင်း အရာရှိများသည် သင့်အတွက် ဘာမှမဟုတ်ပါ)။ ပုံမှန် UDP အတွက် ပံ့ပိုးမှုသည် recvmmsg မလိုအပ်သည့် အလင်းကိစ္စများအတွက် သီးသန့်ဖြစ်သည်။ Multimessage မုဒ်တွင်၊ အဓိကအရာအောင်မြင်ရန်ဖြစ်နိုင်သည်- အချိန်အများစုတွင်၊ ကွန်ရက်ချည်မျှင်သည် OS တန်းစီခြင်းကို ရုပ်သိမ်းသည် - socket မှဒေတာများကိုဖတ်ပြီး ၎င်းကို userspace ကြားခံသို့လွှဲပြောင်းပေးသည်၊ ရံဖန်ရံခါတွင်သာ ဖြည့်ထားသောကြားခံအား ပေးဆောင်ခြင်းသို့ပြောင်းသည်။ စုစည်းမှုများ။ socket အတွင်းရှိတန်းစီသည်လက်တွေ့တွင်မစုပုံဘဲ၊ ကျဆင်းသွားသောပက်ကေ့ခ်ျအရေအတွက်သည်လက်တွေ့တွင်မကြီးထွားပါ။

ပွောဆို

မူရင်းဆက်တင်များတွင်၊ ကြားခံအရွယ်အစားကို အတော်လေးကြီးသည်ဟု သတ်မှတ်ထားသည်။ အကယ်၍ သင်သည် ဆာဗာကို သင်ကိုယ်တိုင် စမ်းသပ်ရန် ရုတ်တရက် ဆုံးဖြတ်ပါက၊ မက်ထရစ်အနည်းအများ ပေးပို့ပြီးနောက် ၎င်းတို့သည် ကွန်ရက်စီးကြောင်းကြားခံတွင် ကျန်ရှိနေသော Graphite သို့ ရောက်ရှိမည်မဟုတ်ကြောင်း သင်ကြုံတွေ့ရနိုင်သည်။ မက်ထရစ်အရေအတွက် အနည်းငယ်ဖြင့် လုပ်ဆောင်ရန်၊ config တွင် သေးငယ်သော တန်ဖိုးများ bufsize နှင့် task-queue-size ကို သတ်မှတ်ရန် လိုအပ်သည်။

နောက်ဆုံးတွင် ကားချပ်ချစ်သူများအတွက် ဇယားအချို့။

ဆာဗာတစ်ခုစီအတွက် အဝင်မက်ထရစ်ကိန်းဂဏန်းများ- MPS 2 သန်းကျော်။

node များထဲမှ တစ်ခုကို ပိတ်ခြင်းနှင့် အဝင်မက်ထရစ်များကို ပြန်လည်ဖြန့်ဝေခြင်း။

အထွက်မက်ထရစ်များဆိုင်ရာ ကိန်းဂဏန်းများ- node တစ်ခုသာ အမြဲတမ်း ပေးပို့သည် - raid boss.

အမျိုးမျိုးသော စနစ် modules များတွင် အမှားအယွင်းများကို ထည့်သွင်းစဉ်းစားကာ node တစ်ခုစီ၏ လုပ်ဆောင်မှုဆိုင်ရာ ကိန်းဂဏန်းများ။

အဝင်မက်ထရစ်များ၏ အသေးစိတ်အချက်များ (မက်ထရစ်အမည်များကို ဝှက်ထားသည်)။

ဒါတွေအားလုံးနဲ့ နောက်ဘာလုပ်ဖို့ စီစဉ်ထားလဲ။ ဟုတ်ပါတယ် ကုဒ်ရေးပါ...! ပရောဂျက်သည် မူလက open-source အဖြစ် စီစဉ်ခဲ့ခြင်းဖြစ်ပြီး ၎င်း၏ ဘဝတစ်လျှောက်လုံး ဆက်လက်တည်ရှိနေမည်ဖြစ်သည်။ ကျွန်ုပ်တို့၏ချက်ချင်းအစီအစဉ်များတွင် ကျွန်ုပ်တို့၏ကိုယ်ပိုင် Raft ဗားရှင်းသို့ပြောင်းခြင်း၊ သက်တူရွယ်တူပရိုတိုကောကို ပိုမိုသယ်ဆောင်ရလွယ်ကူသောစနစ်တစ်ခုသို့ပြောင်းလဲခြင်း၊ အပိုအတွင်းပိုင်းစာရင်းအင်းများမိတ်ဆက်ခြင်း၊ မက်ထရစ်အမျိုးအစားအသစ်များ၊ ချွတ်ယွင်းချက်ပြင်ဆင်မှုများနှင့် အခြားတိုးတက်မှုများပါဝင်သည်။

ပရောဂျက်၏ ဖွံ့ဖြိုးတိုးတက်ရေးတွင် လူတိုင်းအား ကူညီရန် ကြိုဆိုပါသည်- PR ကို ဖန်တီးပါ၊ ပြဿနာများ၊ ဖြစ်နိုင်ပါက ကျွန်ုပ်တို့ တုံ့ပြန်မည်၊ မြှင့်တင်မည်၊ စသဖြင့်။

ဒီလိုဆိုလို့ရှိရင် ပြည်သူတွေ၊ ငါတို့ ဆင်တွေကို ဝယ်ကြ။

source: www.habr.com