ဝန်ဆောင်မှုတစ်ခုအနေဖြင့် စောင့်ကြည့်ခြင်း- မိုက်ခရိုဝန်ဆောင်မှုဗိသုကာအတွက် မော်ဂျူလာစနစ်

ယနေ့တွင်၊ monolithic code အပြင်၊ ကျွန်ုပ်တို့၏ ပရောဂျက်တွင် microservices ဒါဇင်များစွာ ပါဝင်ပါသည်။ ၎င်းတို့ အသီးသီးကို စောင့်ကြည့်ရန် လိုအပ်သည်။ DevOps အင်ဂျင်နီယာများကို အသုံးပြု၍ ထိုသို့သောအတိုင်းအတာဖြင့် လုပ်ဆောင်ခြင်းသည် ပြဿနာရှိနေသည်။ ကျွန်ုပ်တို့သည် developer များအတွက် ဝန်ဆောင်မှုတစ်ခုအဖြစ် လုပ်ဆောင်နိုင်သော စောင့်ကြည့်ရေးစနစ်ကို တီထွင်ထားပါသည်။ ၎င်းတို့သည် စောင့်ကြည့်ရေးစနစ်တွင် မက်ထရစ်များကို လွတ်လပ်စွာရေးနိုင်၊ ၎င်းတို့ကို အသုံးပြုနိုင်ပြီး ၎င်းတို့အပေါ် အခြေခံ၍ ဒက်ရှ်ဘုတ်များ တည်ဆောက်ကာ အတိုင်းအတာတန်ဖိုးများ ရောက်ရှိသည့်အခါ အစပျိုးမည့် သတိပေးချက်များကို ၎င်းတို့ထံ ပူးတွဲပေးပို့နိုင်သည်။ DevOps အင်ဂျင်နီယာများအတွက်၊ အခြေခံအဆောက်အဦနှင့် စာရွက်စာတမ်းများသာ။

ဤပို့စ်သည် ကျွန်ုပ်တို့၏ နှုတ်ကပတ်တော်နှင့်စပ်လျဉ်းသော စာသားဖြစ်ပါသည်။ ကဏ္.များ RIT++ မှာ။ လူတော်တော်များများက အဲဒီကနေ အစီရင်ခံစာတွေကို စာသားဗားရှင်းလုပ်ခိုင်းတယ်။ အကယ်၍ သင်သည် ကွန်ဖရင့်တွင် သို့မဟုတ် ဗီဒီယိုကို ကြည့်ပါက အသစ်အဆန်းကို သင်မတွေ့ပါ။ အခြားလူတိုင်း - ကြောင်မှကြိုဆိုပါတယ်။ ဤစနစ်သို့ကျွန်ုပ်တို့ဘယ်လိုရောက်လာသလဲ၊ ၎င်းအလုပ်လုပ်ပုံနှင့်၎င်းကိုမွမ်းမံရန်အစီအစဉ်ကိုကျွန်ုပ်တို့ပြောပြပါမည်။

အတိတ်- အစီအစဉ်များနှင့် အစီအစဉ်များ

လက်ရှိ စောင့်ကြည့်ရေးစနစ်သို့ ကျွန်ုပ်တို့ မည်သို့ရောက်ရှိခဲ့သနည်း။ ဒီမေးခွန်းကို ဖြေဖို့အတွက် 2015 ကို သွားရမယ်။ ၎င်းသည် ထိုအချိန်က ပုံသဏ္ဍန်ဖြစ်သည်-

ကျွန်ုပ်တို့တွင် စောင့်ကြည့်စစ်ဆေးရန် တာဝန်ရှိသည့် ဆုံမှတ် ၂၄ ခုခန့်ရှိသည်။ တစ်စုံတစ်ခုကို တစ်နည်းနည်းနဲ့ စောင့်ကြည့်ခြင်း၊ မက်ဆေ့ချ်ပို့ခြင်းနှင့် လုပ်ဆောင်ချက်များကို လုပ်ဆောင်ပေးသည့် မတူညီသော သရဖူများ၊ ဇာတ်ညွှန်းများ၊ daemons အစုံအလင်ရှိသည်။ ကျွန်တော်တို့ ဒီထက်ပိုပြီး ဒီစနစ်က အကောင်ထည်ဖော်နိုင်မှု နည်းလာမယ် ထင်ပါတယ်။ ၎င်းကို တီထွင်ရာတွင် အရေးမကြီးပါ။ ၎င်းသည် ခက်ခဲလွန်းသည်။
ကျွန်ုပ်တို့ ထိန်းသိမ်းပြီး ဖွံ့ဖြိုးတိုးတက်စေမည့် စောင့်ကြည့်ရေး အစိတ်အပိုင်းများနှင့် ကျွန်ုပ်တို့ စွန့်လွှတ်မည့် အရာများကို ရွေးချယ်ရန် ဆုံးဖြတ်ခဲ့သည်။ ၎င်းတို့အနက် ၁၉ ခုရှိသည်။ ဂရပ်ဖိုက်များ၊ စုစည်းမှုများနှင့် Grafana ဒိုင်ခွက်တစ်ခုသာ ကျန်ရှိတော့သည်။ ဒါပေမယ့် စနစ်သစ်က ဘယ်လိုမျိုး ဖြစ်လာမလဲ။ ဒီလိုမျိုး:

ကျွန်ုပ်တို့တွင် မက်ထရစ်သိုလှောင်မှုတစ်ခု ရှိသည်- ၎င်းတို့သည် အမြန် SSD ဒရိုက်များပေါ်တွင် အခြေခံမည့် ဂရပ်ဖိုက်များဖြစ်ပြီး ၎င်းတို့သည် မက်ထရစ်များအတွက် အချို့သော စုစည်းမှုများဖြစ်သည်။ နောက်တစ်ခု - သတိပေးချက်အတွက် ဒက်ရှ်ဘုတ်များနှင့် Moira ကိုပြသရန်အတွက် Grafana။ ကွဲလွဲချက်များကို ရှာဖွေခြင်းစနစ်ကိုလည်း တီထွင်လိုပါသည်။

စံသတ်မှတ်ချက်- စောင့်ကြည့်လေ့လာခြင်း 2.0

ဒါက 2015 ခုနှစ်ရဲ့ အစီအစဥ်အတိုင်းပါပဲ။ ဒါပေမယ့် အခြေခံအဆောက်အအုံနဲ့ ဝန်ဆောင်မှုကိုယ်တိုင်သာမကဘဲ အဲဒါအတွက် စာရွက်စာတမ်းတွေကိုလည်း ပြင်ဆင်ရမှာပေါ့။ ကျွန်ုပ်တို့သည် စောင့်ကြည့်ခြင်း 2.0 ဟုခေါ်သော ကျွန်ုပ်တို့ကိုယ်တိုင်အတွက် ကော်ပိုရိတ်စံတစ်ခုကို တီထွင်ထားပါသည်။ စနစ်အတွက် လိုအပ်ချက်တွေက ဘာတွေလဲ။

• အဆက်မပြတ်ရရှိနိုင်မှု;
• မက်ထရစ်သိုလှောင်မှုကြားကာလ = 10 စက္ကန့်;
• မက်ထရစ်များနှင့် ဒက်ရှ်ဘုတ်များကို စနစ်တကျ သိမ်းဆည်းခြင်း၊
• SLA > 99,99%
• UDP (!) မှတဆင့် ဖြစ်ရပ်မက်ထရစ်များ စုစည်းမှု။

ကျွန်ုပ်တို့တွင် အသွားအလာများပြားပြီး မက်ထရစ်များကို ထုတ်ပေးသည့် ဖြစ်ရပ်များစွာရှိသောကြောင့် UDP ကို ​​လိုအပ်ပါသည်။ ၎င်းတို့အားလုံးကို ဂရပ်ဖိုက်အဖြစ် တစ်ပြိုင်နက် ရေးလိုက်လျှင် သိုလှောင်မှု ပြိုကျမည်ဖြစ်သည်။ မက်ထရစ်အားလုံးအတွက် ပထမအဆင့် ရှေ့ဆက်များကိုလည်း ရွေးချယ်ပါသည်။

ရှေ့ဆက်တစ်ခုစီတွင် ပိုင်ဆိုင်မှုအချို့ရှိသည်။ ဆာဗာများ၊ ကွန်ရက်များ၊ ကွန်တိန်နာများ၊ အရင်းအမြစ်များ၊ အပလီကေးရှင်းများနှင့် အခြားအရာများအတွက် မက်ထရစ်များ ရှိပါသည်။ ကျွန်ုပ်တို့သည် ပထမအဆင့် မက်ထရစ်များကို လက်ခံကာ ကျန်အရာများကို ရိုးရိုးရှင်းရှင်း ချပေးသည့် ရှင်းရှင်းလင်းလင်း၊ တင်းကျပ်သော၊ စီစစ်ခြင်းကို အကောင်အထည်ဖော်ခဲ့သည်။ ဒီစနစ်ကို 2015 မှာ ကျွန်တော်တို့ စီစဉ်ခဲ့တာက ဒီလိုပါ။ ပစ္စုပ္ပန်မှာ ဘာရှိလဲ။

ပစ္စုပ္ပန်- စောင့်ကြည့်ရေး အစိတ်အပိုင်းများ၏ အပြန်အလှန်တုံ့ပြန်မှု ပုံကြမ်း

ပထမဦးစွာ၊ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ PHP ကုဒ်၊ အပလီကေးရှင်းများနှင့် မိုက်ခရိုဝန်ဆောင်မှုများ- အတိုချုပ်အားဖြင့်၊ ကျွန်ုပ်တို့၏ developer များရေးသမျှကို စောင့်ကြည့်ပါသည်။ အပလီကေးရှင်းများအားလုံးသည် UDP မှတစ်ဆင့် မက်ထရစ်များကို Brubeck စုစည်းမှု (statsd၊ C ဖြင့် ပြန်လည်ရေးသားသည်) သို့ ပေးပို့သည်။ Synthetic Tests တွင် အလျင်မြန်ဆုံးဖြစ်ခဲ့သည်။ ၎င်းသည် TCP မှတဆင့် စုစည်းပြီးသား မက်ထရစ်များကို Graphite သို့ ပို့ပေးသည်။

၎င်းတွင် timers ဟုခေါ်သော တိုင်းတာမှုအမျိုးအစားတစ်ခုရှိသည်။ ဒါက အရမ်းအဆင်ပြေတဲ့အရာပါ။ ဥပမာအားဖြင့်၊ ဝန်ဆောင်မှုနှင့်ချိတ်ဆက်အသုံးပြုသူတိုင်းအတွက်၊ သင်သည် Brubeck သို့ တုံ့ပြန်မှုအချိန်နှင့်အတူ မက်ထရစ်တစ်ခုကို ပေးပို့ပါ။ တုံ့ပြန်မှုတစ်သန်း ဝင်လာသော်လည်း စုစည်းသူသည် မက်ထရစ် ၁၀ ခုကိုသာ ပြန်ပေးခဲ့သည်။ သင့်တွင်လာရောက်သူအရေအတွက်၊ အများဆုံး၊ အနည်းဆုံးနှင့် ပျမ်းမျှတုံ့ပြန်ချိန်၊ ပျမ်းမျှနှင့် 10 ရာခိုင်နှုန်းများရှိသည်။ ထို့နောက် ဒေတာကို Graphite သို့ လွှဲပြောင်းပြီး အားလုံးကို တိုက်ရိုက်မြင်ရသည်။

ကျွန်ုပ်တို့တွင် ဟာ့ဒ်ဝဲ၊ ဆော့ဖ်ဝဲလ်၊ စနစ်မက်ထရစ်များနှင့် ကျွန်ုပ်တို့၏ Munin စောင့်ကြည့်ရေးစနစ်ဟောင်း (၎င်းသည် 2015 ခုနှစ်အထိ ကျွန်ုပ်တို့အတွက် အလုပ်လုပ်သည်) ဆိုင်ရာ မက်ထရစ်များအတွက် စုစည်းမှုလည်းရှိသည်။ ကျွန်ုပ်တို့သည် ဤအရာအားလုံးကို C daemon CollectD မှတဆင့်စုဆောင်းပါသည် (၎င်းတွင်တည်ဆောက်ထားသောမတူညီသောပလပ်အင်များအမြောက်အများပါရှိသည်၊ ၎င်းတွင်ထည့်သွင်းထားသည့် host system ၏အရင်းအမြစ်အားလုံးကိုစစ်တမ်းကောက်ယူနိုင်သည်၊ ဒေတာကိုရေးရမည့်နေရာတွင် configuration တွင်သတ်မှတ်ရုံ) နှင့် data တွေကို Graphite မှာရေးပါ။ ၎င်းသည် python ပလပ်အင်များနှင့် shell scripts များကိုလည်း ပံ့ပိုးပေးသည်၊ ထို့ကြောင့် သင်သည် သင်၏ကိုယ်ပိုင် စိတ်ကြိုက်ဖြေရှင်းချက်များကို ရေးသားနိုင်သည်- CollectD သည် ဤဒေတာကို ဒေသခံ သို့မဟုတ် အဝေးထိန်းဌာန (Curl ဟု ယူဆသည်) မှ စုဆောင်းပြီး Graphite သို့ ပေးပို့မည်ဖြစ်သည်။

ထို့နောက် ကျွန်ုပ်တို့စုဆောင်းထားသော မက်ထရစ်အားလုံးကို Carbon-c-relay သို့ ပေးပို့ပါ။ ၎င်းသည် C တွင်ပြုပြင်ထားသော Graphite မှ Carbon Relay ဖြေရှင်းချက်ဖြစ်သည်။ ၎င်းသည် ကျွန်ုပ်တို့၏စုစည်းသူများထံမှပေးပို့သည့်မက်ထရစ်အားလုံးကိုစုဆောင်းပြီး ၎င်းတို့ကို node သို့လမ်းကြောင်းပေးသည့်ရောက်တာတစ်ခုဖြစ်သည်။ လမ်းကြောင်းပြသည့်အဆင့်တွင်လည်း ၎င်းသည် မက်ထရစ်များ၏တရားဝင်မှုကို စစ်ဆေးသည်။ ပထမဦးစွာ၊ ၎င်းတို့သည် အစောပိုင်းတွင် ကျွန်ုပ်ပြသခဲ့သည့် ရှေ့ဆက်အစီအစဉ်နှင့် ကိုက်ညီရမည် ဖြစ်ပြီး၊ ဒုတိယအချက်မှာ ၎င်းတို့သည် ဂရပ်ဖိုက်အတွက် အကျုံးဝင်ပါသည်။ မဟုတ်ရင် ပြုတ်ကျလိမ့်မယ်။

ထို့နောက် Carbon-c-relay သည် မက်ထရစ်များကို Graphite အစုအဝေးသို့ ပေးပို့သည်။ ကျွန်ုပ်တို့သည် မက်ထရစ်များ၏ အဓိကသိုလှောင်မှုအဖြစ် Go တွင် ပြန်လည်ရေးသားထားသော Carbon-cache ကို အသုံးပြုပါသည်။ ၎င်း၏ multithreading ကြောင့် Go-carbon သည် Carbon-cache ထက် များစွာသာလွန်သည်။ ၎င်းသည် ဒေတာကို လက်ခံရရှိပြီး တိတ်တဆိတ် ပက်ကေ့ဂျ် (စံ၊ python ဖြင့် ရေးသားထားသည်) ကို အသုံးပြု၍ disks များသို့ ရေးပေးသည်။ ကျွန်ုပ်တို့၏ သိုလှောင်မှုမှ ဒေတာများကို ဖတ်ရန်အတွက် ကျွန်ုပ်တို့သည် Graphite API ကို အသုံးပြုပါသည်။ ၎င်းသည် standard Graphite WEB ထက် များစွာပိုမြန်သည်။ နောက်တစ်ခုက Data က ဘာဖြစ်မလဲ။

သူတို့က Grafana ကိုသွားကြတယ်။ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ ဂရပ်ဖိုက်အစုအဝေးများကို ဒေတာ၏အဓိကအရင်းအမြစ်အဖြစ်အသုံးပြုသည်၊ ထို့အပြင် မက်ထရစ်များကိုပြသရန်နှင့် ဒက်ရှ်ဘုတ်များတည်ဆောက်ရန်အတွက် ဝဘ်အင်တာဖေ့စ်တစ်ခုအဖြစ် Grafana ရှိသည်။ ၎င်းတို့၏ဝန်ဆောင်မှုတစ်ခုစီအတွက်၊ developer များသည် ၎င်းတို့၏ကိုယ်ပိုင် dashboard ကိုဖန်တီးသည်။ ထို့နောက် ၎င်းတို့သည် ၎င်းတို့၏ အပလီကေးရှင်းများမှ ရေးထားသော မက်ထရစ်များကို ပြသသည့် ၎င်းတို့အပေါ် အခြေခံ၍ ဂရပ်ဖစ်များ ဖန်တီးသည်။ Grafana အပြင်၊ ကျွန်ုပ်တို့တွင် SLAM လည်းရှိသည်။ ၎င်းသည် ဂရပ်ဖိုက်မှဒေတာကိုအခြေခံ၍ SLA ကိုတွက်ချက်သောစပါးအုံးနတ်ဆိုးဖြစ်သည်။ ကျွန်တော်ပြောခဲ့သလိုပဲ၊ ကျွန်တော်တို့မှာ ဒါဇင်နဲ့ချီတဲ့ microservice တွေရှိတယ်၊ တစ်ခုချင်းစီမှာ သူ့လိုအပ်ချက်တွေရှိတယ်။ SLAM ကို အသုံးပြု၍ ကျွန်ုပ်တို့သည် စာရွက်စာတမ်းများကို သွားပြီး Graphite တွင် ပါရှိသည့်အရာနှင့် နှိုင်းယှဉ်ကာ လိုအပ်ချက်များသည် ကျွန်ုပ်တို့၏ဝန်ဆောင်မှုများရရှိနိုင်မှုနှင့် မည်မျှကိုက်ညီကြောင်း နှိုင်းယှဉ်ပါ။

နောက်ထပ် သွားကြရအောင်- သတိပေးချက်။ ခိုင်မာသောစနစ် - Moira ကို အသုံးပြု၍ ဖွဲ့စည်းထားသည်။ သူ့တွင် ကိုယ်ပိုင် Graphite ပါရှိသောကြောင့် သီးခြားဖြစ်သည်။ Python နှင့် Go ဖြင့်ရေးသားထားသော SKB "Kontur" မှ ယောက်ျားလေးများက တီထွင်ဖန်တီးထားခြင်းဖြစ်ပြီး လုံးဝပွင့်လင်းသောအရင်းအမြစ်ဖြစ်သည်။ Moira သည် ဂရပ်ဖိုက်သို့ စီးဆင်းသွားသည့် တူညီသော စီးဆင်းမှုကို လက်ခံရရှိသည် ။ အကြောင်းတစ်ခုခုကြောင့် သင်၏သိုလှောင်မှုသေသွားပါက၊ သင့်သတိပေးချက်သည် အလုပ်ဖြစ်ဆဲဖြစ်သည်။

ကျွန်ုပ်တို့ Moira ကို Kubernetes တွင် ဖြန့်ကျက်ထားပြီး၊ ၎င်းသည် ပင်မဒေတာဘေ့စ်အဖြစ် Redis ဆာဗာအစုအဝေးကို အသုံးပြုသည်။ ရလဒ်မှာ အမှားအယွင်းခံနိုင်သော စနစ်တစ်ခုဖြစ်သည်။ ၎င်းသည် မက်ထရစ်များ၏စီးကြောင်းကို အစပျိုးမှုများစာရင်းနှင့် နှိုင်းယှဉ်သည်- ၎င်းတွင်ဖော်ပြထားခြင်းမရှိပါက၊ ၎င်းသည် မက်ထရစ်ကို ကျဆင်းစေသည်။ ထို့ကြောင့် တစ်မိနစ်လျှင် ဂစ်ဂါဘိုက်မက်ထရစ်များကို ချေဖျက်နိုင်သည်။

ကော်ပိုရိတ်စနစ်၏အသုံးပြုသူတိုင်းသည် ရှိပြီးသား (သို့မဟုတ် အသစ်ဖန်တီးထားသော) အစပျိုးမှုများအပေါ်အခြေခံ၍ ၎င်းတို့အတွက် အကြောင်းကြားချက်များကို ဖန်တီးနိုင်သည့်အကူအညီဖြင့် ကော်ပိုရိတ် LDAP တစ်ခုကိုလည်း ပူးတွဲထားပါသည်။ Moira တွင် Graphite ပါဝင်သောကြောင့် ၎င်းသည် ၎င်း၏အင်္ဂါရပ်အားလုံးကို ပံ့ပိုးပေးသည်။ ထို့ကြောင့် သင်သည် ပထမဆုံးလိုင်းကိုယူပြီး Grafana သို့ကူးယူပါ။ ဂရပ်များပေါ်တွင် ဒေတာကို မည်သို့ပြသသည်ကို ကြည့်ပါ။ ပြီးလျှင် တူညီသောလိုင်းကိုယူ၍ Moira သို့ကူးယူပါ။ သင်သည် ၎င်းကို ကန့်သတ်ချက်များဖြင့် ဆွဲထားပြီး အထွက်တွင် သတိပေးချက်တစ်ခု ရယူပါ။ ဒါတွေအားလုံးလုပ်ဖို့၊ တိကျတဲ့အသိပညာ မလိုအပ်ပါဘူး။ Moira သည် SMS၊ အီးမေးလ်၊ Jira၊ Slack မှတစ်ဆင့် သတိပေးနိုင်သည်... ၎င်းသည် စိတ်ကြိုက် scripts များကို လုပ်ဆောင်ခြင်းကို ပံ့ပိုးပေးပါသည်။ အစပျိုးမှုတစ်ခု ဖြစ်ပေါ်ပြီး စိတ်ကြိုက် script သို့မဟုတ် binary တစ်ခုသို့ စာရင်းသွင်းထားသည့်အခါ ၎င်းကို run ပြီး ဤ binary အတွက် stdin သို့ JSON ကို ပေးပို့သည်။ ထို့ကြောင့် သင့်ပရိုဂရမ်သည် ၎င်းကို ခွဲခြမ်းစိတ်ဖြာရပါမည်။ ဤ JSON နှင့် သင်လုပ်ဆောင်မည့်အရာသည် သင့်အတွက်ဖြစ်သည်။ လိုချင်ရင် Telegram ကို ပို့ပါ၊ လိုချင်ရင် Jira မှာ အလုပ်တွေကို ဖွင့်ပါ၊ ဘာပဲလုပ်လုပ် လုပ်ပါ။

သတိပေးချက်အတွက် ကျွန်ုပ်တို့၏ကိုယ်ပိုင်ဖွံ့ဖြိုးတိုးတက်မှုကိုလည်း အသုံးပြုသည် - Imagotag။ ကျွန်ုပ်တို့၏လိုအပ်ချက်များနှင့်ကိုက်ညီစေရန် စတိုးဆိုင်များတွင် အီလက်ထရွန်းနစ်စျေးနှုန်းတက်ဂ်များအတွက် အများအားဖြင့်အသုံးပြုသည့် panel ကို ကျွန်ုပ်တို့ ပြုပြင်ပြောင်းလဲထားပါသည်။ Moira မှ အစပျိုးချက်များကို ကျွန်ုပ်တို့ ယူဆောင်လာခဲ့ပါသည်။ ၎င်းတို့သည် မည်သည့်အခြေအနေနှင့် ဖြစ်ပွားခဲ့ကြောင်းကို ဖော်ပြသည်။ ဖွံ့ဖြိုးတိုးတက်မှု ယောက်ျားလေးအချို့သည် ဤအကန့်၏မျက်နှာသာဖြင့် Slack တွင် အကြောင်းကြားချက်များကို စွန့်ပစ်ခဲ့သည်။

ကောင်းပြီ၊ ကျွန်ုပ်တို့သည် တိုးတက်သော ကုမ္ပဏီဖြစ်သောကြောင့်၊ ကျွန်ုပ်တို့သည် ဤစနစ်တွင် Kubernetes ကို စောင့်ကြည့်ခဲ့သည်။ အစုအဝေးတွင် ထည့်သွင်းထားသည့် Heapster ကို အသုံးပြု၍ ၎င်းကို ဒေတာစုဆောင်းပြီး Graphite သို့ ပေးပို့ပါသည်။ ရလဒ်အနေဖြင့် ပုံကြမ်းသည် ဤကဲ့သို့ဖြစ်သည်-

စောင့်ကြည့်ရေး အစိတ်အပိုင်းများ

ဤအလုပ်အတွက် ကျွန်ုပ်တို့အသုံးပြုခဲ့သည့် အစိတ်အပိုင်းများသို့ လင့်ခ်များစာရင်းတစ်ခုဖြစ်သည်။ ၎င်းတို့အားလုံးသည် open source များဖြစ်သည်။

ဖိုက်၊

• သွား-ကာဗွန်- github.com/lomik/go-carbon
• တိတ်တိတ် github.com/graphite-project/whisper
• ဂရပ်ဖိုက်-အေပီ github.com/brutasse/graphite-api

ကာဗွန်-ဂ-ထပ်ဆင့်-

github.com/grobian/carbon-c-relay

Brubeck-

github.com/github/brubeck

စုဆောင်းထားသည်-

collection.org

Moira

github.com/moira-alert

Grafana-

grafana.com

အမှိုက်ပုံ-

github.com/kubernetes/heapster

စာရင်းအင်း

ဤသည်မှာ ကျွန်ုပ်တို့အတွက် စနစ်အလုပ်လုပ်ပုံနှင့်ပတ်သက်သော နံပါတ်အချို့ဖြစ်သည်။

စုစည်းမှု (ဘရူဘက်ခ်)

တိုင်းတာမှုအရေအတွက်- ~300/sec
Graphite သို့ မက်ထရစ်များ ပေးပို့ခြင်းအတွက် ကြားကာလ- 30 စက္ကန့်
ဆာဗာအရင်းအမြစ်အသုံးပြုမှု- ~ 6% CPU (ကျွန်ုပ်တို့သည်ပြည့်စုံသောဆာဗာများအကြောင်းပြောနေသည်); ~ 1Gb RAM; ~3 Mbps LAN

ဂရပ်ဖိုက် (ကာဗွန်)

မက်ထရစ်အရေအတွက်- ~ 1 / မိနစ်
မက်ထရစ်များ အပ်ဒိတ်ကြားကာလ- 30 စက္ကန့်
မက်ထရစ် သိုလှောင်မှု အစီအစဉ်- 30sec 35d၊ 5min 90d၊ 10min 365d (အချိန်ကြာမြင့်စွာ ဝန်ဆောင်မှုတွင် ဖြစ်ပျက်နေသည်ကို သင့်အား နားလည်မှုပေးသည်)
ဆာဗာအရင်းအမြစ်အသုံးပြုမှု- ~10% CPU; ~ 20Gb RAM; ~30 Mbps LAN

ပြောင်းလွယ်ပြင်လွယ်

ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ စောင့်ကြည့်ရေးဝန်ဆောင်မှုတွင် လိုက်လျောညီထွေရှိမှုကို အမှန်တကယ်တန်ဖိုးထားပါသည်။ သူဘာကြောင့် ဒီလိုမျိုး တကယ်ဖြစ်လာတာလဲ။ ပထမဦးစွာ၊ ၎င်း၏ အစိတ်အပိုင်းများသည် အပြန်အလှန် ဖလှယ်နိုင်သည်- အစိတ်အပိုင်းများ ကိုယ်တိုင်နှင့် ၎င်းတို့၏ ဗားရှင်းများ နှစ်မျိုးလုံး။ ဒုတိယအနေနဲ့၊ ပံ့ပိုးမှု။ ပရောဂျက်တစ်ခုလုံးသည် open source ဖြစ်သောကြောင့်၊ သင်သည် ကုဒ်ကို သင်ကိုယ်တိုင်တည်းဖြတ်နိုင်သည်၊ အပြောင်းအလဲများပြုလုပ်ကာ ကွက်လပ်အပြင်တွင် မရရှိနိုင်သောလုပ်ဆောင်ချက်များကို အကောင်အထည်ဖေါ်နိုင်ပါသည်။ အသုံးများသော stacks များကို အဓိကအားဖြင့် Go နှင့် Python တို့ကို အသုံးပြုထားသောကြောင့် ၎င်းကို ရိုးရိုးရှင်းရှင်း လုပ်ဆောင်သည်။

ဒါက တကယ့်ပြဿနာရဲ့ ဥပမာတစ်ခုပါ။ Graphite ရှိ မက်ထရစ်သည် ဖိုင်တစ်ခုဖြစ်သည်။ နာမည်တစ်ခုရှိတယ်။ ဖိုင်အမည် = မက်ထရစ်အမည်။ ပြီးတော့ အဲဒီကိုရောက်ဖို့ နည်းလမ်းရှိတယ်။ Linux ရှိ ဖိုင်အမည်များကို စာလုံး 255 လုံးသာ ကန့်သတ်ထားပါသည်။ ပြီးတော့ ကျွန်တော်တို့မှာ (“ပြည်တွင်းဖောက်သည်များ” အဖြစ်) ဒေတာဘေ့စ်ဌာနက ယောက်ျားလေးတွေရှိတယ်။ သူတို့က "ကျွန်ုပ်တို့သည်ကျွန်ုပ်တို့၏ SQL မေးမြန်းမှုများကိုစောင့်ကြည့်လိုပါသည်။ ၎င်းတို့သည် စာလုံး 255 လုံးမဟုတ်သော်လည်း တစ်ခုစီတွင် 8 MB ရှိသည်။ ကျွန်ုပ်တို့သည် ၎င်းတို့ကို Grafana တွင်ပြသလိုသည်၊ ဤတောင်းဆိုချက်အတွက် ကန့်သတ်ချက်များကိုကြည့်ပါ၊ ပိုကောင်းသည်မှာ၊ ထိုသို့သောတောင်းဆိုမှုများ၏ထိပ်ပိုင်းကို မြင်တွေ့လိုပါသည်။ အချိန်နှင့်တပြေးညီပြသမည်ဆိုပါက အလွန်ကောင်းမွန်ပါသည်။ သူတို့ကိုသတိပေးချက်ထဲထည့်လိုက်တာက တကယ်ကိုမိုက်ပါတယ်။”

ဥပမာ SQL query ကို နမူနာအဖြစ် ယူသည်။ postgrespro.ru ဆိုက်

ကျွန်ုပ်တို့သည် Redis ဆာဗာကို တည်ဆောက်ပြီး Postgres သို့သွားကာ ဒေတာအားလုံးကို ယူကာ Graphite သို့ မက်ထရစ်များပေးပို့သည့် ကျွန်ုပ်တို့၏စုဆောင်းထားသော ပလပ်အင်များကို အသုံးပြုပါသည်။ သို့သော် ကျွန်ုပ်တို့သည် မက်ထရစ်အမည်ကို ဟက်ကာများဖြင့် အစားထိုးသည်။ ကျွန်ုပ်တို့သည် တူညီသော hash ကို သော့တစ်ခုအဖြစ် Redis သို့ တစ်ပြိုင်နက် ပေးပို့ပြီး SQL Query တစ်ခုလုံးကို တန်ဖိုးတစ်ခုအဖြစ် ပေးပို့ပါသည်။ ကျွန်ုပ်တို့လုပ်ရမည့်အရာမှာ Grafana သည် Redis သို့သွား၍ ဤအချက်အလက်ကိုယူနိုင်စေရန် သေချာအောင်လုပ်ပါ။ ကျွန်ုပ်တို့သည် Graphite API ကိုဖွင့်နေသောကြောင့်... ၎င်းသည် ဂရပ်ဖိုက်ဖြင့် စောင့်ကြည့်စစ်ဆေးသည့် အစိတ်အပိုင်းအားလုံး၏ အပြန်အလှန်ဆက်ဆံရေးအတွက် ပင်မအင်တာဖေ့စ်ဖြစ်ပြီး၊ ကျွန်ုပ်တို့သည် ထိုနေရာတွင် aliasByHash() ဟုခေါ်သော လုပ်ဆောင်ချက်အသစ်တစ်ခုကို ထည့်သွင်းပါ - Grafana မှ ကျွန်ုပ်တို့သည် မက်ထရစ်၏အမည်ကိုရရှိကာ Redis ကို သော့တစ်ခုအဖြစ် တောင်းဆိုမှုတွင် ၎င်းကိုအသုံးပြုကာ၊ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ “SQL query” ဖြစ်သည့် သော့၏တန်ဖိုးကို ကျွန်ုပ်တို့ ရရှိပါသည်။ ထို့ကြောင့်၊ ကျွန်ုပ်တို့သည် Grafana တွင် ကိန်းဂဏန်းများ (ခေါ်ဆိုမှုများ၊ အတန်းများ၊ စုစုပေါင်း_အချိန်၊ ...) တို့နှင့်အတူ ထိုနေရာတွင် ပြသရန် မဖြစ်နိုင်သော သီအိုရီအရ SQL query တစ်ခုအား ပြသထားသည်။

ရလဒ်များကို

ရရှိနိုင်။ ကျွန်ုပ်တို့၏စောင့်ကြည့်ရေးဝန်ဆောင်မှုသည် မည်သည့်အက်ပ်နှင့်မဆို ကုဒ်မှ 24/7 ရရှိနိုင်ပါသည်။ သင့်တွင် သိုလှောင်ခန်းနေရာများသို့ ဝင်ရောက်ခွင့်ရှိပါက ဝန်ဆောင်မှုသို့ ဒေတာများ ရေးသားနိုင်ပါသည်။ ဘာသာစကားက အရေးမကြီးဘူး၊ ဆုံးဖြတ်ချက်တွေက အရေးမကြီးဘူး။ socket ကိုဖွင့်နည်း၊ မက်ထရစ်တစ်ခုထည့်ကာ socket ကိုပိတ်နည်းကိုသင်သိရန်လိုအပ်သည်။

ယုံကြည်စိတ်ချရ။ အစိတ်အပိုင်းအားလုံးသည် အမှားအယွင်းခံနိုင်ရည်ရှိပြီး ကျွန်ုပ်တို့၏ဝန်များကို ကောင်းမွန်စွာကိုင်တွယ်နိုင်သည်။

ဝင်ရောက်ရန် အတားအဆီးနည်းပါးသည်။ ဤစနစ်ကိုအသုံးပြုရန်အတွက်၊ သင်သည် Grafana တွင် ပရိုဂရမ်းမင်းဘာသာစကားများနှင့် မေးမြန်းချက်များကို သင်ယူရန်မလိုအပ်ပါ။ သင်၏ အက်ပ်လီကေးရှင်းကိုဖွင့်ပါ၊ Graphite သို့ မက်ထရစ်များပေးပို့မည့် ပေါက်ပေါက်တစ်ခုထည့်ပါ၊ ၎င်းကိုပိတ်ပါ၊ Grafana ကိုဖွင့်ပါ၊ ထိုနေရာတွင် ဒက်ရှ်ဘုတ်များဖန်တီးကာ သင့်မက်ထရစ်များ၏အပြုအမူကိုကြည့်ကာ Moira မှတစ်ဆင့် အကြောင်းကြားချက်များကို လက်ခံရရှိမည်ဖြစ်သည်။

လွတ်လပ်ရေးရတယ်။ DevOps အင်ဂျင်နီယာများ၏အကူအညီမပါဘဲ သင်ကိုယ်တိုင်လုပ်ဆောင်နိုင်ပါသည်။ ၎င်းသည် သင့်ပရောဂျက်ကို ယခုပင် စောင့်ကြည့်နိုင်သောကြောင့်၊ အလုပ်စရန် သို့မဟုတ် အပြောင်းအလဲများပြုလုပ်ရန် မည်သူ့ကိုမျှ မေးမြန်းရန် မလိုအပ်ပါ။

ငါတို့ ဘာကို ရည်ရွယ်တာလဲ။

အောက်တွင်ဖော်ပြထားသောအရာအားလုံးသည် စိတ်ကူးယဉ်အတွေးများသာမဟုတ်၊ အနည်းဆုံးပထမခြေလှမ်းများလုပ်ဆောင်ခဲ့သောအရာတစ်ခုဖြစ်သည်။

1. ကွဲလွဲနေသော ထောက်လှမ်းကိရိယာ။ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ Graphite သိုလှောင်ခန်းများသို့သွားပြီး အမျိုးမျိုးသော algorithms ကိုအသုံးပြု၍ မက်ထရစ်တစ်ခုစီကို စစ်ဆေးပေးမည့် ဝန်ဆောင်မှုတစ်ခုကို ဖန်တီးလိုပါသည်။ ကျွန်ုပ်တို့ကြည့်ရှုလိုသော algorithms များရှိပြီး၊ ဒေတာရှိပါသည်၊ ၎င်းနှင့်မည်သို့အလုပ်လုပ်ရမည်ကိုကျွန်ုပ်တို့သိပါသည်။
2. မက်တာဒေတာ။ ကျွန်ုပ်တို့တွင် ဝန်ဆောင်မှုများစွာရှိပါသည်၊ ၎င်းတို့နှင့်အလုပ်လုပ်သောသူများကဲ့သို့ အချိန်နှင့်အမျှ ပြောင်းလဲပါသည်။ စာရွက်စာတမ်းများကို ကိုယ်တိုင်အမြဲတမ်းထိန်းသိမ်းခြင်းသည် ရွေးချယ်စရာမဟုတ်ပါ။ ထို့ကြောင့် ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ မိုက်ခရိုဝန်ဆောင်မှုများထဲသို့ မက်တာဒေတာကို မြှုပ်နှံထားပါသည်။ ၎င်းကို မည်သူတီထွင်သနည်း၊ ၎င်းနှင့် တုံ့ပြန်နိုင်သော ဘာသာစကားများ၊ SLA လိုအပ်ချက်များ၊ အကြောင်းကြားချက်များကို မည်သည့်နေရာနှင့် မည်သူထံသို့ ပေးပို့သင့်သည်ဟု ဖော်ပြထားသည်။ ဝန်ဆောင်မှုတစ်ခုအား အသုံးချသည့်အခါ၊ အချက်အလက်အားလုံးကို သီးခြားလွတ်လပ်စွာ ဖန်တီးထားသည်။ ရလဒ်အနေဖြင့်၊ တစ်ခုသည် အစပျိုးရန်၊ အခြားတစ်ခုသည် Grafana ရှိ ဒက်ရှ်ဘုတ်များသို့ လင့်ခ်နှစ်ခုကို သင်ရရှိမည်ဖြစ်သည်။
3. အိမ်တိုင်းတွင်စောင့်ကြည့်။ developer များအားလုံး ထိုကဲ့သို့သောစနစ်ကို အသုံးပြုသင့်သည်ဟု ကျွန်ုပ်တို့ယုံကြည်ပါသည်။ ဤကိစ္စတွင်၊ သင်၏အသွားအလာသည် အဘယ်မှာရှိသနည်း၊ ၎င်းသည် အဘယ်အရာဖြစ်သနည်း၊ မည်သည့်နေရာတွင် ကျရောက်သည်၊ ၎င်း၏ အားနည်းချက်များရှိသည်ကို သင်အမြဲနားလည်သည်။ ဥပမာအားဖြင့်၊ တစ်ခုခုရောက်လာပြီး သင့်ဝန်ဆောင်မှုပျက်သွားပါက၊ မန်နေဂျာထံမှ ဖုန်းခေါ်ဆိုစဉ်တွင်မဟုတ်ဘဲ သတိပေးချက်တစ်ခုမှ ၎င်းအကြောင်းကို သင်လေ့လာနိုင်မည်ဖြစ်ပြီး၊ နောက်ဆုံးပေါ်မှတ်တမ်းများကို သင်ချက်ချင်းဖွင့်ပြီး ထိုနေရာတွင် ဖြစ်ပျက်ခဲ့သည်များကို ကြည့်ရှုနိုင်ပါသည်။
4. မြင့်မားသောစွမ်းဆောင်ရည်။ ကျွန်ုပ်တို့၏ပရောဂျက်သည် အဆက်မပြတ်ကြီးထွားနေပြီး ယနေ့တွင် တစ်မိနစ်လျှင် မက်ထရစ်တန်ဖိုး 2 ခန့်ကို လုပ်ဆောင်ပါသည်။ လွန်ခဲ့သောတစ်နှစ်က၊ ဤကိန်းဂဏန်းသည် 000 ဖြစ်သည်။ ကြီးထွားမှုဆက်လက်ဖြစ်ပေါ်နေပြီး၊ ဆိုလိုသည်မှာ အချိန်အနည်းငယ်ကြာပြီးနောက် Graphite (တိုးတိုး) သည် disk subsystem ကို ကြီးကြီးမားမားတင်ဆောင်လာမည်ဖြစ်သည်။ ငါပြောခဲ့သည့်အတိုင်း၊ ဤစောင့်ကြည့်ရေးစနစ်သည် အစိတ်အပိုင်းများ အပြန်အလှန်လဲလှယ်နိုင်ခြင်းကြောင့် အလွန်အသုံးများသည်။ တစ်စုံတစ်ယောက်သည် Graphite အတွက် အထူးသဖြင့် ၎င်းတို့၏ အခြေခံအဆောက်အဦများကို ထိန်းသိမ်းပြီး အဆက်မပြတ် ချဲ့ထွင်နေသော်လည်း ကျွန်ုပ်တို့သည် မတူညီသော လမ်းကြောင်းတစ်ခုကို သွားရန် ဆုံးဖြတ်ခဲ့သည်- အသုံးပြုပါ။ အိမ်ကိုနှိပ်ပါ ကျွန်ုပ်တို့၏ တိုင်းတာမှုများအတွက် သိုလှောင်မှုတစ်ခုအဖြစ်။ ဤအကူးအပြောင်းသည် ပြီးလုနီးပါးဖြစ်ပြီး၊ မည်သို့လုပ်ဆောင်ခဲ့သည်ကို မကြာမီတွင် ကျွန်ုပ်အသေးစိတ်ပြောပြပါမည်- မည်သို့သောအခက်အခဲများနှင့် ၎င်းတို့ကျော်ဖြတ်ခဲ့ပုံ၊ ရွှေ့ပြောင်းခြင်းလုပ်ငန်းစဉ် မည်သို့ဆောင်ရွက်ခဲ့သည်၊ စည်းနှောင်မှုအဖြစ် ရွေးချယ်ထားသော အစိတ်အပိုင်းများနှင့် ၎င်းတို့၏ဖွဲ့စည်းပုံများကို ဖော်ပြပါမည်။

ဂရုစိုက်တဲ့အတွက်ကျေးဇူးတင်ပါတယ်! ခေါင်းစဉ်နှင့်ပတ်သက်သော သင့်မေးခွန်းများကို မေးပါ၊ ဤနေရာတွင် သို့မဟုတ် အောက်ပါပို့စ်များတွင် ဖြေရန်ကြိုးစားပါမည်။ တစ်စုံတစ်ဦးသည် အလားတူစောင့်ကြည့်ရေးစနစ်ကို တည်ဆောက်ခြင်း သို့မဟုတ် အလားတူအခြေအနေမျိုးတွင် Clickhouse သို့ပြောင်းခြင်း အတွေ့အကြုံရှိနိုင်သည် - ၎င်းကို မှတ်ချက်များတွင် မျှဝေပါ။

source: www.habr.com