ရှုပ်ထွေးသောသတိပေးချက်များနှင့်အတူလွယ်ကူသောအလုပ်။ သို့မဟုတ် Balerter ၏ဖန်တီးမှုသမိုင်း

လူတိုင်းသည် သတိပေးချက်များကို နှစ်သက်ကြသည်။

တစ်ခုခုဖြစ်သွားပြီ (သို့မဟုတ် ပြင်ဆင်ပြီးသည်နှင့်) ဂရပ်ဖစ်များကို ထိုင်ကြည့်ကာ ကွဲလွဲချက်များကို ရှာဖွေခြင်းထက် တစ်ခုခုဖြစ်ခဲ့သောအခါ အကြောင်းကြားခြင်းသည် ပိုကောင်းပါသည်။

ပြီးတော့ ဒီအတွက် tool တော်တော်များများကို ဖန်တီးထားပါတယ်။ Prometheus ဂေဟစနစ်မှ သတိပေးမန်နေဂျာနှင့် VictoriaMetrics ထုတ်ကုန်အုပ်စုမှ vmalert။ Grafana ရှိ Zabbix အကြောင်းကြားချက်များနှင့် သတိပေးချက်များ။ URL အချို့ကို အခါအားလျော်စွာ ဆွဲထုတ်ပြီး တစ်ခုခုမှားနေပါက သင့်အားပြောပြသည့် bash နှင့် Telegram ဘော့တ်များတွင် ကိုယ်တိုင်ရေးထားသော script များ။ အကုန်လုံး အများကြီးပဲ။

ကျွန်ုပ်တို့၏ကုမ္ပဏီတွင် ကျွန်ုပ်တို့သည် ရှုပ်ထွေးမှုများ သို့မဟုတ် ရှုပ်ထွေးသောပေါင်းစပ်သတိပေးချက်များကို ဖန်တီးရန် မဖြစ်နိုင်သည့်တိုင်အောင် မတူညီသောဖြေရှင်းနည်းများကို အသုံးပြုခဲ့သည်။ ငါတို့ လိုချင်တာ နဲ့ ငါတို့ ပြီးခဲ့တာတွေ က အဖြတ်အတောက် အောက်မှာဘဲ ။ TLDR- ဤသည်မှာ open source ပရောဂျက် ပေါ်လာပုံဖြစ်သည်။ Balerter

Grafana တွင် စီစဉ်သတ်မှတ်ထားသော သတိပေးချက်များဖြင့် ကျွန်ုပ်တို့သည် အချိန်အတော်ကြာအောင် နေထိုင်ခဲ့သည်။ ဟုတ်တယ်၊ ဒါက အကောင်းဆုံးနည်းလမ်းမဟုတ်ဘူး။ Alertmanager ကဲ့သို့သော အထူးပြုဖြေရှင်းနည်းအချို့ကို အသုံးပြုရန် အမြဲအကြံပြုထားသည်။ ပြီးတော့ ကျွန်တော်တို့လည်း တစ်ကြိမ်ထက်ပိုပြီး ရွေ့လျားဖို့ကို မျှော်နေပါတယ်။ ပြီးတော့ တဖြည်းဖြည်းနဲ့ ကျွန်တော်တို့ ပိုလိုချင်လာတယ်။

အချို့သောဇယားကွက်သည် XX% ကျဆင်းသွားပြီး ယခင် M နာရီကာလနှင့် နှိုင်းယှဉ်ပါက N မိနစ်ရှိနေသည့်အခါတွင် ပြောပါ။ ဤအရာကို Grafana သို့မဟုတ် Alertmanager ဖြင့် အကောင်အထည်ဖော်ရန် သင်ကြိုးစားနိုင်ပုံရသည်၊ သို့သော် ၎င်းသည် မလွယ်ကူပါ။ (ဒါမှမဟုတ် ဖြစ်နိုင်ရင် အခု မပြောတော့ပါဘူး)

အမျိုးမျိုးသော အရင်းအမြစ်များမှ ဒေတာများကို အခြေခံ၍ သတိပေးချက် ဆုံးဖြတ်ချက်ကို ပြုလုပ်ရသောအခါတွင် အရာများ ပိုမိုရှုပ်ထွေးလာသည်။ တိုက်ရိုက်ဥပမာ-

ကျွန်ုပ်တို့သည် Clickhouse ဒေတာဘေ့စ်နှစ်ခုမှ ဒေတာများကို စစ်ဆေးပြီးနောက် ၎င်းကို Postgres မှ ဒေတာအချို့နှင့် နှိုင်းယှဉ်ကာ သတိပေးချက်တစ်ခုအား ဆုံးဖြတ်ပါ။ အချက်ပြပါ သို့မဟုတ် ပယ်ဖျက်ပါ။

ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ဆုံးဖြတ်ချက်ကို တွေးတောရန်အတွက် အလားတူဆန္ဒများစွာကို စုဆောင်းထားသည်။ ထို့နောက် မဖန်တီးရသေးသော ဤဝန်ဆောင်မှု၏ လိုအပ်ချက်/စွမ်းရည်များ၏ ပထမဆုံးစာရင်းကို စုစည်းရန် ကျွန်ုပ်တို့ ကြိုးစားခဲ့သည်။

• မတူညီသောဒေတာရင်းမြစ်များကို ဝင်ရောက်ကြည့်ရှုပါ။ ဥပမာအားဖြင့် Prometheus, Clickhouse, Postgres

• အမျိုးမျိုးသော ချန်နယ်များသို့ သတိပေးချက်များ ပို့ပါ

• တွေးတောမှုဖြစ်စဉ်တွင် ကျွန်ုပ်သည် ကြေငြာဖော်ပြချက်ကို မလိုလားသော်လည်း ဇာတ်ညွှန်းရေးသားနိုင်စွမ်း၊

• အချိန်ဇယားတစ်ခုပေါ်တွင် scripts များကိုလုပ်ဆောင်ခြင်း။

• ဝန်ဆောင်မှုကို ပြန်လည်စတင်ခြင်းမရှိဘဲ လွယ်ကူသော script များကို အပ်ဒိတ်လုပ်ပါ။

• အရင်းအမြစ်ကုဒ်များမှ ဝန်ဆောင်မှုကို ပြန်လည်တည်ဆောက်ခြင်းမပြုဘဲ လုပ်ဆောင်နိုင်စွမ်းကို တစ်နည်းနည်းဖြင့် ချဲ့ထွင်နိုင်မှု

ဤစာရင်းသည် အနီးစပ်ဆုံးဖြစ်ပြီး အလွန်တိကျဖွယ်မရှိပါ။ အချို့အချက်များ ပြောင်းလဲသွားကာ အချို့သေဆုံးသွားခဲ့သည်။ အရာအားလုံးက ပုံမှန်အတိုင်းပါပဲ။

တကယ်တော့ Balerter ရဲ့ သမိုင်းကြောင်းက ဒီလိုပါ။

အဆုံးမှာ ဖြစ်ပျက်ခဲ့တာတွေနဲ့ ဘယ်လိုအလုပ်လုပ်တယ်ဆိုတာကို အတိုချုံးပြီး ပြောပြဖို့ ကြိုးစားပါ့မယ်။ (ဟုတ်ပါတယ်၊ ဒါက အဆုံးမဟုတ်ပါဘူး။ ထုတ်ကုန်ဖွံ့ဖြိုးတိုးတက်မှုအတွက် အစီအစဉ်တွေ အများကြီးရှိပါတယ်။ ဒီနေ့ပဲ ရပ်လိုက်မယ်)

ဘယ်လိုအလုပ်လုပ်သလဲ

သင်သည် တောင်းဆိုချက်များ (Prometheus၊ Clickhouse စသည်ဖြင့်) ကို အတိအလင်းပေးပို့သည့် Lua တွင် ဇာတ်ညွှန်းရေးပါ။ သင်သည် အဖြေများကို လက်ခံရရှိပြီး ၎င်းတို့ကို တစ်နည်းနည်းဖြင့် လုပ်ဆောင်ပြီး နှိုင်းယှဉ်ပါ။ ထို့နောက် သတိပေးချက်အချို့ကို ဖွင့်/ပိတ်ပါ။ Balerter ကိုယ်တိုင်က သင် configure လုပ်ထားသော ချန်နယ်များ (အီးမေးလ်၊ ကြေးနန်း၊ ပေါ့လျော့မှု စသည်) ထံသို့ အကြောင်းကြားစာ ပေးပို့ပါမည်။ ဇာတ်ညွှန်းကို သတ်မှတ်ထားသော ကြားကာလများတွင် လုပ်ဆောင်သည်။ ယေဘုယျအားဖြင့်တော့ ဒီလောက်ပါပဲ)

ဥပမာတစ်ခုဖြင့် ပြရန် အကောင်းဆုံးဖြစ်သည်-

-- @interval 10s
-- @name script1

local minRequestsRPS = 100

local log = require("log")
local ch1 = require("datasource.clickhouse.ch1")

local res, err = ch1.query("SELECT sum(requests) AS rps FROM some_table WHERE date = now()")
if err ~= nil then
    log.error("clickhouse 'ch1' query error: " .. err)
    return
end

local resultRPS = res[1].rps

if resultRPS < minResultRPS then
    alert.error("rps-min-limit", "Requests RPS are very small: " .. tostring(resultRPS))
else
    alert.success("rps-min-limit", "Requests RPS ok")
end 

ဒီမှာဘာတွေဖြစ်နေတာလဲ:

• ဤ script ကို 10 စက္ကန့်တိုင်း လုပ်ဆောင်သင့်သည်ဟု ကျွန်ုပ်တို့ညွှန်ပြပါသည်။

• script ၏အမည်ကိုညွှန်ပြပါ ( API အတွက်၊ မှတ်တမ်းများတွင်ပြသရန်၊ စမ်းသပ်မှုများတွင်အသုံးပြုရန်အတွက်)

• မှတ်တမ်းများထုတ်ပေးရန်အတွက် module ကိုချိတ်ဆက်ပါ။

• clickhouse ကိုအမည်ဖြင့်ဝင်ရောက်ရန် module တစ်ခုကိုချိတ်ဆက်ပါ။ ch1 (ချိတ်ဆက်မှုကိုယ်တိုင်က config တွင် configure လုပ်ထားသည်)

• clickhouse သို့ တောင်းဆိုချက်တစ်ခု ပေးပို့ပါ။

• အမှားအယွင်းတစ်ခုရှိလျှင် ကျွန်ုပ်တို့သည် မှတ်တမ်းတွင် မက်ဆေ့ချ်တစ်ခုပြပြီး ထွက်လိုက်ပါ။

• မေးမြန်းမှုရလဒ်ကို ကိန်းသေတစ်ခုနှင့် နှိုင်းယှဉ်ပါ (တိုက်ရိုက်ဥပမာတစ်ခုတွင်၊ ဥပမာ၊ Postgres ဒေတာဘေ့စ်မှ ဤတန်ဖိုးကို ကျွန်ုပ်တို့ရရှိနိုင်သည်)

• ID ဖြင့် သတိပေးချက်ကို ဖွင့်ပါ သို့မဟုတ် ပိတ်ပါ။ rps-min-limit

• သတိပေးချက် အခြေအနေ ပြောင်းလဲပါက အကြောင်းကြားချက် ရရှိပါမည်။

ဥပမာက တော်တော်ရိုးရှင်းပြီး နားလည်နိုင်ပါတယ်။ သို့သော် လက်တွေ့ဘဝတွင် ဇာတ်ညွှန်းများသည် ရှည်လျားပြီး ရှုပ်ထွေးနိုင်သည်။ စိတ်ရှုပ်ထွေးပြီး အမှားတွေလုပ်မိဖို့ လွယ်ပါတယ်။

ထို့ကြောင့်၊ သင်၏ scripts များအတွက် စမ်းသပ်မှုများ ရေးနိုင်စေရန် ယုတ္တိတန်သောဆန္ဒ ရင့်ကျက်လာပါပြီ။ ဗားရှင်း v0.4.0 တွင်၎င်းပေါ်လာသည်။

Script များကို စမ်းသပ်ခြင်း။

အထက်ဖော်ပြပါ ဥပမာမှ ကျွန်ုပ်တို့၏ script အတွက် နမူနာစမ်းသပ်မှု

-- @test script1
-- @name script1-test

test = require('test')

local resp = {
    {
        rps = 10
    }
} 

test.datasource('clickhouse.ch1').on('query', 'SELECT sum(requests) AS rps FROM some_table WHERE date = now()').response(resp)

test.alert().assertCalled('error', 'rps-min-limit', 'Requests RPS are very small: 10')
test.alert().assertNotCalled('success', 'rps-min-limit', 'Requests RPS ok')

တစ်ဆင့်ချင်းစီ

• စာမေးပွဲအတွက် ရေးထားသော script အမည်ကို ဖော်ပြပါ။

• စမ်းသပ်အမည် (မှတ်တမ်းများအတွက်)

• စမ်းသပ်မှု module ကိုချိတ်ဆက်ပါ။

• clickhouse သို့ သီးခြားတောင်းဆိုချက်တစ်ခုအတွက် မည်သည့်ရလဒ်ကို ပြန်ပေးသင့်သည်ဟု ကျွန်ုပ်တို့ပြောပါသည်။ ch1

• သတ်မှတ်ထားသော မက်ဆေ့ချ်ဖြင့် သတိပေးချက် (အမှား) rps-min-limit ကို ခေါ်ထားကြောင်း စစ်ဆေးပါသည်။

• rps-min-limit သတိပေးချက်ကို ပိတ်ထားခြင်းမရှိကြောင်း စစ်ဆေးပါ (အောင်မြင်မှု)

Balerter က တခြားဘာလုပ်နိုင်လဲ။

ကျွန်တော့်အမြင်အရတော့ Balerter ရဲ့ အရေးအကြီးဆုံး အရည်အချင်းတွေကို ထိတွေ့ဖို့ ကြိုးစားသွားမှာပါ။ အားလုံးကိုတရားဝင်ဝဘ်ဆိုဒ်တွင် အသေးစိတ်ကြည့်ရှုနိုင်ပါသည်။ https://balerter.com

• ထံမှဒေတာကိုလက်ခံရရှိ

  • clickhouse

  • နေပြည်တော်

  • mysql

  • ကွမ်းခြံကုန်း

  • loki

• ချန်နယ်များသို့ အကြောင်းကြားချက်များ ပေးပို့ပါ။

  • ပျင်းရိ

  • ကွေးနနျးစာ

  • syslog

  • အသိပေးချက် (သင့်ကွန်ပျူတာရှိ UI အကြောင်းကြားချက်များ)

  • အီးမေးလ်က

  • စိတ်တိုးပွား

• သင့်ဒေတာအပေါ်အခြေခံ၍ ဂရပ်များတည်ဆောက်ပါ၊ ပုံအား S3 လိုက်ဖက်ညီသောသိုလှောင်မှုသို့ အပ်လုဒ်လုပ်ပြီး အကြောင်းကြားချက်များတွင် ပူးတွဲပါ (ပုံများနှင့်အတူဥပမာ)

• scripts များအကြား ဒေတာဖလှယ်နိုင်သည် - global Key/Value storage

• သင်၏ကိုယ်ပိုင်စာကြည့်တိုက်များကို Lua တွင်ရေးပြီး scripts များတွင်အသုံးပြုပါ (ပုံမှန်အားဖြင့်၊ lua libraries များကို json၊ csv နှင့်အလုပ်လုပ်ရန်အတွက်ထောက်ပံ့ပေးသည်)

• သင်၏ script များမှ HTTP တောင်းဆိုချက်များကို ပေးပို့ပါ (နှင့် တုံ့ပြန်မှုများကို လက်ခံပါ)၊

• API တစ်ခု ပံ့ပိုးပေးသည် (ကျွန်ုပ်တို့ လိုချင်သလောက် အလုပ်မဖြစ်သေးပါ)

• Prometheus ဖော်မတ်ဖြင့် မက်ထရစ်များကို တင်ပို့သည်။

တခြားဘာတွေလုပ်နိုင်ချင်လဲ။

အသုံးပြုသူများနှင့် ကျွန်ုပ်တို့သည် syntax ကိုအသုံးပြု၍ scripts များစတင်ခြင်းကို ထိန်းချုပ်နိုင်စွမ်းကို လိုချင်သည်မှာ ရှင်းနေပါသည်။ cron. ၎င်းကို ဗားရှင်း v1.0.0 မတိုင်မီ လုပ်ဆောင်ပါမည်။

နောက်ထပ်ဒေတာရင်းမြစ်များနှင့် အကြောင်းကြားချက်ပေးပို့မှုလမ်းကြောင်းများကို ပံ့ပိုးပေးလိုပါသည်။ ဥပမာအားဖြင့်၊ တစ်စုံတစ်ယောက်သည် MongoDB ကို သေချာပေါက် လက်လွတ်လိမ့်မည်။ Elastic Search အချို့။ SMS ပို့ပြီး/သို့မဟုတ် သင့်မိုဘိုင်းဖုန်းသို့ ဖုန်းခေါ်ဆိုပါ။ ကျွန်ုပ်တို့သည် ဖိုင်များမှသာမက ဥပမာအားဖြင့် ဒေတာဘေ့စ်မှ scripts များကို လက်ခံနိုင်လိုပါသည်။ နောက်ဆုံးတွင်၊ ကျွန်ုပ်တို့သည် ပိုမိုအသုံးပြုရလွယ်ကူသော ဝဘ်ဆိုက်တစ်ခုနှင့် ပရောဂျက်အတွက် ပိုမိုကောင်းမွန်သောစာရွက်စာတမ်းများကို လိုချင်ပါသည်။

တစ်စုံတစ်ဦးသည် တစ်စုံတစ်ရာကို အမြဲပျောက်ဆုံးနေပါသည်) ဤနေရာတွင် ကျွန်ုပ်တို့သည် ဦးစားပေးများကို မှန်ကန်စွာ သတ်မှတ်နိုင်ရန် အသိုင်းအဝိုင်း၏ တောင်းဆိုမှုကို အားကိုးပါသည်။ အသိုင်းအဝိုင်း၏အကူအညီနှင့်အရာရာကိုသဘောပေါက်ရန်

နိဂုံးချုပ်

ငါတို့သုံးတယ် Balerter ငါဒါကိုရခဲ့တာကြာပြီ။ ဒါဇင်ပေါင်းများစွာသော ဇာတ်ညွှန်းများသည် ကျွန်ုပ်တို့၏စိတ်ငြိမ်သက်မှုကို ကာကွယ်ပေးသည်။ ဒီအလုပ်က တခြားသူအတွက် အသုံးဝင်မယ်လို့ မျှော်လင့်ပါတယ်။

သင်၏ Issue နှင့် PR ဖြင့်ကြိုဆိုပါသည်။

source: www.habr.com