जटिल अलर्टहरूसँग सजिलो काम। वा Balerter को सिर्जना को इतिहास

सबैलाई सतर्कता मन पर्छ।

निस्सन्देह, बसेर ग्राफहरू हेर्न र विसंगतिहरू खोज्नु भन्दा केहि भयो (वा निश्चित गरिएको) सूचित गर्न धेरै राम्रो छ।

र यसका लागि धेरै उपकरणहरू सिर्जना गरिएका छन्। प्रोमेथियस इकोसिस्टम र भिक्टोरियामेट्रिक्स उत्पादन समूहबाट vmalert बाट अलर्ट प्रबन्धक। Zabbix सूचनाहरू र Grafana मा अलर्टहरू। bash र Telegram बटहरूमा स्व-लिखित स्क्रिप्टहरू जुन आवधिक रूपमा केही URL तान्छन् र केही गलत छ भने तपाईंलाई बताउँछन्। सबै कुरा धेरै।

हामीले, हाम्रो कम्पनीमा, जटिलता, वा बरु, जटिल, समग्र अलर्टहरू सिर्जना गर्ने असम्भवतामा नपुगेसम्म विभिन्न समाधानहरू पनि प्रयोग गर्यौं। हामीले के चाहेका थियौं र हामीले के गर्यौं त्यो कट तल छ। TLDR: खुला स्रोत परियोजना यसरी देखा पर्‍यो Balerter

धेरै लामो समय को लागी हामी Grafana मा कन्फिगर गरिएका अलर्टहरु संग राम्रोसँग बस्यौं। हो, यो उत्तम तरिका होइन। यो सँधै केहि विशेष समाधानहरू प्रयोग गर्न सिफारिस गरिन्छ, जस्तै Alertmanager। र हामीले पनि एक पटक भन्दा बढि सर्ने दिशामा हेर्यौं। र त्यसपछि, बिस्तारै, हामी थप चाहन्थ्यौं।

M घण्टाको अघिल्लो अवधिको तुलनामा कुनै निश्चित चार्ट XX% ले घटेको/बढ्ने र N मिनेटको लागि त्यहाँ भएको बेला भन्नुहोस्? यस्तो देखिन्छ कि तपाइँ यसलाई Grafana वा Alertmanager मार्फत लागू गर्न प्रयास गर्न सक्नुहुन्छ, तर यो धेरै सजिलो छैन। (वा सायद यो सम्भव छैन, म अहिले भन्दिन)

कुराहरू अझ जटिल हुन्छन् जब अलर्ट निर्णय विभिन्न स्रोतहरूबाट डाटाको आधारमा हुनुपर्छ। प्रत्यक्ष उदाहरण:

हामी दुई क्लिकहाउस डाटाबेसहरूबाट डाटा जाँच गर्छौं, त्यसपछि यसलाई Postgres बाट केही डाटासँग तुलना गर्नुहोस्, र चेतावनीमा निर्णय गर्नुहोस्। संकेत वा रद्द गर्नुहोस्

हामीले हाम्रो निर्णयको बारेमा सोच्नको लागि धेरै समान इच्छाहरू जम्मा गरेका छौं। र त्यसपछि हामीले यस सेवाको आवश्यकताहरू / क्षमताहरूको पहिलो सूची कम्पाइल गर्ने प्रयास गर्यौं, जुन अहिलेसम्म सिर्जना गरिएको छैन।

• विभिन्न डाटा स्रोतहरू पहुँच गर्नुहोस्। उदाहरणका लागि, प्रोमेथियस, क्लिकहाउस, पोस्टग्रेस

• विभिन्न च्यानलहरूमा अलर्टहरू पठाउनुहोस् - टेलिग्राम, स्ल्याक, आदि।

• सोच्ने प्रक्रियामा, यो स्पष्ट भयो कि म घोषणात्मक विवरण चाहन्न, तर स्क्रिप्ट लेख्ने क्षमता

• तालिकामा चलिरहेको स्क्रिप्टहरू

• सेवा पुन: सुरु नगरी स्क्रिप्टहरूको सजिलो अपडेट

• स्रोत कोडहरूबाट सेवा पुन: निर्माण नगरी कुनै न कुनै रूपमा कार्यक्षमता विस्तार गर्ने क्षमता

यो सूची अनुमानित छ र सम्भवतः धेरै सही छैन। केही बिन्दुहरू परिवर्तन भए, केही मरे। सबै सामान्य जस्तै छ।

वास्तवमा, यो कसरी Balerter को इतिहास सुरु भयो।

म अन्तमा के भयो र यसले कसरी काम गर्छ भनेर संक्षिप्त रूपमा वर्णन गर्ने प्रयास गर्नेछु। (हो, अवश्य पनि, यो अन्त्य होइन। उत्पादन विकासका लागि धेरै योजनाहरू छन्। म आज मात्र रोक्छु)

यसले कसरी काम गर्छ?

तपाइँ लुआमा एउटा स्क्रिप्ट लेख्नुहुन्छ जहाँ तपाइँ स्पष्ट रूपमा अनुरोधहरू पठाउनुहुन्छ (प्रोमेथियस, क्लिकहाउस, आदि)। तपाईंले जवाफहरू प्राप्त गर्नुहुन्छ र कुनै न कुनै तरिकाले तिनीहरूलाई प्रक्रिया र तुलना गर्नुहोस्। त्यसपछि कुनै प्रकारको अलर्ट अन/अफ गर्नुहोस्। Balerter आफैले तपाईंले कन्फिगर गर्नुभएको च्यानलहरूमा सूचना पठाउनेछ (इमेल, टेलिग्राम, स्ल्याक, आदि)। लिपि निर्दिष्ट अन्तरालहरूमा कार्यान्वयन गरिन्छ। र ... सामान्यतया, यो सबै हो)

यो उदाहरण संग देखाउन सबै भन्दा राम्रो छ:

-- @interval 10s
-- @name script1

local minRequestsRPS = 100

local log = require("log")
local ch1 = require("datasource.clickhouse.ch1")

local res, err = ch1.query("SELECT sum(requests) AS rps FROM some_table WHERE date = now()")
if err ~= nil then
    log.error("clickhouse 'ch1' query error: " .. err)
    return
end

local resultRPS = res[1].rps

if resultRPS < minResultRPS then
    alert.error("rps-min-limit", "Requests RPS are very small: " .. tostring(resultRPS))
else
    alert.success("rps-min-limit", "Requests RPS ok")
end 

यहाँ के भइरहेको छ:

• हामी संकेत गर्छौं कि यो स्क्रिप्ट प्रत्येक 10 सेकेन्डमा कार्यान्वयन हुनुपर्छ

• लिपिको नाम संकेत गर्नुहोस् (एपीआईको लागि, लगहरूमा प्रदर्शनको लागि, परीक्षणहरूमा प्रयोगको लागि)

• आउटपुट लगहरूको लागि मोड्युल जडान गर्नुहोस्

• नामको साथ क्लिकहाउस पहुँच गर्न मोड्युल जडान गर्नुहोस् ch1 (जडान आफै कन्फिगरमा कन्फिगर गरिएको छ)

• क्लिकहाउसमा अनुरोध पठाउनुहोस्

• त्रुटिको अवस्थामा, हामी लग र बाहिर निस्कने सन्देश देखाउँछौं

• क्वेरी परिणामलाई स्थिरसँग तुलना गर्नुहोस् (एक प्रत्यक्ष उदाहरणमा, हामीले यो मान प्राप्त गर्न सक्छौं, उदाहरणका लागि, Postgres डाटाबेसबाट)

• ID को साथ अलर्ट सक्षम वा असक्षम गर्नुहोस् rps-min-limit

• यदि अलर्ट स्थिति परिवर्तन भएको छ भने तपाईले सूचना प्राप्त गर्नुहुनेछ

उदाहरण एकदम सरल र बुझ्न योग्य छ। यद्यपि, निस्सन्देह, वास्तविक जीवनमा लिपिहरू धेरै लामो र जटिल हुन सक्छ। भ्रममा पर्न र गल्ती गर्न सजिलो छ।

तसर्थ, एक तार्किक इच्छा परिपक्व भएको छ - आफ्नो स्क्रिप्ट लागि परीक्षण लेख्न सक्षम हुन। र संस्करण v0.4.0 मा यो देखा पर्‍यो।

परीक्षण लिपिहरू

माथिको उदाहरणबाट हाम्रो लिपिको लागि उदाहरण परीक्षण:

-- @test script1
-- @name script1-test

test = require('test')

local resp = {
    {
        rps = 10
    }
} 

test.datasource('clickhouse.ch1').on('query', 'SELECT sum(requests) AS rps FROM some_table WHERE date = now()').response(resp)

test.alert().assertCalled('error', 'rps-min-limit', 'Requests RPS are very small: 10')
test.alert().assertNotCalled('success', 'rps-min-limit', 'Requests RPS ok')

चरण-देखि:

• लिपिको नाम संकेत गर्नुहोस् जसको लागि परीक्षण लेखिएको छ

• परीक्षण नाम (लगहरूको लागि)

• परीक्षण मोड्युल जडान गर्नुहोस्

• हामी भन्छौं कि क्लिकहाउसमा विशेष अनुरोधको लागि कुन परिणाम फर्काउनु पर्छ ch1

• हामीले निर्दिष्ट सन्देशको साथ अलर्ट (त्रुटि) rps-min-limit लाई कल गरिएको जाँच गर्छौं

• जाँच गर्नुहोस् कि rps-min-limit अलर्ट असक्षम गरिएको छैन (सफल)

Balerter अरू के गर्न सक्नुहुन्छ?

म सबैभन्दा महत्त्वपूर्ण मा छुने प्रयास गर्नेछु, मेरो विचारमा, Balerter कौशल। तपाईं आधिकारिक वेबसाइटमा विस्तृत रूपमा सबै कुरा हेर्न सक्नुहुन्छ https://balerter.com

• बाट डाटा प्राप्त गर्नुहोस्

  • क्लिकहाउस

  • पोस्टगेज

  • MySQL

  • प्रोमेथियस

  • loki

• च्यानलहरूमा सूचनाहरू पठाउनुहोस्

  • ढिलो

  • टेलीग्राम

  • syslog

  • सूचित गर्नुहोस् (तपाईँको कम्प्युटरमा UI सूचनाहरू)

  • ईमेल

  • मतभेद

• तपाईंको डाटामा आधारित ग्राफहरू बनाउनुहोस्, छविलाई S3 उपयुक्त भण्डारणमा अपलोड गर्नुहोस् र सूचनाहरूमा संलग्न गर्नुहोस् (चित्रहरु संग उदाहरण)

• तपाईंलाई लिपिहरू बीच डाटा आदानप्रदान गर्न अनुमति दिन्छ - विश्वव्यापी कुञ्जी/मान भण्डारण

• लुआमा आफ्नै पुस्तकालयहरू लेख्नुहोस् र तिनीहरूलाई लिपिहरूमा प्रयोग गर्नुहोस् (पूर्वनिर्धारित रूपमा, लुआ पुस्तकालयहरू json, csv सँग काम गर्नको लागि आपूर्ति गरिन्छ)

• तपाईंको स्क्रिप्टबाट HTTP अनुरोधहरू पठाउनुहोस् (र प्रतिक्रियाहरू प्राप्त गर्नुहोस्, अवश्य पनि)

• एपीआई प्रदान गर्दछ (हामीले चाहेको जस्तो कार्यात्मक छैन)

• प्रोमेथियस ढाँचामा निर्यात मेट्रिक्स

तपाईं अरू के गर्न सक्षम हुन चाहनुहुन्छ?

यो पहिले नै स्पष्ट छ कि प्रयोगकर्ताहरू र हामी सिन्ट्याक्स प्रयोग गरेर स्क्रिप्टको सुरुवात नियन्त्रण गर्ने क्षमता चाहन्छौं cron। यो संस्करण v1.0.0 अघि गरिनेछ

म थप डेटा स्रोतहरू र सूचना वितरण च्यानलहरूलाई समर्थन गर्न चाहन्छु। उदाहरण को लागी, कसैले निश्चित रूपमा MongoDB लाई मिस गर्नेछ। केहि को लागी लोचदार खोज। SMS पठाउनुहोस् र/वा आफ्नो मोबाइल फोनमा कल गर्नुहोस्। हामी न केवल फाइलहरूबाट लिपिहरू प्राप्त गर्न सक्षम हुन चाहन्छौं, तर पनि, उदाहरणका लागि, डाटाबेसबाट। अन्तमा, हामी परियोजनाको लागि थप प्रयोगकर्ता-अनुकूल वेबसाइट र राम्रो कागजातहरू चाहन्छौं।

कसैलाई सधैं केही न केही हराइरहेको छ) यहाँ हामी प्राथमिकताहरू सही रूपमा सेट गर्नको लागि समुदायको अनुरोधमा भर पर्छौं। र सबै कुरा बुझ्न समुदायको सहयोगको लागि

निष्कर्षमा

हामी प्रयोग गर्छौ Balerter मसँग यो धेरै समयको लागि भएको छ। दर्जनौं लिपिहरूले हाम्रो मनको शान्तिको रक्षा गर्दछ। मलाई आशा छ यो काम अरू कसैलाई उपयोगी हुनेछ।

र तपाइँको अंक र PR संग स्वागत छ।

स्रोत: www.habr.com