Kapacitor मा मेट्रिक्स प्रशोधन को लागी युक्तिहरु

सम्भवतः, आज कसैले सोध्दैन किन सेवा मेट्रिक्स सङ्कलन गर्न आवश्यक छ। अर्को तार्किक चरण भनेको सङ्कलन मेट्रिक्सका लागि अलर्ट सेट अप गर्नु हो, जसले तपाईका लागि सुविधाजनक च्यानलहरू (मेल, स्ल्याक, टेलिग्राम) मा डेटामा कुनै पनि विचलन बारे सूचित गर्नेछ। अनलाइन होटल बुकिंग सेवा मा Ostrovok.ru हाम्रा सेवाहरूको सबै मेट्रिक्स InfluxDB मा राखिन्छ र Grafana मा प्रदर्शित हुन्छ, र आधारभूत चेतावनी पनि त्यहाँ कन्फिगर गरिएको छ। "तपाईंले केहि गणना गर्न र त्यससँग तुलना गर्न आवश्यक छ," जस्ता कार्यहरूका लागि हामी Kapacitor प्रयोग गर्छौं।

Kapacitor TICK स्ट्याकको अंश हो जसले InfluxDB बाट मेट्रिक्स प्रक्रिया गर्न सक्छ। यसले धेरै मापनहरू सँगै जोड्न सक्छ (जोड्नुहोस्), प्राप्त डाटाबाट केही उपयोगी गणना गर्नुहोस्, नतिजालाई InfluxDB मा लेख्नुहोस्, Slack/Telegram/mail मा अलर्ट पठाउनुहोस्।

सम्पूर्ण स्ट्याक राम्रो र विस्तृत छ कागजात, तर त्यहाँ सधैं उपयोगी चीजहरू हुनेछन् जुन म्यानुअलहरूमा स्पष्ट रूपमा संकेत गरिएको छैन। यस लेखमा, मैले त्यस्ता धेरै उपयोगी, गैर-स्पष्ट सुझावहरू सङ्कलन गर्ने निर्णय गरे (TICKscipt को आधारभूत वाक्य रचना वर्णन गरिएको छ। यहाँ) र हाम्रो समस्याहरू समाधान गर्ने उदाहरण प्रयोग गरेर तिनीहरूलाई कसरी लागू गर्न सकिन्छ भनेर देखाउनुहोस्।

चलो जानुहोस्!

फ्लोट र int, गणना त्रुटिहरू

एक बिल्कुल मानक समस्या, जातिहरु मार्फत हल:

var alert_float = 5.0
var alert_int = 10
data|eval(lambda: float("value") > alert_float OR float("value") < float("alert_int"))

पूर्वनिर्धारित () प्रयोग गर्दै

यदि ट्याग/फिल्ड भरिएको छैन भने, गणना त्रुटिहरू देखा पर्नेछ:

|default()
        .tag('status', 'empty')
        .field('value', 0)

सामेल हुनुहोस् (भित्री बनाम बाहिरी)

पूर्वनिर्धारित रूपमा, जोडिँदा कुनै डाटा (भित्री) नभएका बिन्दुहरू खारेज हुनेछ।
fill('null') को साथ, बाहिरी जोडिनेछ, जस पछि तपाईंले default() गर्नु पर्छ र खाली मानहरू भर्नु पर्छ:

var data = res1
    |join(res2)
        .as('res1', 'res2)
        .fill('null')
    |default()
        .field('res1.value', 0.0)
        .field('res2.value', 100.0)

यहाँ अझै पनि एक nuance छ। माथिको उदाहरणमा, यदि कुनै शृङ्खला (res1 वा res2) खाली छ भने, नतिजा हुने शृङ्खला (डेटा) पनि खाली हुनेछ। Github मा यस विषयमा धेरै टिकटहरू छन् (1633, 1871, 6967) - हामी समाधानको लागि पर्खिरहेका छौं र थोरै कष्ट भोगिरहेका छौं।

गणनामा सर्तहरू प्रयोग गर्दै (यदि Lambda मा)

|eval(lambda: if("value" > 0, true, false)

अवधिको लागि पाइपलाइनबाट अन्तिम पाँच मिनेट

उदाहरणका लागि, तपाईंले अघिल्लो हप्ताको साथ अन्तिम पाँच मिनेटको मानहरू तुलना गर्न आवश्यक छ। तपाईले दुईवटा छुट्टै ब्याचमा डेटाको दुई ब्याच लिन सक्नुहुन्छ वा ठूलो अवधिबाट डेटाको अंश निकाल्न सक्नुहुन्छ:

 |where(lambda: duration((unixNano(now()) - unixNano("time"))/1000, 1u) < 5m)

अन्तिम पाँच मिनेटको लागि एक विकल्प एक BarrierNode प्रयोग गर्न को लागी हुनेछ, जसले निर्दिष्ट समय भन्दा पहिले डेटा काट्छ:

|barrier()
        .period(5m)

सन्देशमा गो टेम्प्लेटहरू प्रयोग गर्ने उदाहरणहरू

टेम्प्लेटहरू प्याकेजको ढाँचासँग मेल खान्छ text.templateतल केही बारम्बार सामना गर्ने पजलहरू छन्।

यदि - अर्को

हामी चीजहरू क्रमबद्ध राख्छौं र फेरि पाठको साथ मानिसहरूलाई ट्रिगर गर्दैनौं:

|alert()
    ...
    .message(
        '{{ if eq .Level "OK" }}It is ok now{{ else }}Chief, everything is broken{{end}}'
    )

सन्देशमा दशमलव बिन्दु पछि दुई अंक

सन्देशको पठनीयता सुधार गर्दै:

|alert()
    ...
    .message(
        'now value is {{ index .Fields "value" | printf "%0.2f" }}'
    )

सन्देशमा चरहरू विस्तार गर्दै

हामीले "किन चिच्याइरहेको छ" भन्ने प्रश्नको जवाफ दिन सन्देशमा थप जानकारी देखाउँछौं?

var warnAlert = 10
  |alert()
    ...
    .message(
       'Today value less then '+string(warnAlert)+'%'
    )

अद्वितीय चेतावनी पहिचानकर्ता

डाटामा एक भन्दा बढी समूह हुँदा यो आवश्यक कुरा हो, अन्यथा केवल एउटा अलर्ट उत्पन्न हुनेछ:

|alert()
      ...
      .id('{{ index .Tags "myname" }}/{{ index .Tags "myfield" }}')

कस्टम ह्यान्डलरको

ह्यान्डलरहरूको ठूलो सूचीमा exec समावेश छ, जसले तपाइँलाई तपाइँको स्क्रिप्टलाई पास गरिएका प्यारामिटरहरू (stdin) - रचनात्मकता र अरू केहि पनि कार्यान्वयन गर्न अनुमति दिन्छ!

हाम्रो एउटा चलन भनेको ढिलोमा सूचनाहरू पठाउनको लागि एउटा सानो पाइथन लिपि हो।
सुरुमा, हामी सन्देशमा प्राधिकरण-सुरक्षित ग्राफाना चित्र पठाउन चाहन्थ्यौं। त्यसपछि, एउटै समूहबाट अघिल्लो चेतावनीमा थ्रेडमा ठीक लेख्नुहोस्, र छुट्टै सन्देशको रूपमा होइन। केही समय पछि - सन्देशमा अन्तिम X मिनेटमा सबैभन्दा सामान्य गल्ती थप्नुहोस्।

एउटा छुट्टै विषय भनेको अन्य सेवाहरूसँगको सञ्चार र अलर्टद्वारा सुरु गरिएका कुनै पनि कार्यहरू (तपाईंको अनुगमनले राम्रोसँग काम गरेमा मात्र)।
ह्यान्डलर विवरणको उदाहरण, जहाँ slack_handler.py हाम्रो स्व-लिखित स्क्रिप्ट हो:

topic: slack_graph
id: slack_graph.alert
match: level() != INFO AND changed() == TRUE
kind: exec
options:
  prog: /sbin/slack_handler.py
  args: ["-c", "CHANNELID", "--graph", "--search"]

कसरी डिबग गर्ने?

लग आउटपुटको साथ विकल्प

|log()
      .level("error")
      .prefix("something")

हेर्नुहोस् (cli): kapacitor -url होस्ट-वा-आईपी:9092 लग lvl=त्रुटि

httpOut को साथ विकल्प

हालको पाइपलाइनमा डेटा देखाउँछ:

|httpOut('something')

हेर्नुहोस् (प्राप्त): होस्ट-वा-आईपी:9092/kapacitor/v1/tasks/task_name/something

कार्यान्वयन योजना

• प्रत्येक कार्यले ढाँचामा उपयोगी संख्याहरूको साथ कार्यान्वयन रूख फर्काउँछ ग्राफभिज.
• एक ब्लक लिनुहोस् डट.
• यसलाई दर्शकमा टाँस्नुहोस्, मजा लिनुहोस्.

अरू कहाँ रैक पाउन सक्नुहुन्छ?

राइटब्याकमा influxdb मा टाइमस्ट्याम्प

उदाहरणका लागि, हामीले प्रति घण्टा अनुरोधहरूको योगफल (groupBy(1h)) को लागि अलर्ट सेट अप गर्छौं र influxdb मा भएको अलर्ट रेकर्ड गर्न चाहन्छौं (ग्राफनामा ग्राफमा समस्याको तथ्यलाई सुन्दर रूपमा देखाउन)।

influxDBOut() ले सतर्कताबाट टाइमस्ट्याम्पमा समय मान लेख्नेछ; तदनुसार, चार्टमा बिन्दु अलर्ट आइपुग्नु भन्दा पहिले/पछि लेखिनेछ।

जब सटीकता आवश्यक हुन्छ: हामी अनुकूलन ह्यान्डलरलाई कल गरेर यस समस्याको समाधान गर्छौं, जसले हालको टाइमस्ट्याम्पको साथ influxdb मा डाटा लेख्नेछ।

डकर, निर्माण र तैनाती

स्टार्टअपमा, क्यापेसिटरले [लोड] ब्लकमा कन्फिगरेसनमा निर्दिष्ट निर्देशिकाबाट कार्यहरू, टेम्प्लेटहरू र ह्यान्डलरहरू लोड गर्न सक्छ।

सही रूपमा कार्य सिर्जना गर्न, तपाइँलाई निम्न चीजहरू आवश्यक छ:

1. फाइलको नाम - स्क्रिप्ट आईडी/नाममा विस्तार गरियो
2. प्रकार - स्ट्रिम / ब्याच
3. dbrp - कुन डाटाबेस + नीतिमा स्क्रिप्ट चल्छ भनेर संकेत गर्न खोजशब्द (dbrp "आपूर्तिकर्ता।" "autogen")

यदि केही ब्याच कार्यले dbrp सँग लाइन समावेश गर्दैन भने, सम्पूर्ण सेवा सुरु गर्न अस्वीकार गर्नेछ र लगमा यसको बारेमा इमानदारीपूर्वक लेख्नेछ।

क्रोनोग्राफमा, यसको विपरित, यो रेखा अवस्थित हुनु हुँदैन; यो इन्टरफेस मार्फत स्वीकार गरिएको छैन र त्रुटि उत्पन्न गर्दछ।

कन्टेनर निर्माण गर्दा ह्याक: डकरफाइल -1 बाट बाहिर निस्कन्छ यदि त्यहाँ //.+dbrp सँग लाइनहरू छन्, जसले तपाईंलाई बिल्ड एसेम्बल गर्दा विफलताको कारण तुरुन्तै बुझ्न अनुमति दिनेछ।

एक देखि धेरै सम्मिलित

उदाहरण कार्य: तपाईंले एक हप्ताको लागि सेवाको सञ्चालन समयको 95 औं प्रतिशत लिन आवश्यक छ, अन्तिम 10 को प्रत्येक मिनेटलाई यो मानसँग तुलना गर्नुहोस्।

तपाईंले एक-देखि-धेरै सामेल हुन सक्नुहुन्न, बिन्दुहरूको समूहमा अन्तिम/मीन/माध्यकले नोडलाई स्ट्रिममा परिणत गर्छ, त्रुटि "बच्चा बेमेल किनारहरू थप्न सक्दैन: ब्याच -> स्ट्रिम" फर्काइनेछ।

ब्याचको नतिजा, एक lambda अभिव्यक्तिमा चरको रूपमा, पनि प्रतिस्थापन गरिएको छैन।

त्यहाँ पहिलो ब्याचबाट आवश्यक नम्बरहरू udf मार्फत फाइलमा बचत गर्ने र साइडलोड मार्फत फाइल लोड गर्ने विकल्प छ।

हामीले यसलाई के समाधान गर्यौं?

हामीसँग लगभग 100 होटेल आपूर्तिकर्ताहरू छन्, तिनीहरूमध्ये प्रत्येकसँग धेरै जडानहरू हुन सक्छन्, यसलाई च्यानल भनिन्छ। त्यहाँ यी च्यानलहरू मध्ये लगभग 300 छन्, प्रत्येक च्यानल खस्न सक्छ। सबै रेकर्ड गरिएका मेट्रिकहरू मध्ये, हामी त्रुटि दर (अनुरोध र त्रुटिहरू) को निगरानी गर्नेछौं।

ग्राफाना किन छैन?

Grafana मा कन्फिगर गरिएका त्रुटि अलर्टहरू धेरै बेफाइदाहरू छन्। केहि महत्वपूर्ण छन्, केहि तपाईले आफ्नो आँखा बन्द गर्न सक्नुहुन्छ, परिस्थितिमा निर्भर गर्दछ।

Grafana मापन + अलर्टिंग बीच कसरी गणना गर्ने थाहा छैन, तर हामीलाई दर (अनुरोध-त्रुटिहरू)/अनुरोधहरू चाहिन्छ।

त्रुटिहरू खराब देखिन्छन्:

र सफल अनुरोधहरूको साथ हेर्दा कम खराब:

ठीक छ, हामी grafana अघि सेवामा दर पूर्व-गणना गर्न सक्छौं, र केहि अवस्थामा यसले काम गर्नेछ। तर हाम्रोमा होइन, किनकि... प्रत्येक च्यानलको लागि यसको आफ्नै अनुपात "सामान्य" मानिन्छ, र अलर्टहरू स्थिर मानहरू अनुसार काम गर्दछ (हामी तिनीहरूलाई हाम्रो आँखाले हेर्छौं, बारम्बार अलर्टहरू भएमा तिनीहरूलाई परिवर्तन गर्नुहोस्)।

यी विभिन्न च्यानलहरूको लागि "सामान्य" को उदाहरणहरू हुन्:

हामी अघिल्लो बिन्दुलाई बेवास्ता गर्छौं र मान्दछौं कि "सामान्य" चित्र सबै आपूर्तिकर्ताहरूको लागि समान छ। अब सबै ठीक छ, र हामी grafana मा अलर्ट संग प्राप्त गर्न सक्नुहुन्छ?
हामी सक्छौं, तर हामी वास्तवमै चाहँदैनौं, किनभने हामीले विकल्पहरू मध्ये एउटा छान्नुपर्छ:
क) प्रत्येक च्यानलको लागि अलग-अलग धेरै ग्राफहरू बनाउनुहोस् (र पीडासाथ तिनीहरूको साथ)
ख) सबै च्यानलहरूसँग एउटा चार्ट छोड्नुहोस् (र रंगीन रेखाहरू र अनुकूलित अलर्टहरूमा हराउनुहोस्)

तपाईंले यो कसरी गर्नुभयो?

फेरि, त्यहाँ कागजातमा राम्रो सुरूवात उदाहरण छ (जोडिएका शृङ्खलाहरूमा दरहरू गणना गर्दै), उस्तै समस्याहरूमा हेर्न वा आधारको रूपमा लिन सकिन्छ।

हामीले अन्तमा के गर्यौं:

• केही घण्टामा दुई शृङ्खलाहरूमा सामेल हुनुहोस्, च्यानलहरू द्वारा समूहबद्ध गर्नुहोस्;
• यदि त्यहाँ कुनै डाटा थिएन भने समूह द्वारा श्रृंखला भर्नुहोस्;
• अघिल्लो डेटा संग पछिल्लो 10 मिनेट को मध्य तुलना;
• यदि हामीले केहि फेला पार्छौं भने हामी कराउँछौं;
• हामी influxdb मा भएको गणना दर र अलर्टहरू लेख्छौं;
• ढिलो गर्न उपयोगी सन्देश पठाउनुहोस्।

मेरो विचारमा, हामीले अन्तमा प्राप्त गर्न चाहेका सबै चीजहरू प्राप्त गर्न व्यवस्थित गर्यौं (र अनुकूलन ह्यान्डलरहरूको साथ अलि बढी) सकेसम्म सुन्दरताका साथ।

तपाईं यसलाई github.com मा हेर्न सक्नुहुन्छ कोड उदाहरण и न्यूनतम सर्किट (ग्राफभिज) नतिजा लिपि।

नतिजा कोड को एक उदाहरण:

dbrp "supplier"."autogen"
var name = 'requests.rate'
var grafana_dash = 'pczpmYZWU/mydashboard'
var grafana_panel = '26'
var period = 8h
var todayPeriod = 10m
var every = 1m
var warnAlert = 15
var warnReset = 5
var reqQuery = 'SELECT sum("count") AS value FROM "supplier"."autogen"."requests"'
var errQuery = 'SELECT sum("count") AS value FROM "supplier"."autogen"."errors"'

var prevErr = batch
    |query(errQuery)
        .period(period)
        .every(every)
        .groupBy(1m, 'channel', 'supplier')

var prevReq = batch
    |query(reqQuery)
        .period(period)
        .every(every)
        .groupBy(1m, 'channel', 'supplier')

var rates = prevReq
    |join(prevErr)
        .as('req', 'err')
        .tolerance(1m)
        .fill('null')
    // заполняем значения нулями, если их не было
    |default()
        .field('err.value', 0.0)
        .field('req.value', 0.0)
    // if в lambda: считаем рейт, только если ошибки были
    |eval(lambda: if("err.value" > 0, 100.0 * (float("req.value") - float("err.value")) / float("req.value"), 100.0))
        .as('rate')

// записываем посчитанные значения в инфлюкс
rates
    |influxDBOut()
        .quiet()
        .create()
        .database('kapacitor')
        .retentionPolicy('autogen')
        .measurement('rates')

// выбираем данные за последние 10 минут, считаем медиану
var todayRate = rates
    |where(lambda: duration((unixNano(now()) - unixNano("time")) / 1000, 1u) < todayPeriod)
    |median('rate')
        .as('median')

var prevRate = rates
    |median('rate')
        .as('median')

var joined = todayRate
    |join(prevRate)
        .as('today', 'prev')
    |httpOut('join')

var trigger = joined
    |alert()
        .warn(lambda: ("prev.median" - "today.median") > warnAlert)
        .warnReset(lambda: ("prev.median" - "today.median") < warnReset)
        .flapping(0.25, 0.5)
        .stateChangesOnly()
        // собираем в message ссылку на график дашборда графаны
        .message(
            '{{ .Level }}: {{ index .Tags "channel" }} err/req ratio ({{ index .Tags "supplier" }})
{{ if eq .Level "OK" }}It is ok now{{ else }}
'+string(todayPeriod)+' median is {{ index .Fields "today.median" | printf "%0.2f" }}%, by previous '+string(period)+' is {{ index .Fields "prev.median" | printf "%0.2f" }}%{{ end }}
http://grafana.ostrovok.in/d/'+string(grafana_dash)+
'?var-supplier={{ index .Tags "supplier" }}&var-channel={{ index .Tags "channel" }}&panelId='+string(grafana_panel)+'&fullscreen&tz=UTC%2B03%3A00'
        )
        .id('{{ index .Tags "name" }}/{{ index .Tags "channel" }}')
        .levelTag('level')
        .messageField('message')
        .durationField('duration')
        .topic('slack_graph')

// "today.median" дублируем как "value", также пишем в инфлюкс остальные филды алерта (keep)
trigger
    |eval(lambda: "today.median")
        .as('value')
        .keep()
    |influxDBOut()
        .quiet()
        .create()
        .database('kapacitor')
        .retentionPolicy('autogen')
        .measurement('alerts')
        .tag('alertName', name)

निष्कर्ष के हो?

Kapacitor समूहहरूको गुच्छाको साथ निगरानी-अलर्टहरू प्रदर्शन गर्न, पहिले नै रेकर्ड गरिएको मेट्रिक्समा आधारित अतिरिक्त गणनाहरू प्रदर्शन गर्न, अनुकूलन कार्यहरू प्रदर्शन गर्न र लिपिहरू (udf) चलाउनमा उत्कृष्ट छ।

प्रवेशको लागि बाधा धेरै उच्च छैन - यदि ग्राफना वा अन्य उपकरणहरूले तपाइँको इच्छालाई पूर्ण रूपमा सन्तुष्ट गर्दैन भने यसलाई प्रयास गर्नुहोस्।

स्रोत: www.habr.com