कैपेसिटर में मेट्रिक्स को संसाधित करने की युक्तियाँ

सबसे अधिक संभावना यह है कि आज किसी के मन में यह सवाल नहीं है कि सेवा मीट्रिक्स एकत्रित करना क्यों आवश्यक है। अगला तार्किक कदम एकत्रित मेट्रिक्स के लिए अलर्ट सेट करना है, जो आपके लिए सुविधाजनक चैनलों (मेल, स्लैक, टेलीग्राम) के माध्यम से डेटा में किसी भी विचलन के बारे में आपको सूचित करेगा। ऑनलाइन होटल बुकिंग सेवा में ओस्ट्रोवोक.रु हमारी सेवाओं के सभी मेट्रिक्स को इन्फ्लक्सडीबी में स्ट्रीम किया जाता है और ग्राफाना में प्रदर्शित किया जाता है, जहां बुनियादी अलर्टिंग भी कॉन्फ़िगर की जाती है। "किसी चीज़ की गणना करने और इसकी तुलना करने की आवश्यकता है" जैसे कार्यों के लिए हम Kapacitor का उपयोग करते हैं।

कैपेसिटर टिक स्टैक का हिस्सा है, जो इन्फ्लक्सडीबी से मेट्रिक्स को प्रोसेस कर सकता है। यह कई आयामों को एक साथ जोड़ सकता है (जोड़ सकता है), प्राप्त आंकड़ों से कुछ उपयोगी गणना कर सकता है, परिणाम को इन्फ्लक्सडीबी में वापस लिख सकता है, स्लैक/टेलीग्राम/मेल पर अलर्ट भेज सकता है।

संपूर्ण स्टैक में एक शांत और विस्तृत प्रलेखन, लेकिन हमेशा कुछ उपयोगी चीजें होती हैं जो मैनुअल में स्पष्ट रूप से इंगित नहीं की जाती हैं। इस लेख में मैंने कई ऐसे उपयोगी गैर-स्पष्ट सुझावों को इकट्ठा करने का फैसला किया है (TICKscipt का मूल सिंटैक्स वर्णित है यहां) और हमारी किसी समस्या को हल करने के उदाहरण का उपयोग करके दिखाएँ कि इन्हें कैसे लागू किया जा सकता है।

चलो चलें!

फ़्लोट और int, गणना त्रुटियाँ

एक बिल्कुल मानक समस्या, कास्टिंग के माध्यम से हल:

var alert_float = 5.0
var alert_int = 10
data|eval(lambda: float("value") > alert_float OR float("value") < float("alert_int"))

डिफ़ॉल्ट() का उपयोग करना

यदि टैग/फ़ील्ड नहीं भरा गया तो गणना त्रुटियाँ होंगी:

|default()
        .tag('status', 'empty')
        .field('value', 0)

जोड़ भरें (आंतरिक बनाम बाहरी)

डिफ़ॉल्ट रूप से, जॉइन उन बिंदुओं को छोड़ देगा जहां कोई डेटा नहीं है (आंतरिक)।
जब fill('null') किया जाता है तो एक बाहरी जॉइन निष्पादित किया जाएगा, जिसके बाद आपको default() करना होगा और रिक्त मानों को भरना होगा:

var data = res1
    |join(res2)
        .as('res1', 'res2)
        .fill('null')
    |default()
        .field('res1.value', 0.0)
        .field('res2.value', 100.0)

यहां अभी भी एक सूक्ष्म अंतर है। उपरोक्त उदाहरण में, यदि श्रृंखला (res1 या res2) में से कोई एक रिक्त है, तो परिणामी श्रृंखला (डेटा) भी रिक्त होगी। GitHub पर इस विषय पर कई टिकट हैं (1633, 1871, 6967) - हम समाधान की प्रतीक्षा कर रहे हैं और थोड़ा कष्ट भी उठा रहे हैं।

गणनाओं में शर्तों का उपयोग करना (यदि लैम्ब्डा में हो)

|eval(lambda: if("value" > 0, true, false)

पाइपलाइन से अवधि के अंतिम पांच मिनट

उदाहरण के लिए, आपको पिछले पांच मिनट के मूल्यों की तुलना पिछले सप्ताह से करनी होगी। आप डेटा के दो बैचों को दो अलग-अलग बैचों में ले सकते हैं या एक बड़ी अवधि से डेटा का हिस्सा निकाल सकते हैं:

 |where(lambda: duration((unixNano(now()) - unixNano("time"))/1000, 1u) < 5m)

अंतिम पांच मिनट के लिए एक विकल्प बैरियर नोड नोड का उपयोग करना है, जो निर्दिष्ट समय से पहले डेटा को काट देता है:

|barrier()
        .period(5m)

संदेश में Go टेम्प्लेट का उपयोग करने के उदाहरण

टेम्पलेट्स पैकेज के प्रारूप के अनुरूप हैं टेक्स्ट.टेम्प्लेटनीचे कुछ अक्सर सामने आने वाली समस्याएं दी गई हैं।

यदि नहीं तो

आइए चीजों को व्यवस्थित करें और अनावश्यक रूप से लोगों को परेशान न करें:

|alert()
    ...
    .message(
        '{{ if eq .Level "OK" }}It is ok now{{ else }}Chief, everything is broken{{end}}'
    )

संदेश में दशमलव बिंदु के बाद दो अंक

संदेश की पठनीयता में सुधार:

|alert()
    ...
    .message(
        'now value is {{ index .Fields "value" | printf "%0.2f" }}'
    )

संदेश में चरों का खुलासा

हम संदेश में अधिक जानकारी प्रदर्शित करते हैं ताकि इस प्रश्न का उत्तर मिल सके कि “यह क्यों चिल्ला रहा है?”

var warnAlert = 10
  |alert()
    ...
    .message(
       'Today value less then '+string(warnAlert)+'%'
    )

अद्वितीय अलर्ट पहचानकर्ता

यह एक आवश्यक बात है जब डेटा में एक से अधिक समूह हों, अन्यथा केवल एक ही अलर्ट उत्पन्न होगा:

|alert()
      ...
      .id('{{ index .Tags "myname" }}/{{ index .Tags "myfield" }}')

कस्टम हैंडलर

हैंडलर्स की बड़ी सूची में exec शामिल है, जो आपको पास किए गए पैरामीटर्स (stdin) के साथ अपनी स्क्रिप्ट निष्पादित करने की अनुमति देता है - रचनात्मकता और इससे अधिक कुछ नहीं!

हमारे कस्टम में से एक स्लैक को नोटिफिकेशन भेजने के लिए एक छोटी पायथन स्क्रिप्ट है।
सबसे पहले हम ग्राफाना से एक तस्वीर संदेश में भेजना चाहते थे, जो प्राधिकरण द्वारा सुरक्षित थी। इसके बाद, उसी समूह से पिछले अलर्ट के थ्रेड में OK लिखें, न कि किसी अलग संदेश में। थोड़ी देर बाद, संदेश में पिछले X मिनट में हुई सबसे आम त्रुटि जोड़ें।

एक अलग विषय अन्य सेवाओं के साथ कनेक्शन और अलर्ट द्वारा शुरू की गई कोई भी कार्रवाई है (केवल तभी जब आपकी निगरानी काफी अच्छी तरह से काम करती है)।
हैंडलर विवरण का एक उदाहरण, जहां slack_handler.py हमारी कस्टम स्क्रिप्ट है:

topic: slack_graph
id: slack_graph.alert
match: level() != INFO AND changed() == TRUE
kind: exec
options:
  prog: /sbin/slack_handler.py
  args: ["-c", "CHANNELID", "--graph", "--search"]

डिबग कैसे करें?

लॉग में आउटपुट के साथ विकल्प

|log()
      .level("error")
      .prefix("something")

देखें (cli): kapacitor -url होस्ट-या-आईपी:9092 लॉग lvl=त्रुटि

httpOut के साथ विकल्प

वर्तमान पाइपलाइन में डेटा दिखाता है:

|httpOut('something')

देखें (प्राप्त करें): होस्ट-या-आईपी:9092/kapacitor/v1/tasks/task_name/कुछ

क्रियान्वयन योजना

• प्रत्येक कार्य प्रारूप में उपयोगी संख्याओं के साथ एक निष्पादन वृक्ष लौटाता है ग्राफ़विज़.
• हम एक ब्लॉक लेते हैं डॉट.
• व्यूअर में पेस्ट करें, लेट्स इनजॉय.

आप और कहां रेक करवा सकते हैं?

इन्फ्लक्सडीबी में राइटबैक पर टाइमस्टैम्प

उदाहरण के लिए, हमने प्रति घंटे अनुरोधों के योग के लिए एक अलर्ट सेट किया है (groupBy(1h)) और इनफ्लक्सडीबी में होने वाले अलर्ट को रिकॉर्ड करना चाहते हैं (ग्राफाना में ग्राफ पर समस्या के तथ्य को अच्छी तरह से दिखाने के लिए)।

influxDBOut() अलर्ट से समय मान को टाइमस्टैम्प में लिख देगा, इसलिए चार्ट पर बिंदु अलर्ट आने से पहले/बाद में लिखा जाएगा।

जब परिशुद्धता की आवश्यकता होती है: हम एक कस्टम हैंडलर को कॉल करके इस समस्या से निपटते हैं, जो वर्तमान टाइमस्टैम्प के साथ डेटा को इनफ्लक्सडीबी में लिखेगा।

डॉकर, निर्माण और तैनाती

प्रारंभ करते समय, kapacitor कॉन्फ़िगरेशन में निर्दिष्ट निर्देशिका से [लोड] ब्लॉक में कार्यों, टेम्पलेट्स और हैंडलर्स को लोड कर सकता है।

किसी कार्य को सही ढंग से बनाने के लिए आपको निम्नलिखित चीजों की आवश्यकता होगी:

1. फ़ाइल नाम - आईडी/स्क्रिप्ट नाम तक विस्तृत होता है
2. प्रकार – स्ट्रीम/बैच
3. dbrp - यह निर्दिष्ट करने के लिए कीवर्ड कि स्क्रिप्ट किस डेटाबेस + नीति में काम करती है (dbrp "supplier"."autogen")

यदि किसी बैच कार्य में dbrp वाली लाइन नहीं है, तो पूरी सेवा शुरू होने से इंकार कर देगी और लॉग में इसके बारे में ईमानदारी से लिखेगी।

क्रोनोग्राफ में, इसके विपरीत, यह रेखा नहीं होनी चाहिए; इसे इंटरफ़ेस के माध्यम से स्वीकार नहीं किया जाता है और त्रुटि लौटा दी जाती है।

कंटेनर बिल्ड हैक: यदि //.+dbrp वाली लाइनें हैं, तो Dockerfile -1 के साथ बाहर निकलता है, जो आपको बिल्ड विफलता का कारण तुरंत समझने की अनुमति देगा।

एक से अनेक को जोड़ना

उदाहरण कार्य: आपको एक सप्ताह के लिए सेवा के अपटाइम का 95वाँ प्रतिशत लेना है, पिछले 10 मिनटों के प्रत्येक मिनट की तुलना इस मान से करनी है।

आप एक-से-अनेक संयोजन नहीं कर सकते, बिन्दुओं के समूह पर अंतिम/माध्य/माध्यिका नोड को स्ट्रीम में बदल देती है, त्रुटि "चाइल्ड बेमेल किनारों को नहीं जोड़ा जा सकता: बैच -> स्ट्रीम" वापस आ जाएगी।

लैम्ब्डा अभिव्यक्ति में एक चर के रूप में बैच का परिणाम भी प्रतिस्थापित नहीं किया जाता है।

पहले बैच से आवश्यक संख्याओं को udf के माध्यम से एक फ़ाइल में सहेजने और साइडलोड के माध्यम से इस फ़ाइल को लोड करने का विकल्प मौजूद है।

हम इससे क्या हल निकाल रहे थे?

हमारे पास लगभग 100 होटल आपूर्तिकर्ता हैं, उनमें से प्रत्येक के पास कई कनेक्शन हो सकते हैं, आइए इसे एक चैनल कहें। इनमें से लगभग 300 चैनल हैं, प्रत्येक चैनल बंद हो सकता है। सभी रिकॉर्ड किए गए मेट्रिक्स में, हम त्रुटि दर (अनुरोध और त्रुटियां) की निगरानी करेंगे।

ग्राफ़ाना क्यों नहीं?

ग्राफ़ाना में कॉन्फ़िगर किए गए त्रुटि अलर्ट के कई नुकसान हैं। स्थिति के आधार पर कुछ महत्वपूर्ण हैं, कुछ को नजरअंदाज किया जा सकता है।

ग्राफाना अंतर-आयामी गणना + चेतावनी नहीं कर सकता है, लेकिन हमें एक दर (अनुरोध-त्रुटियां) / अनुरोध की आवश्यकता है।

ये त्रुटियाँ बहुत बुरी लगती हैं:

और यदि आप सफल प्रश्नों को देखें तो यह कम बुरा है:

ठीक है, हम ग्राफाना से पहले सेवा में दर की पूर्व-गणना कर सकते हैं, और कुछ मामलों में यह काम करेगा। लेकिन हमारे यहां ऐसा नहीं है, क्योंकि प्रत्येक चैनल के लिए इसका अपना अनुपात "सामान्य" माना जाता है, और अलर्ट स्थिर मूल्यों के अनुसार काम करते हैं (हम अपनी आंखों से देखते हैं, अगर यह अक्सर अलर्ट करता है तो हम इसे बदल देते हैं)।

ये विभिन्न चैनलों के लिए "सामान्य" के उदाहरण हैं:

आइए हम पिछले बिंदु को नजरअंदाज करें और मान लें कि "सामान्य" तस्वीर सभी आपूर्तिकर्ताओं के लिए समान है। अब सब कुछ ठीक है, और हम grafana में अलर्ट के साथ प्राप्त कर सकते हैं?
हम ऐसा कर सकते हैं, लेकिन हम वास्तव में ऐसा नहीं करना चाहते, क्योंकि हमें विकल्पों में से एक चुनना होगा:
क) प्रत्येक चैनल के लिए अलग-अलग बहुत सारे ग्राफ बनाएं (और उन्हें बड़ी मेहनत से बनाए रखें)
ख) सभी चैनलों के साथ एक चार्ट छोड़ें (और रंगीन रेखाओं और अनुकूलित अलर्ट में खो जाएं)

आपने ऐसा कैसे किया?

पुनः, दस्तावेज़ीकरण में एक अच्छा प्रारंभिक उदाहरण है (सम्मिलित श्रृंखला में दरों की गणना), आप इसे देख सकते हैं या समान समस्याओं में आधार के रूप में उपयोग कर सकते हैं।

अंत में हमने क्या किया:

• कुछ घंटों में दो एपिसोड को चैनलों के आधार पर समूहीकृत करना;
• यदि कोई डेटा नहीं था तो हम श्रृंखला को समूहों द्वारा भरते हैं;
• पिछले 10 मिनट के माध्य की तुलना पिछले डेटा से करें;
• अगर हमें कुछ मिले तो चिल्लाना;
• हम गणना की गई दरें और अलर्ट जो influxdb में आए, लिखते हैं;
• सुस्त लोगों को एक उपयोगी संदेश भेजें।

मेरी राय में, हम अंत में वह सब कुछ हासिल करने में कामयाब रहे जो हम चाहते थे, वह भी सबसे सुंदर तरीके से (और कस्टम हैंडलर्स के साथ थोड़ा और भी अधिक)।

आप github.com पर देख सकते हैं कोड उदाहरण и न्यूनतम योजना (ग्राफविज़) प्राप्त स्क्रिप्ट.

परिणामी कोड का उदाहरण:

dbrp "supplier"."autogen"
var name = 'requests.rate'
var grafana_dash = 'pczpmYZWU/mydashboard'
var grafana_panel = '26'
var period = 8h
var todayPeriod = 10m
var every = 1m
var warnAlert = 15
var warnReset = 5
var reqQuery = 'SELECT sum("count") AS value FROM "supplier"."autogen"."requests"'
var errQuery = 'SELECT sum("count") AS value FROM "supplier"."autogen"."errors"'

var prevErr = batch
    |query(errQuery)
        .period(period)
        .every(every)
        .groupBy(1m, 'channel', 'supplier')

var prevReq = batch
    |query(reqQuery)
        .period(period)
        .every(every)
        .groupBy(1m, 'channel', 'supplier')

var rates = prevReq
    |join(prevErr)
        .as('req', 'err')
        .tolerance(1m)
        .fill('null')
    // заполняем значения нулями, если их не было
    |default()
        .field('err.value', 0.0)
        .field('req.value', 0.0)
    // if в lambda: считаем рейт, только если ошибки были
    |eval(lambda: if("err.value" > 0, 100.0 * (float("req.value") - float("err.value")) / float("req.value"), 100.0))
        .as('rate')

// записываем посчитанные значения в инфлюкс
rates
    |influxDBOut()
        .quiet()
        .create()
        .database('kapacitor')
        .retentionPolicy('autogen')
        .measurement('rates')

// выбираем данные за последние 10 минут, считаем медиану
var todayRate = rates
    |where(lambda: duration((unixNano(now()) - unixNano("time")) / 1000, 1u) < todayPeriod)
    |median('rate')
        .as('median')

var prevRate = rates
    |median('rate')
        .as('median')

var joined = todayRate
    |join(prevRate)
        .as('today', 'prev')
    |httpOut('join')

var trigger = joined
    |alert()
        .warn(lambda: ("prev.median" - "today.median") > warnAlert)
        .warnReset(lambda: ("prev.median" - "today.median") < warnReset)
        .flapping(0.25, 0.5)
        .stateChangesOnly()
        // собираем в message ссылку на график дашборда графаны
        .message(
            '{{ .Level }}: {{ index .Tags "channel" }} err/req ratio ({{ index .Tags "supplier" }})
{{ if eq .Level "OK" }}It is ok now{{ else }}
'+string(todayPeriod)+' median is {{ index .Fields "today.median" | printf "%0.2f" }}%, by previous '+string(period)+' is {{ index .Fields "prev.median" | printf "%0.2f" }}%{{ end }}
http://grafana.ostrovok.in/d/'+string(grafana_dash)+
'?var-supplier={{ index .Tags "supplier" }}&var-channel={{ index .Tags "channel" }}&panelId='+string(grafana_panel)+'&fullscreen&tz=UTC%2B03%3A00'
        )
        .id('{{ index .Tags "name" }}/{{ index .Tags "channel" }}')
        .levelTag('level')
        .messageField('message')
        .durationField('duration')
        .topic('slack_graph')

// "today.median" дублируем как "value", также пишем в инфлюкс остальные филды алерта (keep)
trigger
    |eval(lambda: "today.median")
        .as('value')
        .keep()
    |influxDBOut()
        .quiet()
        .create()
        .database('kapacitor')
        .retentionPolicy('autogen')
        .measurement('alerts')
        .tag('alertName', name)

तो फिर निष्कर्ष क्या है?

कैपेसिटर कई समूहों के साथ निगरानी और चेतावनी देने, पहले से रिकॉर्ड किए गए मेट्रिक्स के आधार पर अतिरिक्त गणना करने, कस्टम क्रियाएं करने और स्क्रिप्ट (यूडीएफ) चलाने में बहुत अच्छा है।

प्रवेश की सीमा बहुत अधिक नहीं है - यदि ग्राफाना या अन्य उपकरण आपकी इच्छाओं को पूरी तरह से संतुष्ट नहीं करते हैं तो इसे आज़माएं।

स्रोत: www.habr.com