ক্যাপাসিটরে মেট্রিক্স প্রক্রিয়াকরণের কৌশল

সম্ভবত, আজ কেউ জিজ্ঞাসা করে না কেন পরিষেবা মেট্রিক্স সংগ্রহ করা প্রয়োজন। পরবর্তী যৌক্তিক পদক্ষেপ হল সংগৃহীত মেট্রিক্সের জন্য একটি সতর্কতা সেট আপ করা, যা আপনার জন্য সুবিধাজনক চ্যানেলে (মেল, স্ল্যাক, টেলিগ্রাম) ডেটাতে কোনো বিচ্যুতি সম্পর্কে অবহিত করবে। অনলাইন হোটেল বুকিং সেবা Ostrovok.ru আমাদের পরিষেবার সমস্ত মেট্রিক্স InfluxDB-তে ঢেলে দেওয়া হয় এবং Grafana-এ প্রদর্শিত হয় এবং সেখানে মৌলিক সতর্কতাও কনফিগার করা হয়। "আপনাকে কিছু গণনা করতে হবে এবং এটির সাথে তুলনা করতে হবে" এর মতো কাজের জন্য আমরা ক্যাপাসিটর ব্যবহার করি।

Kapacitor হল TICK স্ট্যাকের অংশ যা InfluxDB থেকে মেট্রিক্স প্রক্রিয়া করতে পারে। এটি একাধিক পরিমাপ একসাথে সংযুক্ত করতে পারে (যোগদান করতে পারে), প্রাপ্ত ডেটা থেকে দরকারী কিছু গণনা করতে পারে, ফলাফলটি InfluxDB-তে লিখতে পারে, Slack/Telegram/mail এ একটি সতর্কতা পাঠাতে পারে।

সম্পূর্ণ স্ট্যাক শান্ত এবং বিস্তারিত ডকুমেন্টেশন, কিন্তু সবসময় দরকারী জিনিস থাকবে যা ম্যানুয়ালগুলিতে স্পষ্টভাবে নির্দেশিত নয়। এই নিবন্ধে, আমি এই ধরনের বেশ কিছু দরকারী, অ-স্পষ্ট টিপস সংগ্রহ করার সিদ্ধান্ত নিয়েছি (TICKscipt-এর মৌলিক সিনট্যাক্স বর্ণনা করা হয়েছে এখানে) এবং আমাদের সমস্যাগুলির একটি সমাধানের উদাহরণ ব্যবহার করে কীভাবে সেগুলি প্রয়োগ করা যেতে পারে তা দেখান।

চল যাই!

float & int, গণনার ত্রুটি

একটি একেবারে মানক সমস্যা, বর্ণের মাধ্যমে সমাধান করা হয়েছে:

var alert_float = 5.0
var alert_int = 10
data|eval(lambda: float("value") > alert_float OR float("value") < float("alert_int"))

ডিফল্ট ব্যবহার করে()

যদি একটি ট্যাগ/ক্ষেত্র পূরণ না করা হয়, গণনার ত্রুটি ঘটবে:

|default()
        .tag('status', 'empty')
        .field('value', 0)

যোগদান পূরণ করুন (অভ্যন্তরীণ বনাম বাইরের)

ডিফল্টরূপে, যোগদান এমন পয়েন্টগুলি বাতিল করবে যেখানে কোনও ডেটা নেই (অভ্যন্তরীণ)।
fill('null') দিয়ে, একটি বাইরের যোগদান করা হবে, তারপরে আপনাকে একটি ডিফল্ট() করতে হবে এবং খালি মানগুলি পূরণ করতে হবে:

var data = res1
    |join(res2)
        .as('res1', 'res2)
        .fill('null')
    |default()
        .field('res1.value', 0.0)
        .field('res2.value', 100.0)

এখানে এখনও একটি nuance আছে. উপরের উদাহরণে, যদি সিরিজের একটি (res1 বা res2) খালি থাকে, তাহলে ফলস্বরূপ সিরিজ (ডেটা)ও খালি থাকবে। গিথুবে এই বিষয়ে বেশ কয়েকটি টিকিট রয়েছে (1633, 1871, 6967) – আমরা সংশোধনের জন্য অপেক্ষা করছি এবং একটু কষ্ট করছি।

গণনায় শর্ত ব্যবহার করা (যদি ল্যাম্বডায় থাকে)

|eval(lambda: if("value" > 0, true, false)

পিরিয়ডের জন্য পাইপলাইন থেকে শেষ পাঁচ মিনিট

উদাহরণস্বরূপ, আপনাকে আগের সপ্তাহের সাথে শেষ পাঁচ মিনিটের মান তুলনা করতে হবে। আপনি দুটি পৃথক ব্যাচে ডেটার দুটি ব্যাচ নিতে পারেন বা একটি বড় সময় থেকে ডেটার অংশ বের করতে পারেন:

 |where(lambda: duration((unixNano(now()) - unixNano("time"))/1000, 1u) < 5m)

শেষ পাঁচ মিনিটের জন্য একটি বিকল্প ব্যারিয়ারনোড ব্যবহার করা হবে, যা নির্দিষ্ট সময়ের আগে ডেটা কেটে দেয়:

|barrier()
        .period(5m)

বার্তায় Go টেমপ্লেট ব্যবহারের উদাহরণ

টেমপ্লেটগুলি প্যাকেজ থেকে বিন্যাসের সাথে মিলে যায় text.templateনীচে কিছু প্রায়শই সম্মুখীন ধাঁধা আছে.

অন্যথায় যদি

আমরা জিনিসগুলিকে সাজিয়ে রাখি এবং টেক্সট দিয়ে লোকেদের আবার ট্রিগার করি না:

|alert()
    ...
    .message(
        '{{ if eq .Level "OK" }}It is ok now{{ else }}Chief, everything is broken{{end}}'
    )

বার্তায় দশমিক বিন্দুর পর দুটি সংখ্যা

বার্তার পঠনযোগ্যতা উন্নত করা:

|alert()
    ...
    .message(
        'now value is {{ index .Fields "value" | printf "%0.2f" }}'
    )

বার্তায় ভেরিয়েবল প্রসারিত করা

"কেন চিৎকার করছে" প্রশ্নের উত্তর দিতে আমরা বার্তায় আরও তথ্য প্রদর্শন করি?

var warnAlert = 10
  |alert()
    ...
    .message(
       'Today value less then '+string(warnAlert)+'%'
    )

অনন্য সতর্কতা শনাক্তকারী

এটি একটি প্রয়োজনীয় জিনিস যখন ডেটাতে একাধিক গ্রুপ থাকে, অন্যথায় শুধুমাত্র একটি সতর্কতা তৈরি করা হবে:

|alert()
      ...
      .id('{{ index .Tags "myname" }}/{{ index .Tags "myfield" }}')

কাস্টম হ্যান্ডলার এর

হ্যান্ডলারের বৃহৎ তালিকায় রয়েছে exec, যা আপনাকে পাস করা প্যারামিটার (stdin) দিয়ে আপনার স্ক্রিপ্ট চালানোর অনুমতি দেয় - সৃজনশীলতা এবং এর বেশি কিছু নয়!

আমাদের কাস্টমগুলির মধ্যে একটি হল স্ল্যাকে বিজ্ঞপ্তি পাঠানোর জন্য একটি ছোট পাইথন স্ক্রিপ্ট।
প্রথমে, আমরা একটি বার্তায় একটি অনুমোদন-সুরক্ষিত গ্রাফনা ছবি পাঠাতে চেয়েছিলাম। তারপরে, একই গ্রুপের পূর্ববর্তী সতর্কতায় থ্রেডে ঠিক আছে লিখুন, আলাদা বার্তা হিসাবে নয়। একটু পরে - শেষ X মিনিটের সবচেয়ে সাধারণ ভুল বার্তাটিতে যোগ করুন।

একটি পৃথক বিষয় হল অন্যান্য পরিষেবাগুলির সাথে যোগাযোগ এবং একটি সতর্কতা দ্বারা সূচিত যে কোনও ক্রিয়াকলাপ (শুধুমাত্র যদি আপনার পর্যবেক্ষণ যথেষ্ট ভাল কাজ করে)।
একটি হ্যান্ডলার বিবরণের একটি উদাহরণ, যেখানে slack_handler.py হল আমাদের স্ব-লিখিত স্ক্রিপ্ট:

topic: slack_graph
id: slack_graph.alert
match: level() != INFO AND changed() == TRUE
kind: exec
options:
  prog: /sbin/slack_handler.py
  args: ["-c", "CHANNELID", "--graph", "--search"]

কিভাবে ডিবাগ করবেন?

লগ আউটপুট সহ বিকল্প

|log()
      .level("error")
      .prefix("something")

ঘড়ি (cli): kapacitor -url হোস্ট-বা-আইপি:9092 লগ lvl=ত্রুটি

httpOut সহ বিকল্প

বর্তমান পাইপলাইনে ডেটা দেখায়:

|httpOut('something')

দেখুন (পান): হোস্ট-বা-আইপি:9092/kapacitor/v1/tasks/task_name/something

এক্সিকিউশন স্কিম

• প্রতিটি টাস্ক ফরম্যাটে দরকারী সংখ্যা সহ একটি এক্সিকিউশন ট্রি প্রদান করে গ্রাফভিজ.
• একটি ব্লক নিন ডট.
• ভিউয়ারে পেস্ট করুন, উপভোগ.

আর কোথায় রেক পেতে পারেন?

রাইটব্যাকে ইনফ্লাক্সডিবিতে টাইমস্ট্যাম্প

উদাহরণ স্বরূপ, আমরা প্রতি ঘন্টায় (groupBy(1h)) অনুরোধের যোগফলের জন্য একটি সতর্কতা সেট আপ করি এবং influxdb-এ সংঘটিত সতর্কতাটি রেকর্ড করতে চাই (গ্রাফনার গ্রাফে সমস্যাটির সত্যতা সুন্দরভাবে দেখানোর জন্য)।

influxDBOut() সতর্কতা থেকে টাইমস্ট্যাম্পে সময়ের মান লিখবে; সেই অনুযায়ী, চার্টের পয়েন্টটি সতর্কতা আসার আগে/পরে লেখা হবে।

যখন নির্ভুলতা প্রয়োজন হয়: আমরা একটি কাস্টম হ্যান্ডলারকে কল করে এই সমস্যার সমাধান করি, যা বর্তমান টাইমস্ট্যাম্পের সাথে influxdb-এ ডেটা লিখবে।

ডকার, নির্মাণ এবং স্থাপনা

স্টার্টআপে, ক্যাপাসিটর [লোড] ব্লকের কনফিগারে উল্লেখ করা ডিরেক্টরি থেকে কাজ, টেমপ্লেট এবং হ্যান্ডলার লোড করতে পারে।

সঠিকভাবে একটি টাস্ক তৈরি করতে, আপনার নিম্নলিখিত জিনিসগুলির প্রয়োজন:

1. ফাইলের নাম - স্ক্রিপ্ট আইডি/নামে প্রসারিত
2. প্রকার - স্ট্রিম/ব্যাচ
3. dbrp – স্ক্রিপ্ট কোন ডাটাবেস + পলিসিতে চলে তা নির্দেশ করার জন্য কীওয়ার্ড (dbrp "সরবরাহকারী।""অটোজেন")

যদি কিছু ব্যাচ টাস্কে dbrp-এর সাথে একটি লাইন না থাকে, তাহলে পুরো পরিষেবাটি শুরু করতে অস্বীকার করবে এবং সততার সাথে লগে এটি সম্পর্কে লিখবে।

ক্রোনোগ্রাফে, বিপরীতে, এই লাইনটি থাকা উচিত নয়; এটি ইন্টারফেসের মাধ্যমে গৃহীত হয় না এবং একটি ত্রুটি তৈরি করে।

একটি ধারক তৈরি করার সময় হ্যাক করুন: ডকারফাইল -1 দিয়ে প্রস্থান করে যদি //.+dbrp এর সাথে লাইন থাকে, যা আপনাকে বিল্ডটি একত্রিত করার সময় ব্যর্থতার কারণটি অবিলম্বে বুঝতে অনুমতি দেবে।

এক থেকে অনেকের সাথে যোগ দিন

উদাহরণ টাস্ক: আপনাকে এক সপ্তাহের জন্য পরিষেবার অপারেটিং সময়ের 95 তম শতাংশ নিতে হবে, এই মানের সাথে শেষ 10 এর প্রতিটি মিনিটের তুলনা করুন।

আপনি এক-থেকে-অনেক যোগদান করতে পারবেন না, পয়েন্টের একটি গোষ্ঠীর উপর শেষ/মধ্য/মধ্য নোডটিকে একটি স্ট্রীমে পরিণত করে, ত্রুটি "চাইল্ড মেলে না হওয়া প্রান্তগুলি যোগ করতে পারে না: ব্যাচ -> স্ট্রীম" ফেরত দেওয়া হবে।

ল্যাম্বডা এক্সপ্রেশনে একটি পরিবর্তনশীল হিসাবে একটি ব্যাচের ফলাফলও প্রতিস্থাপিত হয় না।

প্রথম ব্যাচ থেকে প্রয়োজনীয় নম্বরগুলি udf-এর মাধ্যমে ফাইলে সংরক্ষণ করার এবং সাইডলোডের মাধ্যমে এই ফাইলটি লোড করার বিকল্প রয়েছে।

আমরা এটা দিয়ে কি সমাধান করেছি?

আমাদের প্রায় 100 হোটেল সরবরাহকারী রয়েছে, তাদের প্রত্যেকের বেশ কয়েকটি সংযোগ থাকতে পারে, আসুন এটিকে একটি চ্যানেল বলি। এই চ্যানেলগুলির মধ্যে প্রায় 300 টি চ্যানেল রয়েছে, প্রতিটি চ্যানেল বন্ধ হয়ে যেতে পারে। সমস্ত রেকর্ড করা মেট্রিকগুলির মধ্যে, আমরা ত্রুটির হার (অনুরোধ এবং ত্রুটি) নিরীক্ষণ করব।

গ্রাফনা নয় কেন?

Grafana-এ কনফিগার করা ত্রুটি সতর্কতার বেশ কিছু অসুবিধা রয়েছে। কিছু সমালোচনামূলক, কিছু আপনি আপনার চোখ বন্ধ করতে পারেন, পরিস্থিতির উপর নির্ভর করে.

Grafana পরিমাপ + সতর্কতার মধ্যে কীভাবে গণনা করতে হয় তা জানে না, তবে আমাদের একটি হার (অনুরোধ-ত্রুটি)/অনুরোধের প্রয়োজন।

ত্রুটিগুলি খারাপ দেখাচ্ছে:

এবং সফল অনুরোধের সাথে দেখা হলে কম মন্দ:

ঠিক আছে, আমরা গ্রাফনার আগে পরিষেবাতে রেট প্রাক-গণনা করতে পারি এবং কিছু ক্ষেত্রে এটি কাজ করবে। কিন্তু আমাদের মধ্যে নয়, কারণ... প্রতিটি চ্যানেলের জন্য তার নিজস্ব অনুপাতকে "স্বাভাবিক" হিসাবে বিবেচনা করা হয়, এবং সতর্কতাগুলি স্ট্যাটিক মান অনুযায়ী কাজ করে (আমরা আমাদের চোখ দিয়ে তাদের সন্ধান করি, ঘন ঘন সতর্কতা থাকলে সেগুলি পরিবর্তন করুন)।

এগুলি বিভিন্ন চ্যানেলের জন্য "স্বাভাবিক" এর উদাহরণ:

আমরা পূর্ববর্তী পয়েন্ট উপেক্ষা করি এবং অনুমান করি যে "স্বাভাবিক" চিত্রটি সমস্ত সরবরাহকারীদের জন্য একই রকম। এখন সবকিছু ঠিক আছে, এবং আমরা গ্রাফনা মধ্যে সতর্কতা সঙ্গে পেতে পারেন?
আমরা পারি, কিন্তু আমরা সত্যিই চাই না, কারণ আমাদের বিকল্পগুলির মধ্যে একটি বেছে নিতে হবে:
ক) প্রতিটি চ্যানেলের জন্য আলাদাভাবে প্রচুর গ্রাফ তৈরি করুন (এবং বেদনাদায়কভাবে তাদের সাথে)
খ) সমস্ত চ্যানেলের সাথে একটি চার্ট ছেড়ে দিন (এবং রঙিন লাইন এবং কাস্টমাইজড সতর্কতায় হারিয়ে যান)

তুমি এটা কিভাবে করলে?

আবার, ডকুমেন্টেশনে একটি ভাল শুরুর উদাহরণ রয়েছে (যোগ হওয়া সিরিজ জুড়ে হার গণনা করা হচ্ছে), অনুরূপ সমস্যার ভিত্তিতে উঁকি দেওয়া বা নেওয়া যেতে পারে।

আমরা শেষ পর্যন্ত যা করেছি:

• কয়েক ঘন্টার মধ্যে দুটি সিরিজে যোগদান করুন, চ্যানেল দ্বারা গ্রুপিং করুন;
• যদি কোনও ডেটা না থাকে তবে গ্রুপ অনুসারে সিরিজটি পূরণ করুন;
• পূর্ববর্তী ডেটার সাথে শেষ 10 মিনিটের মধ্যমা তুলনা করুন;
• আমরা কিছু পেলে চিৎকার করি;
• আমরা ইনফ্লাক্সডিবিতে সংঘটিত গণনাকৃত হার এবং সতর্কতাগুলি লিখি;
• শিথিল করার জন্য একটি দরকারী বার্তা পাঠান।

আমার মতে, আমরা যতটা সম্ভব সুন্দরভাবে শেষ পর্যন্ত (এবং কাস্টম হ্যান্ডলারের সাথে আরও একটু বেশি) পেতে চেয়েছিলাম সবকিছু অর্জন করতে পেরেছি।

আপনি github.com এ দেখতে পারেন কোড উদাহরণ и ন্যূনতম সার্কিট (গ্রাফভিজ) ফলে স্ক্রিপ্ট।

ফলাফল কোডের একটি উদাহরণ:

dbrp "supplier"."autogen"
var name = 'requests.rate'
var grafana_dash = 'pczpmYZWU/mydashboard'
var grafana_panel = '26'
var period = 8h
var todayPeriod = 10m
var every = 1m
var warnAlert = 15
var warnReset = 5
var reqQuery = 'SELECT sum("count") AS value FROM "supplier"."autogen"."requests"'
var errQuery = 'SELECT sum("count") AS value FROM "supplier"."autogen"."errors"'

var prevErr = batch
    |query(errQuery)
        .period(period)
        .every(every)
        .groupBy(1m, 'channel', 'supplier')

var prevReq = batch
    |query(reqQuery)
        .period(period)
        .every(every)
        .groupBy(1m, 'channel', 'supplier')

var rates = prevReq
    |join(prevErr)
        .as('req', 'err')
        .tolerance(1m)
        .fill('null')
    // заполняем значения нулями, если их не было
    |default()
        .field('err.value', 0.0)
        .field('req.value', 0.0)
    // if в lambda: считаем рейт, только если ошибки были
    |eval(lambda: if("err.value" > 0, 100.0 * (float("req.value") - float("err.value")) / float("req.value"), 100.0))
        .as('rate')

// записываем посчитанные значения в инфлюкс
rates
    |influxDBOut()
        .quiet()
        .create()
        .database('kapacitor')
        .retentionPolicy('autogen')
        .measurement('rates')

// выбираем данные за последние 10 минут, считаем медиану
var todayRate = rates
    |where(lambda: duration((unixNano(now()) - unixNano("time")) / 1000, 1u) < todayPeriod)
    |median('rate')
        .as('median')

var prevRate = rates
    |median('rate')
        .as('median')

var joined = todayRate
    |join(prevRate)
        .as('today', 'prev')
    |httpOut('join')

var trigger = joined
    |alert()
        .warn(lambda: ("prev.median" - "today.median") > warnAlert)
        .warnReset(lambda: ("prev.median" - "today.median") < warnReset)
        .flapping(0.25, 0.5)
        .stateChangesOnly()
        // собираем в message ссылку на график дашборда графаны
        .message(
            '{{ .Level }}: {{ index .Tags "channel" }} err/req ratio ({{ index .Tags "supplier" }})
{{ if eq .Level "OK" }}It is ok now{{ else }}
'+string(todayPeriod)+' median is {{ index .Fields "today.median" | printf "%0.2f" }}%, by previous '+string(period)+' is {{ index .Fields "prev.median" | printf "%0.2f" }}%{{ end }}
http://grafana.ostrovok.in/d/'+string(grafana_dash)+
'?var-supplier={{ index .Tags "supplier" }}&var-channel={{ index .Tags "channel" }}&panelId='+string(grafana_panel)+'&fullscreen&tz=UTC%2B03%3A00'
        )
        .id('{{ index .Tags "name" }}/{{ index .Tags "channel" }}')
        .levelTag('level')
        .messageField('message')
        .durationField('duration')
        .topic('slack_graph')

// "today.median" дублируем как "value", также пишем в инфлюкс остальные филды алерта (keep)
trigger
    |eval(lambda: "today.median")
        .as('value')
        .keep()
    |influxDBOut()
        .quiet()
        .create()
        .database('kapacitor')
        .retentionPolicy('autogen')
        .measurement('alerts')
        .tag('alertName', name)

এবং উপসংহার কি?

ক্যাপাসিটর একগুচ্ছ গ্রুপিং সহ মনিটরিং-সতর্কতা সম্পাদন করতে, ইতিমধ্যে রেকর্ড করা মেট্রিক্সের উপর ভিত্তি করে অতিরিক্ত গণনা সম্পাদন করতে, কাস্টম ক্রিয়া সম্পাদন করতে এবং স্ক্রিপ্টগুলি (udf) চালাতে দুর্দান্ত।

প্রবেশের বাধা খুব বেশি নয় - যদি গ্রাফানা বা অন্যান্য সরঞ্জামগুলি আপনার ইচ্ছাকে সম্পূর্ণরূপে সন্তুষ্ট না করে তবে এটি চেষ্টা করুন।

উত্স: www.habr.com