জটিল সতর্কতা সহ সহজ কাজ। বা বালারটার সৃষ্টির ইতিহাস

সবাই সতর্কতা পছন্দ করে।

অবশ্যই, বসে থাকা এবং গ্রাফের দিকে তাকানো এবং অসঙ্গতিগুলি সন্ধান করার চেয়ে কিছু ঘটেছে (বা ঠিক করা হয়েছে) তখন অবহিত হওয়া অনেক ভাল।

আর এর জন্য অনেক টুলস তৈরি করা হয়েছে। প্রমিথিউস ইকোসিস্টেম থেকে সতর্কতা ব্যবস্থাপক এবং ভিক্টোরিয়ামেট্রিক্স পণ্য গ্রুপ থেকে vmalert। Grafana মধ্যে Zabbix বিজ্ঞপ্তি এবং সতর্কতা. ব্যাশ এবং টেলিগ্রাম বটগুলিতে স্ব-লিখিত স্ক্রিপ্ট যা পর্যায়ক্রমে কিছু URL টেনে আনে এবং কিছু ভুল হলে আপনাকে বলে। সবকিছু অনেক.

আমরা, আমাদের কোম্পানীতে, জটিলতা, বা, বরং, জটিল, যৌগিক সতর্কতা তৈরির অসম্ভবতার মধ্যে না যাওয়া পর্যন্ত বিভিন্ন সমাধান ব্যবহার করেছি। আমরা যা চেয়েছিলাম এবং আমরা যা শেষ করেছি তা কাটার নীচে। টিএলডিআর: ওপেন সোর্স প্রকল্পটি এভাবেই হাজির হয়েছিল ব্যালর্টার

বেশ দীর্ঘ সময় ধরে আমরা Grafana-এ কনফিগার করা সতর্কতাগুলির সাথে ভালভাবে বসবাস করেছি। হ্যাঁ, এটি সেরা উপায় নয়। এটি সর্বদা কিছু বিশেষ সমাধান ব্যবহার করার পরামর্শ দেওয়া হয়, যেমন Alertmanager। এবং আমরাও একাধিকবার এগিয়ে যাওয়ার দিকে তাকালাম। এবং তারপর, ধীরে ধীরে, আমরা আরো চেয়েছিলাম.

বলুন যখন একটি নির্দিষ্ট চার্ট XX% কমে/বেড়েছে এবং M ঘন্টার আগের সময়ের তুলনায় N মিনিটের জন্য আছে? মনে হচ্ছে আপনি Grafana বা Alertmanager এর সাথে এটি বাস্তবায়ন করার চেষ্টা করতে পারেন, কিন্তু এটি খুব সহজ নয়। (অথবা এটা সম্ভব নয়, এখন বলব না)

বিষয়গুলি আরও জটিল হয়ে ওঠে যখন সতর্কতার সিদ্ধান্ত নেওয়া উচিত বিভিন্ন উত্স থেকে পাওয়া তথ্যের ভিত্তিতে। লাইভ উদাহরণ:

আমরা দুটি ক্লিকহাউস ডাটাবেস থেকে ডেটা পরীক্ষা করি, তারপর পোস্টগ্রেসের কিছু ডেটার সাথে তুলনা করি এবং একটি সতর্কতার বিষয়ে সিদ্ধান্ত নিই। সংকেত বা বাতিল

আমরা আমাদের সিদ্ধান্ত সম্পর্কে চিন্তা করার জন্য আমাদের জন্য অনুরূপ ইচ্ছা অনেক সঞ্চিত হয়েছে. এবং তারপরে আমরা এই পরিষেবাটির প্রয়োজনীয়তা/ক্ষমতার প্রথম তালিকা কম্পাইল করার চেষ্টা করেছি, যা এখনও তৈরি করা হয়নি।

• বিভিন্ন ডেটা উত্স অ্যাক্সেস করুন। যেমন প্রমিথিউস, ক্লিকহাউস, পোস্টগ্রেস

• বিভিন্ন চ্যানেলে সতর্কবার্তা পাঠান - টেলিগ্রাম, স্ল্যাক ইত্যাদি।

• চিন্তা করার প্রক্রিয়ায়, এটা স্পষ্ট হয়ে গেল যে আমি একটি ঘোষণামূলক বর্ণনা চাই না, কিন্তু স্ক্রিপ্ট লেখার ক্ষমতা চাই

• একটি সময়সূচী স্ক্রিপ্ট চলমান

• পরিষেবাটি পুনরায় চালু না করে স্ক্রিপ্টগুলির সহজ আপডেট

• সোর্স কোডগুলি থেকে পরিষেবাটি পুনর্নির্মাণ না করে কোনওভাবে কার্যকারিতা প্রসারিত করার ক্ষমতা

এই তালিকাটি আনুমানিক এবং সম্ভবত খুব সঠিক নয়। কিছু পয়েন্ট পরিবর্তিত হয়েছে, কিছু মারা গেছে। সবকিছু যথারীতি।

আসলে, এভাবেই ব্যালার্টারের ইতিহাস শুরু হয়েছিল।

শেষ পর্যন্ত কী ঘটেছিল এবং এটি কীভাবে কাজ করে তা আমি সংক্ষেপে বর্ণনা করার চেষ্টা করব। (হ্যাঁ, অবশ্যই, এখানেই শেষ নয়। পণ্য বিকাশের জন্য অনেক পরিকল্পনা রয়েছে। আমি আজকে থামব)

এটা কিভাবে কাজ করে?

আপনি লুয়াতে একটি স্ক্রিপ্ট লিখুন যেখানে আপনি স্পষ্টভাবে অনুরোধ পাঠান (প্রমিথিউস, ক্লিকহাউস, ইত্যাদি)। আপনি উত্তর পাবেন এবং একরকম প্রক্রিয়া করুন এবং তাদের তুলনা করুন। তারপর কোনো ধরনের সতর্কতা চালু/বন্ধ করুন। Balerter নিজেই আপনার কনফিগার করা চ্যানেলগুলিতে একটি বিজ্ঞপ্তি পাঠাবে (ইমেল, টেলিগ্রাম, স্ল্যাক, ইত্যাদি)। স্ক্রিপ্ট নির্দিষ্ট বিরতিতে কার্যকর করা হয়. এবং... সাধারণভাবে, এটাই)

একটি উদাহরণ সহ দেখানো ভাল:

-- @interval 10s
-- @name script1

local minRequestsRPS = 100

local log = require("log")
local ch1 = require("datasource.clickhouse.ch1")

local res, err = ch1.query("SELECT sum(requests) AS rps FROM some_table WHERE date = now()")
if err ~= nil then
    log.error("clickhouse 'ch1' query error: " .. err)
    return
end

local resultRPS = res[1].rps

if resultRPS < minResultRPS then
    alert.error("rps-min-limit", "Requests RPS are very small: " .. tostring(resultRPS))
else
    alert.success("rps-min-limit", "Requests RPS ok")
end 

এখানে কি হচ্ছে:

• আমরা নির্দেশ করি যে এই স্ক্রিপ্টটি প্রতি 10 সেকেন্ডে কার্যকর করা উচিত

• স্ক্রিপ্টের নাম নির্দেশ করুন (এপিআইয়ের জন্য, লগগুলিতে প্রদর্শনের জন্য, পরীক্ষায় ব্যবহারের জন্য)

• লগ আউটপুট করার জন্য মডিউল সংযোগ করুন

• নামের সাথে ক্লিকহাউস অ্যাক্সেস করতে একটি মডিউল সংযুক্ত করুন ch1 (সংযোগ নিজেই কনফিগারে কনফিগার করা হয়েছে)

• ক্লিকহাউসে একটি অনুরোধ পাঠান

• একটি ত্রুটির ক্ষেত্রে, আমরা লগ এবং প্রস্থানে একটি বার্তা প্রদর্শন করি

• একটি ধ্রুবকের সাথে ক্যোয়ারী ফলাফলের তুলনা করুন (একটি লাইভ উদাহরণে, আমরা এই মানটি পেতে পারি, উদাহরণস্বরূপ, পোস্টগ্রেস ডাটাবেস থেকে)

• আইডি দিয়ে সতর্কতা সক্রিয় বা অক্ষম করুন rps-min-limit

• সতর্কতার স্থিতি পরিবর্তিত হলে আপনি একটি বিজ্ঞপ্তি পাবেন

উদাহরণটি বেশ সহজ এবং বোধগম্য। যাইহোক, অবশ্যই, বাস্তব জীবনের স্ক্রিপ্টগুলি বেশ দীর্ঘ এবং জটিল হতে পারে। বিভ্রান্ত হওয়া এবং ভুল করা সহজ।

অতএব, একটি যৌক্তিক ইচ্ছা পরিপক্ক হয়েছে - আপনার স্ক্রিপ্টগুলির জন্য পরীক্ষা লিখতে সক্ষম হওয়ার জন্য। এবং v0.4.0 সংস্করণে এটি উপস্থিত হয়েছিল।

টেস্টিং স্ক্রিপ্ট

উপরের উদাহরণ থেকে আমাদের স্ক্রিপ্টের জন্য উদাহরণ পরীক্ষা:

-- @test script1
-- @name script1-test

test = require('test')

local resp = {
    {
        rps = 10
    }
} 

test.datasource('clickhouse.ch1').on('query', 'SELECT sum(requests) AS rps FROM some_table WHERE date = now()').response(resp)

test.alert().assertCalled('error', 'rps-min-limit', 'Requests RPS are very small: 10')
test.alert().assertNotCalled('success', 'rps-min-limit', 'Requests RPS ok')

পদক্ষেপগুলি:

• যে স্ক্রিপ্টের জন্য পরীক্ষা লেখা হয়েছে তার নাম নির্দেশ করুন

• পরীক্ষার নাম (লগের জন্য)

• টেস্টিং মডিউল সংযোগ করুন

• আমরা বলি ক্লিকহাউসে একটি নির্দিষ্ট অনুরোধের জন্য কী ফলাফল ফেরত দেওয়া উচিত ch1

• আমরা পরীক্ষা করি যে নির্দিষ্ট বার্তা সহ সতর্কতা (ত্রুটি) rps-min-limit কল করা হয়েছে

• চেক করুন যে rps-min-limit সতর্কতা নিষ্ক্রিয় করা হয়নি (সফল)

Balerter আর কি করতে পারেন?

আমি সবচেয়ে গুরুত্বপূর্ণ উপর স্পর্শ করার চেষ্টা করব, আমার মতে, Balerter দক্ষতা. আপনি অফিসিয়াল ওয়েবসাইটে বিস্তারিতভাবে সবকিছু দেখতে পারেন https://balerter.com

• থেকে তথ্য গ্রহণ

  • ক্লিক হাউস

  • postgres

  • মাইএসকিউএল

  • প্রমিথিউস

  • লোকি

• চ্যানেলগুলিতে বিজ্ঞপ্তি পাঠান

  • ঢিলা

  • টেলিগ্রাম

  • syslog- র

  • বিজ্ঞপ্তি (আপনার কম্পিউটারে UI বিজ্ঞপ্তি)

  • ইমেইল

  • অনৈক্য

• আপনার ডেটার উপর ভিত্তি করে গ্রাফ তৈরি করুন, S3 সামঞ্জস্যপূর্ণ স্টোরেজে ইমেজ আপলোড করুন এবং এটিকে বিজ্ঞপ্তিতে সংযুক্ত করুন (ছবি সহ উদাহরণ)

• আপনাকে স্ক্রিপ্টগুলির মধ্যে ডেটা বিনিময় করতে দেয় - গ্লোবাল কী/মান স্টোরেজ

• লুয়াতে আপনার নিজস্ব লাইব্রেরি লিখুন এবং সেগুলিকে স্ক্রিপ্টে ব্যবহার করুন (ডিফল্টরূপে, লুয়া লাইব্রেরিগুলি json, csv-এর সাথে কাজ করার জন্য সরবরাহ করা হয়)

• আপনার স্ক্রিপ্ট থেকে HTTP অনুরোধ পাঠান (এবং অবশ্যই প্রতিক্রিয়া পাবেন)

• একটি API প্রদান করে (এখনও আমাদের পছন্দ মতো কার্যকরী নয়)

• প্রমিথিউস ফরম্যাটে মেট্রিক্স রপ্তানি করে

আপনি আর কি করতে সক্ষম হতে চান?

এটি ইতিমধ্যেই স্পষ্ট যে ব্যবহারকারীরা এবং আমরা সিনট্যাক্স ব্যবহার করে স্ক্রিপ্টগুলির লঞ্চ নিয়ন্ত্রণ করার ক্ষমতা চাই৷ জন্য cron. এটি v1.0.0 সংস্করণের আগে করা হবে

আমি আরও ডেটা উত্স এবং বিজ্ঞপ্তি বিতরণ চ্যানেল সমর্থন করতে চাই৷ উদাহরণস্বরূপ, কেউ অবশ্যই MongoDB মিস করবে। কিছু জন্য ইলাস্টিক অনুসন্ধান. এসএমএস পাঠান এবং/অথবা আপনার মোবাইল ফোনে কল করুন। আমরা শুধুমাত্র ফাইল থেকে স্ক্রিপ্ট গ্রহণ করতে সক্ষম হতে চাই, কিন্তু, উদাহরণস্বরূপ, একটি ডাটাবেস থেকে. শেষ পর্যন্ত, আমরা একটি আরও ব্যবহারকারী-বান্ধব ওয়েবসাইট এবং প্রকল্পের জন্য আরও ভাল ডকুমেন্টেশন চাই।

কেউ সবসময় কিছু মিস করছে) এখানে আমরা সঠিকভাবে অগ্রাধিকার সেট করার জন্য সম্প্রদায়ের অনুরোধের উপর নির্ভর করি। এবং সম্প্রদায়ের সাহায্যে সবকিছু উপলব্ধি করা

উপসংহার ইন

আমরা ব্যাবহার করি ব্যালর্টার আমি এখন বেশ কিছু সময়ের জন্য এটি ছিল করেছি. কয়েক ডজন স্ক্রিপ্ট আমাদের মনের শান্তি রক্ষা করে। আমি আশা করি এই কাজটি অন্য কারো কাজে লাগবে।

এবং আপনার ইস্যু এবং পিআর সহ স্বাগতম।

উত্স: www.habr.com