লগ নিরীক্ষণ করতে কিবানায় একটি ড্যাশবোর্ড তৈরি করা হচ্ছে

হ্যালো, আমার নাম Evgeniy, আমি সিটিমোবিলে B2B টিমের লিড। আমাদের দলের কাজগুলির মধ্যে একটি হল অংশীদারদের কাছ থেকে ট্যাক্সি অর্ডার করার জন্য একীকরণকে সমর্থন করা এবং একটি স্থিতিশীল পরিষেবা নিশ্চিত করার জন্য আমাদের সর্বদা আমাদের মাইক্রোসার্ভিসে কী ঘটছে তা বুঝতে হবে। এবং এর জন্য আপনাকে ক্রমাগত লগগুলি পর্যবেক্ষণ করতে হবে।

সিটিমোবিলে, আমরা লগের সাথে কাজ করার জন্য ELK স্ট্যাক (ElasticSearch, Logstash, Kibana) ব্যবহার করি এবং সেখানে প্রাপ্ত ডেটার পরিমাণ প্রচুর। অনুরোধের এই বিশাল অংশে, নতুন কোড স্থাপনের পরে দেখা দিতে পারে এমন সমস্যাগুলি খুঁজে পাওয়া বেশ কঠিন। এবং তাদের স্পষ্টভাবে সনাক্ত করতে, কিবানার একটি ড্যাশবোর্ড বিভাগ রয়েছে।

ডেটা গ্রহণ এবং সংরক্ষণের জন্য কীভাবে একটি ELK স্ট্যাক সেট আপ করতে হয় তার উদাহরণ সহ Habré-এ বেশ কয়েকটি নিবন্ধ রয়েছে, তবে ড্যাশবোর্ড তৈরির জন্য কোনও প্রাসঙ্গিক উপকরণ নেই। অতএব, আমি দেখাতে চাই কিভাবে কিবানায় ইনকামিং লগের উপর ভিত্তি করে ডেটার একটি ভিজ্যুয়াল উপস্থাপনা তৈরি করা যায়।

সমন্বয়

এটি আরও স্পষ্ট করার জন্য, আমি ELK এবং Filebeat এর সাথে একটি ডকার ইমেজ তৈরি করেছি। এবং একটি পাত্রে একটি ছোট রাখা প্রোগ্রাম Go-তে, যা আমাদের উদাহরণের জন্য পরীক্ষার লগ তৈরি করবে। আমি ELK এর কনফিগারেশন বিশদভাবে বর্ণনা করব না; Habré এ এটি সম্পর্কে যথেষ্ট লেখা আছে।

কনফিগারেশন সহ সংগ্রহস্থল ক্লোনিং docker-compose এবং ELK সেটিংস, এবং কমান্ড দিয়ে এটি চালু করুন docker-compose up. আমি উদ্দেশ্যমূলকভাবে একটি কী যোগ করছি না। -dELK স্ট্যাকের প্রক্রিয়া দেখতে।

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

যদি সবকিছু সঠিকভাবে কনফিগার করা হয়, তাহলে আমরা লগগুলিতে একটি এন্ট্রি দেখতে পাব (সম্ভবত অবিলম্বে নয়, পুরো স্ট্যাকের সাথে একটি ধারক চালু করার প্রক্রিয়াটি কয়েক মিনিট সময় নিতে পারে):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

ঠিকানা দিয়ে localhost:5061 কিবানা খুলতে হবে।

শুধুমাত্র আমাদের কনফিগার করতে হবে কিবানার জন্য একটি ইনডেক্স প্যাটার্ন তৈরি করা যাতে কোন ডেটা প্রদর্শিত হবে সে সম্পর্কে তথ্য। এটি করার জন্য, চলুন একটি কার্ল রিকোয়েস্ট এক্সিকিউট করি বা গ্রাফিক্যাল ইন্টারফেসে একাধিক অ্যাকশন করি।

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

GUI এর মাধ্যমে সূচক প্যাটার্ন তৈরি করা
কনফিগার করতে, বাম মেনুতে আবিষ্কার বিভাগটি নির্বাচন করুন এবং সূচক প্যাটার্ন তৈরি পৃষ্ঠায় যান।

"ইনডেক্স প্যাটার্ন তৈরি করুন" বোতামে ক্লিক করার মাধ্যমে, আমাদের সূচী তৈরির পৃষ্ঠায় নিয়ে যাওয়া হয়। "ইনডেক্স প্যাটার্নের নাম" ক্ষেত্রে, "logstash-*" লিখুন। সবকিছু সঠিকভাবে কনফিগার করা হলে, কিবানার নীচে নিয়মের অধীনে থাকা সূচীগুলি দেখাবে।

পরবর্তী পৃষ্ঠায়, একটি টাইমস্ট্যাম্প সহ কী ক্ষেত্রটি নির্বাচন করুন, আমাদের ক্ষেত্রে এটি @timestamp.

ফলস্বরূপ, সূচী সেটিংস পৃষ্ঠাটি প্রদর্শিত হবে, কিন্তু এখন আমাদের থেকে কোন অতিরিক্ত কর্মের প্রয়োজন নেই।

এখন আমরা ডিসকভার বিভাগে ফিরে যেতে পারি, যেখানে আমরা লগ এন্ট্রি দেখতে পাব।

ড্যাশবোর্ড

বাম মেনুতে, ড্যাশবোর্ড তৈরি বিভাগে ক্লিক করুন এবং সংশ্লিষ্ট পৃষ্ঠায় যান।

"নতুন ড্যাশবোর্ড তৈরি করুন" এ ক্লিক করুন এবং ড্যাশবোর্ডে বস্তু যোগ করার জন্য পৃষ্ঠায় যান।

"নতুন তৈরি করুন" বোতামে ক্লিক করুন, এবং সিস্টেম আপনাকে ডেটা প্রদর্শনের ধরন নির্বাচন করতে অনুরোধ করবে। কিবানায় তাদের একটি বড় সংখ্যা রয়েছে, তবে আমরা একটি গ্রাফিকাল উপস্থাপনা "উল্লম্ব বার" এবং একটি ট্যাবুলার "ডেটা টেবিল" তৈরি করতে দেখব। অন্যান্য ধরনের উপস্থাপনা একইভাবে কনফিগার করা হয়। 

কিছু উপলব্ধ আইটেম B এবং E লেবেল করা হয়েছে, যা নির্দেশ করে যে বিন্যাসটি পরীক্ষামূলক বা বিটাতে। সময়ের সাথে সাথে, কিবানা থেকে বিন্যাস পরিবর্তিত হতে পারে বা সম্পূর্ণরূপে অদৃশ্য হয়ে যেতে পারে।

উল্লম্ব বার

"উল্লম্ব দণ্ড" উদাহরণের জন্য, আমাদের পরিষেবার সফল এবং অসফল প্রতিক্রিয়া অবস্থার অনুপাতের একটি হিস্টোগ্রাম তৈরি করা যাক। সেটিংস সম্পূর্ণ করার পরে, আমরা নিম্নলিখিত গ্রাফটি পাব:

আমরা একটি প্রতিক্রিয়া স্থিতি <400 এবং সমস্যাযুক্ত ->= 400 সহ সমস্ত অনুরোধকে সফল হিসাবে শ্রেণীবদ্ধ করব।

একটি "উল্লম্ব বার" চার্ট তৈরি করতে, আমাদের একটি ডেটা উত্স নির্বাচন করতে হবে। আমরা আগে তৈরি করা সূচক প্যাটার্নটি নির্বাচন করুন।

ডিফল্টরূপে, একবার আপনি একটি ডেটা উত্স নির্বাচন করলে, একটি অবিচ্ছিন্ন গ্রাফ প্রদর্শিত হবে। এটা সেট আপ করা যাক.

"বালতি" ব্লকে, "অ্যাড" বোতামে ক্লিক করুন, "এক্স-অ্যাসিস" নির্বাচন করুন এবং এক্স-অক্ষ কনফিগার করুন। এর সাথে লগে প্রবেশ করা রেকর্ডের টাইমস্ট্যাম্পগুলি প্লট করা যাক। "একত্রিতকরণ" ক্ষেত্রে, "তারিখ হিস্টোগ্রাম" নির্বাচন করুন এবং "ক্ষেত্র" নির্বাচন করুন "@টাইমস্ট্যাম্প" নির্বাচন করুন, একটি অস্থায়ী ক্ষেত্র নির্দেশ করে৷ "অটো" অবস্থায় "সর্বনিম্ন ব্যবধান" ছেড়ে দিন, এবং এটি স্বয়ংক্রিয়ভাবে আমাদের প্রদর্শনের সাথে সামঞ্জস্য করবে। 

"আপডেট" বোতামে ক্লিক করে, আমরা প্রতি 30 সেকেন্ডে অনুরোধের সংখ্যা সহ একটি গ্রাফ দেখতে পাব।

এখন Y অক্ষে কলাম সেট আপ করা যাক। এখন আমরা নির্বাচিত সময়ের ব্যবধানে অনুরোধের মোট সংখ্যা প্রদর্শন করি।

আসুন "সমষ্টির" মানটিকে "সাম বাকেট" এ পরিবর্তন করি, যা আমাদের সফল এবং অসফল অনুরোধ থেকে ডেটা একত্রিত করার অনুমতি দেবে। বাকেট -> অ্যাগ্রিগেশন ব্লকে, "ফিল্টার" দ্বারা একত্রিতকরণ নির্বাচন করুন এবং "statusCode >= 400" দ্বারা ফিল্টারিং সেট করুন। এবং "কাস্টম লেবেল" ক্ষেত্রে আমরা চার্টে এবং সাধারণ তালিকায় কিংবদন্তীতে আরও স্পষ্ট প্রদর্শনের জন্য আমাদের নির্দেশকের নাম নির্দেশ করি।

সেটিংস ব্লকের অধীনে "আপডেট" বোতামে ক্লিক করে, আমরা সমস্যাযুক্ত প্রশ্নগুলির সাথে একটি গ্রাফ পাই।

আপনি কিংবদন্তির পাশের বৃত্তে ক্লিক করলে, একটি উইন্ডো প্রদর্শিত হবে যেখানে আপনি কলামগুলির রঙ পরিবর্তন করতে পারেন।

এখন চার্টে সফল অনুরোধের তথ্য যোগ করা যাক। "মেট্রিক্স" বিভাগে, "যোগ করুন" বোতামে ক্লিক করুন এবং "Y-অক্ষ" নির্বাচন করুন৷

তৈরি করা মেট্রিকে আমরা ভুল অনুরোধের মতো একই সেটিংস তৈরি করি। শুধুমাত্র ফিল্টারে আমরা "statusCode <400" নির্দেশ করি।

নতুন কলামের রঙ পরিবর্তন করে, আমরা সমস্যাযুক্ত এবং সফল অনুরোধের অনুপাতের একটি প্রদর্শন পাই।

স্ক্রিনের শীর্ষে "সংরক্ষণ করুন" বোতামে ক্লিক করে এবং একটি নাম উল্লেখ করে, আমরা ড্যাশবোর্ডে প্রথম গ্রাফটি দেখতে পাব।

ডাটা টেবিল

এখন দেখা যাক “ডেটা টেবিল” টেবিল ভিউ। চলুন সব ইউআরএলের তালিকা সহ একটি টেবিল তৈরি করি যেখানে অনুরোধ ছিল এবং এই অনুরোধের সংখ্যা। উল্লম্ব বারের উদাহরণের মতো, আমরা প্রথমে একটি ডেটা উত্স নির্বাচন করি।

এর পরে, একটি কলাম সহ একটি টেবিল পর্দায় প্রদর্শিত হবে, যা নির্বাচিত সময়ের ব্যবধানের জন্য অনুরোধের মোট সংখ্যা দেখায়।

আমরা শুধুমাত্র "Buckets" ব্লক পরিবর্তন করব। "যোগ করুন" বোতামে ক্লিক করুন এবং "সারি বিভক্ত করুন" নির্বাচন করুন।

"একত্রীকরণ" ক্ষেত্রে, "শর্তাবলী" নির্বাচন করুন। এবং প্রদর্শিত "ক্ষেত্র" ক্ষেত্রে, "url.keyword" নির্বাচন করুন।

"কাস্টম লেবেল" ক্ষেত্রের মান "Url" উল্লেখ করে এবং "আপডেট" ক্লিক করে, আমরা নির্বাচিত সময়ের জন্য প্রতিটি URL-এর জন্য অনুরোধের সংখ্যা সহ পছন্দসই সারণী পাব।

স্ক্রিনের শীর্ষে, আবার "সংরক্ষণ করুন" বোতামে ক্লিক করুন এবং টেবিলের নাম উল্লেখ করুন, উদাহরণস্বরূপ Urls। আসুন ড্যাশবোর্ডে ফিরে যাই এবং উভয় ভিউ তৈরি করা দেখি।

ড্যাশবোর্ডের সাথে কাজ করা

ড্যাশবোর্ড তৈরি করার সময়, আমরা প্রদর্শন অবজেক্ট সেটিংসে শুধুমাত্র মৌলিক ভিউ প্যারামিটার সেট করি। অবজেক্টের ফিল্টারগুলির জন্য ডেটা নির্দিষ্ট করার কোন মানে নেই, উদাহরণস্বরূপ, "তারিখ পরিসর", "ব্যবহারকারী দ্বারা ফিল্টারিং", "অনুরোধের দেশ অনুসারে ফিল্টারিং" ইত্যাদি। বস্তুর উপরে অবস্থিত ক্যোয়ারী প্যানেলে পছন্দসই সময়কাল নির্দিষ্ট করা বা প্রয়োজনীয় ফিল্টারিং সেট করা অনেক বেশি সুবিধাজনক।

এই প্যানেলে যোগ করা ফিল্টারগুলি সমগ্র ড্যাশবোর্ডে প্রয়োগ করা হবে, এবং সমস্ত প্রদর্শন বস্তু বর্তমান ফিল্টার করা ডেটা অনুযায়ী পুনর্বিন্যাস করা হবে।

উপসংহার

কিবানা একটি শক্তিশালী টুল যা আপনাকে সুবিধাজনক উপায়ে যেকোনো ডেটা কল্পনা করতে দেয়। আমি দুটি প্রধান ধরণের ডিসপ্লের সেটআপ দেখানোর চেষ্টা করেছি। কিন্তু অন্যান্য ধরনের একই ভাবে কনফিগার করা হয়. এবং সেটিংসের প্রাচুর্য যা আমি পর্দার পিছনে রেখেছি তা আপনাকে আপনার প্রয়োজন অনুসারে চার্টগুলিকে খুব নমনীয়ভাবে কাস্টমাইজ করার অনুমতি দেবে।

উত্স: www.habr.com