গ্রাফানার জন্য প্লাগইন ডেভেলপমেন্ট: স্টাফড শঙ্কুর ইতিহাস

হাই সব! কয়েক মাস আগে, আমরা উৎপাদনে আমাদের নতুন ওপেন-সোর্স প্রজেক্ট চালু করেছি - কুবারনেটস নিরীক্ষণের জন্য গ্রাফানা-প্লাগইন, যাকে আমরা বলেছিলাম DevOpsProdigy KubeGraf. প্লাগইন সোর্স কোড পাওয়া যায় GitHub-এ সর্বজনীন সংগ্রহস্থল. এবং এই নিবন্ধে, আমরা কীভাবে প্লাগইন তৈরি করেছি, আমরা কী সরঞ্জামগুলি ব্যবহার করেছি এবং বিকাশ প্রক্রিয়ায় আমরা কী কী অসুবিধার সম্মুখীন হয়েছি তার গল্পটি আমরা আপনার সাথে ভাগ করতে চাই৷ চলো যাই!

পার্ট 0 - পরিচায়ক: আমরা কিভাবে এই বিন্দুতে পৌঁছলাম?

গ্রাফানের জন্য আমাদের নিজস্ব প্লাগ-ইন লেখার ধারণাটি দুর্ঘটনাক্রমে জন্মগ্রহণ করেছিল। আমাদের কোম্পানি 10 বছরেরও বেশি সময় ধরে জটিলতার বিভিন্ন স্তরের ওয়েব-প্রকল্পগুলি পর্যবেক্ষণ করছে। এই সময়ের মধ্যে, আমরা অনেক দক্ষতা, আকর্ষণীয় কেস এবং বিভিন্ন পর্যবেক্ষণ সিস্টেম ব্যবহার করার অভিজ্ঞতা অর্জন করেছি। এবং কিছু সময়ে আমরা নিজেদেরকে জিজ্ঞাসা করলাম: "কুবারনেটসকে পর্যবেক্ষণ করার জন্য কি কোন জাদু টুল আছে, যাতে তারা বলে, "এটি সেট করুন এবং ভুলে যান"?" এবং এই স্ট্যাকের জন্য প্রস্তুত সমাধান হিসাবে, বিভিন্ন ধরণের সরঞ্জামের একটি বড় সেট রয়েছে: প্রমিথিউস-অপারেটর, কুবারনেটস-মিক্সিন ড্যাশবোর্ডের একটি সেট, গ্রাফনা-কুবারনেটস-অ্যাপ।

Grafana-kubernetes-app প্লাগইনটি আমাদের জন্য সবচেয়ে আকর্ষণীয় বিকল্প বলে মনে হয়েছিল, কিন্তু এটি এক বছরেরও বেশি সময় ধরে সমর্থিত নয় এবং উপরন্তু, নোড-রপ্তানিকারক এবং কিউবে-স্টেট-এর নতুন সংস্করণগুলির সাথে কীভাবে কাজ করতে হয় তা জানে না। মেট্রিক্স এবং এক পর্যায়ে আমরা সিদ্ধান্ত নিয়েছিলাম: "আমাদের কি নিজেদের সিদ্ধান্ত নেওয়া উচিত নয়?"

আমাদের প্লাগইনে আমরা কোন ধারণাগুলি বাস্তবায়ন করার সিদ্ধান্ত নিয়েছি:

• "অ্যাপ্লিকেশন ম্যাপ" এর ভিজ্যুয়ালাইজেশন: একটি ক্লাস্টারে অ্যাপ্লিকেশনগুলির সুবিধাজনক উপস্থাপনা, নামস্থান, স্থাপনার দ্বারা গোষ্ঠীবদ্ধ…;
• লিঙ্কের ভিজ্যুয়ালাইজেশন যেমন "ডিপ্লয়মেন্ট - সার্ভিস (+পোর্ট)"।
• ক্লাস্টার নোড দ্বারা ক্লাস্টার অ্যাপ্লিকেশন বিতরণের ভিজ্যুয়ালাইজেশন।
• বিভিন্ন উত্স থেকে মেট্রিক্স এবং তথ্য সংগ্রহ: প্রমিথিউস এবং k8s এপিআই সার্ভার।
• অবকাঠামোগত অংশ (প্রসেসরের সময়, মেমরি, ডিস্ক সাবসিস্টেম, নেটওয়ার্কের ব্যবহার) এবং অ্যাপ্লিকেশন লজিক - পডের স্বাস্থ্য-স্থিতি, উপলব্ধ প্রতিলিপিগুলির সংখ্যা, সজীবতা/প্রস্তুতি-প্রোবের উত্তরণ সম্পর্কে তথ্য উভয়ই পর্যবেক্ষণ করা।

পার্ট 1: "গ্রাফনার জন্য প্লাগইন" কি?

প্রযুক্তিগত দৃষ্টিকোণ থেকে, Grafana-এর জন্য একটি প্লাগইন হল একটি কৌণিক নিয়ন্ত্রক যা Grafana-এর ডেটা ডিরেক্টরিতে সংরক্ষিত থাকে (/var/grafana/plugins/ /dist/module.js) এবং একটি SystemJS মডিউল হিসাবে লোড করা যেতে পারে। এছাড়াও এই ডিরেক্টরিতে একটি plugin.json ফাইল থাকা উচিত যেখানে আপনার প্লাগইন সম্পর্কে সমস্ত মেটা তথ্য রয়েছে: নাম, সংস্করণ, প্লাগইন প্রকার, রিপোজিটরি / সাইট / লাইসেন্সের লিঙ্ক, নির্ভরতা ইত্যাদি।

module.ts

plugin.json

আপনি স্ক্রিনশটে দেখতে পাচ্ছেন, আমরা plugin.type = app নির্দিষ্ট করেছি। Grafana জন্য প্লাগইন তিন ধরনের হতে পারে:

প্যানেল: প্লাগইনগুলির সবচেয়ে সাধারণ ধরন - বিভিন্ন ড্যাশবোর্ড তৈরি করতে ব্যবহৃত যেকোন মেট্রিক্স ভিজ্যুয়ালাইজ করার জন্য একটি প্যানেল।
তথ্য সূত্র: যেকোনো ডেটা উৎসের প্লাগ-ইন সংযোগকারী (উদাহরণস্বরূপ, Prometheus-datasource, ClickHouse-datasource, ElasticSearch-datasource)।
অ্যাপ্লিকেশন: একটি প্লাগইন যা আপনাকে Grafana-এর ভিতরে আপনার নিজস্ব ফ্রন্ট-এন্ড অ্যাপ্লিকেশন তৈরি করতে, আপনার নিজস্ব HTML পৃষ্ঠাগুলি তৈরি করতে এবং বিভিন্ন ডেটা রেন্ডার করার জন্য ম্যানুয়ালি ডেটাসোর্স অ্যাক্সেস করতে দেয়৷ অন্যান্য ধরনের প্লাগইন (ডেটাসোর্স, প্যানেল) এবং বিভিন্ন ড্যাশবোর্ডও নির্ভরতা হিসেবে ব্যবহার করা যেতে পারে।

টাইপ = অ্যাপ সহ প্লাগইন নির্ভরতার উদাহরণ.

একটি প্রোগ্রামিং ভাষা হিসাবে, আপনি জাভাস্ক্রিপ্ট এবং টাইপস্ক্রিপ্ট উভয়ই ব্যবহার করতে পারেন (আমরা এটি বেছে নিয়েছি)। আপনি যে কোনো ধরনের হ্যালো-ওয়ার্ল্ড প্লাগইনগুলির জন্য টেমপ্লেট তৈরি করতে পারেন লিঙ্ক দ্বারা খুঁজুন: এই সংগ্রহস্থলে প্রি-ইনস্টল করা এবং কনফিগার করা বিল্ডার সহ প্রচুর সংখ্যক স্টার্টার-প্যাক রয়েছে (এমনকি একটি প্রতিক্রিয়া প্লাগইনের একটি পরীক্ষামূলক উদাহরণও রয়েছে)।

পার্ট 2: স্থানীয় পরিবেশ প্রস্তুত করা

প্লাগইনটিতে কাজ করার জন্য, অবশ্যই, আমাদের সমস্ত প্রাক-ইনস্টল করা সরঞ্জাম সহ একটি কুবারনেটস ক্লাস্টার দরকার: প্রমিথিউস, নোড-রপ্তানিকারক, কুবে-স্টেট-মেট্রিক্স, গ্রাফানা। পরিবেশটি দ্রুত, সহজে এবং স্বাভাবিকভাবে সেট আপ করা উচিত এবং হট-রিলোড নিশ্চিত করতে গ্রাফানা ডেটা ডিরেক্টরিটি বিকাশকারীর মেশিন থেকে সরাসরি মাউন্ট করা উচিত।

সবচেয়ে সুবিধাজনক, আমাদের মতে, কুবারনেটের সাথে স্থানীয়ভাবে কাজ করার উপায় মিনিকুব. পরবর্তী ধাপ হল প্রমিথিউস-অপারেটর ব্যবহার করে প্রমিথিউস + গ্রাফানা বান্ডিল ইনস্টল করা। ভিতরে এই নিবন্ধ মিনিকুবে প্রমিথিউস-অপারেটর ইনস্টল করার প্রক্রিয়াটি বিস্তারিতভাবে বর্ণনা করা হয়েছে। অধ্যবসায় সক্ষম করতে, আপনাকে অবশ্যই প্যারামিটার সেট করতে হবে অধ্যবসায়: সত্য চার্ট/grafana/values.yaml ফাইলে, আপনার নিজস্ব PV এবং PVC যোগ করুন এবং তাদের persistence.existingClaim প্যারামিটারে উল্লেখ করুন

চূড়ান্ত minikube স্টার্টআপ স্ক্রিপ্ট এই মত দেখায়:

minikube start --kubernetes-version=v1.13.4 --memory=4096 --bootstrapper=kubeadm --extra-config=scheduler.address=0.0.0.0 --extra-config=controller-manager.address=0.0.0.0
minikube mount 
/home/sergeisporyshev/Projects/Grafana:/var/grafana --gid=472 --uid=472 --9p-version=9p2000.L

পার্ট 3: সরাসরি উন্নয়ন

অবজেক্ট মডেল

প্লাগইন বাস্তবায়নের প্রস্তুতি হিসাবে, আমরা টাইপস্ক্রিপ্ট ক্লাস আকারে যে সমস্ত মৌলিক কুবারনেটস সত্তাগুলির সাথে কাজ করব তা বর্ণনা করার সিদ্ধান্ত নিয়েছি: পড, স্থাপনা, ডেমনসেট, স্টেটফুলসেট, চাকরি, ক্রনজব, পরিষেবা, নোড, নেমস্পেস। এই ক্লাসগুলির প্রত্যেকটি সাধারণ বেসমডেল ক্লাস থেকে উত্তরাধিকার সূত্রে প্রাপ্ত, যা কনস্ট্রাক্টর, ধ্বংসকারী, দৃশ্যমানতা আপডেট এবং পরিবর্তন করার পদ্ধতি বর্ণনা করে। প্রতিটি ক্লাস অন্যান্য সত্তার সাথে নেস্টেড সম্পর্ক বর্ণনা করে, উদাহরণস্বরূপ, স্থাপনার প্রকারের একটি সত্তার জন্য পডের একটি তালিকা।

import {Pod} from "./pod";
import {Service} from "./service";
import {BaseModel} from './traits/baseModel';

export class Deployment extends BaseModel{
   pods: Array<Pod>;
   services: Array<Service>;

   constructor(data: any){
       super(data);
       this.pods = [];
       this.services = [];
   }
}

গেটার এবং সেটারের সাহায্যে, আমরা একটি সুবিধাজনক এবং পঠনযোগ্য আকারে আমাদের প্রয়োজনীয় সত্তা মেট্রিক্স প্রদর্শন বা সেট করতে পারি। উদাহরণস্বরূপ, বরাদ্দযোগ্য সিপিইউ নোডগুলির ফর্ম্যাট করা আউটপুট:

get cpuAllocatableFormatted(){
   let cpu = this.data.status.allocatable.cpu;
   if(cpu.indexOf('m') > -1){
       cpu = parseInt(cpu)/1000;
   }
   return cpu;
}

পেজ

আমাদের প্লাগইনের সমস্ত পৃষ্ঠার তালিকা প্রাথমিকভাবে আমাদের pluing.json-এ নির্ভরতা বিভাগে বর্ণিত হয়েছে:

প্রতিটি পৃষ্ঠার জন্য ব্লকে, আমাদের অবশ্যই PAGE NAME নির্দিষ্ট করতে হবে (এরপর এটি একটি স্লাগে রূপান্তরিত হবে যার দ্বারা এই পৃষ্ঠাটি উপলব্ধ হবে); এই পৃষ্ঠার অপারেশনের জন্য দায়ী উপাদানের নাম (উপাদানের তালিকা module.ts এ রপ্তানি করা হয়); ব্যবহারকারীর ভূমিকা নির্দিষ্ট করে যার জন্য এই পৃষ্ঠাটির সাথে কাজ উপলব্ধ এবং সাইডবারের জন্য নেভিগেশন সেটিংস।

পৃষ্ঠার জন্য দায়ী কম্পোনেন্টে, সেখানে মার্কআপ সহ html ফাইলের পাথ পাস করে টেমপ্লেট ইউআরএল সেট করতে হবে। কন্ট্রোলারের ভিতরে, নির্ভরতা ইনজেকশনের মাধ্যমে, আমরা 2টি গুরুত্বপূর্ণ কৌণিক পরিষেবা পর্যন্ত অ্যাক্সেস করতে পারি:

• backendSrv - একটি পরিষেবা যা গ্রাফনা এপিআই-সার্ভারের সাথে মিথস্ক্রিয়া প্রদান করে;
• datasourceSrv - একটি পরিষেবা যা আপনার Grafana-এ ইনস্টল করা সমস্ত ডেটাসোর্সের সাথে স্থানীয় মিথস্ক্রিয়া প্রদান করে (উদাহরণস্বরূপ, .getAll() পদ্ধতি - সমস্ত ইনস্টল করা ডেটাসোর্সের একটি তালিকা প্রদান করে; .get( ) - একটি নির্দিষ্ট ডেটাসোর্সের একটি ইনস্ট্যান্স অবজেক্ট প্রদান করে।

পার্ট 4: ডাটা সোর্স

Grafana-এর দৃষ্টিকোণ থেকে, ডেটাসোর্স হল অন্য সমস্ত প্লাগইনগুলির মতোই: এটির নিজস্ব module.js এন্ট্রি পয়েন্ট রয়েছে, মেটা তথ্য সহ একটি plugin.json ফাইল রয়েছে৷ টাইপ = অ্যাপ সহ একটি প্লাগইন ডেভেলপ করার সময়, আমরা বিদ্যমান ডেটাসোর্স (উদাহরণস্বরূপ, প্রমিথিউস-ডেটাসোর্স) এবং আমাদের নিজস্ব উভয়ের সাথে ইন্টারঅ্যাক্ট করতে পারি, যা আমরা সরাসরি প্লাগইন ডিরেক্টরিতে (dist/datasource/*) সংরক্ষণ করতে পারি বা নির্ভরতা হিসাবে ইনস্টল করতে পারি। . আমাদের ক্ষেত্রে, ডেটাসোর্স প্লাগইন কোডের সাথে আসে। একটি config.html টেমপ্লেট এবং একটি ConfigCtrl কন্ট্রোলার থাকা প্রয়োজন যা ডেটাসোর্স ইনস্ট্যান্স কনফিগারেশন পৃষ্ঠার জন্য ব্যবহার করা হবে এবং একটি ডেটাসোর্স কন্ট্রোলার যা আপনার ডেটাসোর্সের যুক্তি প্রয়োগ করে৷

KubeGraf প্লাগইনে, ইউজার ইন্টারফেসের পরিপ্রেক্ষিতে, ডেটাসোর্স হল একটি kubernetes ক্লাস্টারের একটি উদাহরণ যা নিম্নলিখিত বৈশিষ্ট্যগুলি প্রয়োগ করে (সোর্স কোড উপলব্ধ লিংক):

• k8s api-সার্ভার থেকে ডেটা আনা হচ্ছে (নেমস্পেস, স্থাপনার তালিকা পাওয়া যাচ্ছে...)
• প্রমিথিউস-ডেটাসোর্সের প্রক্সি করার অনুরোধ (যা প্রতিটি নির্দিষ্ট ক্লাস্টারের জন্য প্লাগইন সেটিংসে নির্বাচিত হয়) এবং স্ট্যাটিক পেজ এবং ড্যাশবোর্ডে ডেটা ব্যবহার করার জন্য প্রতিক্রিয়া ফর্ম্যাটিং করা।
• প্লাগইনের স্ট্যাটিক পৃষ্ঠাগুলিতে ডেটা আপডেট করা (একটি সেট রিফ্রেশ রেট সময় সহ)।
• গ্রাফানা-ড্যাশবোর্ডে একটি টেমপ্লেট শীট তৈরি করার জন্য প্রশ্ন প্রক্রিয়াকরণ (পদ্ধতি .metriFindQuery())

• চূড়ান্ত k8s ক্লাস্টারের সাথে সংযোগ পরীক্ষা।

testDatasource(){
   let url = '/api/v1/namespaces';
   let _url = this.url;
   if(this.accessViaToken)
       _url += '/__proxy';
   _url += url;
   return this.backendSrv.datasourceRequest({
       url: _url,
       method: "GET",
       headers: {"Content-Type": 'application/json'}
   })
       .then(response => {
           if (response.status === 200) {
               return {status: "success", message: "Data source is OK", title: "Success"};
           }else{
               return {status: "error", message: "Data source is not OK", title: "Error"};
           }
       }, error => {
           return {status: "error", message: "Data source is not OK", title: "Error"};
       })
}

একটি পৃথক আকর্ষণীয় পয়েন্ট, আমাদের মতে, ডেটাসোর্সের জন্য প্রমাণীকরণ এবং অনুমোদন প্রক্রিয়ার বাস্তবায়ন। একটি নিয়ম হিসাবে, বাক্সের বাইরে, চূড়ান্ত ডেটা উত্সে অ্যাক্সেস কনফিগার করতে, আমরা অন্তর্নির্মিত Grafana উপাদান - datasourceHttpSettings ব্যবহার করতে পারি। এই উপাদানটি ব্যবহার করে, আমরা ইউআরএল এবং মৌলিক প্রমাণীকরণ/অনুমোদন সেটিংস: লগইন-পাসওয়ার্ড, অথবা ক্লায়েন্ট-সার্টি/ক্লায়েন্ট-কী উল্লেখ করে HTTP ডেটা উৎসে অ্যাক্সেস কনফিগার করতে পারি। একটি বেয়ারার টোকেন (k8s-এর জন্য ডি ফ্যাক্টো স্ট্যান্ডার্ড) ব্যবহার করে অ্যাক্সেস কনফিগার করার ক্ষমতা বাস্তবায়নের জন্য, আমাকে কিছুটা "প্রতারণা" করতে হয়েছিল।

এই সমস্যাটি সমাধান করতে, আপনি অন্তর্নির্মিত গ্রাফানা "প্লাগইন রুট" প্রক্রিয়া ব্যবহার করতে পারেন (আরো অফিসিয়াল ডকুমেন্টেশন পৃষ্ঠা) আমাদের ডেটাসোর্সের সেটিংসে, আমরা রাউটিং নিয়মের একটি সেট ঘোষণা করতে পারি যা গ্রাফানা প্রক্সি সার্ভার দ্বারা প্রক্রিয়া করা হবে। উদাহরণস্বরূপ, প্রতিটি পৃথক এন্ডপয়েন্টের জন্য, টেমপ্লেটিংয়ের সম্ভাবনা সহ হেডার বা url সেট করার সম্ভাবনা রয়েছে, যে ডেটার জন্য jsonData এবং safeJsonData ক্ষেত্রগুলি থেকে নেওয়া যেতে পারে (এনক্রিপ্ট করা আকারে পাসওয়ার্ড বা টোকেন সংরক্ষণের জন্য)। আমাদের উদাহরণে, যেমন প্রশ্ন /__proxy/api/v1/namespace ফর্মের url-এ প্রক্সি করা হবে
/api/v8/নেমস্পেস হেডার সহ অনুমোদন: বহনকারী।

স্বাভাবিকভাবেই, k8s api সার্ভারের সাথে কাজ করার জন্য, আমাদের এমন একজন ব্যবহারকারীর প্রয়োজন যেখানে শুধুমাত্র পঠনযোগ্য অ্যাক্সেস রয়েছে, যা তৈরি করার জন্য ম্যানিফেস্ট যা আপনি এতেও খুঁজে পেতে পারেন প্লাগইন সোর্স কোড.

পার্ট 5: মুক্তি

একবার আপনি আপনার নিজের Grafana প্লাগইন লিখে গেলে, আপনি স্বাভাবিকভাবেই এটিকে সর্বজনীনভাবে উপলব্ধ করতে চাইবেন। Grafana, এটি একটি প্লাগইন লাইব্রেরি লিঙ্কে উপলব্ধ grafana.com/grafana/plugins

আপনার প্লাগইনটি অফিসিয়াল স্টোরে উপলব্ধ হওয়ার জন্য, আপনাকে একটি PR করতে হবে এই ভান্ডার, repo.json ফাইলে নিম্নলিখিত বিষয়বস্তু যোগ করা হচ্ছে:

যেখানে সংস্করণটি আপনার প্লাগইনের সংস্করণ, url হল সংগ্রহস্থলের একটি লিঙ্ক এবং কমিট হল কমিটের হ্যাশ যা নির্দিষ্ট প্লাগইন সংস্করণ উপলব্ধ করবে।

এবং আউটপুটে আপনি ফর্মটির একটি দুর্দান্ত ছবি দেখতে পাবেন:

আপনার Readme.md, Changelog.md এবং প্লাগইন বিবরণ সহ plugin.json ফাইল থেকে এটির ডেটা স্বয়ংক্রিয়ভাবে ছিনতাই হয়ে যাবে।

পার্ট 6: সিদ্ধান্তের পরিবর্তে

আমরা মুক্তির পরে আমাদের প্লাগইন বিকাশ করা বন্ধ করিনি। এবং এখন আমরা ক্লাস্টার নোডগুলির সংস্থানগুলির ব্যবহারের সঠিক পর্যবেক্ষণ, UX উন্নত করার জন্য নতুন বৈশিষ্ট্যগুলির প্রবর্তনের উপর কাজ করছি এবং আমাদের ক্লায়েন্ট এবং উভয় পক্ষ থেকে প্লাগইন ইনস্টল করার পরে আমরা প্রচুর পরিমাণে প্রতিক্রিয়া প্রাপ্ত করছি। ishshui on github (আপনি যদি আপনার সমস্যাটি ছেড়ে যান বা অনুরোধ টানুন, আমি খুব খুশি হব 🙂)।

আমরা আশা করি যে এই নিবন্ধটি আপনাকে Grafana এর মতো একটি দুর্দান্ত সরঞ্জাম বুঝতে এবং সম্ভবত আপনার নিজের প্লাগইন লিখতে সহায়তা করবে।

ধন্যবাদ!)

উত্স: www.habr.com