হাইলোড++, মিখাইল মাকুরভ, ম্যাক্সিম চেরনেটসভ (ইন্টারভিয়াজ): জ্যাবিক্স, এক সার্ভারে 100kNVPS

পরবর্তী হাইলোড++ সম্মেলন 6 এবং 7 এপ্রিল, 2020-এ সেন্ট পিটার্সবার্গে অনুষ্ঠিত হবে বিস্তারিত এবং টিকিট লিংক. হাইলোড++ মস্কো 2018। হল "মস্কো"। নভেম্বর 9, 15:00. থিসিস এবং উপহার.

* মনিটরিং - অনলাইন এবং বিশ্লেষণ।
* ZABBIX প্ল্যাটফর্মের মৌলিক সীমাবদ্ধতা।
* বিশ্লেষণ স্টোরেজ স্কেলিং জন্য সমাধান.
* ZABBIX সার্ভারের অপ্টিমাইজেশান।
* UI অপ্টিমাইজেশান।
* 40k NVPS-এর বেশি লোডের অধীনে সিস্টেম পরিচালনা করার অভিজ্ঞতা।
* সংক্ষিপ্ত উপসংহার।

মিখাইল মাকুরভ (এর পরে - এমএম): - হাই সব!

ম্যাক্সিম চেরনেটসভ (এর পরে - MCH): - শুভ অপরাহ্ন!

MM: - আমাকে ম্যাক্সিমের সাথে পরিচয় করিয়ে দিন। ম্যাক্স একজন প্রতিভাবান প্রকৌশলী, আমার পরিচিত সেরা নেটওয়ার্কার। ম্যাক্সিম নেটওয়ার্ক এবং পরিষেবা, তাদের উন্নয়ন এবং অপারেশন জড়িত।

MCH: - এবং আমি আপনাকে মিখাইল সম্পর্কে বলতে চাই। মিখাইল একজন সি ডেভেলপার। তিনি আমাদের কোম্পানির জন্য বেশ কয়েকটি উচ্চ-লোড ট্রাফিক প্রক্রিয়াকরণ সমাধান লিখেছেন। আমরা ইউরালে বাস করি এবং কাজ করি, কঠোর পুরুষদের শহর চেলিয়াবিনস্কে, ইন্টারসভিয়াজ কোম্পানিতে। আমাদের কোম্পানী 16টি শহরে এক মিলিয়ন মানুষের জন্য ইন্টারনেট এবং কেবল টেলিভিশন পরিষেবা প্রদানকারী।

MM: - এবং এটা বলার যোগ্য যে Intersvyaz শুধুমাত্র একটি প্রদানকারীর চেয়ে অনেক বেশি, এটি একটি IT কোম্পানি। আমাদের বেশিরভাগ সমাধান আমাদের আইটি বিভাগ দ্বারা তৈরি করা হয়।

উত্তর: সার্ভার থেকে কল সেন্টার এবং মোবাইল অ্যাপ্লিকেশনে ট্রাফিক প্রক্রিয়াকরণ। আইটি বিভাগে এখন প্রায় 80 জন খুব, খুব বৈচিত্র্যময় দক্ষতা রয়েছে।

Zabbix এবং এর স্থাপত্য সম্পর্কে

MCH: - এবং এখন আমি একটি ব্যক্তিগত রেকর্ড সেট করার চেষ্টা করব এবং এক মিনিটের মধ্যে বলতে চাই যে Zabbix কী (এখন থেকে "Zabbix" হিসাবে উল্লেখ করা হয়েছে)।

Zabbix নিজেকে একটি এন্টারপ্রাইজ-স্তরের আউট-অফ-দ্য-বক্স মনিটরিং সিস্টেম হিসাবে অবস্থান করে। এটিতে অনেক বৈশিষ্ট্য রয়েছে যা জীবনকে সহজ করে তোলে: উন্নত বৃদ্ধির নিয়ম, একীকরণের জন্য API, হোস্ট এবং মেট্রিক্সের গ্রুপিং এবং স্বয়ংক্রিয় সনাক্তকরণ। Zabbix-এর তথাকথিত স্কেলিং টুল রয়েছে - প্রক্সি। Zabbix একটি ওপেন সোর্স সিস্টেম।

স্থাপত্য সম্পর্কে সংক্ষেপে। আমরা বলতে পারি যে এটি তিনটি উপাদান নিয়ে গঠিত:

• সার্ভার। সি তে লেখা। বরং জটিল প্রক্রিয়াকরণ এবং থ্রেডের মধ্যে তথ্য স্থানান্তর সহ। সমস্ত প্রক্রিয়াকরণ এতে সঞ্চালিত হয়: প্রাপ্তি থেকে ডাটাবেসে সংরক্ষণ করা পর্যন্ত।
• সমস্ত তথ্য ডাটাবেসে সংরক্ষিত হয়। Zabbix MySQL, PostreSQL এবং Oracle সমর্থন করে।
• ওয়েব ইন্টারফেস পিএইচপি এ লেখা হয়। বেশিরভাগ সিস্টেমে এটি একটি Apache সার্ভারের সাথে আসে, কিন্তু nginx + php এর সংমিশ্রণে আরও দক্ষতার সাথে কাজ করে।

আজ আমরা Zabbix সম্পর্কিত আমাদের কোম্পানির জীবনের একটি গল্প বলতে চাই...

Intersvyaz কোম্পানির জীবন থেকে একটি গল্প. আমাদের কী আছে এবং আমাদের কী দরকার?

৫ বা ৬ মাস আগে। কাজের পর একদিন...

MCH: - মিশা, হ্যালো! আমি আনন্দিত যে আমি আপনাকে ধরতে পেরেছি - একটি কথোপকথন আছে। আমরা আবার মনিটরিং সঙ্গে সমস্যা ছিল. একটি বড় দুর্ঘটনার সময়, সবকিছু ধীরগতির ছিল এবং নেটওয়ার্কের অবস্থা সম্পর্কে কোন তথ্য ছিল না। দুর্ভাগ্যবশত, এটিই প্রথম নয়। আমি আপনার সাহায্য প্রয়োজন. আসুন যেকোন পরিস্থিতিতে আমাদের মনিটরিং কাজ করি!

MM: - কিন্তু এর আগে সিঙ্ক্রোনাইজ করা যাক. আমি কয়েক বছর ধরে সেখানে তাকাইনি। যতদূর আমার মনে আছে, আমরা নাগিওস ত্যাগ করেছি এবং প্রায় 8 বছর আগে জ্যাবিক্সে স্যুইচ করেছি। এবং এখন আমাদের কাছে 6টি শক্তিশালী সার্ভার এবং প্রায় এক ডজন প্রক্সি আছে বলে মনে হচ্ছে। আমি কি কিছু বিভ্রান্ত করছি?

MCH: - প্রায়। 15 সার্ভার, যার মধ্যে কিছু ভার্চুয়াল মেশিন। সবচেয়ে গুরুত্বপূর্ণ বিষয় হল যে মুহূর্তে এটি আমাদের রক্ষা করে না যখন আমাদের এটি সবচেয়ে বেশি প্রয়োজন। একটি দুর্ঘটনার মতো - সার্ভারগুলি ধীর হয়ে যায় এবং আপনি কিছুই দেখতে পাচ্ছেন না। আমরা কনফিগারেশন অপ্টিমাইজ করার চেষ্টা করেছি, কিন্তু এটি সর্বোত্তম কর্মক্ষমতা বৃদ্ধি প্রদান করেনি।

MM: - এটা পরিস্কার. আপনি কি কিছু দেখেছেন, আপনি কি ইতিমধ্যে ডায়াগনস্টিকস থেকে কিছু খনন করেছেন?

MCH: - আপনাকে প্রথম জিনিসটি মোকাবেলা করতে হবে তা হল ডাটাবেস। MySQL ক্রমাগত লোড হয়, নতুন মেট্রিক্স সঞ্চয় করে, এবং যখন Zabbix একগুচ্ছ ইভেন্ট তৈরি করা শুরু করে, তখন ডাটাবেসটি আক্ষরিকভাবে কয়েক ঘন্টার জন্য ওভারড্রাইভে চলে যায়। আমি আপনাকে কনফিগারেশনটি অপ্টিমাইজ করার বিষয়ে ইতিমধ্যেই বলেছি, তবে আক্ষরিক অর্থে এই বছর তারা হার্ডওয়্যার আপডেট করেছে: সার্ভারগুলিতে এসএসডি RAID-এ একশ গিগাবাইটেরও বেশি মেমরি এবং ডিস্ক অ্যারে রয়েছে - দীর্ঘমেয়াদে এটিকে রৈখিকভাবে বাড়ানোর কোনও মানে নেই। আমরা কি করি?

MM: - এটা পরিস্কার. সাধারণভাবে, MySQL হল একটি LTP ডাটাবেস। স্পষ্টতই, এটি আমাদের আকারের মেট্রিক্সের সংরক্ষণাগার সংরক্ষণের জন্য আর উপযুক্ত নয়। আসুন এটা বের করা যাক।

MCH: - চলুন!

হ্যাকাথনের ফলে জ্যাবিক্স এবং ক্লিকহাউসের একীকরণ

কিছু সময় পরে আমরা আকর্ষণীয় তথ্য পেয়েছি:

আমাদের ডাটাবেসের বেশিরভাগ স্থান মেট্রিক্স সংরক্ষণাগার দ্বারা দখল করা হয়েছিল এবং কনফিগারেশন, টেমপ্লেট এবং সেটিংসের জন্য 1% এর কম ব্যবহার করা হয়েছিল। ততক্ষণে, আমরা এক বছরেরও বেশি সময় ধরে ক্লিকহাউসের উপর ভিত্তি করে বিগ ডেটা সমাধান পরিচালনা করছিলাম। আন্দোলনের দিক আমাদের কাছে স্পষ্ট ছিল। আমাদের বসন্ত হ্যাকাথনে, আমি সার্ভার এবং ফ্রন্টএন্ডের জন্য ক্লিকহাউসের সাথে জ্যাবিক্সের একীকরণ লিখেছিলাম। সেই সময়ে, Zabbix ইতিমধ্যেই ইলাস্টিক সার্চের জন্য সমর্থন ছিল, এবং আমরা তাদের তুলনা করার সিদ্ধান্ত নিয়েছি।

ক্লিকহাউস এবং ইলাস্টিকসার্চের তুলনা

MM: - তুলনা করার জন্য, আমরা Zabbix সার্ভারের মতো একই লোড তৈরি করেছি এবং সিস্টেমগুলি কীভাবে আচরণ করবে তা দেখেছি। আমরা CURL ব্যবহার করে 1000 লাইনের ব্যাচে ডেটা লিখেছি। আমরা আগেই ধরে নিয়েছিলাম যে Zabbix যে লোড প্রোফাইল করে তার জন্য Clickhouse আরও দক্ষ হবে। ফলাফল এমনকি আমাদের প্রত্যাশা অতিক্রম করেছে:

একই পরীক্ষার শর্তে, ক্লিকহাউস তিনগুণ বেশি ডেটা লিখেছিল। একই সময়ে, উভয় সিস্টেমই ডেটা পড়ার সময় খুব দক্ষতার সাথে (অল্প পরিমাণ সম্পদ) ব্যবহার করে। কিন্তু রেকর্ডিং করার সময় ইলাস্টিকের প্রচুর পরিমাণে প্রসেসরের প্রয়োজন হয়:

মোট, ক্লিকহাউস প্রসেসর খরচ এবং গতির দিক থেকে ইলাস্টিক্সের থেকে উল্লেখযোগ্যভাবে উচ্চতর ছিল। একই সময়ে, ডেটা কম্প্রেশনের কারণে, ক্লিকহাউস হার্ড ড্রাইভে 11 গুণ কম ব্যবহার করে এবং প্রায় 30 গুণ কম ডিস্ক অপারেশন করে:

MCH: - হ্যাঁ, ডিস্ক সাবসিস্টেমের সাথে ক্লিকহাউসের কাজটি অত্যন্ত দক্ষতার সাথে প্রয়োগ করা হয়েছে। আপনি ডাটাবেসের জন্য বিশাল SATA ডিস্ক ব্যবহার করতে পারেন এবং প্রতি সেকেন্ডে কয়েক হাজার লাইনের লেখার গতি পেতে পারেন। আউট-অফ-দ্য-বক্স সিস্টেম শার্ডিং, প্রতিলিপি সমর্থন করে এবং কনফিগার করা খুব সহজ। আমরা সারা বছর ধরে এর ব্যবহারে সন্তুষ্ট।

সম্পদ অপ্টিমাইজ করার জন্য, আপনি আপনার বিদ্যমান প্রধান ডাটাবেসের পাশে ক্লিকহাউস ইনস্টল করতে পারেন এবং এর ফলে প্রচুর CPU সময় এবং ডিস্ক ক্রিয়াকলাপ বাঁচাতে পারেন। আমরা মেট্রিক্সের সংরক্ষণাগারটি বিদ্যমান ক্লিকহাউস ক্লাস্টারে স্থানান্তরিত করেছি:

আমরা প্রধান MySQL ডাটাবেসকে এতটাই উপশম করেছি যে আমরা একে Zabbix সার্ভারের সাথে একটি মেশিনে একত্রিত করতে পারি এবং MySQL এর জন্য ডেডিকেটেড সার্ভার ত্যাগ করতে পারি।

কিভাবে Zabbix এ পোলিং কাজ করে?

4 মাস আগে

MM: - আচ্ছা, আমরা কি বেসের সমস্যাগুলি ভুলে যেতে পারি?

MCH: - এটা সত্যি! আরেকটি সমস্যা যা আমাদের সমাধান করতে হবে তা হল ধীরগতির ডেটা সংগ্রহ। এখন আমাদের সমস্ত 15টি প্রক্সি সার্ভার SNMP এবং পোলিং প্রক্রিয়ার সাথে ওভারলোড হয়েছে৷ আর নতুন নতুন সার্ভার ইন্সটল করা ছাড়া উপায় নেই।

MM: - দারুণ। তবে আগে বলুন, জ্যাবিক্সে পোলিং কীভাবে কাজ করে?

MCH: - সংক্ষেপে, 20 ধরণের মেট্রিক্স এবং সেগুলি পাওয়ার এক ডজন উপায় রয়েছে। Zabbix হয় "অনুরোধ-প্রতিক্রিয়া" মোডে ডেটা সংগ্রহ করতে পারে, অথবা "ট্র্যাপার ইন্টারফেস" এর মাধ্যমে নতুন ডেটার জন্য অপেক্ষা করতে পারে।

এটি লক্ষণীয় যে আসল জ্যাবিক্সে এই পদ্ধতিটি (ট্র্যাপার) সবচেয়ে দ্রুত।

লোড বিতরণের জন্য প্রক্সি সার্ভার রয়েছে:

প্রক্সিগুলি জ্যাবিক্স সার্ভারের মতো একই সংগ্রহের কার্য সম্পাদন করতে পারে, এটি থেকে কাজগুলি গ্রহণ করে এবং ট্র্যাপার ইন্টারফেসের মাধ্যমে সংগৃহীত মেট্রিক্স পাঠাতে পারে। লোড বিতরণ করার জন্য এটি আনুষ্ঠানিকভাবে প্রস্তাবিত উপায়। প্রক্সিগুলি NAT বা একটি ধীর চ্যানেলের মাধ্যমে পরিচালিত দূরবর্তী অবকাঠামো নিরীক্ষণের জন্যও দরকারী:

MM: - স্থাপত্যের সাথে সবকিছু পরিষ্কার। আমাদের উত্সগুলি দেখতে হবে ...

দিন দুয়েক পরে

nmap fping কিভাবে জিতেছে তার গল্প

MM: "আমি মনে করি আমি কিছু খনন করেছি।"

MCH: - আমাকে বলুন!

MM: - আমি আবিষ্কার করেছি যে উপলব্ধতা পরীক্ষা করার সময়, Zabbix একবারে সর্বাধিক 128 টি হোস্ট পরীক্ষা করে। আমি এই সংখ্যাটি 500-এ বাড়ানোর চেষ্টা করেছি এবং তাদের পিং (পিং) এ আন্তঃ-প্যাকেট ব্যবধানটি সরানোর চেষ্টা করেছি - এটি কর্মক্ষমতা দ্বিগুণ করেছে। কিন্তু আমি বড় সংখ্যা চাই.

MCH: - আমার অনুশীলনে, আমাকে মাঝে মাঝে হাজার হাজার হোস্টের প্রাপ্যতা পরীক্ষা করতে হয় এবং আমি এর জন্য nmap এর চেয়ে দ্রুত কিছু দেখিনি। আমি নিশ্চিত এই দ্রুততম উপায়. চল এটা চেষ্টা করি! আমাদের প্রতি পুনরাবৃত্তির হোস্টের সংখ্যা উল্লেখযোগ্যভাবে বৃদ্ধি করতে হবে।

MM: - পাঁচ শতাধিক চেক? 600?

MCH: - অন্তত হাজার দুয়েক।

MM: - ঠিক আছে. আমি বলতে চেয়েছিলাম সবচেয়ে গুরুত্বপূর্ণ বিষয় হল যে আমি দেখেছি যে জাবিক্সে বেশিরভাগ ভোটিং সিঙ্ক্রোনাসভাবে করা হয়। আমাদের অবশ্যই এটিকে অ্যাসিঙ্ক্রোনাস মোডে পরিবর্তন করতে হবে। তারপর আমরা নাটকীয়ভাবে পোলারদের দ্বারা সংগৃহীত মেট্রিকের সংখ্যা বৃদ্ধি করতে পারি, বিশেষ করে যদি আমরা প্রতি পুনরাবৃত্তির মেট্রিকের সংখ্যা বাড়াই।

MCH: - দারুণ! এবং কখন?

MM: - যথারীতি গতকাল।

MCH: - আমরা fping এবং nmap উভয় সংস্করণের তুলনা করেছি:

বিপুল সংখ্যক হোস্টে, nmap পাঁচগুণ বেশি কার্যকর হবে বলে আশা করা হয়েছিল। যেহেতু nmap শুধুমাত্র প্রাপ্যতা এবং প্রতিক্রিয়ার সময় পরীক্ষা করে, তাই আমরা ক্ষতির গণনাকে ট্রিগারে স্থানান্তরিত করেছি এবং প্রাপ্যতা চেক ব্যবধান উল্লেখযোগ্যভাবে হ্রাস করেছি। আমরা nmap-এর জন্য হোস্টের সর্বোত্তম সংখ্যা প্রতি পুনরাবৃত্তিতে প্রায় 4 হাজার খুঁজে পেয়েছি। Nmap আমাদের উপলব্ধতা যাচাইয়ের CPU খরচ তিনগুণ কমাতে এবং ব্যবধান 120 সেকেন্ড থেকে 10-এ কমাতে অনুমতি দিয়েছে।

পোলিং অপ্টিমাইজেশান

MM: “তারপর আমরা পোলার করতে শুরু করি। আমরা মূলত এসএনএমপি সনাক্তকরণ এবং এজেন্টগুলিতে আগ্রহী ছিলাম। Zabbix-এ, ভোটগ্রহণ সুসংগতভাবে করা হয় এবং সিস্টেমের দক্ষতা বাড়ানোর জন্য বিশেষ ব্যবস্থা নেওয়া হয়েছে। সিঙ্ক্রোনাস মোডে, হোস্টের অনুপলব্ধতা ভোটগ্রহণের উল্লেখযোগ্য অবনতি ঘটায়। রাজ্যগুলির একটি সম্পূর্ণ ব্যবস্থা রয়েছে, বিশেষ প্রক্রিয়া রয়েছে - তথাকথিত অরিচযোগ্য পোলার, যা কেবল পৌঁছানো যায় না এমন হোস্টগুলির সাথে কাজ করে:

এটি একটি ভাষ্য যা স্টেট ম্যাট্রিক্স প্রদর্শন করে, ট্রানজিশনের সিস্টেমের সমস্ত জটিলতা যা সিস্টেমটি কার্যকর থাকার জন্য প্রয়োজনীয়। উপরন্তু, সিঙ্ক্রোনাস পোলিং নিজেই বেশ ধীর:

এই কারণেই কয়েক ডজন প্রক্সিতে হাজার হাজার পোলার স্ট্রীম আমাদের জন্য প্রয়োজনীয় পরিমাণ ডেটা সংগ্রহ করতে পারেনি। অ্যাসিঙ্ক্রোনাস বাস্তবায়ন শুধুমাত্র থ্রেডের সংখ্যার সমস্যাগুলিই সমাধান করেনি, তবে অনুপলব্ধ হোস্টগুলির রাষ্ট্র ব্যবস্থাকে উল্লেখযোগ্যভাবে সরল করেছে, কারণ একটি পোলিং পুনরাবৃত্তিতে চেক করা যেকোনো সংখ্যার জন্য, সর্বাধিক অপেক্ষার সময় ছিল 1 টাইমআউট:

উপরন্তু, আমরা SNMP অনুরোধের জন্য পোলিং সিস্টেম সংশোধন ও উন্নত করেছি। সত্য যে অধিকাংশ মানুষ একই সময়ে একাধিক SNMP অনুরোধে সাড়া দিতে পারে না। অতএব, আমরা একটি হাইব্রিড মোড তৈরি করেছি, যখন একই হোস্টের SNMP পোলিং অ্যাসিঙ্ক্রোনাসভাবে করা হয়:

এটি হোস্টের পুরো প্যাকের জন্য করা হয়। এই মোডটি শেষ পর্যন্ত সম্পূর্ণ অ্যাসিঙ্ক্রোনাসের চেয়ে ধীর নয়, যেহেতু দেড়শো SNMP মান পোলিং এখনও 1 টাইমআউটের চেয়ে অনেক দ্রুত।

আমাদের পরীক্ষায় দেখা গেছে যে SNMP পোলিং সহ এক পুনরাবৃত্তিতে অনুরোধের সর্বোত্তম সংখ্যা প্রায় 8 হাজার। মোট, অ্যাসিঙ্ক্রোনাস মোডে রূপান্তর আমাদের পোলিং কার্যক্ষমতা 200 গুণ, কয়েকশ বার গতি বাড়াতে দেয়।

MCH: - ফলস্বরূপ পোলিং অপ্টিমাইজেশানগুলি দেখিয়েছে যে আমরা কেবল সমস্ত প্রক্সি থেকে পরিত্রাণ পেতে পারি না, তবে অনেকগুলি চেকের জন্য বিরতিও কমাতে পারি, এবং লোড ভাগ করার উপায় হিসাবে প্রক্সিগুলির আর প্রয়োজন হবে না৷

প্রায় তিন মাস আগের কথা

স্থাপত্য পরিবর্তন করুন - লোড বাড়ান!

MM: - আচ্ছা, ম্যাক্স, এটা কি উৎপাদনশীল হওয়ার সময়? আমার একটি শক্তিশালী সার্ভার এবং একজন ভালো ইঞ্জিনিয়ার দরকার।

MCH: - ঠিক আছে, চলো পরিকল্পনা করি। প্রতি সেকেন্ডে 5 হাজার মেট্রিক্সের মৃত বিন্দু থেকে সরে যাওয়ার এটি উচ্চ সময়।

আপগ্রেডের পর সকাল

MCH: - মিশা, আমরা নিজেদেরকে আপডেট করেছি, কিন্তু সকালের মধ্যে আমরা ফিরে এসেছি... অনুমান করুন আমরা কী গতি অর্জন করতে পেরেছি?

MM: - সর্বোচ্চ 20 হাজার।

MCH: - হ্যাঁ, 25! দুর্ভাগ্যবশত, আমরা যেখানে শুরু করেছি ঠিক সেখানেই আছি।

MM: - কেন? আপনি কোন ডায়গনিস্টিক চালানো?

MCH: - হ্যাঁ অবশ্যই! এখানে, উদাহরণস্বরূপ, একটি আকর্ষণীয় শীর্ষ:

MM: - চলো দেখি. আমি দেখছি যে আমরা বিপুল সংখ্যক পোলিং থ্রেড চেষ্টা করেছি:

কিন্তু একই সময়ে তারা সিস্টেমটিকে অর্ধেক করেও পুনর্ব্যবহার করতে পারেনি:

এবং সামগ্রিক কর্মক্ষমতা বেশ ছোট, প্রতি সেকেন্ডে প্রায় 4 হাজার মেট্রিক:

আর কিছু আছে?

MCH: - হ্যাঁ, পোলারদের একজনের স্ট্রেস:

MM: - এখানে আপনি স্পষ্ট দেখতে পাচ্ছেন যে ভোটগ্রহণ প্রক্রিয়া "সেমাফোরস" এর জন্য অপেক্ষা করছে। এই তালাগুলি হল:

MCH: - অস্পষ্ট।

MM: - দেখুন, এটি এমন একটি পরিস্থিতির মতো যেখানে একগুচ্ছ থ্রেড এমন সংস্থানগুলির সাথে কাজ করার চেষ্টা করছে যা একবারে শুধুমাত্র একজন কাজ করতে পারে। তারপরে তারা যা করতে পারে তা হল সময়ের সাথে এই সংস্থানটি ভাগ করে নেওয়া:

এবং এই জাতীয় সংস্থান নিয়ে কাজ করার মোট কর্মক্ষমতা একটি কোরের গতি দ্বারা সীমাবদ্ধ:

এই সমস্যা সমাধানের দুটি উপায় আছে।

মেশিনের হার্ডওয়্যার আপগ্রেড করুন, দ্রুত কোরে স্যুইচ করুন:

অথবা আর্কিটেকচার পরিবর্তন করুন এবং একই সাথে লোড পরিবর্তন করুন:

MCH: - যাইহোক, টেস্ট মেশিনে আমরা যুদ্ধের তুলনায় কম কোর ব্যবহার করব, তবে প্রতি কোর ফ্রিকোয়েন্সিতে তারা 1,5 গুণ দ্রুত!

MM: - পরিষ্কার? আপনাকে সার্ভার কোড দেখতে হবে।

Zabbix সার্ভারে ডেটা পাথ

MCH: - এটি বের করার জন্য, আমরা জ্যাবিক্স সার্ভারের ভিতরে ডেটা কীভাবে স্থানান্তরিত হয় তা বিশ্লেষণ করতে শুরু করেছি:

সুন্দর ছবি, তাই না? আসুন এটি আরও বা কম পরিষ্কার করার জন্য ধাপে ধাপে এটির মধ্য দিয়ে যাই। তথ্য সংগ্রহের জন্য দায়ী থ্রেড এবং পরিষেবা রয়েছে:

তারা সংগৃহীত মেট্রিক্স একটি সকেটের মাধ্যমে প্রিপ্রসেসর ম্যানেজারে প্রেরণ করে, যেখানে তারা একটি সারিতে সংরক্ষিত হয়:

"প্রিপ্রসেসর ম্যানেজার" তার কর্মীদের কাছে ডেটা প্রেরণ করে, যা প্রিপ্রসেসিং নির্দেশাবলী চালায় এবং একই সকেটের মাধ্যমে তাদের ফিরিয়ে দেয়:

এর পরে, প্রিপ্রসেসর ম্যানেজার তাদের ইতিহাস ক্যাশে সংরক্ষণ করে:

সেখান থেকে সেগুলি হিস্ট্রি সিঙ্কারদের দ্বারা নেওয়া হয়, যারা অনেকগুলি ফাংশন সঞ্চালন করে: উদাহরণস্বরূপ, ট্রিগার গণনা করা, মান ক্যাশে পূরণ করা এবং সবচেয়ে গুরুত্বপূর্ণভাবে, ইতিহাস স্টোরেজে মেট্রিক্স সংরক্ষণ করা। সাধারণভাবে, প্রক্রিয়াটি জটিল এবং খুব বিভ্রান্তিকর।

MM: – প্রথম জিনিসটি আমরা দেখেছি যে বেশিরভাগ থ্রেড তথাকথিত "কনফিগারেশন ক্যাশে" (মেমরি এলাকা যেখানে সমস্ত সার্ভার কনফিগারেশন সংরক্ষণ করা হয়) এর জন্য প্রতিযোগিতা করে। ডেটা সংগ্রহের জন্য দায়ী থ্রেডগুলি বিশেষ করে অনেকগুলি ব্লক করে:

...যেহেতু কনফিগারেশন তাদের পরামিতিগুলির সাথে শুধুমাত্র মেট্রিকগুলিই সঞ্চয় করে না, বরং সারিগুলিও রাখে যেখান থেকে পোলাররা পরবর্তী কী করতে হবে সে সম্পর্কে তথ্য নেয়৷ যখন অনেক পোলার থাকে এবং একজন কনফিগারেশন ব্লক করে, অন্যরা অনুরোধের জন্য অপেক্ষা করে:

ভোটারদের বিরোধ করা উচিত নয়

অতএব, আমরা প্রথম কাজটি করেছি সারিটিকে 4টি অংশে বিভক্ত করা এবং পোলারদের এই সারিগুলিকে ব্লক করার অনুমতি দেওয়া, এই অংশগুলি একই সময়ে, নিরাপদ অবস্থার অধীনে:

এটি কনফিগারেশন ক্যাশের জন্য প্রতিযোগিতা সরিয়ে দিয়েছে এবং পোলারের গতি উল্লেখযোগ্যভাবে বৃদ্ধি পেয়েছে। কিন্তু তারপরে আমরা এই সত্যটির সম্মুখীন হয়েছি যে প্রিপ্রসেসর ম্যানেজার কাজের একটি সারি জমাতে শুরু করেছে:

প্রিপ্রসেসর ম্যানেজারকে অবশ্যই অগ্রাধিকার দিতে সক্ষম হতে হবে

এটি এমন ক্ষেত্রে ঘটেছে যেখানে তার পারফরম্যান্সের অভাব ছিল। তারপরে তিনি যা করতে পারতেন তা হল ডেটা সংগ্রহের প্রক্রিয়াগুলি থেকে অনুরোধগুলি সংগ্রহ করা এবং তাদের বাফার যোগ করা যতক্ষণ না এটি সমস্ত মেমরি গ্রাস করে এবং ক্র্যাশ না হয়:

এই সমস্যাটি সমাধান করার জন্য, আমরা একটি দ্বিতীয় সকেট যোগ করেছি যা বিশেষভাবে কর্মীদের জন্য উত্সর্গীকৃত ছিল:

এইভাবে, প্রিপ্রসেসর ম্যানেজারের কাছে তার কাজকে অগ্রাধিকার দেওয়ার সুযোগ ছিল এবং, যদি বাফার বৃদ্ধি পায়, তবে কাজটি হল অপসারণের গতি কমিয়ে দেওয়া, কর্মীদের এই বাফারটি নেওয়ার সুযোগ দেওয়া:

তারপরে আমরা আবিষ্কার করেছি যে মন্দার কারণগুলির মধ্যে একটি হল শ্রমিকরা নিজেরাই, যেহেতু তারা এমন একটি সংস্থানের জন্য প্রতিযোগিতা করছিল যা তাদের কাজের জন্য সম্পূর্ণ গুরুত্বহীন ছিল। আমরা এই সমস্যাটিকে একটি বাগ-ফিক্স হিসাবে নথিভুক্ত করেছি এবং এটি ইতিমধ্যেই জ্যাবিক্সের নতুন সংস্করণে সমাধান করা হয়েছে:

আমরা সকেট সংখ্যা বৃদ্ধি - আমরা ফলাফল পেতে

আরও, প্রিপ্রসেসর ম্যানেজার নিজেই একটি বাধা হয়ে উঠেছে, যেহেতু এটি একটি থ্রেড। এটি মূল গতিতে বিশ্রাম নেয়, প্রতি সেকেন্ডে প্রায় 70 হাজার মেট্রিক্সের সর্বোচ্চ গতি দেয়:

অতএব, আমরা চার সেট সকেট সহ চারটি তৈরি করেছি, শ্রমিক:

এবং এটি আমাদের গতি প্রায় 130 হাজার মেট্রিকে বাড়ানোর অনুমতি দিয়েছে:

বৃদ্ধির অ-রৈখিকতা এই সত্য দ্বারা ব্যাখ্যা করা হয় যে ইতিহাসের ক্যাশের জন্য প্রতিযোগিতা উপস্থিত হয়েছে। 4 প্রিপ্রসেসর ম্যানেজার এবং হিস্ট্রি সিঙ্কার এটির জন্য প্রতিদ্বন্দ্বিতা করেছিল। এই মুহুর্তে, আমরা পরীক্ষা মেশিনে প্রতি সেকেন্ডে প্রায় 130 হাজার মেট্রিক পেয়েছিলাম, এটি প্রায় 95% প্রসেসর দ্বারা ব্যবহার করে:

প্রায় 2,5 মাস আগে

snmp-সম্প্রদায় থেকে প্রত্যাখ্যান NVPs দেড় গুণ বৃদ্ধি করেছে

MM: - ম্যাক্স, আমার একটি নতুন পরীক্ষামূলক গাড়ি দরকার! আমরা আর বর্তমানের সাথে খাপ খাই না।

MCH: - আপনি এখন কি আছে?

MM: – এখন – 130k NVPs এবং একটি শেল্ফ-রেডি প্রসেসর।

MCH: - কি দারুন! শান্ত! অপেক্ষা করুন, আমার দুটি প্রশ্ন আছে। আমার হিসাব অনুযায়ী, আমাদের প্রয়োজন প্রতি সেকেন্ডে প্রায় 15-20 হাজার মেট্রিক। কেন আমরা আরো প্রয়োজন?

MM: "আমি কাজটি শেষ করতে চাই।" আমি দেখতে চাই যে আমরা এই সিস্টেম থেকে কতটা চাপ দিতে পারি।

MCH: -কিন্তু…

MM: "কিন্তু এটি ব্যবসার জন্য অকেজো।"

MCH: - এটা পরিস্কার. এবং দ্বিতীয় প্রশ্ন: ডেভেলপারের সাহায্য ছাড়াই কি আমরা এখন আমাদের নিজেরাই যা আছে তা সমর্থন করতে পারি?

MM: - আমি মনে করি না। কনফিগারেশন ক্যাশে কীভাবে কাজ করে তা পরিবর্তন করা একটি সমস্যা। এটি বেশিরভাগ থ্রেডের পরিবর্তনকে প্রভাবিত করে এবং বজায় রাখা বেশ কঠিন। সম্ভবত, এটি বজায় রাখা খুব কঠিন হবে।

MCH: "তাহলে আমাদের কিছু বিকল্প দরকার।"

MM: - যেমন একটি বিকল্প আছে. নতুন লকিং সিস্টেম পরিত্যাগ করার সময় আমরা দ্রুত কোরগুলিতে স্যুইচ করতে পারি। আমরা এখনও 60-80 হাজার মেট্রিক্সের পারফরম্যান্স পাব। একই সময়ে, আমরা বাকি সমস্ত কোড ছেড়ে দিতে পারি। ক্লিকহাউস এবং অ্যাসিঙ্ক্রোনাস পোলিং কাজ করবে। এবং এটি বজায় রাখা সহজ হবে।

MCH: - আশ্চর্যজনক! আমি এখানে থামার পরামর্শ দিই।

সার্ভারের দিকটি অপ্টিমাইজ করার পরে, আমরা অবশেষে নতুন কোডটি উত্পাদনে চালু করতে সক্ষম হয়েছি। আমরা দ্রুত কোর সহ একটি মেশিনে স্যুইচ করার পক্ষে এবং কোড পরিবর্তনের সংখ্যা হ্রাস করার পক্ষে কিছু পরিবর্তন পরিত্যাগ করেছি। আমরা কনফিগারেশন সহজ করেছি এবং যেখানে সম্ভব ডেটা আইটেমগুলিতে ম্যাক্রোগুলিকে বাদ দিয়েছি, কারণ তারা অতিরিক্ত লকিং প্রবর্তন করে৷

উদাহরণস্বরূপ, snmp-কমিউনিটি ম্যাক্রো পরিত্যাগ করা, যা প্রায়শই ডকুমেন্টেশন এবং উদাহরণে পাওয়া যায়, আমাদের ক্ষেত্রে NVP-কে আরও 1,5 গুণ গতি বাড়ানো সম্ভব হয়েছে।

উৎপাদনে দুই দিন পর

ঘটনার ইতিহাস পপ-আপগুলি সরানো হচ্ছে৷

MCH: - মিশা, আমরা দুই দিন ধরে সিস্টেমটি ব্যবহার করছি, এবং সবকিছু কাজ করে। কিন্তু শুধুমাত্র যখন সবকিছু কাজ করে! আমরা নেটওয়ার্কের একটি মোটামুটি বড় অংশের স্থানান্তরের সাথে কাজের পরিকল্পনা করেছিলাম, এবং আমরা আবার আমাদের হাত দিয়ে পরীক্ষা করে দেখেছিলাম কী উঠেছিল এবং কী হয়নি।

MM: - হতে পারে না! আমরা 10 বার সবকিছু চেক করেছি। সার্ভার এমনকি সম্পূর্ণ নেটওয়ার্ক অনুপলব্ধতা সঙ্গে সঙ্গে পরিচালনা করে.

MCH: - হ্যাঁ, আমি সবকিছু বুঝতে পারি: সার্ভার, ডাটাবেস, শীর্ষ, অস্ট্যাট, লগ - সবকিছুই দ্রুত... কিন্তু আমরা ওয়েব ইন্টারফেসের দিকে তাকাই, এবং সার্ভারে একটি প্রসেসর "শেল্ফে" রয়েছে এবং এটি:

MM: - এটা পরিস্কার. চলুন ওয়েব দেখুন. আমরা দেখেছি যে এমন পরিস্থিতিতে যেখানে প্রচুর পরিমাণে সক্রিয় ঘটনা ঘটেছে, বেশিরভাগ লাইভ উইজেটগুলি খুব ধীরে ধীরে কাজ করতে শুরু করেছে:

এর কারণ ছিল ঘটনার ইতিহাসের পপ-আপের প্রজন্ম যা তালিকার প্রতিটি আইটেমের জন্য তৈরি হয়। অতএব, আমরা এই উইন্ডোগুলির প্রজন্ম পরিত্যাগ করেছি (কোডে 5 টি লাইন মন্তব্য করেছি), এবং এটি আমাদের সমস্যার সমাধান করেছে।

উইজেটগুলির লোডিং সময়, এমনকি সম্পূর্ণরূপে অনুপলব্ধ থাকা সত্ত্বেও, আমাদের জন্য গ্রহণযোগ্য 10-15 সেকেন্ডে কয়েক মিনিট থেকে হ্রাস করা হয়েছে এবং সময়টিতে ক্লিক করে ইতিহাস এখনও দেখা যেতে পারে:

কাজের পর. ২ মাস আগে

MCH: - মিশা তুমি চলে যাচ্ছ? আমরা কথা বলার আছে.

MM: - আমার ইচ্ছা ছিল না। Zabbix সঙ্গে আবার কিছু?

MCH: - না, আরাম! আমি শুধু বলতে চেয়েছিলাম: সবকিছু কাজ করে, আপনাকে ধন্যবাদ! আমি একটি বিয়ার পেয়েছি.

জ্যাবিক্স দক্ষ

Zabbix একটি মোটামুটি সর্বজনীন এবং সমৃদ্ধ সিস্টেম এবং ফাংশন। এটি বাক্সের বাইরে ছোট ইনস্টলেশনের জন্য ব্যবহার করা যেতে পারে, তবে চাহিদা বাড়ার সাথে সাথে এটিকে অপ্টিমাইজ করতে হবে। মেট্রিক্সের একটি বড় সংরক্ষণাগার সংরক্ষণ করতে, একটি উপযুক্ত স্টোরেজ ব্যবহার করুন:

• আপনি ইলাস্টিকসার্চের সাথে একীকরণের আকারে অন্তর্নির্মিত সরঞ্জামগুলি ব্যবহার করতে পারেন বা টেক্সট ফাইলগুলিতে ইতিহাস আপলোড করতে পারেন (সংস্করণ 4 থেকে উপলব্ধ);
• আপনি ক্লিকহাউসের সাথে আমাদের অভিজ্ঞতা এবং একীকরণের সুবিধা নিতে পারেন।

নাটকীয়ভাবে মেট্রিক্স সংগ্রহের গতি বাড়াতে, এগুলিকে অ্যাসিঙ্ক্রোনাস পদ্ধতি ব্যবহার করে সংগ্রহ করুন এবং ট্র্যাপার ইন্টারফেসের মাধ্যমে জ্যাবিক্স সার্ভারে প্রেরণ করুন; অথবা আপনি Zabbix পোলারকে অ্যাসিঙ্ক্রোনাস করতে একটি প্যাচ ব্যবহার করতে পারেন।

Zabbix C তে লেখা এবং বেশ দক্ষ। বেশ কয়েকটি স্থাপত্যের বাধাগুলি সমাধান করা আপনাকে এর কার্যকারিতা আরও বাড়াতে এবং আমাদের অভিজ্ঞতায়, একটি একক-প্রসেসর মেশিনে 100 হাজারেরও বেশি মেট্রিক্স পেতে দেয়।

একই Zabbix প্যাচ

MM: - আমি কয়েকটি পয়েন্ট যোগ করতে চাই। আমরা যে কনফিগারেশন ব্যবহার করি তার জন্য পুরো বর্তমান রিপোর্ট, সমস্ত পরীক্ষা, নম্বর দেওয়া হয়। আমরা এখন এটি থেকে প্রতি সেকেন্ডে প্রায় 20 হাজার মেট্রিক নিচ্ছি। আপনি যদি এটি আপনার জন্য কাজ করবে কিনা তা বোঝার চেষ্টা করছেন, আপনি তুলনা করতে পারেন। আজ যা আলোচনা করা হয়েছিল তা একটি প্যাচ আকারে গিটহাবে পোস্ট করা হয়েছে: github.com/miklert/zabbix

প্যাচ অন্তর্ভুক্ত:

• ক্লিকহাউসের সাথে সম্পূর্ণ একীকরণ (জ্যাবিবিক্স সার্ভার এবং ফ্রন্টএন্ড উভয়ই);
• প্রিপ্রসেসর ম্যানেজারের সাথে সমস্যা সমাধান করা;
• অ্যাসিঙ্ক্রোনাস পোলিং

প্যাচটি এলটিএস সহ সমস্ত সংস্করণ 4 এর সাথে সামঞ্জস্যপূর্ণ। সম্ভবত, ন্যূনতম পরিবর্তন সহ এটি সংস্করণ 3.4-এ কাজ করবে।

আপনার মনোযোগের জন্য আপনাকে ধন্যবাদ।

প্রশ্ন

শ্রোতাদের কাছ থেকে প্রশ্ন (এর পরে – ক): – শুভ বিকাল! দয়া করে আমাকে বলুন, আপনার কি Zabbix টিমের সাথে বা তাদের সাথে আপনার সাথে নিবিড় মিথস্ক্রিয়া করার পরিকল্পনা আছে, যাতে এটি একটি প্যাচ নয়, কিন্তু Zabbix এর স্বাভাবিক আচরণ?

MM: - হ্যাঁ, আমরা অবশ্যই কিছু পরিবর্তন করব। কিছু একটা হবে, কিছু একটা প্যাচ থেকে যাবে।

উত্তর: - চমৎকার প্রতিবেদনের জন্য আপনাকে অনেক ধন্যবাদ! দয়া করে আমাকে বলুন, প্যাচ প্রয়োগ করার পরে, Zabbix থেকে সমর্থন থাকবে এবং কিভাবে উচ্চতর সংস্করণে আপডেট করা চালিয়ে যাবেন? আপনার প্যাচের পরে 4.2, 5.0 এ Zabbix আপডেট করা কি সম্ভব হবে?

MM: - আমি সমর্থন সম্পর্কে কিছু বলতে পারি না। আমি যদি Zabbix প্রযুক্তিগত সহায়তা হতাম, আমি সম্ভবত না বলতাম, কারণ এটি অন্য কারো কোড। 4.2 কোডবেসের জন্য, আমাদের অবস্থান হল: "আমরা সময়ের সাথে এগিয়ে যাব, এবং আমরা পরবর্তী সংস্করণে নিজেদের আপডেট করব।" অতএব, কিছু সময়ের জন্য আমরা আপডেট সংস্করণের জন্য একটি প্যাচ পোস্ট করা হবে. আমি ইতিমধ্যে প্রতিবেদনে বলেছি: সংস্করণগুলির সাথে পরিবর্তনের সংখ্যা এখনও বেশ ছোট। আমি মনে করি 3.4 থেকে 4 পর্যন্ত পরিবর্তন করতে আমাদের প্রায় 15 মিনিট সময় লেগেছে৷ সেখানে কিছু পরিবর্তন হয়েছে, কিন্তু খুব গুরুত্বপূর্ণ নয়৷

উত্তর: - তাহলে আপনি আপনার প্যাচকে সমর্থন করার পরিকল্পনা করছেন এবং আপনি নিরাপদে এটি উৎপাদনে ইনস্টল করতে পারবেন এবং ভবিষ্যতে কোনোভাবে আপডেট পেতে পারবেন?

MM: - আমরা দৃঢ়ভাবে এটি সুপারিশ. এটি আমাদের জন্য অনেক সমস্যার সমাধান করে।

MCH: – আবারও, আমি এই বিষয়টির প্রতি দৃষ্টি আকর্ষণ করতে চাই যে পরিবর্তনগুলি যেগুলি আর্কিটেকচারের সাথে সম্পর্কিত নয় এবং ব্লক করা বা সারিগুলির সাথে সম্পর্কিত নয় সেগুলি মডুলার, সেগুলি পৃথক মডিউলে রয়েছে৷ এমনকি ছোটখাটো পরিবর্তনের সাথেও আপনি এগুলিকে বেশ সহজেই বজায় রাখতে পারেন।

MM: - আপনি যদি বিশদ বিবরণে আগ্রহী হন তবে "ক্লিকহাউস" তথাকথিত ইতিহাস গ্রন্থাগার ব্যবহার করে। এটি খোলা আছে - এটি ইলাস্টিক সমর্থনের একটি অনুলিপি, অর্থাৎ এটি কনফিগারযোগ্য। পোলিং শুধুমাত্র পোলার পরিবর্তন করে। আমরা বিশ্বাস করি এটি দীর্ঘ সময়ের জন্য কাজ করবে।

উত্তর: - অনেক ধন্যবাদ. আমাকে বলুন, করা পরিবর্তনের কোন ডকুমেন্টেশন আছে কি?

MM: - ডকুমেন্টেশন একটি প্যাচ. স্পষ্টতই, ক্লিকহাউসের প্রবর্তনের সাথে, নতুন ধরণের পোলারের প্রবর্তনের সাথে, নতুন কনফিগারেশন বিকল্পগুলি দেখা দেয়। শেষ স্লাইডের লিঙ্কটিতে এটি কীভাবে ব্যবহার করবেন তার একটি সংক্ষিপ্ত বিবরণ রয়েছে।

nmap দিয়ে fping প্রতিস্থাপন সম্পর্কে

উত্তর: - আপনি শেষ পর্যন্ত এটি কীভাবে বাস্তবায়ন করলেন? আপনি নির্দিষ্ট উদাহরণ দিতে পারেন: আপনি strappers এবং একটি বহিরাগত স্ক্রিপ্ট আছে? এত দ্রুত এত বিপুল সংখ্যক হোস্ট চেক করে কী শেষ হয়? আপনি কিভাবে এই হোস্ট মাইন না? আমাদের কি তাদের কোনভাবে এনম্যাপ করার জন্য খাওয়ানো দরকার, কোথাও থেকে তাদের আনা, তাদের রাখা, কিছু চালানোর দরকার আছে? ..

MM: - কুল। একটি খুব সঠিক প্রশ্ন! বিন্দু এই. আমরা ICMP চেকের জন্য লাইব্রেরি (ICMP ping, Zabbix এর অংশ) পরিবর্তন করেছি, যা প্যাকেটের সংখ্যা নির্দেশ করে - এক (1), এবং কোডটি nmap ব্যবহার করার চেষ্টা করে। অর্থাৎ, এটি জ্যাবিক্সের অভ্যন্তরীণ কাজ, যা পিঞ্জারের অভ্যন্তরীণ কাজ হয়ে উঠেছে। তদনুসারে, কোনও সিঙ্ক্রোনাইজেশন বা ট্র্যাপার ব্যবহারের প্রয়োজন নেই। এটি ইচ্ছাকৃতভাবে করা হয়েছিল যাতে সিস্টেমটি অক্ষত থাকে এবং দুটি ডাটাবেস সিস্টেমের সিঙ্ক্রোনাইজেশনের সাথে মোকাবিলা করতে না হয়: কী পরীক্ষা করতে হবে, পোলারের মাধ্যমে আপলোড করতে হবে এবং আমাদের আপলোডটি কি ভেঙে গেছে?... এটি অনেক সহজ।

উত্তর: - এটা কি প্রক্সিদের জন্যও কাজ করে?

MM: - হ্যাঁ, কিন্তু আমরা চেক করিনি। জ্যাবিক্স এবং সার্ভার উভয় ক্ষেত্রেই পোলিং কোড একই। কাজ করা উচিত. আমাকে আবার জোর দেওয়া যাক: সিস্টেমের কর্মক্ষমতা এমন যে আমাদের প্রক্সির প্রয়োজন নেই।

MCH: - প্রশ্নের সঠিক উত্তর হল: "কেন আপনার এই ধরনের সিস্টেমের সাথে একটি প্রক্সি দরকার?" শুধুমাত্র NAT বা কিছু ধীর চ্যানেলের মাধ্যমে পর্যবেক্ষণের কারণে...

উত্তর: - এবং যদি আমি সঠিকভাবে বুঝি তাহলে আপনি জ্যাবিক্সকে অ্যালারটার হিসেবে ব্যবহার করেন। অথবা আপনার গ্রাফিক্স (যেখানে সংরক্ষণাগার স্তর আছে) অন্য সিস্টেমে স্থানান্তরিত হয়েছে, যেমন Grafana? অথবা আপনি এই কার্যকারিতা ব্যবহার করছেন না?

MM: - আমি আবারও জোর দেব: আমরা সম্পূর্ণ একীকরণ অর্জন করেছি। আমরা Clickhouse মধ্যে ইতিহাস ঢালা হয়, কিন্তু একই সময়ে আমরা php ফ্রন্টএন্ড পরিবর্তন করেছি. পিএইচপি ফ্রন্টএন্ড ক্লিকহাউসে যায় এবং সেখান থেকে সমস্ত গ্রাফিক্স করে। একই সময়ে, সৎ হতে, আমাদের কাছে একটি অংশ রয়েছে যা একই ক্লিকহাউস থেকে, একই জ্যাবিক্স ডেটা থেকে অন্যান্য গ্রাফিক ডিসপ্লে সিস্টেমে ডেটা তৈরি করে।

MCH: - "গ্রাফান"-এও।

সম্পদ বণ্টনের বিষয়ে কীভাবে সিদ্ধান্ত নেওয়া হয়েছিল?

উত্তর: - আপনার অভ্যন্তরীণ রান্নাঘরের কিছুটা ভাগ করুন। কীভাবে সিদ্ধান্ত নেওয়া হয়েছিল যে পণ্যটির গুরুতর প্রক্রিয়াকরণের জন্য সংস্থান বরাদ্দ করা প্রয়োজন? এগুলি সাধারণভাবে, নির্দিষ্ট ঝুঁকি। এবং অনুগ্রহ করে আমাকে বলুন, আপনি নতুন সংস্করণ সমর্থন করতে যাচ্ছেন এই প্রেক্ষাপটে: কীভাবে এই সিদ্ধান্তটি পরিচালনার দৃষ্টিকোণ থেকে ন্যায়সঙ্গত হয়?

MM: - স্পষ্টতই, আমরা ইতিহাসের নাটকটি খুব ভাল বলিনি। আমরা নিজেদেরকে এমন একটি পরিস্থিতিতে পেয়েছি যেখানে কিছু করতে হবে, এবং আমরা মূলত দুটি সমান্তরাল দলের সাথে গিয়েছিলাম:

• একটি নতুন পদ্ধতি ব্যবহার করে একটি মনিটরিং সিস্টেম চালু করছিল: একটি পরিষেবা হিসাবে পর্যবেক্ষণ, ওপেন সোর্স সমাধানগুলির একটি মানক সেট যা আমরা একত্রিত করি এবং তারপর নতুন মনিটরিং সিস্টেমের সাথে কাজ করার জন্য ব্যবসায়িক প্রক্রিয়া পরিবর্তন করার চেষ্টা করি।
• একই সময়ে, আমাদের একজন উত্সাহী প্রোগ্রামার ছিলেন যিনি এটি (নিজের সম্পর্কে) করছেন। এটি তাই ঘটেছে যে তিনি জিতেছেন।

উত্তর: - এবং দলের আকার কি?

MCH: - সে তোমার সামনে।

উত্তর: - তাই, সবসময় হিসাবে, আপনি একটি উত্সাহী প্রয়োজন?

MM: - আমি জানি না একটি আবেগ কি.

উত্তর: - এই ক্ষেত্রে, দৃশ্যত, আপনি. আপনাকে অনেক ধন্যবাদ, আপনি দুর্দান্ত।

MM: - ধন্যবাদ।

Zabbix এর জন্য প্যাচ সম্পর্কে

উত্তর: – এমন একটি সিস্টেমের জন্য যা প্রক্সি ব্যবহার করে (উদাহরণস্বরূপ, কিছু বিতরণ করা সিস্টেমে), পোলার, প্রক্সি এবং আংশিকভাবে Zabbix এর প্রিপ্রসেসরকে মানিয়ে নেওয়া এবং প্যাচ করা কি সম্ভব; এবং তাদের মিথস্ক্রিয়া? একাধিক প্রক্সি সহ একটি সিস্টেমের জন্য বিদ্যমান উন্নয়নগুলিকে অপ্টিমাইজ করা কি সম্ভব?

MM: – আমি জানি যে Zabbix সার্ভারটি একটি প্রক্সি ব্যবহার করে একত্রিত হয়েছে (কোডটি সংকলিত এবং প্রাপ্ত করা হয়েছে)। আমরা উৎপাদনে এটি পরীক্ষা করিনি। আমি এই সম্পর্কে নিশ্চিত নই, কিন্তু আমি মনে করি প্রক্সিতে প্রিপ্রসেসর ম্যানেজার ব্যবহার করা হয় না। প্রক্সির কাজ হল Zabbix থেকে মেট্রিক্সের একটি সেট নেওয়া, তাদের একত্রিত করা (এটি কনফিগারেশন, স্থানীয় ডাটাবেসও রেকর্ড করে) এবং এটি Zabbix সার্ভারে ফিরিয়ে দেওয়া। সার্ভার নিজেই তখন প্রিপ্রসেসিং করবে যখন এটি পাবে।

প্রক্সির আগ্রহ বোধগম্য। আমরা এটা চেক আউট করব. এটি একটি মজার বিষয়।

উত্তর: - ধারণাটি ছিল এই: আপনি যদি পোলারদের প্যাচ করতে পারেন, আপনি তাদের প্রক্সিতে প্যাচ করতে পারেন এবং সার্ভারের সাথে মিথস্ক্রিয়া প্যাচ করতে পারেন এবং শুধুমাত্র সার্ভারে এই উদ্দেশ্যে প্রিপ্রসেসরকে মানিয়ে নিতে পারেন।

MM: - আমি মনে করি এটি আরও সহজ। আপনি কোডটি নিন, একটি প্যাচ প্রয়োগ করুন, তারপর আপনার প্রয়োজন মতো এটি কনফিগার করুন - প্রক্সি সার্ভার সংগ্রহ করুন (উদাহরণস্বরূপ, ODBC এর সাথে) এবং প্যাচ করা কোডটি সিস্টেম জুড়ে বিতরণ করুন। যেখানে প্রয়োজন - একটি প্রক্সি সংগ্রহ করুন, যেখানে প্রয়োজন - একটি সার্ভার।

উত্তর: - সম্ভবত, আপনাকে অতিরিক্তভাবে সার্ভারে প্রক্সি ট্রান্সমিশন প্যাচ করতে হবে না?

MCH: - না, এটা আদর্শ।

MM: - আসলে, ধারণাগুলির মধ্যে একটি শব্দ ছিল না। আমরা সবসময় ধারণার বিস্ফোরণ এবং পরিবর্তনের পরিমাণ এবং সমর্থনের সহজতার মধ্যে একটি ভারসাম্য বজায় রেখেছি।

কিছু বিজ্ঞাপন 🙂

আমাদের সাথে থাকার জন্য আপনাকে ধন্যবাদ. আপনি আমাদের নিবন্ধ পছন্দ করেন? আরো আকর্ষণীয় বিষয়বস্তু দেখতে চান? অর্ডার দিয়ে বা বন্ধুদের সুপারিশ করে আমাদের সমর্থন করুন, $4.99 থেকে বিকাশকারীদের জন্য ক্লাউড ভিপিএস, এন্ট্রি-লেভেল সার্ভারগুলির একটি অনন্য অ্যানালগ, যা আমাদের দ্বারা আপনার জন্য উদ্ভাবিত হয়েছে: VPS (KVM) E5-2697 v3 (6 কোর) 10GB DDR4 480GB SSD 1Gbps থেকে $19 বা কিভাবে একটি সার্ভার শেয়ার করবেন সম্পর্কে সম্পূর্ণ সত্য? (RAID1 এবং RAID10 এর সাথে উপলব্ধ, 24 কোর পর্যন্ত এবং 40GB DDR4 পর্যন্ত)।

আমস্টারডামের ইকুইনিক্স টায়ার IV ডেটা সেন্টারে ডেল R730xd 2x সস্তা? শুধু এখানে 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 টিভি $199 থেকে নেদারল্যান্ডে! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - $99 থেকে! সম্পর্কে পড়ুন কিভাবে ইনফ্রাস্ট্রাকচার কর্পোরেশন তৈরি করা যায়। এক পয়সার জন্য 730 ইউরো মূল্যের Dell R5xd E2650-4 v9000 সার্ভার ব্যবহার করে ক্লাস?

উত্স: www.habr.com