Kubernetes ক্লাস্টার সম্পদ নিরীক্ষণ

আমি কুবে ঈগল তৈরি করেছি - একজন প্রমিথিউস রপ্তানিকারক। এটি একটি দুর্দান্ত জিনিস হিসাবে পরিণত হয়েছে যা ছোট এবং মাঝারি আকারের ক্লাস্টারগুলির সংস্থানগুলি আরও ভালভাবে বুঝতে সহায়তা করে। শেষ পর্যন্ত, আমি শত শত ডলার সঞ্চয় করেছি কারণ আমি সঠিক মেশিনের ধরন নির্বাচন করেছি এবং কাজের চাপের জন্য অ্যাপ্লিকেশন সংস্থান সীমা কনফিগার করেছি।

আমি আপনাকে সুবিধার কথা বলব কুবে ঈগল, কিন্তু প্রথমে আমি ব্যাখ্যা করব কী কারণে গোলমাল হয়েছে এবং কেন উচ্চ-মানের পর্যবেক্ষণ প্রয়োজন ছিল।

আমি 4-50 নোডের বেশ কয়েকটি ক্লাস্টার পরিচালনা করেছি। প্রতিটি ক্লাস্টারে 200টি পর্যন্ত মাইক্রোসার্ভিস এবং অ্যাপ্লিকেশন রয়েছে। বিদ্যমান হার্ডওয়্যারের আরও ভাল ব্যবহার করার জন্য, বেশিরভাগ স্থাপনাগুলি বিস্ফোরণযোগ্য RAM এবং CPU সংস্থানগুলির সাথে কনফিগার করা হয়েছিল। এইভাবে, পডগুলি প্রয়োজনে উপলব্ধ সংস্থানগুলি গ্রহণ করতে পারে এবং একই সময়ে এই নোডের অন্যান্য অ্যাপ্লিকেশনগুলিতে হস্তক্ষেপ করে না। আচ্ছা, এটা দারুণ না?

এবং যদিও ক্লাস্টারটি তুলনামূলকভাবে কম CPU (8%) এবং RAM (40%) ব্যবহার করে, আমাদের ক্রমাগত সমস্যা হয় যখন তারা নোডে উপলব্ধ থেকে বেশি মেমরি বরাদ্দ করার চেষ্টা করে তখন পডগুলিকে প্রিম্পট করা হয়। তখন কুবারনেটস সংস্থানগুলি পর্যবেক্ষণ করার জন্য আমাদের কাছে শুধুমাত্র একটি ড্যাশবোর্ড ছিল। এটার মত:

শুধুমাত্র cAdvisor মেট্রিক্স সহ Grafana ড্যাশবোর্ড

এই জাতীয় প্যানেলের সাথে, প্রচুর মেমরি এবং সিপিইউ খায় এমন নোডগুলি দেখতে সমস্যা হয় না। সমস্যা হল কারণটা বের করতে। পডগুলিকে যথাস্থানে রাখার জন্য, কেউ অবশ্যই সমস্ত পডে গ্যারান্টিযুক্ত সংস্থান স্থাপন করতে পারে (সীমার সমান সম্পদের অনুরোধ করা হয়েছে)। কিন্তু এটি হার্ডওয়্যারের সবচেয়ে স্মার্ট ব্যবহার নয়। ক্লাস্টারে কয়েকশ গিগাবাইট মেমরি ছিল, যখন কিছু নোড ক্ষুধার্ত ছিল, অন্যদের রিজার্ভ 4-10 GB বাকি ছিল।

দেখা যাচ্ছে যে Kubernetes সময়সূচী উপলব্ধ সংস্থানগুলিতে অসমভাবে কাজের চাপ বিতরণ করেছে। কুবারনেটস শিডিউলার বিভিন্ন কনফিগারেশন বিবেচনা করে: অ্যাফিনিটি, টেন্টস এবং সহ্য করার নিয়ম, নোড নির্বাচক যা উপলব্ধ নোডগুলিকে সীমিত করতে পারে। কিন্তু আমার ক্ষেত্রে এরকম কিছুই ছিল না, এবং প্রতিটি নোডে অনুরোধ করা সংস্থানগুলির উপর নির্ভর করে পডগুলি পরিকল্পনা করা হয়েছিল।

যে নোডটিতে সর্বাধিক বিনামূল্যের সংস্থান রয়েছে এবং যেটি অনুরোধের শর্তগুলিকে সন্তুষ্ট করে সেটি পডের জন্য নির্বাচিত হয়েছিল। আমরা দেখেছি যে নোডগুলিতে অনুরোধ করা সংস্থানগুলি প্রকৃত ব্যবহারের সাথে মেলে না এবং এখানেই কুবে ঈগল এবং এর সংস্থান পর্যবেক্ষণ ক্ষমতা উদ্ধারে এসেছে৷

আমার কাছে প্রায় সমস্ত কুবারনেটস ক্লাস্টারগুলিই নিরীক্ষণ রয়েছে নোড রপ্তানিকারক и কুবে স্টেট মেট্রিক্স. নোড এক্সপোর্টার I/O এবং ডিস্ক, CPU, এবং RAM ব্যবহারের পরিসংখ্যান প্রদান করে, যখন Kube State Metrics কুবারনেটস অবজেক্ট মেট্রিক্স যেমন অনুরোধ এবং CPU এবং মেমরি রিসোর্স সীমা দেখায়।

আমাদের গ্রাফনায় অনুরোধ এবং সীমাবদ্ধতার মেট্রিক্সের সাথে ব্যবহারের মেট্রিক্স একত্রিত করতে হবে এবং তারপরে আমরা সমস্যা সম্পর্কে সমস্ত তথ্য পাব। এটি সহজ শোনাচ্ছে, কিন্তু দুটি টুল আসলে লেবেলকে আলাদাভাবে নাম দেয় এবং কিছু মেট্রিক্সে কোনো মেটাডেটা লেবেল নেই। কুবে ঈগল নিজেই সবকিছু করে এবং প্যানেলটি এইরকম দেখায়:

কুবে ঈগল ড্যাশবোর্ড

আমরা সংস্থানগুলির সাথে অনেক সমস্যা সমাধান করতে এবং সরঞ্জামগুলি সংরক্ষণ করতে পরিচালিত করেছি:

1. কিছু বিকাশকারী জানেন না যে কতগুলি সংস্থান মাইক্রোসার্ভিসের প্রয়োজন (বা সহজভাবে বিরক্ত করেনি)। সম্পদের জন্য আমাদের ভুল অনুরোধ খুঁজে পাওয়ার কোন উপায় ছিল না - এর জন্য আমাদের ব্যবহার এবং অনুরোধ এবং সীমা জানতে হবে। এখন তারা প্রমিথিউস মেট্রিক্স দেখে, প্রকৃত ব্যবহার নিরীক্ষণ করে এবং অনুরোধ এবং সীমা সামঞ্জস্য করে।
2. JVM অ্যাপ্লিকেশানগুলি যতটা RAM নিতে পারে ততটা তারা পরিচালনা করতে পারে। আবর্জনা সংগ্রহকারী শুধুমাত্র মেমরি প্রকাশ করে যখন 75% এর বেশি ব্যবহার করা হয়। এবং যেহেতু বেশিরভাগ পরিষেবারই বিস্ফোরণযোগ্য মেমরি থাকে, তাই এটি সর্বদা JVM দ্বারা দখল করা হত। অতএব, এই সমস্ত জাভা পরিষেবাগুলি প্রত্যাশার চেয়ে অনেক বেশি RAM খাচ্ছিল।
3. কিছু অ্যাপ্লিকেশন অত্যধিক মেমরির জন্য অনুরোধ করেছিল, এবং কুবারনেটস শিডিউলকারী এই নোডগুলিকে অন্যান্য অ্যাপ্লিকেশনগুলিতে দেয়নি, যদিও বাস্তবে তারা অন্যান্য নোডের চেয়ে বেশি মুক্ত ছিল। একজন ডেভেলপার ভুলবশত অনুরোধে একটি অতিরিক্ত অঙ্ক যোগ করেছেন এবং RAM-এর একটি বড় টুকরো ধরেছেন: 20 এর পরিবর্তে 2 GB৷ কেউ খেয়াল করেনি৷ অ্যাপ্লিকেশনটির 3টি প্রতিলিপি ছিল, তাই 3টির মতো নোড প্রভাবিত হয়েছিল৷
4. আমরা রিসোর্স সীমা প্রবর্তন করেছি, সঠিক অনুরোধের সাথে পড পুনঃনির্ধারিত করেছি এবং সমস্ত নোড জুড়ে হার্ডওয়্যার ব্যবহারের একটি আদর্শ ভারসাম্য পেয়েছি। নোডের একটি দম্পতি সম্পূর্ণরূপে বন্ধ করা যেতে পারে. এবং তারপরে আমরা দেখলাম যে আমাদের ভুল মেশিন রয়েছে (সিপিইউ ওরিয়েন্টেড, মেমরি ওরিয়েন্টেড নয়)। আমরা টাইপ পরিবর্তন করেছি এবং আরও কয়েকটি নোড মুছে ফেলেছি।

ফলাফল

ক্লাস্টারে বিস্ফোরণযোগ্য সংস্থানগুলির সাথে, আপনি উপলব্ধ হার্ডওয়্যারগুলি আরও দক্ষতার সাথে ব্যবহার করেন, তবে কুবারনেটস শিডিউলার সংস্থানগুলির জন্য অনুরোধের উপর ভিত্তি করে পডগুলি নির্ধারণ করে এবং এটি ভরা। এক ঢিলে দুটি পাখি মারার জন্য: সমস্যা এড়াতে এবং সম্পদগুলি সম্পূর্ণরূপে ব্যবহার করার জন্য, আপনার ভাল পর্যবেক্ষণ প্রয়োজন। এই জন্য এটি দরকারী হবে কুবে ঈগল (প্রমিথিউস রপ্তানিকারক এবং গ্রাফানা ড্যাশবোর্ড)।

উত্স: www.habr.com