Kubernetes-এ পডের অগ্রাধিকার কীভাবে Grafana Labs-এ ডাউনটাইম ঘটায়

বিঃদ্রঃ. অনুবাদ: Grafana এর নির্মাতাদের দ্বারা রক্ষণাবেক্ষণ করা ক্লাউড পরিষেবাতে সাম্প্রতিক ডাউনটাইমের কারণগুলি সম্পর্কে আমরা আপনার দৃষ্টি আকর্ষণ করছি। অবকাঠামোর গুণমান উন্নত করার জন্য ডিজাইন করা একটি নতুন এবং আপাতদৃষ্টিতে অত্যন্ত দরকারী বৈশিষ্ট্য... আপনি যদি উৎপাদনের বাস্তবতায় এর প্রয়োগের অসংখ্য সূক্ষ্মতা প্রদান না করেন তবে এটি ক্ষতির কারণ হতে পারে তার একটি ক্লাসিক উদাহরণ। এটি দুর্দান্ত যখন এই জাতীয় উপাদানগুলি উপস্থিত হয় যা আপনাকে কেবল আপনার ভুলগুলি থেকে শিখতে দেয় না। Grafana Labs থেকে প্রোডাক্টের ভাইস প্রেসিডেন্ট থেকে এই টেক্সটের অনুবাদে বিস্তারিত আছে।

শুক্রবার, 19 জুলাই, গ্রাফানা ক্লাউডে হোস্ট করা প্রমিথিউস পরিষেবা প্রায় 30 মিনিটের জন্য কাজ করা বন্ধ করে দেয়। আমি আউটেজ দ্বারা প্রভাবিত সমস্ত গ্রাহকদের কাছে ক্ষমাপ্রার্থী। আমাদের কাজ হল আপনার প্রয়োজনীয় মনিটরিং টুল সরবরাহ করা এবং আমরা বুঝি যে সেগুলি উপলব্ধ না করা আপনার জীবনকে আরও কঠিন করে তুলতে পারে। আমরা এই ঘটনাকে অত্যন্ত গুরুত্বের সাথে নিচ্ছি। এই নোটটি ব্যাখ্যা করে যে কী ঘটেছে, আমরা কীভাবে প্রতিক্রিয়া জানিয়েছি এবং এটি আবার না ঘটবে তা নিশ্চিত করার জন্য আমরা কী করছি।

প্রাগঐতিহাসিক

Grafana ক্লাউড হোস্টেড প্রমিথিউস পরিষেবার উপর ভিত্তি করে বল্কল — CNCF প্রকল্প একটি অনুভূমিকভাবে মাপযোগ্য, অত্যন্ত উপলব্ধ, বহু-ভাড়াটে প্রমিথিউস পরিষেবা তৈরি করতে। কর্টেক্স আর্কিটেকচারে স্বতন্ত্র মাইক্রোসার্ভিসের একটি সেট রয়েছে, যার প্রত্যেকটি নিজস্ব কার্য সম্পাদন করে: প্রতিলিপি, সঞ্চয়স্থান, প্রশ্ন ইত্যাদি। কর্টেক্স সক্রিয় বিকাশের অধীনে রয়েছে এবং ক্রমাগত নতুন বৈশিষ্ট্য যুক্ত করছে এবং কর্মক্ষমতা উন্নত করছে। আমরা নিয়মিত নতুন কর্টেক্স রিলিজগুলি ক্লাস্টারগুলিতে স্থাপন করি যাতে গ্রাহকরা এই বৈশিষ্ট্যগুলির সুবিধা নিতে পারেন - সৌভাগ্যবশত, কর্টেক্স ডাউনটাইম ছাড়াই আপডেট করা যেতে পারে৷

নির্বিঘ্ন আপডেটের জন্য, Ingester Cortex পরিষেবার আপডেট প্রক্রিয়া চলাকালীন একটি অতিরিক্ত Ingester রেপ্লিকা প্রয়োজন। (বিঃদ্রঃ. অনুবাদ: ingester - কর্টেক্সের মৌলিক উপাদান। এর কাজ হল নমুনার একটি ধ্রুবক প্রবাহ সংগ্রহ করা, সেগুলিকে প্রমিথিউস খণ্ডে গোষ্ঠীবদ্ধ করা এবং ডাইনামোডিবি, বিগটেবল বা ক্যাসান্দ্রার মতো একটি ডাটাবেসে সংরক্ষণ করা।) এটি পুরানো ইনজেস্টারদের বর্তমান ডেটা নতুন ইনজেস্টারে ফরোয়ার্ড করার অনুমতি দেয়। এটা লক্ষণীয় যে Ingesters সম্পদ-চাহিদা হয়. তাদের কাজ করার জন্য, আপনার প্রতি পডে 4 কোর এবং 15 জিবি মেমরি থাকতে হবে, যেমন আমাদের কুবারনেটস ক্লাস্টারের ক্ষেত্রে বেস মেশিনের 25% প্রসেসিং পাওয়ার এবং মেমরি। সাধারণভাবে, আমাদের কাছে সাধারণত 4 কোর এবং 15 GB মেমরির তুলনায় ক্লাস্টারে অনেক বেশি অব্যবহৃত সংস্থান থাকে, তাই আমরা আপগ্রেডের সময় এই অতিরিক্ত ইনজেস্টারগুলিকে সহজেই স্পিন করতে পারি।

যাইহোক, এটি প্রায়শই ঘটে যে স্বাভাবিক অপারেশন চলাকালীন কোনও মেশিনেই এই 25% অব্যবহৃত সংস্থান থাকে না। হ্যাঁ, আমরা চেষ্টাও করি না: CPU এবং মেমরি সবসময় অন্যান্য প্রক্রিয়ার জন্য উপযোগী হবে। এই সমস্যা সমাধানের জন্য, আমরা ব্যবহার করার সিদ্ধান্ত নিয়েছে কুবারনেটস পড অগ্রাধিকার. অন্যান্য (রাষ্ট্রহীন) মাইক্রোসার্ভিসের তুলনায় ইনজেস্টারদের একটি উচ্চ অগ্রাধিকার দেওয়ার ধারণা। যখন আমাদের একটি অতিরিক্ত (N+1) ইনজেস্টার চালানোর প্রয়োজন হয়, তখন আমরা অস্থায়ীভাবে অন্যান্য, ছোট পডগুলিকে স্থানচ্যুত করি। এই পডগুলিকে অন্য মেশিনে বিনামূল্যের সম্পদে স্থানান্তর করা হয়, একটি অতিরিক্ত ইনজেস্টার চালানোর জন্য যথেষ্ট বড় "গর্ত" রেখে।

বৃহস্পতিবার, 18 জুলাই, আমরা আমাদের ক্লাস্টারে চারটি নতুন অগ্রাধিকার স্তর নিয়ে এসেছি: সমালোচক, লম্বা, গড় и কম. প্রায় এক সপ্তাহ ধরে ক্লায়েন্ট ট্রাফিক ছাড়াই একটি অভ্যন্তরীণ ক্লাস্টারে তাদের পরীক্ষা করা হয়েছিল। ডিফল্টরূপে, একটি নির্দিষ্ট অগ্রাধিকার ছাড়া পড প্রাপ্ত হয় গড় অগ্রাধিকার, ক্লাস Ingesters এর সাথে সেট করা হয়েছিল উচ্চ অগ্রাধিকার। সমালোচনামূলক পর্যবেক্ষণের জন্য সংরক্ষিত ছিল (প্রমিথিউস, অ্যালার্ট ম্যানেজার, নোড-রপ্তানিকারক, কুবে-স্টেট-মেট্রিক্স, ইত্যাদি)। আমাদের কনফিগারেশন খোলা আছে, এবং আপনি PR দেখতে পারেন এখানে.

দুর্ঘটনা

শুক্রবার, 19 জুলাই, একজন প্রকৌশলী একটি বড় ক্লায়েন্টের জন্য একটি নতুন ডেডিকেটেড কর্টেক্স ক্লাস্টার চালু করেছেন। এই ক্লাস্টারের কনফিগারে নতুন পড অগ্রাধিকার অন্তর্ভুক্ত করা হয়নি, তাই সমস্ত নতুন পডকে একটি ডিফল্ট অগ্রাধিকার দেওয়া হয়েছিল - গড়.

কুবারনেটস ক্লাস্টারে নতুন কর্টেক্স ক্লাস্টারের জন্য পর্যাপ্ত সংস্থান ছিল না এবং বিদ্যমান উত্পাদন কর্টেক্স ক্লাস্টার আপডেট করা হয়নি (ইনজেস্টারগুলি ছাড়াই বাকি ছিল উচ্চ অগ্রাধিকার)। যেহেতু নতুন ক্লাস্টারের Ingesters ডিফল্টভাবে ছিল গড় অগ্রাধিকার, এবং উৎপাদনে বিদ্যমান পডগুলি একেবারেই অগ্রাধিকার ছাড়াই কাজ করেছিল, নতুন ক্লাস্টারের ইনজেস্টাররা বিদ্যমান কর্টেক্স প্রোডাকশন ক্লাস্টার থেকে ইনজেস্টারগুলিকে প্রতিস্থাপন করেছে।

প্রোডাকশন ক্লাস্টারে উচ্ছেদকৃত ইনজেস্টারের জন্য রেপ্লিকাসেট উচ্ছেদ করা পড সনাক্ত করেছে এবং নির্দিষ্ট সংখ্যক অনুলিপি বজায় রাখার জন্য একটি নতুন তৈরি করেছে। নতুন পড ডিফল্টরূপে বরাদ্দ করা হয়েছে গড় অগ্রাধিকার, এবং অন্য একটি "পুরানো" উৎপাদনে Ingester তার সম্পদ হারিয়েছে. ফলাফল ছিল তুষারপাত প্রক্রিয়া, যা কর্টেক্স উৎপাদন ক্লাস্টারের জন্য ইনজেস্টার থেকে সমস্ত পডের স্থানচ্যুতি ঘটায়।

ইনজেস্টাররা স্টেটফুল এবং আগের 12 ঘন্টার ডেটা সঞ্চয় করে। এটি দীর্ঘমেয়াদী সঞ্চয়স্থানে লেখার আগে তাদের আরও দক্ষতার সাথে সংকুচিত করার অনুমতি দেয়। এটি অর্জনের জন্য, কর্টেক্স একটি ডিস্ট্রিবিউটেড হ্যাশ টেবিল (DHT) ব্যবহার করে সিরিজ জুড়ে ডেটা ভাগ করে এবং ডায়নামো-স্টাইলের কোরাম সামঞ্জস্য ব্যবহার করে তিনটি ইনজেস্টার জুড়ে প্রতিটি সিরিজের প্রতিলিপি করে। কর্টেক্স অক্ষম ইনজেস্টারদের কাছে ডেটা লেখে না। এইভাবে, যখন প্রচুর সংখ্যক ইনজেস্টার ডিএইচটি ছেড়ে যায়, তখন কর্টেক্স এন্ট্রিগুলির পর্যাপ্ত প্রতিলিপি প্রদান করতে পারে না এবং তারা ক্র্যাশ হয়ে যায়।

সনাক্তকরণ এবং প্রতিকার

"ত্রুটি বাজেট" এর উপর ভিত্তি করে নতুন প্রমিথিউস বিজ্ঞপ্তি (ত্রুটি-বাজেট-ভিত্তিক — বিশদ ভবিষ্যতের নিবন্ধে উপস্থিত হবে) শাটডাউন শুরু হওয়ার 4 মিনিট পরে অ্যালার্ম বাজতে শুরু করে। পরবর্তী পাঁচ মিনিট বা তারও বেশি সময় ধরে, আমরা কিছু ডায়াগনস্টিক চালিয়েছি এবং নতুন এবং বিদ্যমান উভয় উত্পাদন ক্লাস্টার হোস্ট করার জন্য অন্তর্নিহিত কুবারনেটস ক্লাস্টারকে স্কেল করেছি।

আরও পাঁচ মিনিট পরে, পুরানো ইনজেস্টাররা সফলভাবে তাদের ডেটা লিখেছে, নতুনগুলি শুরু হয়েছে এবং কর্টেক্স ক্লাস্টারগুলি আবার উপলব্ধ হয়ে উঠেছে।

কর্টেক্সের সামনে অবস্থিত প্রমাণীকরণ বিপরীত প্রক্সি থেকে আউট-অফ-মেমরি (OOM) ত্রুটিগুলি নির্ণয় এবং সংশোধন করতে আরও 10 মিনিট ব্যয় করা হয়েছিল। OOM ত্রুটিগুলি QPS এর দশগুণ বৃদ্ধির কারণে হয়েছিল (আমরা বিশ্বাস করি ক্লায়েন্টের প্রমিথিউস সার্ভার থেকে অতিরিক্ত আক্রমনাত্মক অনুরোধের কারণে)।

প্রভাব

মোট ডাউনটাইম ছিল 26 মিনিট। কোন তথ্য হারিয়ে যায়নি. ইনজেস্টাররা সফলভাবে সমস্ত ইন-মেমরি ডেটা দীর্ঘমেয়াদী সঞ্চয়স্থানে লোড করেছে৷ শাটডাউনের সময়, ক্লায়েন্ট প্রমিথিউস সার্ভারগুলি মুছে ফেলা হয়েছে (দূরবর্তী) ব্যবহার করে রেকর্ডিং নতুন API remote_write WAL এর উপর ভিত্তি করে (লেখক ক্যালুম স্টিয়ান Grafana ল্যাব থেকে) এবং ক্র্যাশের পরে ব্যর্থ লেখার পুনরাবৃত্তি।

উৎপাদন ক্লাস্টার লেখার ক্রিয়াকলাপ

তথ্যও

এই ঘটনা থেকে শিক্ষা নেওয়া এবং এর পুনরাবৃত্তি এড়াতে প্রয়োজনীয় পদক্ষেপ নেওয়া গুরুত্বপূর্ণ।

পশ্চাদপটে, আমাদের ডিফল্ট সেট করা উচিত নয় গড় যতক্ষণ না প্রোডাকশনের সমস্ত ইনজেস্টাররা প্রাপ্ত হয় ততক্ষণ পর্যন্ত অগ্রাধিকার লম্বা একটি অগ্রাধিকার. উপরন্তু, তাদের আগে থেকে যত্ন নেওয়া প্রয়োজন ছিল উচ্চ অগ্রাধিকার সবকিছু এখন ঠিক করা হয়েছে। আমরা আশা করি আমাদের অভিজ্ঞতা কুবারনেটসে পড অগ্রাধিকার ব্যবহার করার বিষয়ে অন্যান্য সংস্থাকে সাহায্য করবে।

যেকোন অতিরিক্ত অবজেক্ট যার কনফিগারেশনগুলি ক্লাস্টারে গ্লোবাল। এখন থেকে এই ধরনের পরিবর্তনের মূল্যায়ন করা হবে খоঅনেক মানুষ. অতিরিক্তভাবে, যে পরিবর্তনের কারণে ক্র্যাশ হয়েছে তা একটি পৃথক প্রকল্প নথির জন্য খুব ছোট বলে বিবেচিত হয়েছিল - এটি শুধুমাত্র একটি গিটহাব ইস্যুতে আলোচনা করা হয়েছিল। এখন থেকে, কনফিগারে এই ধরনের সমস্ত পরিবর্তন উপযুক্ত প্রকল্প ডকুমেন্টেশনের সাথে থাকবে।

অবশেষে, আমরা যে ওভারলোড OOM দেখেছি তা রোধ করতে আমরা প্রমাণীকরণ বিপরীত প্রক্সির আকার পরিবর্তন স্বয়ংক্রিয় করব এবং ভবিষ্যতে অনুরূপ সমস্যাগুলি প্রতিরোধ করতে ফলব্যাক এবং স্কেলিং সম্পর্কিত প্রমিথিউস ডিফল্ট সেটিংস পর্যালোচনা করব।

ব্যর্থতার কিছু ইতিবাচক ফলাফলও ছিল: প্রয়োজনীয় সংস্থান পাওয়ার পরে, কর্টেক্স অতিরিক্ত হস্তক্ষেপ ছাড়াই স্বয়ংক্রিয়ভাবে পুনরুদ্ধার করে। আমরা সাথে কাজ করার মূল্যবান অভিজ্ঞতাও অর্জন করেছি গ্রাফনা লোকি - আমাদের নতুন লগ অ্যাগ্রিগেশন সিস্টেম - যা ব্যর্থতার সময় এবং পরে সমস্ত ইনজেস্টার সঠিকভাবে আচরণ করেছে তা নিশ্চিত করতে সাহায্য করেছে৷

অনুবাদক থেকে PS

আমাদের ব্লগেও পড়ুন:

• «কুবারনেটে অটোস্কেলিং এবং রিসোর্স ম্যানেজমেন্ট (পর্যালোচনা এবং ভিডিও রিপোর্ট)";
• «কুবারনেটস অ্যাডভেঞ্চার ডেইলিমোশন: ক্লাউড + অন-প্রাঙ্গনে অবকাঠামো তৈরি করা";
• «কুবারনেটসে টিন্ডারের রূপান্তর";
• «Kubernetes উৎপাদনে সাফল্যের গল্প। পার্ট 10: Reddit».

উত্স: www.habr.com