কুবারনেটসে ডিএনএস-এর সমস্যা। পাবলিক পোস্টমর্টেম

বিঃদ্রঃ. অনুবাদ: এটি কোম্পানির ইঞ্জিনিয়ারিং ব্লগ থেকে একটি পাবলিক পোস্টমর্টেমের অনুবাদ৷ প্রস্তুতি. এটি কুবারনেটস ক্লাস্টারে কনট্র্যাকের একটি সমস্যা বর্ণনা করে, যা কিছু উত্পাদন পরিষেবার আংশিক ডাউনটাইমকে নেতৃত্ব দেয়।

এই নিবন্ধটি তাদের জন্য উপযোগী হতে পারে যারা পোস্টমর্টেম সম্পর্কে আরও কিছু জানতে চান বা ভবিষ্যতে কিছু সম্ভাব্য DNS সমস্যা প্রতিরোধ করতে চান।

এটি DNS নয়
এটা DNS হতে পারে না
এটা ছিল DNS

Preply পোস্টমর্টেম এবং প্রক্রিয়া সম্পর্কে একটু

একটি পোস্টমর্টেম একটি ত্রুটি বা উত্পাদনের কিছু ঘটনা বর্ণনা করে। পোস্টমর্টেমে ইভেন্টের একটি টাইমলাইন, ব্যবহারকারীর প্রভাব, মূল কারণ, গৃহীত পদক্ষেপ এবং শেখা পাঠ অন্তর্ভুক্ত থাকে।

এসআরই খুঁজছেন

পিজ্জার সাথে সাপ্তাহিক বৈঠকে, প্রযুক্তিগত দলের মধ্যে, আমরা বিভিন্ন তথ্য শেয়ার করি। এই ধরনের মিটিংয়ের সবচেয়ে গুরুত্বপূর্ণ অংশগুলির মধ্যে একটি হল পোস্টমর্টেম, যা প্রায়শই স্লাইড সহ একটি উপস্থাপনা এবং ঘটনার আরও গভীর বিশ্লেষণের সাথে থাকে। যদিও আমরা ময়না-তদন্তের পরে হাততালি না দিই, তবুও আমরা "কোন দোষের" সংস্কৃতি গড়ে তোলার চেষ্টা করি (নির্দোষ সংস্কৃতি) আমরা বিশ্বাস করি যে পোস্টমর্টেম লেখা এবং উপস্থাপন করা ভবিষ্যতে আমাদের (এবং অন্যদের) অনুরূপ ঘটনা প্রতিরোধ করতে সাহায্য করতে পারে, তাই আমরা সেগুলি ভাগ করছি।

একটি ঘটনার সাথে জড়িত ব্যক্তিদের মনে করা উচিত যে তারা শাস্তি বা প্রতিশোধের ভয় ছাড়াই বিস্তারিতভাবে কথা বলতে পারে। কোন দোষ নেই! পোস্টমর্টেম লেখা কোনো শাস্তি নয়, পুরো কোম্পানির জন্য শেখার সুযোগ।

CALMS এবং DevOps রাখুন: S ভাগ করার জন্য

কুবারনেটসে ডিএনএস-এর সমস্যা। পোস্টমর্টেম

তারিখ: 28.02.2020

লেখক: আমেট ইউ, আন্দ্রে এস, ইগর কে, আলেক্সি পি।

স্থিতি: সমাপ্ত

সংক্ষেপে: Kubernetes ক্লাস্টারে কিছু পরিষেবার জন্য আংশিক DNS অনুপলব্ধতা (26 মিনিট)

প্রভাব: A, B এবং C পরিষেবার জন্য 15000 ইভেন্ট হারিয়েছে

মূল কারণ: Kube-proxy সঠিকভাবে conntrack টেবিল থেকে একটি পুরানো এন্ট্রি অপসারণ করতে অক্ষম ছিল, তাই কিছু পরিষেবা এখনও অস্তিত্বহীন পডের সাথে সংযোগ করার চেষ্টা করছে

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...

ট্রিগার: কুবারনেটস ক্লাস্টারের ভিতরে কম লোডের কারণে, কোরডিএনএস-অটোস্কেলার স্থাপনায় পডের সংখ্যা তিন থেকে দুইয়ে কমিয়েছে

সমাধান: অ্যাপ্লিকেশনটির পরবর্তী স্থাপনা নতুন নোড তৈরির সূচনা করেছে, CoreDNS-autoscaler ক্লাস্টার পরিবেশন করার জন্য আরও পড যোগ করেছে, যা কনট্র্যাক টেবিলের পুনর্লিখনকে উস্কে দিয়েছে

সনাক্তকরণ: প্রমিথিউস পর্যবেক্ষণ A, B এবং C পরিষেবাগুলির জন্য প্রচুর 5xx ত্রুটি সনাক্ত করেছে এবং অন-ডিউটি ​​ইঞ্জিনিয়ারদের কাছে একটি কল শুরু করেছে

কিবানায় 5xx ত্রুটি

ক্রিয়াকলাপ

প্রভাব
আদর্শ
দায়িত্বশীল
কাজের

CoreDNS-এর জন্য অটোস্কেলার অক্ষম করুন
বিরত
আমেট ইউ.
DEVOPS-695

একটি ক্যাশিং DNS সার্ভার সেট আপ করুন
হ্রাস
ম্যাক্স ভি।
DEVOPS-665

কনট্র্যাক মনিটরিং সেট আপ করুন
বিরত
আমেট ইউ.
DEVOPS-674

পাঠ শিখেছি

কি ভাল হয়েছে:

• মনিটরিং ভাল কাজ. প্রতিক্রিয়া দ্রুত এবং সংগঠিত ছিল
• আমরা নোডগুলিতে কোন সীমা আঘাত করিনি

কি ভুল ছিল:

• এখনও অজানা বাস্তব মূল কারণ, অনুরূপ নির্দিষ্ট বাগ বিপরীতে
• সমস্ত কর্ম শুধুমাত্র ফলাফল সংশোধন করে, মূল কারণ নয় (বাগ)
• আমরা জানতাম যে শীঘ্র বা পরে আমাদের ডিএনএস নিয়ে সমস্যা হতে পারে, কিন্তু আমরা কাজগুলিকে অগ্রাধিকার দেইনি

যেখানে আমরা ভাগ্যবান হয়েছি:

• পরবর্তী স্থাপনাটি CoreDNS-autoscaler দ্বারা ট্রিগার করা হয়েছিল, যা conntrack টেবিলটি ওভাররাইট করেছে
• এই বাগ শুধুমাত্র কিছু পরিষেবা প্রভাবিত

টাইমলাইন (EET)

Время
প্রভাব

22:13
CoreDNS-অটোস্কেলার পডের সংখ্যা তিন থেকে দুইয়ে কমিয়েছে

22:18
ডিউটিতে থাকা প্রকৌশলীরা মনিটরিং সিস্টেম থেকে কল পেতে শুরু করেন

22:21
ডিউটিতে থাকা প্রকৌশলীরা ত্রুটির কারণ খুঁজতে শুরু করেন।

22:39
ডিউটিতে থাকা প্রকৌশলীরা সর্বশেষতম পরিষেবাগুলির একটিকে আগের সংস্করণে ফিরিয়ে আনা শুরু করে৷

22:40
5xx ত্রুটিগুলি উপস্থিত হওয়া বন্ধ হয়ে গেছে, পরিস্থিতি স্থিতিশীল হয়েছে

• সনাক্তকরণের সময়: 4 মিনিট
• কর্মের আগে সময়: 21 মিনিট
• ঠিক করার সময়: 1 মিনিট

অতিরিক্ত তথ্য

• CoreDNS লগ:

  I0228 20:13:53.507780       1 event.go:221] Event(v1.ObjectReference{Kind:"Deployment", Namespace:"kube-system", Name:"coredns", UID:"2493eb55-3dc0-11ea-b3a2-02bb48f8c230", APIVersion:"apps/v1", ResourceVersion:"132690686", FieldPath:""}): type: 'Normal' reason: 'ScalingReplicaSet' Scaled down replica set coredns-6cbb6646c9 to 2

• কিবানার লিঙ্ক (কাটা), গ্রাফানা (কাটা)
• যেখানে লিনাক্স কনট্র্যাক আর আপনার বন্ধু নয়
• kube-proxy সূক্ষ্মতা: একটি বিরতিমূলক সংযোগ রিসেট ডিবাগিং
• রেসি কনট্র্যাক এবং DNS লুকআপ টাইমআউট

সিপিইউ ব্যবহার কমাতে, লিনাক্স কার্নেল কনট্র্যাক নামে কিছু ব্যবহার করে। সংক্ষেপে, এটি একটি ইউটিলিটি যা একটি বিশেষ টেবিলে সংরক্ষিত NAT রেকর্ডগুলির একটি তালিকা ধারণ করে। যখন পরবর্তী প্যাকেটটি একই পড থেকে আগের মতো একই পডে আসে, তখন চূড়ান্ত আইপি ঠিকানাটি পুনরায় গণনা করা হবে না, তবে কনট্র্যাক টেবিল থেকে নেওয়া হবে।

কনট্র্যাক কিভাবে কাজ করে

ফলাফল

এটি কিছু দরকারী লিঙ্ক সহ আমাদের পোস্টমর্টেমগুলির একটি উদাহরণ ছিল। বিশেষত এই নিবন্ধে, আমরা এমন তথ্য শেয়ার করি যা অন্য কোম্পানির জন্য উপযোগী হতে পারে। এই কারণেই আমরা ভুল করতে ভয় পাই না এবং সেই কারণেই আমরা আমাদের পোস্টমর্টেমগুলির একটিকে সর্বজনীন করি৷ এখানে আরও কিছু আকর্ষণীয় পাবলিক পোস্টমর্টেম রয়েছে:

• গিটল্যাব: 31 জানুয়ারি ডাটাবেস বিভ্রাটের পোস্টমর্টেম
• ড্রপবক্স: বিভ্রাট পোস্টমর্টেম
• Spotify এর: DNS-এর সাথে Spotify-এর প্রেম/ঘৃণার সম্পর্ক
• থেকে অন্য অনেক এই সারাংশ এবং সংগ্রহস্থল কুবারনেটস ব্যর্থতার গল্প
• এছাড়াও উদাহরণ SRE বুক সহ পাবলিক পোস্টমর্টেম

উত্স: www.habr.com