Kubernetes ক্লাস্টার মধ্যে গর্ত ফিক্সিং. DevOpsConf থেকে রিপোর্ট এবং প্রতিলিপি

পাভেল সেলিভানভ, সাউথব্রিজ সলিউশনের স্থপতি এবং স্লার্ম শিক্ষক, DevOpsConf 2019-এ একটি উপস্থাপনা দিয়েছেন। এই আলোচনাটি Kubernetes "Slurm Mega"-এর গভীরতর কোর্সের একটি বিষয়ের অংশ।

স্লার্ম বেসিক: কুবারনেটসের একটি ভূমিকা 18-20 নভেম্বর মস্কোতে অনুষ্ঠিত হয়।
স্লার্ম মেগা: কুবারনেটসের হুডের নিচে তাকিয়ে — মস্কো, নভেম্বর 22-24।
Slurm অনলাইন: উভয় Kubernetes কোর্স সবসময় পাওয়া যায়.

কাটা নীচে রিপোর্ট একটি প্রতিলিপি.

শুভ বিকাল, সহকর্মীরা এবং যারা তাদের প্রতি সহানুভূতিশীল। আজ আমি নিরাপত্তা নিয়ে কথা বলব।

দেখি আজ হলের অনেক নিরাপত্তারক্ষী। আমি আপনার কাছে আগে থেকে ক্ষমা চেয়ে নিচ্ছি যদি আমি নিরাপত্তার জগতের শর্তাবলী ব্যবহার করি যা ঠিক আপনার জন্য প্রচলিত নয়।

এটা তাই ঘটেছে যে প্রায় ছয় মাস আগে আমি একটি পাবলিক Kubernetes ক্লাস্টার দেখতে পেয়েছিলাম। সর্বজনীন মানে হল নেমস্পেসের একটি তম সংখ্যা; এই নেমস্পেসে ব্যবহারকারীরা তাদের নামস্থানে বিচ্ছিন্ন রয়েছে। এই সমস্ত ব্যবহারকারী বিভিন্ন কোম্পানির অন্তর্গত। ঠিক আছে, এটা ধরে নেওয়া হয়েছিল যে এই ক্লাস্টারটি একটি CDN হিসাবে ব্যবহার করা উচিত। যে, তারা আপনাকে একটি ক্লাস্টার দেয়, তারা আপনাকে সেখানে একজন ব্যবহারকারী দেয়, আপনি সেখানে আপনার নামস্থানে যান, আপনার ফ্রন্টগুলি স্থাপন করুন।

আমার আগের কোম্পানি এই ধরনের একটি পরিষেবা বিক্রি করার চেষ্টা করেছিল। এবং এই সমাধানটি উপযুক্ত কিনা তা দেখতে আমাকে ক্লাস্টারটি খোঁচা দিতে বলা হয়েছিল।

আমি এই ক্লাস্টারে এসেছি। আমাকে সীমিত অধিকার, সীমিত নামস্থান দেওয়া হয়েছিল। সেখানকার ছেলেরা বুঝতে পেরেছিল নিরাপত্তা কী। তারা Kubernetes-এ ভূমিকা-ভিত্তিক অ্যাক্সেস কন্ট্রোল (RBAC) সম্পর্কে পড়েছিল - এবং তারা এটিকে মোচড় দিয়েছিল যাতে আমি স্থাপনা থেকে আলাদাভাবে পড চালু করতে না পারি। স্থাপনা ছাড়াই একটি পড চালু করে আমি যে সমস্যাটি সমাধান করার চেষ্টা করছিলাম তা আমার মনে নেই, তবে আমি সত্যিই একটি পড চালু করতে চেয়েছিলাম। সৌভাগ্যের জন্য, আমি ক্লাস্টারে আমার কী অধিকার আছে, আমি কী করতে পারি, আমি কী করতে পারি না এবং তারা সেখানে কী ক্ষতি করেছে তা দেখার সিদ্ধান্ত নিয়েছি। একই সময়ে, আমি আপনাকে বলব যে তারা RBAC-তে ভুলভাবে কনফিগার করেছে।

এটা তাই ঘটেছে যে দুই মিনিটের মধ্যে আমি তাদের ক্লাস্টারে একজন প্রশাসক পেয়েছি, সমস্ত প্রতিবেশী নেমস্পেস দেখেছি, সেখানে কোম্পানিগুলির চলমান উত্পাদন ফ্রন্টগুলি দেখেছি যারা ইতিমধ্যে পরিষেবাটি কিনেছে এবং স্থাপন করেছে। কারো সামনে যাওয়া এবং মূল পৃষ্ঠায় কিছু শপথ করা থেকে আমি নিজেকে সবে আটকাতে পারিনি।

আমি আপনাকে উদাহরণ সহ বলব যে আমি কীভাবে এটি করেছি এবং কীভাবে এটি থেকে নিজেকে রক্ষা করতে পারি।

তবে প্রথমে আমার পরিচয় দেওয়া যাক। আমার নাম পাভেল সেলিভানভ। আমি সাউথব্রিজের একজন স্থপতি। আমি Kubernetes, DevOps এবং সব ধরণের অভিনব জিনিস বুঝি। সাউথব্রিজের প্রকৌশলীরা এবং আমি এই সব তৈরি করছি, এবং আমি পরামর্শ করছি।

আমাদের প্রধান কার্যক্রমের পাশাপাশি, আমরা সম্প্রতি স্লর্মস নামে একটি প্রকল্প চালু করেছি। আমরা Kubernetes-এর সাথে আমাদের কাজ করার ক্ষমতাকে জনসাধারণের কাছে একটু আনার চেষ্টা করছি, অন্য লোকদেরও K8s-এর সাথে কাজ করতে শেখাতে।

আজকে কি নিয়ে কথা বলব? রিপোর্টের বিষয় সুস্পষ্ট - কুবারনেটস ক্লাস্টারের নিরাপত্তা সম্পর্কে। তবে আমি এখনই বলতে চাই যে এই বিষয়টি খুব বড় - এবং তাই আমি অবিলম্বে স্পষ্ট করতে চাই যে আমি অবশ্যই কোন বিষয়ে কথা বলব না। আমি হ্যাকনিড পদ সম্পর্কে কথা বলব না যা ইতিমধ্যে ইন্টারনেটে একশ বার ব্যবহার করা হয়েছে। সকল প্রকার RBAC এবং সার্টিফিকেট।

কুবারনেটস ক্লাস্টারে নিরাপত্তা নিয়ে আমাকে এবং আমার সহকর্মীদের কী কষ্ট হয় সে সম্পর্কে আমি কথা বলব৷ কুবারনেটস ক্লাস্টার প্রদানকারী এবং আমাদের কাছে আসা ক্লায়েন্টদের মধ্যে আমরা এই সমস্যাগুলি দেখতে পাই। এবং এমনকি ক্লায়েন্টদের কাছ থেকে যারা আমাদের কাছে অন্যান্য পরামর্শকারী অ্যাডমিন কোম্পানি থেকে আসে। অর্থাৎ ট্র্যাজেডির স্কেল আসলে অনেক বড়।

আক্ষরিকভাবে তিনটি পয়েন্ট রয়েছে যা আমি আজকে বলব:

1. ব্যবহারকারীর অধিকার বনাম পড অধিকার। ব্যবহারকারীর অধিকার এবং পড অধিকার একই জিনিস নয়।
2. ক্লাস্টার সম্পর্কে তথ্য সংগ্রহ করা হচ্ছে। আমি দেখাব যে আপনি এই ক্লাস্টারে বিশেষ অধিকার ছাড়াই একটি ক্লাস্টার থেকে আপনার প্রয়োজনীয় সমস্ত তথ্য সংগ্রহ করতে পারেন৷
3. ক্লাস্টারে DoS আক্রমণ। যদি আমরা তথ্য সংগ্রহ করতে না পারি, আমরা যে কোনও ক্ষেত্রে একটি ক্লাস্টার স্থাপন করতে সক্ষম হব। আমি ক্লাস্টার নিয়ন্ত্রণ উপাদানের উপর DoS আক্রমণ সম্পর্কে কথা বলব।

আরেকটি সাধারণ জিনিস যা আমি উল্লেখ করব তা হল আমি এই সমস্ত কিছু পরীক্ষা করেছি, যার ভিত্তিতে আমি নিশ্চিতভাবে বলতে পারি যে এটি সব কাজ করে।

আমরা Kubespray ব্যবহার করে একটি Kubernetes ক্লাস্টার ইনস্টল করার ভিত্তি হিসাবে গ্রহণ করি। যদি কেউ না জানে, এটি আসলে Ansible-এর ভূমিকার একটি সেট। আমরা আমাদের কাজে প্রতিনিয়ত এটি ব্যবহার করি। ভাল জিনিস হল যে আপনি এটিকে যে কোনও জায়গায় রোল করতে পারেন - আপনি এটিকে লোহার টুকরো বা কোথাও মেঘের মধ্যে রোল করতে পারেন। একটি ইনস্টলেশন পদ্ধতি সবকিছুর জন্য নীতিগতভাবে কাজ করে।

এই ক্লাস্টারে আমার থাকবে Kubernetes v1.14.5. সম্পূর্ণ কিউব ক্লাস্টার, যা আমরা বিবেচনা করব, নামস্থানে বিভক্ত, প্রতিটি নামস্থান একটি পৃথক দলের অন্তর্গত, এবং এই দলের সদস্যদের প্রতিটি নামস্থানে অ্যাক্সেস রয়েছে। তারা ভিন্ন নামস্থানে যেতে পারে না, শুধুমাত্র তাদের নিজস্ব। কিন্তু একটি নির্দিষ্ট অ্যাডমিন অ্যাকাউন্ট রয়েছে যার পুরো ক্লাস্টারের অধিকার রয়েছে।

আমি প্রতিশ্রুতি দিয়েছিলাম যে আমরা প্রথমে যা করব তা হল ক্লাস্টারে প্রশাসক অধিকার প্রাপ্ত করা। আমাদের একটি বিশেষভাবে প্রস্তুত শুঁটি দরকার যা কুবারনেটস ক্লাস্টার ভেঙে ফেলবে। আমাদের যা করতে হবে তা হল Kubernetes ক্লাস্টারে এটি প্রয়োগ করা।

kubectl apply -f pod.yaml

এই পড কুবারনেটস ক্লাস্টারের একজন মাস্টারের কাছে পৌঁছাবে। এবং এর পরে ক্লাস্টারটি আমাদের কাছে admin.conf নামে একটি ফাইল ফিরে আসবে। কিউবে, এই ফাইলটি সমস্ত অ্যাডমিনিস্ট্রেটর সার্টিফিকেট সঞ্চয় করে এবং একই সাথে ক্লাস্টার API কনফিগার করে। আমি মনে করি, কুবারনেটস ক্লাস্টারগুলির 98% এ অ্যাডমিন অ্যাক্সেস পাওয়া কতটা সহজ।

আমি আবারও বলছি, এই পডটি আপনার ক্লাস্টারের একজন ডেভেলপার দ্বারা তৈরি করা হয়েছে যার কাছে তার প্রস্তাবগুলিকে একটি ছোট নামস্থানে স্থাপন করার অ্যাক্সেস রয়েছে, এটি সবই RBAC দ্বারা আটকানো হয়েছে। তার কোন অধিকার ছিল না। কিন্তু তা সত্ত্বেও সনদ ফেরত দেওয়া হয়।

এবং এখন একটি বিশেষভাবে প্রস্তুত শুঁটি সম্পর্কে। আমরা এটি যে কোনও ছবিতে চালাই। একটি উদাহরণ হিসাবে debian:jessie নেওয়া যাক।

আমাদের এই জিনিস আছে:

tolerations:
-   effect: NoSchedule 
    operator: Exists 
nodeSelector: 
    node-role.kubernetes.io/master: "" 

সহনশীলতা কি? একটি Kubernetes ক্লাস্টারে মাস্টার সাধারণত কলঙ্ক নামক কিছু দিয়ে চিহ্নিত করা হয়। এবং এই "সংক্রমণ" এর সারমর্ম হল যে এটি বলে যে পডগুলি মাস্টার নোডগুলিতে বরাদ্দ করা যায় না। কিন্তু কেউ কোনো পডে ইঙ্গিত করতে বিরক্ত করে না যে এটি "সংক্রমণ" সহনশীল। সহনশীলতা বিভাগটি কেবল বলে যে যদি কিছু নোডে NoSchedule থাকে তবে আমাদের নোড এই জাতীয় সংক্রমণ সহনশীল - এবং কোনও সমস্যা নেই।

আরও, আমরা বলি যে আমাদের অধীন শুধুমাত্র সহনশীল নয়, বিশেষভাবে মাস্টারকে টার্গেট করতে চায়। কারণ মাস্টারদের কাছে আমাদের প্রয়োজন সবচেয়ে সুস্বাদু জিনিস রয়েছে - সমস্ত শংসাপত্র। অতএব, আমরা বলি nodeSelector - এবং আমাদের মাস্টারদের উপর একটি স্ট্যান্ডার্ড লেবেল রয়েছে, যা আপনাকে ক্লাস্টারের সমস্ত নোড থেকে ঠিক সেই নোডগুলিকে নির্বাচন করতে দেয় যা মাস্টার।

এই দুটি বিভাগ নিয়ে তিনি অবশ্যই মাস্টারের কাছে আসবেন। এবং তাকে সেখানে বসবাসের অনুমতি দেওয়া হবে।

কিন্তু শুধু মাস্টারের কাছে আসাই আমাদের জন্য যথেষ্ট নয়। এটা আমাদের কিছুই দেবে না। সুতরাং পরবর্তী আমাদের এই দুটি জিনিস আছে:

hostNetwork: true 
hostPID: true 

আমরা নির্দিষ্ট করি যে আমাদের পড, যা আমরা চালু করি, কার্নেল নেমস্পেসে, নেটওয়ার্ক নেমস্পেসে এবং পিআইডি নেমস্পেসে থাকবে। একবার পডটি মাস্টারে চালু হলে, এটি এই নোডের সমস্ত বাস্তব, লাইভ ইন্টারফেস দেখতে, সমস্ত ট্র্যাফিক শুনতে এবং সমস্ত প্রক্রিয়ার পিআইডি দেখতে সক্ষম হবে।

তারপর ছোট ছোট ব্যাপার। etcd নিন এবং আপনি যা চান তা পড়ুন।

সবচেয়ে আকর্ষণীয় বিষয় হল এই Kubernetes বৈশিষ্ট্য, যা সেখানে ডিফল্টরূপে উপস্থিত থাকে।

volumeMounts:
- mountPath: /host 
  name: host 
volumes:
- hostPath: 
    path: / 
    type: Directory 
  name: host 

এবং এর সারমর্ম হল যে আমরা পডে বলতে পারি যে আমরা লঞ্চ করি, এমনকি এই ক্লাস্টারের অধিকার ছাড়াই, আমরা হোস্টপাথ টাইপের একটি ভলিউম তৈরি করতে চাই। এর মানে হোস্ট থেকে পথ নেওয়া যার উপর আমরা লঞ্চ করব - এবং এটিকে ভলিউম হিসাবে গ্রহণ করা। এবং তারপর আমরা নাম কল: হোস্ট. আমরা এই সম্পূর্ণ হোস্টপাথ পডের ভিতরে মাউন্ট করি। এই উদাহরণে, /host ডিরেক্টরিতে।

আমি আবার এটা পুনরাবৃত্তি করব. আমরা পডকে বলেছিলাম মাস্টারের কাছে আসতে, সেখানে হোস্টনেটওয়ার্ক এবং হোস্টপিআইডি পেতে - এবং এই পডের ভিতরে মাস্টারের সম্পূর্ণ রুট মাউন্ট করুন।

আপনি বুঝতে পেরেছেন যে ডেবিয়ানে আমাদের ব্যাশ চলছে এবং এই ব্যাশ রুটের নীচে চলে। অর্থাৎ, Kubernetes ক্লাস্টারে কোনো অধিকার ছাড়াই আমরা শুধু মাস্টারের উপর রুট পেয়েছি।

তারপর পুরো কাজটি হল সাব ডিরেক্টরি /host /etc/kubernetes/pki-এ যাওয়া, যদি আমি ভুল না করি, সেখানে ক্লাস্টারের সমস্ত মাস্টার সার্টিফিকেট তুলে নিন এবং সেই অনুযায়ী, ক্লাস্টার অ্যাডমিনিস্ট্রেটর হয়ে উঠুন।

আপনি যদি এটিকে এভাবে দেখেন, তাহলে এগুলি পডের সবচেয়ে বিপজ্জনক কিছু অধিকার - ব্যবহারকারীর কোন অধিকার রয়েছে তা নির্বিশেষে:

যদি আমার কাছে ক্লাস্টারের কিছু নামস্থানে একটি পড চালানোর অধিকার থাকে, তবে এই পডটিতে ডিফল্টরূপে এই অধিকারগুলি রয়েছে। আমি বিশেষাধিকারপ্রাপ্ত পড চালাতে পারি, এবং এগুলি সাধারণত সমস্ত অধিকার, কার্যত নোডে রুট।

আমার প্রিয় রুট ব্যবহারকারী. এবং Kubernetes এই Run As Non-Rot অপশন আছে। এটি হ্যাকার থেকে এক ধরনের সুরক্ষা। আপনি কি জানেন "মোল্ডাভিয়ান ভাইরাস" কি? আপনি যদি হঠাৎ একজন হ্যাকার হন এবং আমার কুবারনেটস ক্লাস্টারে আসেন, তাহলে আমরা, দরিদ্র প্রশাসকদের জিজ্ঞাসা করি: “অনুগ্রহ করে আপনার পডগুলিতে নির্দেশ করুন যা দিয়ে আপনি আমার ক্লাস্টার হ্যাক করবেন, নন-রুট হিসাবে চালাবেন। অন্যথায়, এটি ঘটবে যে আপনি আপনার পডে রুটের অধীনে প্রক্রিয়াটি চালাবেন এবং আমাকে হ্যাক করা আপনার পক্ষে খুব সহজ হবে। দয়া করে নিজের থেকে নিজেকে রক্ষা করুন।"

হোস্ট পাথ ভলিউম, আমার মতে, কুবারনেটস ক্লাস্টার থেকে পছন্দসই ফলাফল পাওয়ার দ্রুততম উপায়।

কিন্তু এই সব দিয়ে কি করবেন?

কুবারনেটসের মুখোমুখি হওয়া যে কোনও সাধারণ প্রশাসকের কাছে যে চিন্তাভাবনা আসা উচিত তা হল: “হ্যাঁ, আমি আপনাকে বলেছিলাম, কুবারনেটস কাজ করে না। এর মধ্যে গর্ত রয়েছে। আর পুরো কিউবটাই বাজে।" আসলে, ডকুমেন্টেশন হিসাবে যেমন একটি জিনিস আছে, এবং আপনি যদি সেখানে তাকান, একটি বিভাগ আছে পড নিরাপত্তা নীতি.

এটি একটি yaml অবজেক্ট - আমরা এটি Kubernetes ক্লাস্টারে তৈরি করতে পারি - যা পডের বর্ণনায় বিশেষভাবে নিরাপত্তার দিকগুলি নিয়ন্ত্রণ করে। অর্থাৎ, প্রকৃতপক্ষে, এটি যেকোন হোস্টনেটওয়ার্ক, হোস্টপিআইডি, স্টার্টআপের সময় পডে থাকা নির্দিষ্ট ভলিউম ধরনের ব্যবহার করার অধিকার নিয়ন্ত্রণ করে। পড নিরাপত্তা নীতির সাহায্যে, এই সমস্ত বর্ণনা করা যেতে পারে।

পড সিকিউরিটি পলিসি সম্পর্কে সবচেয়ে মজার বিষয় হল যে কুবারনেটস ক্লাস্টারে, সমস্ত পিএসপি ইনস্টলারগুলিকে শুধুমাত্র কোনও ভাবেই বর্ণনা করা হয় না, তারা কেবল ডিফল্টরূপে অক্ষম করা হয়। পড নিরাপত্তা নীতি ভর্তি প্লাগইন ব্যবহার করে সক্রিয় করা হয়েছে.

ঠিক আছে, চলুন ক্লাস্টারে পড সিকিউরিটি পলিসি স্থাপন করা যাক, আসুন আমরা বলি যে নেমস্পেসে আমাদের কিছু সার্ভিস পড আছে, যেখানে শুধুমাত্র অ্যাডমিনদেরই অ্যাক্সেস আছে। ধরা যাক, অন্য সব ক্ষেত্রে, পডের সীমিত অধিকার আছে। কারণ সম্ভবত ডেভেলপারদের আপনার ক্লাস্টারে বিশেষ সুবিধাপ্রাপ্ত পড চালানোর প্রয়োজন নেই।

এবং আমাদের সাথে সবকিছু ঠিক আছে বলে মনে হচ্ছে। এবং আমাদের Kubernetes ক্লাস্টার দুই মিনিটের মধ্যে হ্যাক করা যাবে না.

একটি সমস্যা আছে. সম্ভবত, আপনার যদি কুবারনেটস ক্লাস্টার থাকে তবে আপনার ক্লাস্টারে পর্যবেক্ষণ ইনস্টল করা আছে। আমি এমনকি ভবিষ্যদ্বাণী করতে এতদূর যাব যে যদি আপনার ক্লাস্টারের পর্যবেক্ষণ থাকে তবে এটিকে প্রমিথিউস বলা হবে।

আমি আপনাকে যা বলতে যাচ্ছি তা প্রমিথিউস অপারেটর এবং প্রমিথিউসের বিশুদ্ধ আকারে সরবরাহ করা উভয়ের জন্যই বৈধ হবে। প্রশ্ন হল যে আমি যদি এত তাড়াতাড়ি ক্লাস্টারে একজন প্রশাসক না পেতে পারি, তাহলে এর মানে হল যে আমাকে আরও দেখতে হবে। এবং আমি আপনার মনিটরিং সাহায্যে অনুসন্ধান করতে পারেন.

সম্ভবত সবাই Habré-এ একই নিবন্ধ পড়ে, এবং পর্যবেক্ষণটি পর্যবেক্ষণ নামস্থানে অবস্থিত। হেলম চার্টকে মোটামুটি সবার জন্য একই বলা হয়। আমি অনুমান করছি যে আপনি যদি হেলম স্থিতিশীল/প্রমিথিউস ইনস্টল করেন তবে আপনি প্রায় একই নাম দিয়ে শেষ করবেন। এবং সম্ভবত আমাকে আপনার ক্লাস্টারে DNS নাম অনুমান করতে হবে না। কারণ এটা মানসম্মত।

পরবর্তীতে আমাদের একটি নির্দিষ্ট devns আছে, যেখানে আপনি একটি নির্দিষ্ট পড চালাতে পারেন। এবং তারপরে এই পড থেকে এটির মতো কিছু করা খুব সহজ:

$ curl http://prometheus-kube-state-metrics.monitoring 

prometheus-kube-state-metrics হল Prometheus রপ্তানিকারকদের মধ্যে যারা কুবারনেটস API থেকে মেট্রিক্স সংগ্রহ করে। সেখানে অনেক ডেটা আছে, আপনার ক্লাস্টারে কী চলছে, এটি কী, এতে আপনার কী সমস্যা রয়েছে।

একটি সহজ উদাহরণ হিসাবে:

kube_pod_container_info{namespace=“kube-system”,pod=”kube-apiserver-k8s- 1″,container=”kube-apiserver”,image=

"gcr.io/google-containers/kube-apiserver:v1.14.5"

,image_id=»docker-pullable://gcr.io/google-containers/kube- apiserver@sha256:e29561119a52adad9edc72bfe0e7fcab308501313b09bf99df4a96 38ee634989″,container_id=»docker://7cbe7b1fea33f811fdd8f7e0e079191110268f2 853397d7daf08e72c22d3cf8b»} 1

একটি সুবিধাহীন পড থেকে একটি সাধারণ কার্ল অনুরোধ করে, আপনি নিম্নলিখিত তথ্য পেতে পারেন। আপনি Kubernetes এর কোন সংস্করণটি চালাচ্ছেন তা যদি আপনি না জানেন তবে এটি আপনাকে সহজেই বলে দেবে।

এবং সবচেয়ে মজার বিষয় হল কুবে-স্টেট-মেট্রিক্স অ্যাক্সেস করার পাশাপাশি, আপনি প্রমিথিউসকে সরাসরি অ্যাক্সেস করতে পারেন। আপনি সেখান থেকে মেট্রিক্স সংগ্রহ করতে পারেন। এমনকি আপনি সেখান থেকে মেট্রিক্স তৈরি করতে পারেন। এমনকি তাত্ত্বিকভাবে, আপনি প্রমিথিউসের একটি ক্লাস্টার থেকে এমন একটি প্রশ্ন তৈরি করতে পারেন, যা কেবল এটিকে বন্ধ করে দেবে। এবং আপনার মনিটরিং ক্লাস্টার থেকে সম্পূর্ণভাবে কাজ করা বন্ধ করবে।

এবং এখানে প্রশ্ন উঠছে যে কোনও বহিরাগত মনিটরিং আপনার মনিটরিং নিরীক্ষণ করে কিনা। আমি আমার জন্য কোনো পরিণতি ছাড়াই কুবারনেটস ক্লাস্টারে কাজ করার সুযোগ পেয়েছি। আপনি এমনকি জানতেও পারবেন না যে আমি সেখানে কাজ করছি, কারণ সেখানে আর কোনো মনিটরিং নেই।

ঠিক PSP-এর মতোই, সমস্যাটি হল যে এই সমস্ত অভিনব প্রযুক্তি - কুবারনেটস, প্রমিথিউস - তারা কাজ করে না এবং গর্ত পূর্ণ। আসলে তা না.

যেমন একটি জিনিস আছে - নেটওয়ার্ক নীতি.

আপনি যদি একজন সাধারণ প্রশাসক হন, তাহলে সম্ভবত আপনি নেটওয়ার্ক নীতি সম্পর্কে জানেন যে এটি কেবলমাত্র আরেকটি ইয়ামল, যার মধ্যে ইতিমধ্যেই অনেকগুলি ক্লাস্টারে রয়েছে। এবং কিছু নেটওয়ার্ক নীতি অবশ্যই প্রয়োজন হয় না। এবং এমনকি যদি আপনি পড়েন যে নেটওয়ার্ক নীতি কি, এটি কুবারনেটসের একটি ইয়ামল ফায়ারওয়াল, এটি আপনাকে নেমস্পেসের মধ্যে, পডের মধ্যে অ্যাক্সেসের অধিকার সীমিত করতে দেয়, তাহলে আপনি অবশ্যই সিদ্ধান্ত নিয়েছেন যে কুবারনেটেসে ইয়ামল ফর্ম্যাটে ফায়ারওয়ালটি পরবর্তী বিমূর্ততার উপর ভিত্তি করে ... না, না। এটি অবশ্যই প্রয়োজনীয় নয়।

এমনকি যদি আপনি আপনার নিরাপত্তা বিশেষজ্ঞদের না বলেন যে আপনার Kubernetes ব্যবহার করে আপনি একটি খুব সহজ এবং সাধারণ ফায়ারওয়াল তৈরি করতে পারেন, এবং এটি একটি খুব দানাদার। যদি তারা এখনও এটি না জানে এবং আপনাকে বিরক্ত না করে: "আচ্ছা, আমাকে দিন, আমাকে দিন..." তারপরে যে কোনও ক্ষেত্রে, আপনার ক্লাস্টার থেকে টেনে নেওয়া যেতে পারে এমন কিছু পরিষেবার জায়গাগুলিতে অ্যাক্সেস ব্লক করার জন্য আপনার নেটওয়ার্ক নীতির প্রয়োজন। কোনো অনুমোদন ছাড়াই।

যেমন আমি উদাহরণ দিয়েছি, আপনি কুবারনেটস ক্লাস্টারের যেকোন নামস্থান থেকে কুবের স্টেট মেট্রিক্স তুলতে পারেন তা করার কোনো অধিকার ছাড়াই। নেটওয়ার্ক নীতিগুলি অন্যান্য সমস্ত নেমস্পেস থেকে নিরীক্ষণের নামস্থানে অ্যাক্সেস বন্ধ করে দিয়েছে এবং এটিই: কোনও অ্যাক্সেস নেই, কোনও সমস্যা নেই। বিদ্যমান সমস্ত চার্টে, স্ট্যান্ডার্ড প্রমিথিউস এবং প্রমিথিউস উভয়ই অপারেটরে রয়েছে, কেবলমাত্র তাদের জন্য নেটওয়ার্ক নীতিগুলি সক্ষম করার জন্য হেলম মানগুলিতে একটি বিকল্প রয়েছে। আপনি শুধু এটি চালু করতে হবে এবং তারা কাজ করবে.

এখানে সত্যিই একটি সমস্যা আছে. একজন সাধারণ দাড়িওয়ালা অ্যাডমিন হওয়ার কারণে, আপনি সম্ভবত সিদ্ধান্ত নিয়েছেন যে নেটওয়ার্ক নীতির প্রয়োজন নেই। এবং হাবরের মতো সংস্থানগুলিতে সমস্ত ধরণের নিবন্ধ পড়ার পরে, আপনি সিদ্ধান্ত নিয়েছেন যে ফ্ল্যানেল, বিশেষত হোস্ট-গেটওয়ে মোডের সাথে, আপনি চয়ন করতে পারেন এমন সেরা জিনিস।

কি করতে হবে?

আপনি আপনার Kubernetes ক্লাস্টারে যে নেটওয়ার্ক সমাধানটি পুনরায় স্থাপন করার চেষ্টা করতে পারেন, এটিকে আরও কার্যকরী কিছু দিয়ে প্রতিস্থাপন করার চেষ্টা করুন। একই ক্যালিকোর জন্য, উদাহরণস্বরূপ। কিন্তু আমি এখনই বলতে চাই যে কুবারনেটস ওয়ার্কিং ক্লাস্টারে নেটওয়ার্ক সমাধান পরিবর্তন করার কাজটি বেশ তুচ্ছ। আমি এটি দুবার সমাধান করেছি (উভয়বারই, তবে, তাত্ত্বিকভাবে), কিন্তু আমরা স্লর্মসে কীভাবে এটি করতে হয় তা দেখিয়েছি। আমাদের ছাত্রদের জন্য, আমরা দেখিয়েছি কিভাবে একটি Kubernetes ক্লাস্টারে নেটওয়ার্ক সমাধান পরিবর্তন করতে হয়। নীতিগতভাবে, আপনি উত্পাদন ক্লাস্টারে কোন ডাউনটাইম নেই তা নিশ্চিত করার চেষ্টা করতে পারেন। কিন্তু আপনি সম্ভবত সফল হবে না.

এবং সমস্যা আসলে খুব সহজভাবে সমাধান করা হয়. ক্লাস্টারে সার্টিফিকেট আছে, এবং আপনি জানেন যে আপনার সার্টিফিকেট এক বছরের মধ্যে শেষ হয়ে যাবে। ভাল, এবং সাধারণত ক্লাস্টারে সার্টিফিকেট সহ একটি সাধারণ সমাধান - আমরা কেন উদ্বিগ্ন হচ্ছি, আমরা কাছাকাছি একটি নতুন ক্লাস্টার তৈরি করব, পুরানোটিকে পচে যেতে দেব এবং সবকিছু পুনরায় স্থাপন করব। সত্য, যখন এটি পচে যায়, আমাদের একদিনের জন্য বসতে হবে, কিন্তু এখানে একটি নতুন ক্লাস্টার রয়েছে।

আপনি যখন একটি নতুন ক্লাস্টার বাড়ান, একই সময়ে ফ্ল্যানেলের পরিবর্তে ক্যালিকো ঢোকান।

যদি আপনার শংসাপত্রগুলি একশ বছর ধরে জারি করা হয় এবং আপনি ক্লাস্টারটি পুনরায় স্থাপন করতে যাচ্ছেন না তবে কী করবেন? কুবে-আরবিএসি-প্রক্সির মতো একটা জিনিস আছে। এটি একটি খুব দুর্দান্ত বিকাশ, এটি আপনাকে কুবারনেটস ক্লাস্টারের যেকোন পডে সাইডকার কন্টেইনার হিসাবে নিজেকে এম্বেড করতে দেয়। এবং এটি আসলে Kubernetes-এর RBAC-এর মাধ্যমে এই পডে অনুমোদন যোগ করে।

একটা সমস্যা আছে। পূর্বে, এই কুবে-আরবিএসি-প্রক্সি সমাধানটি অপারেটরের প্রমিথিউসে তৈরি করা হয়েছিল। কিন্তু তখন তিনি চলে গেলেন। এখন আধুনিক সংস্করণগুলি এই সত্যটির উপর নির্ভর করে যে আপনার একটি নেটওয়ার্ক নীতি রয়েছে এবং সেগুলি ব্যবহার করে এটি বন্ধ করুন৷ এবং তাই আমাদের চার্টটি একটু পুনঃলিখন করতে হবে। আসলে, আপনি যদি যান এই ভান্ডার, সাইডকার হিসাবে এটি কীভাবে ব্যবহার করবেন তার উদাহরণ রয়েছে এবং চার্টগুলিকে ন্যূনতমভাবে পুনরায় লিখতে হবে।

আরও একটি ছোট সমস্যা আছে। প্রমিথিউসই একমাত্র নন যিনি তার মেট্রিক্স শুধু কাউকেই দেন। আমাদের কুবারনেটস ক্লাস্টারের সমস্ত উপাদানও তাদের নিজস্ব মেট্রিক্স ফেরত দিতে সক্ষম।

কিন্তু আমি আগেই বলেছি, আপনি যদি ক্লাস্টার অ্যাক্সেস করতে না পারেন এবং তথ্য সংগ্রহ করতে না পারেন, তাহলে আপনি অন্তত কিছু ক্ষতি করতে পারেন।

তাই আমি দ্রুত দুটি উপায় দেখাব কিভাবে একটি কুবারনেটস ক্লাস্টার নষ্ট করা যায়।

আমি যখন তোমাকে বলবো তখন তুমি হাসবে, এই দুটি বাস্তব জীবনের ঘটনা।

পদ্ধতি এক. সম্পদ হ্রাস.

আরেকটি বিশেষ পড চালু করা যাক. এটির মতো একটি বিভাগ থাকবে।

resources: 
    requests: 
        cpu: 4 
        memory: 4Gi 

আপনি জানেন যে, অনুরোধ হল সিপিইউ এবং মেমরির পরিমাণ যা অনুরোধ সহ নির্দিষ্ট পডের জন্য হোস্টে সংরক্ষিত থাকে। যদি আমাদের একটি Kubernetes ক্লাস্টারে একটি চার-কোর হোস্ট থাকে, এবং চারটি CPU পড অনুরোধের সাথে সেখানে পৌঁছায়, এর অর্থ হল অনুরোধ সহ আর কোনো পড এই হোস্টে আসতে পারবে না।

আমি যদি এমন একটি পড চালাই, তাহলে আমি কমান্ডটি চালাব:

$ kubectl scale special-pod --replicas=...

তারপর অন্য কেউ কুবারনেটস ক্লাস্টারে স্থাপন করতে সক্ষম হবে না। কারণ সমস্ত নোডের অনুরোধ শেষ হয়ে যাবে। এবং এইভাবে আমি আপনার কুবারনেটস ক্লাস্টার বন্ধ করে দেব। আমি যদি সন্ধ্যায় এটি করি তবে আমি অনেকক্ষণের জন্য স্থাপনা বন্ধ করতে পারি।

আমরা যদি কুবারনেটস ডকুমেন্টেশনের দিকে আবার তাকাই, আমরা এই জিনিসটিকে সীমা পরিসীমা বলে দেখতে পাব। এটি ক্লাস্টার বস্তুর জন্য সংস্থান সেট করে। আপনি yaml-এ একটি Limit Range অবজেক্ট লিখতে পারেন, এটি নির্দিষ্ট নামস্থানে প্রয়োগ করতে পারেন - এবং তারপরে এই নামস্থানে আপনি বলতে পারেন যে পডগুলির জন্য আপনার কাছে ডিফল্ট, সর্বাধিক এবং সর্বনিম্ন সম্পদ রয়েছে।

এই ধরনের জিনিসের সাহায্যে, আমরা দলের নির্দিষ্ট পণ্যের নামস্থানে ব্যবহারকারীদের সীমিত করতে পারি তাদের পডগুলিতে সমস্ত ধরণের বাজে জিনিস নির্দেশ করার ক্ষমতা। কিন্তু দুর্ভাগ্যবশত, এমনকি যদি আপনি ব্যবহারকারীকে বলেন যে তারা একাধিক CPU-র জন্য অনুরোধের সাথে পড চালু করতে পারে না, এমন একটি চমৎকার স্কেল কমান্ড আছে, অথবা তারা ড্যাশবোর্ডের মাধ্যমে স্কেল করতে পারে।

এবং এই যেখানে পদ্ধতি নম্বর দুই থেকে আসে. আমরা 11 পড চালু করি। সেটা এগারো বিলিয়ন। আমি এই জাতীয় সংখ্যা নিয়ে এসেছি বলে নয়, আমি নিজেই এটি দেখেছি।

বাস্তব গল্প. সন্ধ্যার দিকে অফিস থেকে বের হতে যাচ্ছিলাম। আমি দেখি একদল ডেভেলপার কোণায় বসে আছে, ল্যাপটপের সাথে কিছু করছে। আমি ছেলেদের কাছে গিয়ে জিজ্ঞাসা করি: "তোমার কি হয়েছে?"

একটু আগে, সন্ধ্যা সাড়ে নয়টার দিকে, একজন ডেভেলপার বাড়ি যাওয়ার জন্য প্রস্তুত হচ্ছিলেন। এবং আমি সিদ্ধান্ত নিয়েছি: "আমি এখন আমার আবেদনকে একটিতে নামিয়ে আনব।" আমি একটা চাপলাম, কিন্তু ইন্টারনেট একটু ধীর হয়ে গেল। তিনি আবার একটি টিপুন, তিনি একটি টিপুন এবং এন্টার ক্লিক করেন। আমি যা করতে পেরেছি তা খোঁচা দিয়েছি। তারপরে ইন্টারনেট জীবনে এসেছিল - এবং সবকিছু এই সংখ্যায় নামতে শুরু করে।

সত্য, এই গল্পটি কুবারনেটসে ঘটেনি; সেই সময়ে এটি ছিল যাযাবর। এটি এই সত্যের সাথে শেষ হয়েছিল যে নোম্যাডকে স্কেল করার অবিরাম প্রচেষ্টা থেকে আমাদের প্রচেষ্টার এক ঘন্টা পরে, যাযাবর উত্তর দিয়েছিল যে সে স্কেলিং বন্ধ করবে না এবং অন্য কিছু করবে না। "আমি ক্লান্ত, আমি চলে যাচ্ছি।" এবং তিনি কুঁচকানো.

স্বাভাবিকভাবেই, আমি কুবারনেটে একই কাজ করার চেষ্টা করেছি। কুবারনেটস এগারো বিলিয়ন পড নিয়ে খুশি ছিলেন না, তিনি বলেছিলেন: “আমি পারব না। অভ্যন্তরীণ মুখরক্ষীকে ছাড়িয়ে যায়।" কিন্তু 1 পড পারে।

এক বিলিয়নের প্রতিক্রিয়ায়, কিউব নিজের মধ্যে প্রত্যাহার করেনি। তিনি সত্যিই স্কেলিং শুরু. প্রক্রিয়াটি যত এগিয়েছে, নতুন পড তৈরি করতে তার আরও বেশি সময় লেগেছে। কিন্তু তারপরও প্রক্রিয়া চলছিল। একমাত্র সমস্যা হল আমি যদি আমার নেমস্পেসে সীমাহীনভাবে পড চালু করতে পারি, তবে অনুরোধ এবং সীমা ছাড়াই আমি কিছু কাজ সহ এতগুলি পড চালু করতে পারি যে এই কাজের সাহায্যে নোডগুলি মেমরিতে, CPU-তে যুক্ত হতে শুরু করবে। আমি যখন অনেকগুলি পড চালু করি, তখন সেগুলির তথ্যগুলি স্টোরেজে যেতে হবে, অর্থাৎ, ইত্যাদি। এবং যখন খুব বেশি তথ্য সেখানে পৌঁছায়, স্টোরেজ খুব ধীরে ধীরে ফিরে আসতে শুরু করে - এবং কুবারনেটস নিস্তেজ হতে শুরু করে।

এবং আরও একটি সমস্যা... যেমন আপনি জানেন, কুবারনেটস নিয়ন্ত্রণ উপাদানগুলি একটি কেন্দ্রীয় জিনিস নয়, তবে বেশ কয়েকটি উপাদান। বিশেষ করে, একজন নিয়ন্ত্রক ব্যবস্থাপক, শিডিউলার, এবং তাই আছে। এই সমস্ত ছেলেরা একই সময়ে অপ্রয়োজনীয়, বোকা কাজ করতে শুরু করবে, যা সময়ের সাথে সাথে আরও বেশি সময় নিতে শুরু করবে। কন্ট্রোলার ম্যানেজার নতুন পড তৈরি করবে। সময়সূচী তাদের জন্য একটি নতুন নোড খুঁজে বের করার চেষ্টা করবে। খুব সম্ভবত শীঘ্রই আপনার ক্লাস্টারে নতুন নোড ফুরিয়ে যাবে। Kubernetes ক্লাস্টার ধীরে ধীরে কাজ শুরু করবে।

কিন্তু আমি আরও এগিয়ে যাওয়ার সিদ্ধান্ত নিয়েছি। যেমন আপনি জানেন, কুবারনেটেসে একটি পরিষেবা বলে এমন একটি জিনিস রয়েছে। ঠিক আছে, আপনার ক্লাস্টারে ডিফল্টরূপে, সম্ভবত, পরিষেবাটি আইপি টেবিল ব্যবহার করে কাজ করে।

আপনি যদি এক বিলিয়ন পড চালান, উদাহরণস্বরূপ, এবং তারপর কুবারনেটিসকে নতুন পরিষেবা তৈরি করতে বাধ্য করার জন্য একটি স্ক্রিপ্ট ব্যবহার করুন:

for i in {1..1111111}; do
    kubectl expose deployment test --port 80  
        --overrides="{"apiVersion": "v1", 
           "metadata": {"name": "nginx$i"}}"; 
done 

ক্লাস্টারের সমস্ত নোডগুলিতে, প্রায় একই সাথে আরও বেশি নতুন iptables নিয়ম তৈরি করা হবে। অধিকন্তু, প্রতিটি পরিষেবার জন্য এক বিলিয়ন iptables নিয়ম তৈরি করা হবে।

আমি কয়েক হাজার, দশ পর্যন্ত এই পুরো জিনিসটি পরীক্ষা করেছি। এবং সমস্যা হল যে ইতিমধ্যে এই থ্রেশহোল্ডে নোডে ssh করা বেশ সমস্যাযুক্ত। কারণ প্যাকেটগুলি, অনেক চেইনের মধ্যে দিয়ে যাওয়া, খুব ভাল মনে হতে শুরু করে।

এবং এটিও, কুবারনেটসের সাহায্যে সমস্ত সমাধান করা হয়েছে। যেমন একটি সম্পদ কোটা বস্তু আছে. ক্লাস্টারে নামস্থানের জন্য উপলব্ধ সংস্থান এবং বস্তুর সংখ্যা সেট করে। আমরা Kubernetes ক্লাস্টারের প্রতিটি নামস্থানে একটি yaml অবজেক্ট তৈরি করতে পারি। এই অবজেক্টটি ব্যবহার করে, আমরা বলতে পারি যে এই নেমস্পেসের জন্য আমাদের নির্দিষ্ট সংখ্যক অনুরোধ এবং সীমা বরাদ্দ করা হয়েছে এবং তারপরে আমরা বলতে পারি যে এই নেমস্পেসে 10টি পরিষেবা এবং 10টি পড তৈরি করা সম্ভব। এবং একজন একক বিকাশকারী অন্তত সন্ধ্যায় নিজেকে শ্বাসরোধ করতে পারে। কুবারনেটস তাকে বলবেন: "আপনি আপনার শুঁটিগুলিকে সেই পরিমাণে স্কেল করতে পারবেন না, কারণ সংস্থানটি কোটা ছাড়িয়ে গেছে।" এটা, সমস্যা সমাধান. এখানে ডকুমেন্টেশন.

এক্ষেত্রে একটি সমস্যাযুক্ত বিষয় উঠে আসে। আপনি অনুভব করেন যে কুবারনেটসে একটি নামস্থান তৈরি করা কতটা কঠিন হয়ে উঠছে। এটি তৈরি করতে, আমাদের অনেক কিছু বিবেচনায় নিতে হবে।

রিসোর্স কোটা + লিমিট রেঞ্জ + RBAC
• একটি নামস্থান তৈরি করুন
• ভিতরে একটি সীমাবদ্ধতা তৈরি করুন
• ভিতরে রিসোর্সকোটা তৈরি করুন
• CI এর জন্য একটি সার্ভিস অ্যাকাউন্ট তৈরি করুন
• CI এবং ব্যবহারকারীদের জন্য রোলবাইন্ডিং তৈরি করুন
• ঐচ্ছিকভাবে প্রয়োজনীয় পরিষেবা পড চালু করুন

অতএব, আমি আমার উন্নয়ন শেয়ার করার এই সুযোগ নিতে চাই। এসডিকে অপারেটর বলে এমন একটি জিনিস আছে। এটি একটি Kubernetes ক্লাস্টার এর জন্য অপারেটর লেখার একটি উপায়। আপনি Ansible ব্যবহার করে বিবৃতি লিখতে পারেন।

প্রথমে এটি Ansible-এ লেখা ছিল, এবং তারপরে আমি দেখলাম যে একটি SDK অপারেটর ছিল এবং একটি অপারেটরের মধ্যে Ansible ভূমিকাটি পুনরায় লেখা হয়েছে। এই বিবৃতিটি আপনাকে কুবারনেটস ক্লাস্টারে একটি কমান্ড নামক একটি বস্তু তৈরি করতে দেয়। একটি কমান্ডের ভিতরে, এটি আপনাকে ইয়ামল-এ এই কমান্ডের পরিবেশ বর্ণনা করতে দেয়। এবং দলের পরিবেশের মধ্যে, এটি আমাদের বর্ণনা করতে দেয় যে আমরা এতগুলি সংস্থান বরাদ্দ করছি।

পেতিতে এই পুরো জটিল প্রক্রিয়া সহজ করে তোলে.

এবং উপসংহারে. এই সব দিয়ে কি করবেন?
প্রথম। পড নিরাপত্তা নীতি ভাল. এবং এই সত্ত্বেও যে কুবারনেটস ইনস্টলাররা কেউই এগুলি আজ অবধি ব্যবহার করে না, আপনাকে এখনও সেগুলিকে আপনার ক্লাস্টারে ব্যবহার করতে হবে।

নেটওয়ার্ক নীতি শুধুমাত্র আরেকটি অপ্রয়োজনীয় বৈশিষ্ট্য নয়। এটা সত্যিই একটি ক্লাস্টার প্রয়োজন কি.

LimitRange/ResourceQuota - এটি ব্যবহার করার সময়। আমরা এটি অনেক আগে ব্যবহার শুরু করেছি, এবং দীর্ঘ সময়ের জন্য আমি নিশ্চিত ছিলাম যে সবাই এটি ব্যবহার করছে। দেখা গেল যে এটি বিরল।

প্রতিবেদনের সময় আমি যা উল্লেখ করেছি তা ছাড়াও, সেখানে অনথিভুক্ত বৈশিষ্ট্য রয়েছে যা আপনাকে ক্লাস্টারে আক্রমণ করতে দেয়। সম্প্রতি মুক্তি পেয়েছে কুবারনেটস দুর্বলতার ব্যাপক বিশ্লেষণ.

কিছু জিনিস খুব দুঃখজনক এবং বেদনাদায়ক। উদাহরণস্বরূপ, কিছু শর্তে, কুবারনেটস ক্লাস্টারের কিউবেলেটগুলি অননুমোদিত ব্যবহারকারীকে ওয়ারলকস ডিরেক্টরির বিষয়বস্তু দিতে পারে।

এখানে আমি আপনাকে যা বলেছি তা কীভাবে পুনরুত্পাদন করবেন তার নির্দেশাবলী রয়েছে৷ রিসোর্সকোটা এবং পড সিকিউরিটি পলিসি কেমন দেখায় তার প্রোডাকশন উদাহরণ সহ ফাইল রয়েছে৷ এবং আপনি এই সব স্পর্শ করতে পারেন.

সবাইকে ধন্যবাদ।

উত্স: www.habr.com