Pinterest-এ একটি kubernetes প্ল্যাটফর্ম তৈরি করা

বছরের পর বছর ধরে, Pinterest এর 300 মিলিয়ন ব্যবহারকারী 200 বিলিয়নেরও বেশি বোর্ডে 4 বিলিয়ন পিন তৈরি করেছে। ব্যবহারকারীদের এই বাহিনী এবং বিশাল কন্টেন্ট বেসকে পরিবেশন করার জন্য, পোর্টালটি কয়েক হাজার মাইক্রোসার্ভিস থেকে শুরু করে ভার্চুয়াল মেশিনের পুরো বহরে চালিত দৈত্য মনোলিথগুলি থেকে শুরু করে কয়েকটি সিপিইউ দ্বারা পরিচালনা করা যেতে পারে এমন হাজার হাজার পরিষেবা তৈরি করেছে। এবং তারপরে সেই মুহূর্তটি এসেছিল যখন কোম্পানির চোখ পড়েছিল k8s-এ। কেন "কিউব" Pinterest এ ভাল লাগছিল? আপনি আমাদের সাম্প্রতিক নিবন্ধের অনুবাদ থেকে এই সম্পর্কে শিখবেন ব্লগ Pinterest প্রকৌশলী.

সুতরাং, কয়েক মিলিয়ন ব্যবহারকারী এবং শত শত বিলিয়ন পিন। ব্যবহারকারীদের এই বাহিনী এবং বিশাল বিষয়বস্তু বেসকে পরিবেশন করার জন্য, আমরা কয়েক হাজার মাইক্রোসার্ভিস থেকে শুরু করে ভার্চুয়াল মেশিনের পুরো ফ্লিটে চালিত বিশালাকার মনোলিথগুলি যা কয়েকটি CPU দ্বারা পরিচালনা করা যেতে পারে তার মধ্যে রয়েছে। এছাড়াও, আমাদের কাছে বিভিন্ন ধরণের ফ্রেমওয়ার্ক রয়েছে যার জন্য CPU, মেমরি বা I/O অ্যাক্সেসেরও প্রয়োজন হতে পারে।

সরঞ্জামগুলির এই চিড়িয়াখানাটি বজায় রাখতে, উন্নয়ন দলটি বেশ কয়েকটি চ্যালেঞ্জের মুখোমুখি হয়:

• প্রকৌশলীদের উৎপাদন পরিবেশ চালানোর জন্য কোন অভিন্ন উপায় নেই। স্টেটলেস সার্ভিস, স্টেটফুল সার্ভিস এবং সক্রিয় উন্নয়নের অধীনে প্রকল্পগুলি সম্পূর্ণ ভিন্ন প্রযুক্তির স্ট্যাকের উপর ভিত্তি করে। এটি ইঞ্জিনিয়ারদের জন্য একটি সম্পূর্ণ প্রশিক্ষণ কোর্স তৈরির দিকে পরিচালিত করে এবং আমাদের অবকাঠামো দলের কাজকে গুরুতরভাবে জটিল করে তোলে।
• ভার্চুয়াল মেশিনের নিজস্ব বহর সহ বিকাশকারীরা অভ্যন্তরীণ প্রশাসকদের উপর একটি বিশাল বোঝা তৈরি করে। ফলস্বরূপ, ওএস বা এএমআই আপডেট করার মতো সাধারণ ক্রিয়াকলাপগুলি কয়েক সপ্তাহ এবং মাস নেয়। এটি আপাতদৃষ্টিতে একেবারে দৈনন্দিন পরিস্থিতিতে কাজের চাপ বৃদ্ধি করে।
• বিদ্যমান সমাধানগুলির উপরে বিশ্বব্যাপী অবকাঠামো পরিচালনার সরঞ্জাম তৈরিতে অসুবিধা। পরিস্থিতি আরও জটিল যে ভার্চুয়াল মেশিনের মালিকদের খুঁজে পাওয়া সহজ নয়। অর্থাৎ, আমাদের অবকাঠামোর অন্যান্য অংশে কাজ করার জন্য এই ক্ষমতা নিরাপদে বের করা যাবে কিনা আমরা জানি না।

কনটেইনার অর্কেস্ট্রেশন সিস্টেমগুলি কাজের চাপ ব্যবস্থাপনাকে একীভূত করার একটি উপায়। তারা বর্ধিত উন্নয়ন গতির দরজা খুলে দেয় এবং অবকাঠামো ব্যবস্থাপনাকে সহজ করে, যেহেতু প্রকল্পের সাথে জড়িত সমস্ত সংস্থান একটি কেন্দ্রীভূত সিস্টেম দ্বারা পরিচালিত হয়।

চিত্র 1: অবকাঠামো অগ্রাধিকার (নির্ভরযোগ্যতা, বিকাশকারীর উত্পাদনশীলতা, এবং দক্ষতা)।

Pinterest-এর ক্লাউড ম্যানেজমেন্ট প্ল্যাটফর্ম টিম 8 সালে K2017s আবিষ্কার করেছে। 2017 সালের প্রথমার্ধে, আমরা API এবং আমাদের সমস্ত ওয়েব সার্ভার সহ আমাদের বেশিরভাগ উত্পাদন ক্ষমতা নথিভুক্ত করেছি। পরে, আমরা কন্টেইনার সমাধান, ক্লাস্টার তৈরি এবং তাদের সাথে কাজ করার জন্য বিভিন্ন সিস্টেমের পুঙ্খানুপুঙ্খ মূল্যায়ন করেছি। 2017 এর শেষের দিকে, আমরা Kubernetes ব্যবহার করার সিদ্ধান্ত নিয়েছি। এটি ডেভেলপার সম্প্রদায়ের মধ্যে বেশ নমনীয় এবং ব্যাপকভাবে সমর্থিত ছিল।

আজ অবধি, আমরা Kops-এর উপর ভিত্তি করে আমাদের নিজস্ব ক্লাস্টার বুট টুল তৈরি করেছি এবং নেটওয়ার্কিং, নিরাপত্তা, মেট্রিক্স, লগিং, আইডেন্টিটি ম্যানেজমেন্ট এবং ট্রাফিকের মতো বিদ্যমান অবকাঠামো উপাদানগুলি কুবারনেটে স্থানান্তরিত করেছি। আমরা আমাদের রিসোর্সের জন্য একটি ওয়ার্কলোড মডেলিং সিস্টেমও প্রয়োগ করেছি, যার জটিলতা ডেভেলপারদের কাছ থেকে লুকানো আছে। এখন আমরা ক্লাস্টারের স্থিতিশীলতা নিশ্চিত করা, এটিকে স্কেল করা এবং নতুন ক্লায়েন্টদের সংযোগ করার দিকে মনোনিবেশ করছি।

কুবারনেটস: দ্য পিন্টারেস্ট ওয়ে

আমাদের ইঞ্জিনিয়ারদের পছন্দের একটি প্ল্যাটফর্ম হিসাবে Pinterest-এর স্কেলে Kubernetes-এর সাথে শুরু করা অনেক চ্যালেঞ্জ নিয়ে এসেছিল।

একটি বড় কোম্পানি হিসাবে, আমরা অবকাঠামো সরঞ্জামগুলিতে প্রচুর বিনিয়োগ করেছি। উদাহরণগুলির মধ্যে রয়েছে সুরক্ষা সরঞ্জাম যা শংসাপত্র প্রক্রিয়াকরণ এবং কী বিতরণ পরিচালনা করে, ট্র্যাফিক নিয়ন্ত্রণ উপাদান, পরিষেবা আবিষ্কার সিস্টেম, দৃশ্যমানতা উপাদান এবং লগ এবং মেট্রিক্স প্রেরণের উপাদানগুলি। এই সমস্ত একটি কারণের জন্য সংগ্রহ করা হয়েছিল: আমরা ট্রায়াল এবং ত্রুটির স্বাভাবিক পথ দিয়ে গিয়েছিলাম, এবং সেইজন্য আমরা একটি নতুন প্ল্যাটফর্মে পুরানো চাকাটিকে পুনরায় উদ্ভাবনের পরিবর্তে কুবারনেটসের নতুন পরিকাঠামোতে এই সমস্ত সরঞ্জামগুলিকে একীভূত করতে চেয়েছিলাম। এই পদ্ধতিটি সামগ্রিকভাবে মাইগ্রেশনকে সরল করেছে, যেহেতু সমস্ত অ্যাপ্লিকেশন সমর্থন ইতিমধ্যেই বিদ্যমান এবং স্ক্র্যাচ থেকে তৈরি করার প্রয়োজন নেই।

অন্যদিকে, কুবারনেটে লোড ফোরকাস্টিং মডেলগুলি (যেমন স্থাপনা, কাজ এবং ডেমন সেট) আমাদের প্রকল্পের জন্য যথেষ্ট নয়। এই ব্যবহারযোগ্যতার সমস্যাগুলি কুবারনেটসে যাওয়ার জন্য বিশাল বাধা। উদাহরণস্বরূপ, আমরা পরিষেবা বিকাশকারীরা অনুপস্থিত বা ভুল লগইন সেটিংস সম্পর্কে অভিযোগ করতে শুনেছি৷ আমরা টেমপ্লেট ইঞ্জিনের ভুল ব্যবহারেরও সম্মুখীন হয়েছিলাম, যখন একই স্পেসিফিকেশন এবং টাস্ক দিয়ে শত শত কপি তৈরি করা হয়েছিল, যার ফলে দুঃস্বপ্ন ডিবাগিং সমস্যা হয়েছিল।

একই ক্লাস্টারে বিভিন্ন সংস্করণ বজায় রাখাও খুব কঠিন ছিল। গ্রাহক সহায়তার জটিলতা কল্পনা করুন যদি আপনাকে একই রানটাইম পরিবেশের একাধিক সংস্করণে তাদের সমস্ত সমস্যা, বাগ এবং আপডেট সহ একই সাথে কাজ করার প্রয়োজন হয়।

Pinterest ব্যবহারকারীর বৈশিষ্ট্য এবং কন্ট্রোলার

আমাদের প্রকৌশলীদের Kubernetes বাস্তবায়ন সহজতর করার জন্য, এবং আমাদের পরিকাঠামোকে সহজীকরণ ও গতি বাড়ানোর জন্য, আমরা আমাদের নিজস্ব কাস্টম রিসোর্স ডেফিনিশন (CRDs) তৈরি করেছি।

CRDs নিম্নলিখিত কার্যকারিতা প্রদান করে:

1. বিভিন্ন নেটিভ কুবারনেট রিসোর্স একত্রিত করা যাতে তারা একক কাজের চাপ হিসেবে কাজ করে। উদাহরণস্বরূপ, PinterestService রিসোর্সে একটি স্থাপনা, একটি লগইন পরিষেবা এবং একটি কনফিগারেশন মানচিত্র অন্তর্ভুক্ত রয়েছে। এটি বিকাশকারীদের DNS সেট আপ করার বিষয়ে চিন্তা করতে দেয় না।
2. প্রয়োজনীয় আবেদন সমর্থন বাস্তবায়ন. ব্যবহারকারীকে তাদের ব্যবসায়িক যুক্তি অনুসারে শুধুমাত্র কন্টেইনার স্পেসিফিকেশনের উপর ফোকাস করতে হবে, যখন CRD কন্ট্রোলার সমস্ত প্রয়োজনীয় init কন্টেনার, পরিবেশ ভেরিয়েবল এবং পড স্পেসিফিকেশন প্রয়োগ করে। এটি বিকাশকারীদের জন্য একটি মৌলিকভাবে ভিন্ন স্তরের আরাম প্রদান করে।
3. CRD কন্ট্রোলারগুলি নেটিভ রিসোর্সের জীবনচক্রও পরিচালনা করে এবং ডিবাগ প্রাপ্যতা উন্নত করে। এর মধ্যে রয়েছে পছন্দসই এবং প্রকৃত স্পেসিফিকেশন সমন্বয় করা, CRD স্থিতি আপডেট করা এবং ইভেন্ট লগ বজায় রাখা এবং আরও অনেক কিছু। CRD ছাড়া, বিকাশকারীরা একাধিক সংস্থান পরিচালনা করতে বাধ্য হবে, যা শুধুমাত্র ত্রুটির সম্ভাবনা বাড়িয়ে তুলবে।

এখানে একটি PinterestService এবং একটি অভ্যন্তরীণ সম্পদের একটি উদাহরণ যা আমাদের কন্ট্রোলার দ্বারা পরিচালিত হয়:

আপনি উপরে দেখতে পাচ্ছেন, একটি কাস্টম ধারককে সমর্থন করার জন্য আমাদের নিরাপত্তা, দৃশ্যমানতা এবং নেটওয়ার্ক ট্রাফিক প্রদানের জন্য একটি init কন্টেইনার এবং বেশ কয়েকটি অ্যাড-অন সংহত করতে হবে। উপরন্তু, আমরা কনফিগারেশন মানচিত্র টেমপ্লেট তৈরি করেছি এবং ব্যাচ কাজের জন্য PVC টেমপ্লেটের জন্য সমর্থন প্রয়োগ করেছি, সেইসাথে পরিচয়, সম্পদের ব্যবহার, এবং আবর্জনা সংগ্রহ ট্র্যাক করার জন্য একাধিক পরিবেশের ভেরিয়েবলের ট্র্যাকিং।

এটা কল্পনা করা কঠিন যে ডেভেলপাররা এই কনফিগারেশন ফাইলগুলিকে CRD সমর্থন ছাড়াই হাতে লিখতে চাইবে, কনফিগারেশনগুলিকে আরও বজায় রাখা এবং ডিবাগ করা যাক।

অ্যাপ্লিকেশন স্থাপনার কর্মপ্রবাহ

উপরের চিত্রটি দেখায় কিভাবে একটি কুবারনেটস ক্লাস্টারে একটি Pinterest কাস্টম সংস্থান স্থাপন করতে হয়:

1. বিকাশকারীরা CLI এবং ইউজার ইন্টারফেসের মাধ্যমে আমাদের Kubernetes ক্লাস্টারের সাথে যোগাযোগ করে।
2. CLI/UI টুলগুলি আর্টিফ্যাক্টরি থেকে ওয়ার্কফ্লো কনফিগারেশন YAML ফাইল এবং অন্যান্য বিল্ড প্রপার্টি (একই সংস্করণ আইডি) পুনরুদ্ধার করে এবং তারপরে চাকরি জমা দেওয়ার পরিষেবাতে জমা দেয়। এই ধাপটি নিশ্চিত করে যে শুধুমাত্র উৎপাদন সংস্করণগুলি ক্লাস্টারে বিতরণ করা হয়েছে।
3. JSS হল Kubernetes সহ বিভিন্ন প্ল্যাটফর্মের একটি গেটওয়ে। এখানে ব্যবহারকারীকে প্রমাণীকরণ করা হয়, কোটা জারি করা হয় এবং আমাদের CRD-এর কনফিগারেশন আংশিকভাবে চেক করা হয়।
4. JSS পাশে CRD চেক করার পরে, তথ্য k8s প্ল্যাটফর্ম API এ পাঠানো হয়।
5. আমাদের CRD কন্ট্রোলার সমস্ত ব্যবহারকারীর সংস্থানগুলিতে ইভেন্টগুলি পর্যবেক্ষণ করে। এটি CR-কে নেটিভ k8s রিসোর্সে রূপান্তর করে, প্রয়োজনীয় মডিউল যোগ করে, উপযুক্ত পরিবেশের ভেরিয়েবল সেট করে, এবং কনটেইনারাইজড ব্যবহারকারী অ্যাপ্লিকেশনগুলির যথেষ্ট পরিকাঠামো সমর্থন রয়েছে তা নিশ্চিত করার জন্য অন্যান্য সহায়তা কাজ সম্পাদন করে।
6. সিআরডি কন্ট্রোলার তারপর প্রাপ্ত ডেটা কুবারনেটস এপিআইতে পাঠায় যাতে এটি শিডিউলারের দ্বারা প্রক্রিয়া করা যায় এবং উৎপাদনে রাখা যায়।

মন্তব্য: নতুন k8s প্ল্যাটফর্মের প্রথম ব্যবহারকারীদের জন্য স্থাপনার এই প্রি-রিলিজ কাজের প্রবাহ তৈরি করা হয়েছে। আমরা বর্তমানে আমাদের নতুন CI/CD এর সাথে সম্পূর্ণরূপে একত্রিত করার জন্য এই প্রক্রিয়াটিকে পরিমার্জন করার প্রক্রিয়ার মধ্যে আছি। এর মানে হল যে আমরা আপনাকে Kubernetes সম্পর্কিত সবকিছু বলতে পারি না। আমরা আমাদের পরবর্তী ব্লগ পোস্ট, “Pinterest-এর জন্য একটি CI/CD প্ল্যাটফর্ম তৈরি করা”-এ আমাদের অভিজ্ঞতা এবং এই দিকে দলের অগ্রগতি শেয়ার করার জন্য উন্মুখ।

বিশেষ সম্পদের প্রকার

Pinterest এর নির্দিষ্ট চাহিদার উপর ভিত্তি করে, আমরা বিভিন্ন কর্মপ্রবাহের জন্য নিম্নলিখিত CRD গুলি তৈরি করেছি:

• PinterestService হল রাষ্ট্রহীন পরিষেবা যা দীর্ঘদিন ধরে চলে আসছে। আমাদের অনেক মূল সিস্টেম এই ধরনের পরিষেবাগুলির একটি সেটের উপর ভিত্তি করে।
• PinterestJobSet মডেল পূর্ণ চক্র ব্যাচ জব. Pinterest-এ একটি সাধারণ দৃশ্য হল যে একাধিক কাজ একই পাত্রে সমান্তরালভাবে চালায়, অন্যান্য অনুরূপ প্রক্রিয়া নির্বিশেষে।
• PinterestCronJob ছোট পর্যায়ক্রমিক লোডের সাথে একত্রে ব্যাপকভাবে ব্যবহৃত হয়। এটি নিরাপত্তা, ট্রাফিক, লগ এবং মেট্রিক্সের জন্য দায়ী Pinterest সাপোর্ট মেকানিজমের সাথে নেটিভ ক্রন কাজের জন্য একটি মোড়ক।
• PinterestDaemon অবকাঠামো ডেমন অন্তর্ভুক্ত করে। আমরা আমাদের ক্লাস্টারগুলিতে আরও সমর্থন যোগ করার সাথে সাথে এই পরিবারটি বাড়তে থাকে।
• PinterestTrainingJob Tensorflow এবং Pytorch প্রসেস পর্যন্ত প্রসারিত, অন্যান্য সমস্ত CRD-এর মতো একই স্তরের রানটাইম সমর্থন প্রদান করে। যেহেতু Pinterest সক্রিয়ভাবে Tensorflow এবং অন্যান্য মেশিন লার্নিং সিস্টেম ব্যবহার করে, আমাদের কাছে তাদের চারপাশে একটি পৃথক CRD তৈরি করার কারণ ছিল।

আমরা PinterestStatefulSet-এও কাজ করছি, যা শীঘ্রই ডেটা গুদাম এবং অন্যান্য রাষ্ট্রীয় সিস্টেমের জন্য অভিযোজিত হবে।

রানটাইম সমর্থন

যখন একটি অ্যাপ্লিকেশন পড Kubernetes এ চলে, তখন এটি স্বয়ংক্রিয়ভাবে নিজেকে সনাক্ত করার জন্য একটি শংসাপত্র পায়। এই শংসাপত্রটি গোপন স্টোরেজ অ্যাক্সেস করতে বা mTLS এর মাধ্যমে অন্যান্য পরিষেবার সাথে যোগাযোগ করতে ব্যবহৃত হয়। এদিকে, কন্টেইনারাইজড অ্যাপ্লিকেশন চালানোর আগে কন্টেইনার ইনিট কনফিগারটর এবং ডেমন সমস্ত প্রয়োজনীয় নির্ভরতা ডাউনলোড করবে। সবকিছু প্রস্তুত হলে, ট্রাফিক সাইডকার এবং ডেমন আমাদের জুকিপারের সাথে মডিউলটির আইপি ঠিকানা নিবন্ধন করবে যাতে ক্লায়েন্টরা এটি আবিষ্কার করতে পারে। এই সমস্ত কাজ করবে কারণ অ্যাপ্লিকেশনটি চালু হওয়ার আগে নেটওয়ার্ক মডিউলটি কনফিগার করা হয়েছিল৷

উপরের কাজের চাপের জন্য রানটাইম সমর্থনের সাধারণ উদাহরণ। অন্যান্য ধরনের কাজের চাপের জন্য সামান্য ভিন্ন সমর্থনের প্রয়োজন হতে পারে, তবে সেগুলি সবই পড-লেভেল সাইডকার, নোড-লেভেল বা ভার্চুয়াল মেশিন-লেভেল ডেমনের আকারে আসে। আমরা নিশ্চিত করি যে এই সবগুলি ব্যবস্থাপনা পরিকাঠামোর মধ্যে স্থাপন করা হয়েছে এবং অ্যাপ্লিকেশন জুড়ে সামঞ্জস্যপূর্ণ, যা শেষ পর্যন্ত প্রযুক্তিগত কাজ এবং গ্রাহক সহায়তার ক্ষেত্রে বোঝাকে উল্লেখযোগ্যভাবে হ্রাস করে।

পরীক্ষা এবং QA

আমরা বিদ্যমান Kubernetes পরীক্ষার পরিকাঠামোর উপরে একটি এন্ড-টু-এন্ড টেস্ট পাইপলাইন তৈরি করেছি। এই পরীক্ষাগুলি আমাদের সমস্ত ক্লাস্টারে প্রযোজ্য। পণ্য ক্লাস্টারের অংশ হওয়ার আগে আমাদের পাইপলাইনটি অনেকগুলি সংশোধনের মধ্য দিয়ে গেছে।

টেস্টিং সিস্টেম ছাড়াও, আমাদের মনিটরিং এবং সতর্কতা সিস্টেম রয়েছে যা ক্রমাগত সিস্টেমের উপাদান, সম্পদ খরচ এবং অন্যান্য গুরুত্বপূর্ণ সূচকগুলির অবস্থা নিরীক্ষণ করে, শুধুমাত্র যখন মানুষের হস্তক্ষেপের প্রয়োজন হয় তখনই আমাদের অবহিত করে।

বিকল্প

আমরা কাস্টম রিসোর্সের কিছু বিকল্প দেখেছি, যেমন মিউটেশন অ্যাক্সেস কন্ট্রোলার এবং টেমপ্লেট সিস্টেম। যাইহোক, তারা সকলেই গুরুত্বপূর্ণ অপারেশনাল চ্যালেঞ্জ নিয়ে আসে, তাই আমরা সিআরডি রুট বেছে নিয়েছি।

সাইডকার, এনভায়রনমেন্ট ভেরিয়েবল এবং অন্যান্য রানটাইম সাপোর্ট চালু করতে একটি মিউটেশনাল অ্যাডমিশন কন্ট্রোলার ব্যবহার করা হয়েছিল। যাইহোক, এটি বিভিন্ন সমস্যার সম্মুখীন হয়েছে, যেমন রিসোর্স বাইন্ডিং এবং লাইফসাইকেল ম্যানেজমেন্ট, যেখানে এই ধরনের সমস্যা CRD তে দেখা যায় না।

দ্রষ্টব্য: টেমপ্লেট সিস্টেম যেমন হেলম চার্টগুলি একই রকম কনফিগারেশন সহ অ্যাপ্লিকেশন চালানোর জন্য ব্যাপকভাবে ব্যবহৃত হয়। যাইহোক, আমাদের কাজের অ্যাপ্লিকেশনগুলি টেমপ্লেট ব্যবহার করে পরিচালনা করার জন্য খুব বৈচিত্র্যময়। এছাড়াও ক্রমাগত স্থাপনার সময় টেমপ্লেট ব্যবহার করার সময় অনেকগুলি ত্রুটি থাকবে।

আসন্ন কাজ

আমরা বর্তমানে আমাদের সমস্ত ক্লাস্টার জুড়ে একটি মিশ্র লোড নিয়ে কাজ করছি। বিভিন্ন ধরণের এবং আকারের এই জাতীয় প্রক্রিয়াগুলিকে সমর্থন করার জন্য, আমরা নিম্নলিখিত ক্ষেত্রে কাজ করি:

• ক্লাস্টারগুলির একটি সংগ্রহ স্কেলেবিলিটি এবং স্থিতিশীলতার জন্য বিভিন্ন ক্লাস্টার জুড়ে বড় অ্যাপ্লিকেশন বিতরণ করে।
• অ্যাপ্লিকেশন সংযোগ এবং SLA তৈরি করতে ক্লাস্টার স্থায়িত্ব, মাপযোগ্যতা এবং দৃশ্যমানতা নিশ্চিত করা।
• সংস্থান এবং কোটা পরিচালনা করা যাতে অ্যাপ্লিকেশনগুলি একে অপরের সাথে বিরোধ না করে এবং ক্লাস্টারের স্কেল আমাদের পক্ষ থেকে নিয়ন্ত্রিত হয়।
• Kubernetes-এ অ্যাপ্লিকেশন সমর্থন এবং স্থাপনের জন্য একটি নতুন CI/CD প্ল্যাটফর্ম।

উত্স: www.habr.com