কুবারনেটস এবং অটোমেশনের জন্য দুই ঘন্টার মধ্যে কীভাবে ক্লাউডে স্থানান্তর করা যায়

URUS কোম্পানী কুবারনেটসকে বিভিন্ন রূপে চেষ্টা করেছে: Google ক্লাউডে বেয়ার মেটালের উপর স্বাধীন স্থাপনা, এবং তারপরে এর প্ল্যাটফর্মকে Mail.ru ক্লাউড সলিউশন (MCS) ক্লাউডে স্থানান্তরিত করেছে। ইগর শিশকিন বলেছেন কিভাবে তারা একটি নতুন ক্লাউড সরবরাহকারী বেছে নিয়েছে এবং কিভাবে তারা রেকর্ড দুই ঘন্টার মধ্যে এটিতে স্থানান্তরিত হতে পেরেছে (t3ran), URUS এ সিনিয়র সিস্টেম অ্যাডমিনিস্ট্রেটর।

URUS কি করে?

শহুরে পরিবেশের মান উন্নত করার অনেক উপায় রয়েছে এবং তাদের মধ্যে একটি হল পরিবেশ বান্ধব করা। URUS - Smart Digital Services কোম্পানি ঠিক এই বিষয়েই কাজ করছে। এখানে তারা সমাধানগুলি বাস্তবায়ন করে যা উদ্যোগগুলিকে গুরুত্বপূর্ণ পরিবেশগত সূচকগুলি নিরীক্ষণ করতে এবং পরিবেশের উপর তাদের নেতিবাচক প্রভাব হ্রাস করতে সহায়তা করে। সেন্সরগুলি বায়ুর গঠন, শব্দের স্তর এবং অন্যান্য পরামিতিগুলির উপর ডেটা সংগ্রহ করে এবং তারপর বিশ্লেষণ এবং সুপারিশ করার জন্য ইউনিফাইড URUS-Ekomon প্ল্যাটফর্মে পাঠায়।

কিভাবে URUS ভেতর থেকে কাজ করে

URUS-এর একটি সাধারণ ক্লায়েন্ট হল একটি কোম্পানি যা একটি আবাসিক এলাকায় বা কাছাকাছি অবস্থিত। এটি একটি কারখানা, বন্দর, রেলওয়ে ডিপো বা অন্য কোন সুবিধা হতে পারে। যদি আমাদের ক্লায়েন্ট ইতিমধ্যে একটি সতর্কতা পেয়ে থাকে, পরিবেশ দূষণের জন্য জরিমানা করা হয়েছিল, বা কম শব্দ করতে, ক্ষতিকারক নির্গমনের পরিমাণ কমাতে চায়, সে আমাদের কাছে আসে এবং আমরা ইতিমধ্যে তাকে পরিবেশগত পর্যবেক্ষণের জন্য একটি প্রস্তুত সমাধান অফার করি৷

H2S ঘনত্ব পর্যবেক্ষণ গ্রাফ কাছাকাছি একটি উদ্ভিদ থেকে নিয়মিত রাতের নির্গমন দেখায়

URUS-এ আমরা যে ডিভাইসগুলি ব্যবহার করি সেগুলিতে বেশ কয়েকটি সেন্সর রয়েছে যা পরিবেশগত পরিস্থিতি মূল্যায়ন করার জন্য নির্দিষ্ট গ্যাস, শব্দের মাত্রা এবং অন্যান্য ডেটার বিষয়বস্তু সম্পর্কে তথ্য সংগ্রহ করে। সেন্সরের সঠিক সংখ্যা সর্বদা নির্দিষ্ট টাস্ক দ্বারা নির্ধারিত হয়।

পরিমাপের সুনির্দিষ্টতার উপর নির্ভর করে, সেন্সর সহ ডিভাইসগুলি ভবন, খুঁটি এবং অন্যান্য নির্বিচারে জায়গাগুলির দেয়ালে অবস্থিত হতে পারে। এই জাতীয় প্রতিটি ডিভাইস তথ্য সংগ্রহ করে, এটিকে একত্রিত করে এবং ডেটা গ্রহণকারী গেটওয়েতে পাঠায়। সেখানে আমরা দীর্ঘমেয়াদী স্টোরেজের জন্য ডেটা সংরক্ষণ করি এবং পরবর্তী বিশ্লেষণের জন্য এটিকে প্রাক-প্রক্রিয়া করি। বিশ্লেষণের ফলে আমরা যা পাই তার সবচেয়ে সহজ উদাহরণ হল বায়ুর গুণমান সূচক, যা AQI নামেও পরিচিত।

সমান্তরালভাবে, অন্যান্য অনেক পরিষেবা আমাদের প্ল্যাটফর্মে কাজ করে, কিন্তু সেগুলি মূলত পরিষেবা প্রকৃতির। উদাহরণ স্বরূপ, নোটিফিকেশন সার্ভিস ক্লায়েন্টদের কাছে নোটিফিকেশন পাঠায় যদি কোনো পর্যবেক্ষণ করা প্যারামিটার (উদাহরণস্বরূপ, CO2 বিষয়বস্তু) অনুমোদিত মান অতিক্রম করে।

আমরা কিভাবে ডেটা সংরক্ষণ করি। খালি ধাতু উপর Kubernetes গল্প

URUS পরিবেশগত পর্যবেক্ষণ প্রকল্পের বেশ কয়েকটি ডেটা গুদাম রয়েছে। একটিতে আমরা "কাঁচা" ডেটা রাখি - যা আমরা সরাসরি ডিভাইসগুলি থেকে পেয়েছি। এই স্টোরেজটি একটি "চুম্বকীয়" টেপ, পুরানো ক্যাসেট টেপের মতো, সমস্ত সূচকের ইতিহাস সহ। দ্বিতীয় ধরণের স্টোরেজটি প্রি-প্রসেসড ডেটার জন্য ব্যবহৃত হয় - ডিভাইসগুলি থেকে ডেটা, সেন্সরগুলির মধ্যে সংযোগ এবং ডিভাইসগুলির রিডিং সম্পর্কে মেটাডেটা দ্বারা সমৃদ্ধ, সংস্থাগুলির সাথে সংযুক্তি, অবস্থান ইত্যাদি একটি নির্দিষ্ট সময়ের মধ্যে পরিবর্তিত হয়। আমরা "কাঁচা" ডেটা স্টোরেজ ব্যবহার করি, অন্যান্য জিনিসগুলির মধ্যে, ব্যাকআপ হিসাবে এবং প্রি-প্রসেসড ডেটা পুনরুদ্ধার করার জন্য, যদি এই ধরনের প্রয়োজন হয়।

আমরা যখন বেশ কয়েক বছর আগে আমাদের স্টোরেজ সমস্যার সমাধান করতে চাইছিলাম, তখন আমাদের দুটি প্ল্যাটফর্ম পছন্দ ছিল: কুবারনেটস এবং ওপেনস্ট্যাক। কিন্তু যেহেতু পরেরটি বেশ রাক্ষস দেখায় (এটি নিশ্চিত হওয়ার জন্য এর স্থাপত্যটি দেখুন), আমরা কুবারনেটসে বসতি স্থাপন করেছি। এর পক্ষে আরেকটি যুক্তি ছিল তুলনামূলকভাবে সহজ সফ্টওয়্যার নিয়ন্ত্রণ, সম্পদ অনুসারে এমনকি হার্ডওয়্যার নোডগুলিকে আরও নমনীয়ভাবে কাটার ক্ষমতা।

Kubernetes নিজে আয়ত্ত করার সাথে সমান্তরালভাবে, আমরা ডেটা সঞ্চয় করার উপায়গুলিও অধ্যয়ন করেছি, যখন আমরা আমাদের নিজস্ব হার্ডওয়্যারে Kubernetes-এ আমাদের সমস্ত স্টোরেজ রেখেছিলাম, আমরা চমৎকার দক্ষতা পেয়েছি। আমরা তখন কুবারনেটসে যা ছিলাম তার সবকিছু: স্টেটফুল স্টোরেজ, মনিটরিং সিস্টেম, সিআই/সিডি। Kubernetes আমাদের জন্য একটি সর্বজনীন প্ল্যাটফর্ম হয়ে উঠেছে।

কিন্তু আমরা Kubernetes-এর সাথে একটি পরিষেবা হিসাবে কাজ করতে চেয়েছিলাম, এবং এর সমর্থন এবং উন্নয়নে নিয়োজিত হতে চাইনি। এছাড়াও, খালি ধাতুতে এটি বজায় রাখতে আমাদের কত খরচ হয়েছে তা আমরা পছন্দ করিনি এবং আমাদের ক্রমাগত বিকাশের প্রয়োজন! উদাহরণস্বরূপ, প্রথম কাজগুলির মধ্যে একটি ছিল আমাদের সংস্থার নেটওয়ার্ক অবকাঠামোতে কুবারনেটস ইনগ্রেস কন্ট্রোলারকে একীভূত করা। এটি একটি কষ্টকর কাজ, বিশেষ করে বিবেচনা করে যে সেই সময়ে প্রোগ্রামেটিক রিসোর্স ম্যানেজমেন্ট যেমন ডিএনএস রেকর্ড বা আইপি ঠিকানা বরাদ্দের জন্য কিছুই প্রস্তুত ছিল না। পরে আমরা এক্সটার্নাল ডাটা স্টোরেজ নিয়ে পরীক্ষা শুরু করি। আমরা কখনই পিভিসি কন্ট্রোলার প্রয়োগ করতে পারিনি, কিন্তু তারপরও এটি স্পষ্ট হয়ে গেল যে এটি একটি বিশাল কাজের ক্ষেত্র যার জন্য নিবেদিত বিশেষজ্ঞদের প্রয়োজন।

Google ক্লাউড প্ল্যাটফর্মে স্যুইচ করা একটি অস্থায়ী সমাধান

আমরা বুঝতে পেরেছি যে এটি চালিয়ে যাওয়া যাবে না, এবং আমাদের ডেটা বেয়ার মেটাল থেকে Google ক্লাউড প্ল্যাটফর্মে সরানো হয়েছে। প্রকৃতপক্ষে, সেই সময়ে একটি রাশিয়ান সংস্থার জন্য খুব বেশি আকর্ষণীয় বিকল্প ছিল না: গুগল ক্লাউড প্ল্যাটফর্মের পাশাপাশি, শুধুমাত্র অ্যামাজন একটি অনুরূপ পরিষেবা অফার করেছিল, তবে আমরা এখনও গুগলের সমাধানে স্থির হয়েছি। তারপরে এটি আমাদের কাছে আরও অর্থনৈতিকভাবে লাভজনক বলে মনে হয়েছিল, আপস্ট্রিমের কাছাকাছি, এই সত্যটি উল্লেখ করার মতো নয় যে গুগল নিজেই উত্পাদনে এক ধরণের PoC কুবারনেটস।

আমাদের গ্রাহক বেস বৃদ্ধির সাথে সাথে দিগন্তে প্রথম বড় সমস্যা দেখা দিয়েছে। যখন আমাদের ব্যক্তিগত ডেটা সঞ্চয় করার প্রয়োজন ছিল, তখন আমাদের একটি পছন্দের মুখোমুখি হয়েছিল: হয় আমরা Google এর সাথে কাজ করি এবং রাশিয়ান আইন লঙ্ঘন করি, অথবা আমরা রাশিয়ান ফেডারেশনে একটি বিকল্প খুঁজছি। পছন্দ, সামগ্রিকভাবে, অনুমানযোগ্য ছিল। 🙂

আমরা কিভাবে আদর্শ ক্লাউড সেবা দেখেছি

অনুসন্ধানের শুরুতে, আমরা ইতিমধ্যেই জানতাম যে আমরা ভবিষ্যতের ক্লাউড প্রদানকারীর কাছ থেকে কী পেতে চাই। আমরা কি সেবা খুঁজছিলাম:

• দ্রুত এবং নমনীয়. যেমন আমরা দ্রুত একটি নতুন নোড যোগ করতে পারি বা যেকোনো সময় কিছু স্থাপন করতে পারি।
• সস্তা. আমরা আর্থিক সমস্যা সম্পর্কে খুব উদ্বিগ্ন ছিলাম, যেহেতু আমরা সম্পদে সীমিত ছিলাম। আমরা ইতিমধ্যেই জানতাম যে আমরা Kubernetes-এর সাথে কাজ করতে চাই, এবং এখন কাজটি ছিল এই সমাধানটি ব্যবহার করার দক্ষতা বাড়ানো বা অন্তত বজায় রাখার জন্য এর খরচ কমানো।
• স্বয়ংক্রিয়. আমরা এপিআই-এর মাধ্যমে পরিষেবার সাথে কাজ করার পরিকল্পনা করেছি, ম্যানেজার এবং ফোন কল বা এমন পরিস্থিতিতে যেখানে আমাদের জরুরি মোডে কয়েক ডজন নোড ম্যানুয়ালি বাড়াতে হবে। যেহেতু আমাদের বেশিরভাগ প্রক্রিয়া স্বয়ংক্রিয়, তাই আমরা ক্লাউড পরিষেবা থেকে একই আশা করেছিলাম।
• রাশিয়ান ফেডারেশনের সার্ভারের সাথে. অবশ্যই, আমরা রাশিয়ান আইন এবং একই 152-FZ মেনে চলার পরিকল্পনা করেছি।

সেই সময়ে, রাশিয়ায় কয়েকজন কুবারনেটস এএএস প্রদানকারী ছিল এবং একটি প্রদানকারী নির্বাচন করার সময়, আমাদের অগ্রাধিকারের সাথে আপস না করা আমাদের জন্য গুরুত্বপূর্ণ ছিল। Mail.ru ক্লাউড সলিউশন টিম, যার সাথে আমরা কাজ শুরু করেছি এবং এখনও সহযোগিতা করছি, আমাদের একটি সম্পূর্ণ স্বয়ংক্রিয় পরিষেবা প্রদান করেছে, API সমর্থন সহ এবং একটি সুবিধাজনক কন্ট্রোল প্যানেল যার মধ্যে Horizon রয়েছে - এর সাহায্যে আমরা দ্রুত একটি নির্বিচারে সংখ্যায় নোড বাড়াতে পারি৷

কিভাবে আমরা দুই ঘন্টার মধ্যে MCS-এ মাইগ্রেট করতে পেরেছি

এই ধরনের পদক্ষেপে, অনেক কোম্পানি অসুবিধা এবং বাধার সম্মুখীন হয়, কিন্তু আমাদের ক্ষেত্রে কোনটি ছিল না। আমরা ভাগ্যবান ছিলাম: যেহেতু মাইগ্রেশন শুরু হওয়ার আগে আমরা ইতিমধ্যেই Kubernetes-এ কাজ করছিলাম, আমরা কেবল তিনটি ফাইল সংশোধন করেছি এবং নতুন ক্লাউড প্ল্যাটফর্ম, MCS-এ আমাদের পরিষেবা চালু করেছি। আমি আপনাকে মনে করিয়ে দিই যে ততক্ষণে আমরা শেষ পর্যন্ত বেয়ার মেটাল ছেড়ে দিয়েছিলাম এবং Google ক্লাউড প্ল্যাটফর্মে থাকতাম। অতএব, পদক্ষেপটি নিজেই দুই ঘন্টার বেশি সময় নেয়নি, এছাড়াও আমাদের ডিভাইসগুলি থেকে ডেটা অনুলিপি করতে আরও কিছুটা সময় (প্রায় এক ঘন্টা) ব্যয় করা হয়েছিল। তখন আমরা ইতিমধ্যেই Spinnaker ব্যবহার করছিলাম (একটি মাল্টি-ক্লাউড সিডি পরিষেবা যা একটানা ডেলিভারি দেওয়ার জন্য)। আমরা দ্রুত এটিকে নতুন ক্লাস্টারে যুক্ত করেছি এবং যথারীতি কাজ চালিয়ে যাচ্ছি।

উন্নয়ন প্রক্রিয়া এবং CI/CD এর অটোমেশনের জন্য ধন্যবাদ, URUS-এ Kubernetes একজন বিশেষজ্ঞ দ্বারা পরিচালিত হয় (এবং আমিই)। কিছু পর্যায়ে, অন্য সিস্টেম অ্যাডমিনিস্ট্রেটর আমার সাথে কাজ করেছিলেন, কিন্তু তারপরে দেখা গেল যে আমরা ইতিমধ্যেই সমস্ত প্রধান রুটিন স্বয়ংক্রিয় করেছি এবং আমাদের প্রধান পণ্যের অংশে আরও বেশি সংখ্যক কাজ রয়েছে এবং এটিতে সংস্থানগুলিকে নির্দেশিত করার অর্থবোধক ছিল।

আমরা ক্লাউড প্রদানকারীর কাছ থেকে যা আশা করেছিলাম তা পেয়েছি, যেহেতু আমরা বিভ্রম ছাড়াই সহযোগিতা শুরু করেছি। যদি কোন ঘটনা ঘটে থাকে তবে সেগুলি বেশিরভাগই প্রযুক্তিগত ছিল এবং যেগুলি পরিষেবার আপেক্ষিক সতেজতা দ্বারা সহজেই ব্যাখ্যা করা যেতে পারে। প্রধান বিষয় হল যে MCS দল দ্রুত ত্রুটিগুলি দূর করে এবং দ্রুত বার্তাবাহকদের প্রশ্নের উত্তর দেয়।

যদি আমি Google ক্লাউড প্ল্যাটফর্মের সাথে আমার অভিজ্ঞতার তুলনা করি, তাদের ক্ষেত্রে আমি এমনকি প্রতিক্রিয়া বোতামটি কোথায় তা জানতাম না, কারণ এটির কোন প্রয়োজন ছিল না। আর কোনো সমস্যা দেখা দিলে গুগল নিজেই একতরফাভাবে বিজ্ঞপ্তি পাঠিয়েছে। কিন্তু MCS-এর ক্ষেত্রে, আমি মনে করি বড় সুবিধা হল যে তারা রাশিয়ান ক্লায়েন্টদের যতটা সম্ভব কাছাকাছি - ভৌগলিক এবং মানসিক উভয় দিক থেকেই।

আমরা কীভাবে ভবিষ্যতে মেঘের সাথে কাজ করতে দেখি

এখন আমাদের কাজ কুবারনেটসের সাথে ঘনিষ্ঠভাবে আবদ্ধ, এবং অবকাঠামোগত কাজের দৃষ্টিকোণ থেকে এটি সম্পূর্ণরূপে আমাদের জন্য উপযুক্ত। অতএব, আমরা এটি থেকে কোথাও স্থানান্তরিত করার পরিকল্পনা করি না, যদিও আমরা নিয়মিত কাজগুলিকে সহজ করতে এবং নতুনগুলিকে স্বয়ংক্রিয় করতে, পরিষেবাগুলির স্থিতিশীলতা এবং নির্ভরযোগ্যতা বাড়াতে নতুন অভ্যাস এবং পরিষেবাগুলি চালু করছি... আমরা এখন ক্যাওস মাঙ্কি পরিষেবা চালু করছি (বিশেষভাবে , আমরা chaoskube ব্যবহার করি, কিন্তু এটি ধারণাটি পরিবর্তন করে না: ), যা মূলত Netflix দ্বারা তৈরি করা হয়েছিল। ক্যাওস মাঙ্কি একটি সহজ কাজ করে: এটি এলোমেলো সময়ে একটি এলোমেলো কুবারনেটস পড মুছে দেয়। আমাদের পরিষেবার জন্য n–1 দৃষ্টান্তের সংখ্যার সাথে স্বাভাবিকভাবে বেঁচে থাকার জন্য এটি প্রয়োজনীয়, তাই আমরা যেকোনো সমস্যার জন্য প্রস্তুত থাকার জন্য নিজেদেরকে প্রশিক্ষণ দিই।

এখন আমি তৃতীয় পক্ষের সমাধানগুলির ব্যবহার দেখতে পাচ্ছি - একই ক্লাউড প্ল্যাটফর্মগুলি - তরুণ সংস্থাগুলির জন্য একমাত্র সঠিক জিনিস হিসাবে৷ সাধারণত, তাদের যাত্রার শুরুতে, তারা মানবিক এবং আর্থিক উভয় ক্ষেত্রেই সীমিত সম্পদ এবং তাদের নিজস্ব ক্লাউড বা ডেটা সেন্টার তৈরি এবং রক্ষণাবেক্ষণ করা অত্যন্ত ব্যয়বহুল এবং শ্রম-নিবিড়। ক্লাউড প্রদানকারীরা আপনাকে এই খরচগুলি কমিয়ে আনার অনুমতি দেয়; আপনি এখানে এবং এখন পরিষেবাগুলি পরিচালনার জন্য প্রয়োজনীয় সংস্থানগুলি দ্রুত তাদের কাছ থেকে পেতে পারেন এবং সত্যের পরে এই সংস্থানগুলির জন্য অর্থ প্রদান করতে পারেন৷ URUS কোম্পানির জন্য, আমরা আপাতত ক্লাউডে কুবারনেটসের প্রতি বিশ্বস্ত থাকব। কিন্তু কে জানে, আমাদের ভৌগলিকভাবে সম্প্রসারণ করতে হতে পারে, বা কিছু নির্দিষ্ট সরঞ্জামের উপর ভিত্তি করে সমাধান বাস্তবায়ন করতে হবে। অথবা হতে পারে যে পরিমাণ সম্পদ ব্যবহার করা হয়েছে তা ন্যায্য ধাতুতে নিজের কুবারনেটসকে ন্যায্যতা দেবে, যেমন ভাল পুরানো দিনের মতো। 🙂

ক্লাউড পরিষেবাগুলির সাথে কাজ করে আমরা যা শিখেছি৷

আমরা খালি ধাতুতে কুবারনেটস ব্যবহার শুরু করেছি এবং সেখানেও এটি নিজস্ব উপায়ে ভাল ছিল। তবে এর শক্তিগুলি ক্লাউডে একটি AAS উপাদান হিসাবে অবিকল প্রকাশ করা হয়েছিল। আপনি যদি একটি লক্ষ্য সেট করেন এবং যতটা সম্ভব সবকিছু স্বয়ংক্রিয়ভাবে করেন, আপনি বিক্রেতা লক-ইন এড়াতে সক্ষম হবেন এবং ক্লাউড সরবরাহকারীদের মধ্যে সরতে কয়েক ঘন্টা সময় লাগবে এবং স্নায়ু কোষগুলি আমাদের সাথে থাকবে। আমরা অন্যান্য সংস্থাগুলিকে পরামর্শ দিতে পারি: আপনি যদি সীমিত সংস্থান এবং বিকাশের জন্য সর্বাধিক বেগ সহ আপনার নিজস্ব (ক্লাউড) পরিষেবা চালু করতে চান তবে ক্লাউড সংস্থান ভাড়া করে এখনই শুরু করুন এবং ফোর্বস আপনার সম্পর্কে লেখার পরে আপনার ডেটা সেন্টার তৈরি করুন।

উত্স: www.habr.com