টুপারওয়্যার: ফেসবুকের কুবারনেটস হত্যাকারী?

Tupperware এর সাথে যেকোনো স্কেলে ক্লাস্টারের দক্ষ এবং নির্ভরযোগ্য ব্যবস্থাপনা

আজকে সিস্টেমস @ স্কেল সম্মেলন আমরা Tupperware প্রবর্তন করেছি, আমাদের ক্লাস্টার ম্যানেজমেন্ট সিস্টেম যা আমাদের প্রায় সমস্ত পরিষেবার লক্ষ লক্ষ সার্ভার জুড়ে কন্টেইনার অর্কেস্ট্রেট করে। আমরা 2011 সালে প্রথম Tupperware মোতায়েন করেছি এবং তারপর থেকে আমাদের অবকাঠামো বেড়েছে 1 ডাটা সেন্টার সম্পূর্ণ 15টি জিও-ডিস্ট্রিবিউটেড ডেটা সেন্টার. এই সমস্ত সময়, Tupperware স্থির হয়ে দাঁড়ায়নি এবং আমাদের সাথে বিকশিত হয়েছিল। আমরা আপনাকে দেখাব কিভাবে Tupperware প্রথম-শ্রেণীর ক্লাস্টার ব্যবস্থাপনা প্রদান করে, যার মধ্যে রাষ্ট্রীয় পরিষেবাগুলির জন্য সুবিধাজনক সমর্থন, সমস্ত ডেটা কেন্দ্রের জন্য একটি একক নিয়ন্ত্রণ প্যানেল এবং রিয়েল টাইমে পরিষেবাগুলির মধ্যে ক্ষমতা বিতরণ করার ক্ষমতা সহ। আমাদের পরিকাঠামোর বিকাশের সাথে সাথে আমরা যে পাঠগুলি শিখেছি তাও শেয়ার করব৷

টুপারওয়্যার বিভিন্ন কাজ করে। অ্যাপ্লিকেশন বিকাশকারীরা অ্যাপ্লিকেশনগুলি সরবরাহ এবং পরিচালনা করতে এটি ব্যবহার করে। এটি অ্যাপ্লিকেশন কোড এবং নির্ভরতাকে একটি ছবিতে প্যাকেজ করে এবং কনটেইনার হিসাবে সার্ভারে সরবরাহ করে। কনটেইনারগুলি একই সার্ভারে অ্যাপ্লিকেশনগুলির মধ্যে বিচ্ছিন্নতা প্রদান করে যাতে বিকাশকারীরা অ্যাপ্লিকেশন যুক্তির সাথে কাজ করে এবং সার্ভারগুলি খুঁজে বের করা বা আপডেটগুলি পরিচালনা করার বিষয়ে চিন্তা করতে না হয়৷ Tupperware এছাড়াও সার্ভারের কর্মক্ষমতা নিরীক্ষণ করে, এবং যদি এটি একটি ব্যর্থতা খুঁজে পায়, এটি সমস্যাযুক্ত সার্ভার থেকে পাত্র স্থানান্তর করে।

ক্ষমতা পরিকল্পনা প্রকৌশলীরা বাজেট এবং সীমাবদ্ধতার উপর ভিত্তি করে দলগুলিতে সার্ভারের ক্ষমতা বরাদ্দ করতে Tupperware ব্যবহার করেন। তারা সার্ভার ব্যবহার উন্নত করতে এটি ব্যবহার করে। ডেটা সেন্টার অপারেটররা ডাটা সেন্টার জুড়ে কন্টেইনারগুলি সঠিকভাবে বিতরণ করতে এবং রক্ষণাবেক্ষণের সময় কন্টেইনারগুলি বন্ধ বা সরানোর জন্য Tupperware-এর দিকে ফিরে যায়। এর জন্য ধন্যবাদ, সার্ভার, নেটওয়ার্ক এবং সরঞ্জাম বজায় রাখার জন্য ন্যূনতম মানব হস্তক্ষেপ প্রয়োজন।

টুপারওয়্যার আর্কিটেকচার

Tupperware PRN আর্কিটেকচার আমাদের ডেটা সেন্টারের একটি অঞ্চল। এই অঞ্চলটি কাছাকাছি অবস্থিত বেশ কয়েকটি ডেটা সেন্টার ভবন (PRN1 এবং PRN2) নিয়ে গঠিত। আমরা একটি কন্ট্রোল প্যানেল তৈরি করার পরিকল্পনা করি যা একটি অঞ্চলে সমস্ত সার্ভার পরিচালনা করবে।

অ্যাপ্লিকেশন বিকাশকারীরা Tupperware চাকরির আকারে পরিষেবা সরবরাহ করে। একটি কাজ একাধিক পাত্রে গঠিত, এবং তারা সাধারণত একই অ্যাপ্লিকেশন কোড চালায়।

টুপারওয়্যার কন্টেইনার সরবরাহ এবং তাদের জীবনচক্র পরিচালনার জন্য দায়ী। এটি বিভিন্ন উপাদান নিয়ে গঠিত:

• Tupperware ফ্রন্টএন্ড ব্যবহারকারী ইন্টারফেস, CLI, এবং অন্যান্য অটোমেশন সরঞ্জামগুলির জন্য API প্রদান করে যার মাধ্যমে আপনি Tupperware এর সাথে যোগাযোগ করতে পারেন। তারা Tupperware কাজের মালিকদের কাছ থেকে সম্পূর্ণ অভ্যন্তরীণ কাঠামো লুকিয়ে রাখে।
• Tupperware Scheduler হল একটি কন্ট্রোল প্যানেল যা কন্টেইনার এবং কাজের জীবনচক্র পরিচালনার জন্য দায়ী। এটি আঞ্চলিক এবং বৈশ্বিক স্তরে মোতায়েন করা হয়, যেখানে আঞ্চলিক সময়সূচী একটি অঞ্চলে সার্ভার পরিচালনা করে এবং গ্লোবাল শিডিউলার বিভিন্ন অঞ্চল থেকে সার্ভার পরিচালনা করে। সময়সূচী শার্ডে বিভক্ত, এবং প্রতিটি শার্ড কাজের একটি সেট পরিচালনা করে।
• Tupperware এর সময়সূচী প্রক্সি অভ্যন্তরীণ শার্ডিং লুকিয়ে রাখে এবং Tupperware ব্যবহারকারীদের জন্য কাচের একটি সুবিধাজনক একক ফলক প্রদান করে।
• Tupperware বরাদ্দকারী সার্ভারে পাত্রে বরাদ্দ করে। সময়সূচী কন্টেইনার বন্ধ করা, শুরু করা, আপডেট করা এবং ফেইলওভার পরিচালনা করে। বর্তমানে, একজন বরাদ্দকারী শার্ডে বিভক্ত না হয়ে সমগ্র অঞ্চল পরিচালনা করতে পারে। (পরিভাষায় পার্থক্য লক্ষ্য করুন। উদাহরণস্বরূপ, টুপারওয়্যারের সময়সূচীটি কন্ট্রোল প্যানেলের সাথে মিলে যায় Kubernetes, এবং Tupperware বরাদ্দকারীকে Kubernetes-এ একটি শিডিউলার বলা হয়।)
• রিসোর্স ব্রোকার সার্ভার এবং সার্ভিস ইভেন্টের জন্য সত্যের উৎস সঞ্চয় করে। আমরা প্রতিটি ডেটা সেন্টারের জন্য একটি রিসোর্স ব্রোকার চালাই এবং এটি সেই ডেটা সেন্টারে সার্ভার সম্পর্কে সমস্ত তথ্য সঞ্চয় করে। রিসোর্স ব্রোকার এবং ক্যাপাসিটি ম্যানেজমেন্ট সিস্টেম, বা রিসোর্স প্রভিশনিং সিস্টেম, গতিশীলভাবে সিদ্ধান্ত নেয় কোন শিডিউল ডেলিভারি কোন সার্ভারকে নিয়ন্ত্রণ করে। স্বাস্থ্য পরীক্ষা পরিষেবা সার্ভারগুলি পর্যবেক্ষণ করে এবং রিসোর্স ব্রোকারে তাদের স্বাস্থ্য সম্পর্কে ডেটা সঞ্চয় করে। কোনো সার্ভারে সমস্যা থাকলে বা রক্ষণাবেক্ষণের প্রয়োজন হলে, রিসোর্স ব্রোকার বরাদ্দকারী এবং শিডিয়ুলারকে কন্টেইনারগুলো বন্ধ করতে বা অন্য সার্ভারে নিয়ে যেতে বলে।
• টুপারওয়্যার এজেন্ট হল একটি ডেমন যা প্রতিটি সার্ভারে চলমান যা পাত্র প্রস্তুত করে এবং অপসারণ করে। অ্যাপ্লিকেশনগুলি একটি পাত্রের ভিতরে চলে, যা তাদের আরও বিচ্ছিন্নতা এবং প্রজননযোগ্যতা দেয়। চালু গত বছরের সিস্টেমস @ স্কেল সম্মেলন ইমেজ, btrfs, cgroupv2 এবং systemd ব্যবহার করে কিভাবে পৃথক Tupperware কন্টেনার তৈরি করা হয় তা আমরা ইতিমধ্যেই বর্ণনা করেছি।

Tupperware এর স্বতন্ত্র বৈশিষ্ট্য

Tupperware অনেক উপায়ে অন্যান্য ক্লাস্টার ম্যানেজমেন্ট সিস্টেম যেমন Kubernetes এবং মেসোস, কিন্তু পার্থক্য আছে:

• রাষ্ট্রীয় পরিষেবাগুলির জন্য অন্তর্নির্মিত সমর্থন।
• অভিপ্রায়, ক্লাস্টার ডিকমিশন এবং রক্ষণাবেক্ষণের উপর ভিত্তি করে কনটেইনার সরবরাহ স্বয়ংক্রিয় করতে বিভিন্ন ডেটা সেন্টারে সার্ভারের জন্য একটি একক নিয়ন্ত্রণ প্যানেল।
• জুম করার জন্য নিয়ন্ত্রণ প্যানেলের পরিষ্কার বিভাগ।
• ইলাস্টিক কম্পিউটিং আপনাকে রিয়েল টাইমে পরিষেবাগুলির মধ্যে শক্তি বিতরণ করতে দেয়।

আমরা বিশাল বৈশ্বিক শেয়ার্ড সার্ভার ফ্লিট জুড়ে বিভিন্ন রাষ্ট্রহীন এবং রাষ্ট্রীয় অ্যাপ্লিকেশন সমর্থন করার জন্য এই দুর্দান্ত বৈশিষ্ট্যগুলি বিকাশ করেছি।

রাষ্ট্রীয় পরিষেবাগুলির জন্য অন্তর্নির্মিত সমর্থন।

Tupperware বিভিন্ন গুরুত্বপূর্ণ রাষ্ট্রীয় পরিষেবা পরিচালনা করে যা Facebook, Instagram, Messenger এবং WhatsApp-এর জন্য অবিরাম পণ্য ডেটা সঞ্চয় করে। এগুলি কী-মানের জোড়ার বড় স্টোর হতে পারে (যেমন জিপিডিবি) এবং তথ্য সংগ্রহস্থল পর্যবেক্ষণ (উদাহরণস্বরূপ, ওডিএস গরিলা и স্কুবা) রাষ্ট্রীয় পরিষেবাগুলি রক্ষণাবেক্ষণ করা সহজ নয়, কারণ সিস্টেমটিকে অবশ্যই নিশ্চিত করতে হবে যে কন্টেইনারগুলির সরবরাহ নেটওয়ার্ক বিভ্রাট বা বিদ্যুৎ বিভ্রাট সহ বৃহৎ আকারের ব্যাঘাত সহ্য করতে পারে৷ এবং যখন প্রচলিত কৌশলগুলি, যেমন ফল্ট ডোমেন জুড়ে কন্টেইনার বিতরণ, রাষ্ট্রহীন পরিষেবাগুলির জন্য ভাল কাজ করে, রাষ্ট্রীয় পরিষেবাগুলির অতিরিক্ত সমর্থন প্রয়োজন৷

উদাহরণস্বরূপ, যদি একটি সার্ভার ব্যর্থতা একটি ডাটাবেস প্রতিরূপ অনুপলব্ধ রেন্ডার করে, তাহলে আপনি কি স্বয়ংক্রিয় রক্ষণাবেক্ষণ সক্ষম করবেন যা 50 এর পুল থেকে 10টি সার্ভারে কোর আপডেট করবে? পরিস্থিতির উপর নির্ভর করে. যদি এই 50টি সার্ভারের একটিতে একই ডাটাবেসের আরেকটি প্রতিলিপি থাকে, তাহলে অপেক্ষা করা এবং একবারে 2টি প্রতিলিপি না হারানোই ভালো। সিস্টেম রক্ষণাবেক্ষণ এবং কার্যকারিতা সম্পর্কে গতিশীলভাবে সিদ্ধান্ত নেওয়ার জন্য, আমাদের অভ্যন্তরীণ ডেটা প্রতিলিপি এবং প্রতিটি রাষ্ট্রীয় পরিষেবার স্থান নির্ধারণের যুক্তি সম্পর্কে তথ্য প্রয়োজন।

টাস্ককন্ট্রোল ইন্টারফেস রাষ্ট্রীয় পরিষেবাগুলিকে ডেটা প্রাপ্যতাকে প্রভাবিত করে এমন সিদ্ধান্তগুলিকে প্রভাবিত করতে দেয়। এই ইন্টারফেসটি ব্যবহার করে, সময়সূচী বহিরাগত অ্যাপ্লিকেশনগুলিকে কন্টেইনার ক্রিয়াকলাপ (পুনঃসূচনা, আপডেট, স্থানান্তর, রক্ষণাবেক্ষণ) সম্পর্কে অবহিত করে। একটি রাষ্ট্রীয় পরিষেবা একটি কন্ট্রোলার প্রয়োগ করে যা Tupperware কে জানায় কখন প্রতিটি অপারেশন করা নিরাপদ, এবং এই অপারেশনগুলি অদলবদল করা বা সাময়িকভাবে বিলম্বিত হতে পারে। উপরের উদাহরণে, ডাটাবেস কন্ট্রোলার Tupperware কে 49টি সার্ভারের মধ্যে 50টি আপডেট করতে বলতে পারে, কিন্তু আপাতত একটি নির্দিষ্ট সার্ভার (X) ছেড়ে দিন। ফলস্বরূপ, যদি কার্নেল আপডেটের সময়সীমা চলে যায় এবং ডাটাবেস এখনও সমস্যাযুক্ত প্রতিরূপ পুনরুদ্ধার করতে অক্ষম হয়, Tupperware এখনও X সার্ভার আপডেট করবে।

Tupperware-এ অনেক রাষ্ট্রীয় পরিষেবা TaskControl ব্যবহার করে সরাসরি নয়, কিন্তু ShardManager-এর মাধ্যমে, Facebook-এ রাষ্ট্রীয় পরিষেবা তৈরি করার জন্য একটি সাধারণ প্ল্যাটফর্ম। টুপারওয়্যারের সাহায্যে, ডেভেলপাররা তাদের উদ্দেশ্য নির্দিষ্ট করতে পারে ঠিক কীভাবে কন্টেইনারগুলি ডেটা সেন্টার জুড়ে বিতরণ করা উচিত। ShardManager-এর সাহায্যে, ডেভেলপাররা কীভাবে ডাটা শার্ডগুলি কন্টেইনার জুড়ে বিতরণ করা উচিত তার জন্য তাদের উদ্দেশ্য নির্দিষ্ট করে। ShardManager ডাটা স্থাপন এবং এর অ্যাপ্লিকেশনগুলির প্রতিলিপি সম্পর্কে সচেতন এবং সরাসরি অ্যাপ্লিকেশন জড়িত ছাড়াই কন্টেইনার অপারেশনগুলি নির্ধারণ করতে টাস্ককন্ট্রোল ইন্টারফেসের মাধ্যমে Tupperware-এর সাথে যোগাযোগ করে৷ এই একীকরণ রাষ্ট্রীয় পরিষেবাগুলির পরিচালনাকে ব্যাপকভাবে সরল করে, তবে টাস্ককন্ট্রোল আরও বেশি করতে সক্ষম। উদাহরণস্বরূপ, আমাদের বিস্তৃত ওয়েব স্তর রাষ্ট্রবিহীন এবং কন্টেইনারগুলিতে আপডেটের হার গতিশীলভাবে সামঞ্জস্য করতে টাস্ককন্ট্রোল ব্যবহার করে। অবশেষে ওয়েব স্তর একাধিক সফ্টওয়্যার রিলিজ দ্রুত সম্পন্ন করতে সক্ষম প্রাপ্যতা আপস ছাড়া প্রতি দিন.

ডেটা সেন্টারে সার্ভার পরিচালনা করা

যখন Tupperware 2011 সালে প্রথম চালু হয়েছিল, প্রতিটি সার্ভার ক্লাস্টার একটি পৃথক সময়সূচী দ্বারা পরিচালিত হয়েছিল। তখন, একটি ফেসবুক ক্লাস্টার ছিল একটি নেটওয়ার্ক সুইচের সাথে সংযুক্ত সার্ভার র্যাকের একটি গ্রুপ, এবং ডেটা সেন্টারে বেশ কয়েকটি ক্লাস্টার ছিল। সময়সূচী শুধুমাত্র একটি ক্লাস্টারে সার্ভার পরিচালনা করতে পারে, যার অর্থ কাজটি একাধিক ক্লাস্টারে ছড়িয়ে পড়তে পারে না। আমাদের পরিকাঠামো বৃদ্ধি পেয়েছে, আমরা ক্রমবর্ধমানভাবে ক্লাস্টার বন্ধ করে দিয়েছি। যেহেতু Tupperware কাজটিকে ডিকমিশন করা ক্লাস্টার থেকে অন্য ক্লাস্টারে পরিবর্তন ছাড়াই স্থানান্তর করতে পারেনি, তাই এটির জন্য অ্যাপ্লিকেশন ডেভেলপার এবং ডেটা সেন্টার অপারেটরদের মধ্যে অনেক প্রচেষ্টা এবং সতর্ক সমন্বয় প্রয়োজন। ডিকমিশন করার পদ্ধতির কারণে সার্ভারগুলি কয়েক মাস ধরে নিষ্ক্রিয় থাকার সময় এই প্রক্রিয়ার ফলে সম্পদ নষ্ট হয়।

আমরা ক্লাস্টার ডিকমিশন সমস্যা সমাধান করতে এবং অন্যান্য ধরনের রক্ষণাবেক্ষণের কাজগুলিকে সমন্বয় করতে একটি সংস্থান ব্রোকার তৈরি করেছি। রিসোর্স ব্রোকার সার্ভারের সাথে যুক্ত সমস্ত শারীরিক তথ্যের ট্র্যাক রাখে এবং গতিশীলভাবে সিদ্ধান্ত নেয় যে কোন সময়সূচী প্রতিটি সার্ভারকে নিয়ন্ত্রণ করবে। গতিশীলভাবে সার্ভারগুলিকে শিডিউলারের সাথে লিঙ্ক করা শিডিউলকারীকে বিভিন্ন ডেটা সেন্টারে সার্ভার পরিচালনা করতে দেয়। যেহেতু একটি Tupperware কাজ আর একটি একক ক্লাস্টারের মধ্যে সীমাবদ্ধ নয়, Tupperware ব্যবহারকারীরা নির্দিষ্ট করতে পারেন কিভাবে কন্টেনারগুলিকে ফল্ট ডোমেন জুড়ে বিতরণ করা উচিত। উদাহরণস্বরূপ, একজন বিকাশকারী তার অভিপ্রায় ঘোষণা করতে পারেন (বলুন: "পিআরএন অঞ্চলে 2টি ফল্ট ডোমেনে আমার কাজ চালান") নির্দিষ্ট প্রাপ্যতা অঞ্চলগুলি উল্লেখ না করেই। টুপারওয়্যার নিজেই এই উদ্দেশ্য বাস্তবায়নের জন্য উপযুক্ত সার্ভার খুঁজে পাবে, এমনকি যদি ক্লাস্টার বা পরিষেবা বাতিল করা হয়।

সমগ্র বিশ্বব্যবস্থাকে সমর্থন করার জন্য মাপযোগ্য

ঐতিহাসিকভাবে, আমাদের পরিকাঠামো পৃথক দলের জন্য শত শত ডেডিকেটেড সার্ভার পুলে বিভক্ত করা হয়েছে। ফ্র্যাগমেন্টেশন এবং স্ট্যান্ডার্ডের অভাবের কারণে, আমাদের উচ্চ অপারেশনাল খরচ ছিল এবং নিষ্ক্রিয় সার্ভারগুলি আবার ব্যবহার করা আরও কঠিন ছিল। গত বছরের সম্মেলনে সিস্টেমস @ স্কেল আমরা উপস্থাপন করেছি একটি পরিষেবা হিসাবে পরিকাঠামো (IaaS), যা আমাদের অবকাঠামোকে একটি বড় একক সার্ভার পার্কে একত্রিত করবে। কিন্তু একটি একক সার্ভার পার্কের নিজস্ব অসুবিধা রয়েছে। এটি নির্দিষ্ট প্রয়োজনীয়তা পূরণ করতে হবে:

• মাপযোগ্যতা। আমরা প্রতিটি অঞ্চলে ডেটা সেন্টার যুক্ত করার সাথে সাথে আমাদের পরিকাঠামো বৃদ্ধি পেয়েছে। সার্ভারগুলি ছোট এবং আরও শক্তি দক্ষ হয়ে উঠেছে, তাই প্রতিটি অঞ্চলে তাদের আরও অনেকগুলি রয়েছে৷ ফলস্বরূপ, প্রতি অঞ্চলে একটি একক সময়সূচী প্রতিটি অঞ্চলে কয়েক হাজার সার্ভারে চালানো যেতে পারে এমন কন্টেইনারগুলির সংখ্যা পরিচালনা করতে পারে না।
• নির্ভরযোগ্যতা। এমনকি যদি শিডিউলারকে এতটা স্কেল করা যায়, তবে শিডিউলারের বৃহৎ পরিধির অর্থ হল ত্রুটির ঝুঁকি বেশি এবং কন্টেইনারগুলির একটি সম্পূর্ণ অঞ্চল নিয়ন্ত্রণের অযোগ্য হয়ে উঠতে পারে।
• দোষ সহনশীলতা। একটি বিশাল অবকাঠামো ব্যর্থতার ক্ষেত্রে (উদাহরণস্বরূপ, নেটওয়ার্ক ব্যর্থতা বা পাওয়ার বিভ্রাটের কারণে শিডিউলার চালানো সার্ভারগুলি ব্যর্থ হয়), নেতিবাচক পরিণতিগুলি অঞ্চলের সার্ভারগুলির শুধুমাত্র একটি অংশকে প্রভাবিত করবে৷
• ব্যবহার সহজ। এটি মনে হতে পারে যে আপনাকে একটি অঞ্চলের জন্য বেশ কয়েকটি স্বাধীন সময়সূচী চালানো দরকার। কিন্তু সুবিধার দৃষ্টিকোণ থেকে, একটি অঞ্চলের শেয়ার্ড পুলে প্রবেশের একক পয়েন্ট ক্ষমতা এবং কাজগুলি পরিচালনা করা সহজ করে তোলে।

একটি বড় শেয়ার্ড পুল রক্ষণাবেক্ষণের সমস্যা সমাধানের জন্য আমরা শিডিউলারকে শার্ডে ভাগ করেছি। প্রতিটি শিডিউলার শার্ড অঞ্চলে তার নিজস্ব কাজের সেট পরিচালনা করে এবং এটি শিডিউলারের সাথে যুক্ত ঝুঁকি হ্রাস করে। শেয়ার্ড পুল বাড়ার সাথে সাথে আমরা আরো শিডিউলার শার্ড যোগ করতে পারি। Tupperware ব্যবহারকারীদের জন্য, shards এবং শিডিউলার প্রক্সিগুলি একটি নিয়ন্ত্রণ প্যানেলের মতো দেখায়। তাদের একগুচ্ছ শার্ডের সাথে কাজ করতে হবে না যা কাজগুলি অর্কেস্ট্রেট করে। নেটওয়ার্ক টপোলজি অনুযায়ী সার্ভারের শেয়ার্ড পুলকে স্ট্যাটিকভাবে ভাগ না করে কন্ট্রোল প্যানেলকে বিভাজন করার সময় আমরা আগে ব্যবহার করা ক্লাস্টার শিডিউলারের থেকে শিডিউলার শার্ডগুলি মৌলিকভাবে আলাদা।

ইলাস্টিক কম্পিউটিং সহ ব্যবহারের দক্ষতা উন্নত করুন

আমাদের পরিকাঠামো যত বড়, পরিকাঠামোর খরচ অপ্টিমাইজ করতে এবং লোড কমাতে আমাদের সার্ভারগুলি দক্ষতার সাথে ব্যবহার করা তত বেশি গুরুত্বপূর্ণ। সার্ভার ব্যবহারের দক্ষতা বাড়ানোর দুটি উপায় রয়েছে:

• ইলাস্টিক কম্পিউটিং - শান্ত সময়ের মধ্যে অনলাইন পরিষেবাগুলি স্কেল করুন এবং অফলাইন ওয়ার্কলোডের জন্য মুক্ত সার্ভারগুলি ব্যবহার করুন, যেমন মেশিন লার্নিং এবং MapReduce চাকরি৷
• ওভারলোডিং - একই সার্ভারে অনলাইন পরিষেবা এবং ব্যাচ ওয়ার্কলোড রাখুন যাতে ব্যাচ ওয়ার্কলোড কম অগ্রাধিকারে চলে।

আমাদের ডেটা সেন্টারে বাধা হল ক্ষমতা ব্যবহার. অতএব, আমরা ছোট, শক্তি-দক্ষ সার্ভার পছন্দ করি যা একসাথে আরও প্রক্রিয়াকরণ শক্তি সরবরাহ করে। দুর্ভাগ্যবশত, সামান্য CPU এবং মেমরি সহ ছোট সার্ভারে, ওভারলোডিং কম কার্যকর। অবশ্যই, আমরা একটি ছোট শক্তি-দক্ষ সার্ভারে ছোট পরিষেবার বেশ কয়েকটি পাত্র রাখতে পারি যা সামান্য প্রসেসর সংস্থান এবং মেমরি ব্যবহার করে, তবে এই পরিস্থিতিতে বড় পরিষেবাগুলির কার্যকারিতা কম হবে। অতএব, আমরা আমাদের বড় পরিষেবাগুলির বিকাশকারীদের তাদের অপ্টিমাইজ করার পরামর্শ দিই যাতে তারা সম্পূর্ণ সার্ভারগুলি ব্যবহার করে।


মূলত, আমরা ইলাস্টিক কম্পিউটিং ব্যবহার করে ব্যবহারের দক্ষতা উন্নত করি। আমাদের অনেক প্রধান পরিষেবা, যেমন নিউজ ফিড, মেসেজিং বৈশিষ্ট্য এবং ফ্রন্ট-এন্ড ওয়েব টিয়ার, দিনের সময়ের উপর নির্ভর করে পরিবর্তিত হয়। আমরা ইচ্ছাকৃতভাবে শান্ত সময়ের মধ্যে অনলাইন পরিষেবাগুলিকে স্কেল করি এবং অফলাইন কাজের চাপের জন্য মুক্ত সার্ভারগুলি ব্যবহার করি, যেমন মেশিন লার্নিং এবং MapReduce চাকরি।

আমরা অভিজ্ঞতা থেকে জানি যে সম্পূর্ণ সার্ভারগুলিকে স্থিতিস্থাপক ক্ষমতার ইউনিট হিসাবে সরবরাহ করা সর্বোত্তম কারণ বড় পরিষেবাগুলি উভয়ই প্রধান দাতা এবং স্থিতিস্থাপক ক্ষমতার প্রধান গ্রাহক এবং সম্পূর্ণ সার্ভারগুলি ব্যবহার করার জন্য অপ্টিমাইজ করা হয়৷ যখন সার্ভারটি শান্ত ঘন্টার মধ্যে অনলাইন পরিষেবা থেকে মুক্তি পায়, তখন রিসোর্স ব্রোকার সার্ভারটিকে অফলাইন ওয়ার্কলোড চালানোর জন্য শিডিউলারের কাছে লিজ দেয়। যদি অনলাইন পরিষেবাটি সর্বোচ্চ লোড অনুভব করে, রিসোর্স ব্রোকার দ্রুত ধার করা সার্ভারটি স্মরণ করে এবং শিডিউলারের সাথে এটি অনলাইন পরিষেবাতে ফেরত দেয়।

শেখা পাঠ এবং ভবিষ্যতের জন্য পরিকল্পনা

গত 8 বছরে, আমরা Facebook-এর দ্রুত বৃদ্ধির সাথে তাল মিলিয়ে চলতে Tupperware তৈরি করছি। আমরা যা শিখেছি তা শেয়ার করি এবং আশা করি এটি অন্যদের দ্রুত বর্ধনশীল অবকাঠামো পরিচালনা করতে সাহায্য করবে:

• নিয়ন্ত্রণ প্যানেল এবং এটি পরিচালনা করে এমন সার্ভারগুলির মধ্যে একটি নমনীয় সংযোগ সেট আপ করুন৷ এই নমনীয়তা নিয়ন্ত্রণ প্যানেলকে বিভিন্ন ডেটা সেন্টারে সার্ভার পরিচালনা করতে দেয়, ক্লাস্টারগুলির ডিকমিশনিং এবং রক্ষণাবেক্ষণকে স্বয়ংক্রিয়ভাবে সহায়তা করে এবং ইলাস্টিক কম্পিউটিং ব্যবহার করে গতিশীল ক্ষমতা বরাদ্দ সক্ষম করে।
• এই অঞ্চলে একটি একক কন্ট্রোল প্যানেলের সাহায্যে, কাজগুলির সাথে কাজ করা আরও সুবিধাজনক এবং একটি বৃহৎ শেয়ার্ড সার্ভার বহর পরিচালনা করা সহজ হয়ে ওঠে। লক্ষ্য করুন যে কন্ট্রোল প্যানেল প্রবেশের একটি একক পয়েন্ট বজায় রাখে, এমনকি যদি এর অভ্যন্তরীণ কাঠামো স্কেল বা ত্রুটি সহনশীলতার কারণে আলাদা করা হয়।
• একটি প্লাগইন মডেল ব্যবহার করে, কন্ট্রোল প্যানেল আসন্ন কন্টেইনার অপারেশনগুলির বহিরাগত অ্যাপ্লিকেশনগুলিকে অবহিত করতে পারে৷ অধিকন্তু, রাষ্ট্রীয় পরিষেবাগুলি কন্টেইনার পরিচালনা কাস্টমাইজ করতে প্লাগইন ইন্টারফেস ব্যবহার করতে পারে। এই প্লাগইন মডেলের সাথে, নিয়ন্ত্রণ প্যানেল সরলতা প্রদান করে যখন দক্ষতার সাথে বিভিন্ন রাষ্ট্রীয় পরিষেবা পরিবেশন করে।
• আমরা বিশ্বাস করি যে ইলাস্টিক কম্পিউটিং, যেখানে আমরা ব্যাচের কাজ, মেশিন লার্নিং এবং অন্যান্য অ-জরুরী পরিষেবাগুলির জন্য দাতা পরিষেবাগুলি থেকে সম্পূর্ণ সার্ভারগুলি সরিয়ে নিয়ে থাকি, ছোট, শক্তি-দক্ষ সার্ভারগুলির দক্ষতা উন্নত করার সর্বোত্তম উপায়৷

আমরা সবেমাত্র বাস্তবায়ন শুরু করছি একক গ্লোবাল শেয়ার্ড সার্ভার বহর. বর্তমানে আমাদের সার্ভারগুলির প্রায় 20% একটি শেয়ার্ড পুলে রয়েছে৷ 100% অর্জন করতে, শেয়ার্ড স্টোরেজ পুল রক্ষণাবেক্ষণ, স্বয়ংক্রিয় রক্ষণাবেক্ষণ, ক্রস-টেন্যান্টের প্রয়োজনীয়তাগুলি পরিচালনা করা, সার্ভারের ব্যবহার উন্নত করা এবং মেশিন লার্নিং ওয়ার্কলোডের জন্য সহায়তা উন্নত করা সহ অনেকগুলি সমস্যার সমাধান করা দরকার। আমরা এই চ্যালেঞ্জগুলি নিতে এবং আমাদের সাফল্যগুলি ভাগ করে নেওয়ার জন্য অপেক্ষা করতে পারি না।

উত্স: www.habr.com