ওপেনস্ট্যাকে লোড ব্যালেন্সিং (পর্ব 2)

В শেষ প্রবন্ধ আমরা ওয়াচার ব্যবহার করার জন্য আমাদের প্রচেষ্টা সম্পর্কে কথা বলেছি এবং একটি পরীক্ষার রিপোর্ট প্রদান করেছি। আমরা পর্যায়ক্রমে একটি বৃহৎ এন্টারপ্রাইজ বা অপারেটর ক্লাউডের ভারসাম্য এবং অন্যান্য গুরুত্বপূর্ণ ফাংশনের জন্য এই ধরনের পরীক্ষা পরিচালনা করি।

সমস্যার উচ্চ জটিলতার সমাধানের জন্য আমাদের প্রকল্পের বর্ণনা দিতে বেশ কয়েকটি নিবন্ধের প্রয়োজন হতে পারে। আজ আমরা সিরিজের দ্বিতীয় নিবন্ধটি প্রকাশ করছি, যা ক্লাউডে ভার্চুয়াল মেশিনের ভারসাম্য রক্ষার জন্য নিবেদিত।

কিছু পরিভাষা

VmWare কোম্পানী DRS (ডিস্ট্রিবিউটেড রিসোর্স শিডিউলার) ইউটিলিটি চালু করেছে যাতে ভার্চুয়ালাইজেশন এনভায়রনমেন্টের ভারসাম্য বজায় থাকে যা তারা তৈরি করে এবং অফার করে।

তিনি লিখেছেন searchvmware.techtarget.com/definition/VMware-DRS
"ভিএমওয়্যার ডিআরএস (ডিস্ট্রিবিউটেড রিসোর্স শিডিউলার) একটি ইউটিলিটি যা ভার্চুয়াল পরিবেশে উপলব্ধ সংস্থানগুলির সাথে কম্পিউটিং লোডের ভারসাম্য বজায় রাখে। ইউটিলিটি VMware ইনফ্রাস্ট্রাকচার নামে একটি ভার্চুয়ালাইজেশন স্যুটের অংশ।

ভিএমওয়্যার ডিআরএস-এর সাহায্যে ব্যবহারকারীরা ভার্চুয়াল মেশিনের (ভিএম) মধ্যে ভৌত সম্পদ বিতরণের নিয়ম সংজ্ঞায়িত করে। ইউটিলিটি ম্যানুয়াল বা স্বয়ংক্রিয় নিয়ন্ত্রণের জন্য কনফিগার করা যেতে পারে। ভিএমওয়্যার রিসোর্স পুলগুলি সহজেই যুক্ত, সরানো বা পুনর্গঠিত করা যেতে পারে। যদি ইচ্ছা হয়, রিসোর্স পুলগুলি বিভিন্ন ব্যবসায়িক ইউনিটের মধ্যে বিচ্ছিন্ন করা যেতে পারে। যদি এক বা একাধিক ভার্চুয়াল মেশিনে কাজের চাপ নাটকীয়ভাবে পরিবর্তিত হয়, VMware DRS ভৌত সার্ভার জুড়ে ভার্চুয়াল মেশিনগুলিকে পুনরায় বিতরণ করে। যদি সামগ্রিক কাজের চাপ কমে যায়, কিছু শারীরিক সার্ভার সাময়িকভাবে অফলাইনে নেওয়া হতে পারে এবং কাজের চাপ একত্রিত করা হতে পারে।"

ভারসাম্য কেন প্রয়োজন?

আমাদের মতে, ডিআরএস একটি আবশ্যিক-ক্লাউড বৈশিষ্ট্য, যদিও এর মানে এই নয় যে ডিআরএস অবশ্যই সর্বদা এবং সর্বত্র ব্যবহার করা উচিত। ক্লাউডের উদ্দেশ্য এবং চাহিদার উপর নির্ভর করে, ডিআরএস এবং ভারসাম্যের পদ্ধতির জন্য বিভিন্ন প্রয়োজনীয়তা থাকতে পারে। এমন পরিস্থিতি হতে পারে যেখানে ভারসাম্যের আদৌ প্রয়োজন হয় না। বা এমনকি ক্ষতিকারক।

কোথায় এবং কোন ক্লায়েন্টদের জন্য DRS প্রয়োজন তা আরও ভালভাবে বোঝার জন্য, আসুন তাদের লক্ষ্য এবং উদ্দেশ্যগুলি বিবেচনা করি। ক্লাউডকে পাবলিক এবং প্রাইভেট ভাগ করা যায়। এখানে এই মেঘ এবং গ্রাহক লক্ষ্য মধ্যে প্রধান পার্থক্য আছে.

ব্যক্তিগত মেঘ / বড় এন্টারপ্রাইজ ক্লায়েন্ট
পাবলিক ক্লাউড / মাঝারি এবং ছোট ব্যবসা, মানুষ

অপারেটরের প্রধান মানদণ্ড এবং লক্ষ্য
একটি নির্ভরযোগ্য সেবা বা পণ্য প্রদান
একটি প্রতিযোগিতামূলক বাজারে লড়াইয়ে পরিষেবার খরচ কমানো

পরিষেবার প্রয়োজনীয়তা
সমস্ত স্তরে এবং সমস্ত সিস্টেম উপাদানগুলিতে নির্ভরযোগ্যতা

নিশ্চিত কর্মক্ষমতা

ভার্চুয়াল মেশিনগুলিকে বিভিন্ন বিভাগে অগ্রাধিকার দিন 

তথ্য এবং শারীরিক তথ্য নিরাপত্তা

SLA এবং XNUMX/XNUMX সমর্থন
পরিষেবা গ্রহণের সর্বাধিক সহজতা

তুলনামূলকভাবে সহজ পরিষেবা

ডেটার দায়িত্ব ক্লায়েন্টের উপর

কোনো VM অগ্রাধিকার প্রয়োজন নেই

স্ট্যান্ডার্ড পরিষেবার স্তরে তথ্য সুরক্ষা, ক্লায়েন্টের দায়িত্ব

ত্রুটি থাকতে পারে

SLA নেই, গুণমানের নিশ্চয়তা নেই

ইমেল সমর্থন

ব্যাকআপের প্রয়োজন নেই

ক্লায়েন্ট বৈশিষ্ট্য
অ্যাপ্লিকেশন খুব বিস্তৃত পরিসীমা.

কোম্পানিতে উত্তরাধিকারসূত্রে প্রাপ্ত লিগ্যাসি অ্যাপ্লিকেশন।

প্রতিটি ক্লায়েন্টের জন্য জটিল কাস্টম আর্কিটেকচার।

অ্যাফিনিটি নিয়ম।

সফ্টওয়্যারটি 7x24 মোডে না থামিয়ে কাজ করে। 

অন-দ্য-ফ্লাই ব্যাকআপ টুল।

অনুমানযোগ্য চক্রাকার গ্রাহক লোড।
সাধারণ অ্যাপ্লিকেশন - নেটওয়ার্ক ব্যালেন্সিং, Apache, WEB, VPN, SQL

আবেদন কিছুক্ষণের জন্য বন্ধ হতে পারে

ক্লাউডে VM-এর নির্বিচারে বিতরণের অনুমতি দেয়

ক্লায়েন্ট ব্যাকআপ

প্রচুর সংখ্যক ক্লায়েন্টের সাথে অনুমানযোগ্য পরিসংখ্যানগত গড় লোড।

স্থাপত্যের জন্য প্রভাব
জিওক্লাস্টারিং

কেন্দ্রীভূত বা বিতরণ স্টোরেজ

সংরক্ষিত IBS
কম্পিউট নোডগুলিতে স্থানীয় ডেটা স্টোরেজ

ভারসাম্যপূর্ণ লক্ষ্য
এমনকি লোড বিতরণ

সর্বাধিক অ্যাপ্লিকেশন প্রতিক্রিয়াশীলতা 

ভারসাম্যের জন্য ন্যূনতম বিলম্বের সময়

ভারসাম্য শুধুমাত্র যখন স্পষ্টভাবে প্রয়োজন

প্রতিরোধমূলক রক্ষণাবেক্ষণের জন্য কিছু সরঞ্জাম আনা
পরিষেবা খরচ এবং অপারেটর খরচ হ্রাস 

কম লোডের ক্ষেত্রে কিছু সম্পদ অক্ষম করা

শক্তি সঞ্চয়

কর্মীদের খরচ কমানো

আমরা নিজেদের জন্য নিম্নলিখিত সিদ্ধান্তগুলি আঁকছি:

ব্যক্তিগত মেঘের জন্যবড় কর্পোরেট গ্রাহকদের দেওয়া, ডিআরএস নিম্নলিখিত বিধিনিষেধ সাপেক্ষে ব্যবহার করা যেতে পারে:

• তথ্য সুরক্ষা এবং ভারসাম্য বজায় রাখার সময় অ্যাফিনিটি নিয়মগুলি বিবেচনায় নেওয়া;
• দুর্ঘটনা ঘটলে রিজার্ভে পর্যাপ্ত সম্পদের প্রাপ্যতা;
• ভার্চুয়াল মেশিন ডেটা একটি কেন্দ্রীভূত বা বিতরণ স্টোরেজ সিস্টেমে অবস্থিত;
• বিস্ময়কর প্রশাসন, ব্যাকআপ এবং সময়ের সাথে ভারসাম্য প্রক্রিয়া;
• শুধুমাত্র ক্লায়েন্ট হোস্টের একটি সমষ্টির মধ্যে ভারসাম্য বজায় রাখা;
• ভারসাম্য বজায় রাখা যখন একটি শক্তিশালী ভারসাম্যহীনতা থাকে, সবচেয়ে কার্যকর এবং নিরাপদ VM মাইগ্রেশন (সবশেষে, মাইগ্রেশন ব্যর্থ হতে পারে);
• তুলনামূলকভাবে "শান্ত" ভার্চুয়াল মেশিনের ভারসাম্য বজায় রাখা ("কোলাহলপূর্ণ" ভার্চুয়াল মেশিনের স্থানান্তর খুব দীর্ঘ সময় নিতে পারে);
• ভারসাম্য বজায় রাখা "খরচ" - স্টোরেজ সিস্টেম এবং নেটওয়ার্কের লোড (বড় ক্লায়েন্টদের জন্য কাস্টমাইজড আর্কিটেকচার সহ);
• প্রতিটি ভিএম-এর স্বতন্ত্র আচরণের বৈশিষ্ট্য বিবেচনায় নিয়ে ভারসাম্য বজায় রাখা;
• ভারসাম্য বজায় রাখা বাঞ্ছনীয়ভাবে অ-কাজের সময় (রাত্রি, সপ্তাহান্তে, ছুটির দিন) করা হয়।

পাবলিক মেঘ জন্যছোট গ্রাহকদের সেবা প্রদান, DRS অনেক বেশি ব্যবহার করা যেতে পারে, উন্নত ক্ষমতা সহ:

• তথ্য নিরাপত্তা বিধিনিষেধ এবং সখ্যতা নিয়ম অনুপস্থিতি;
• মেঘের মধ্যে ভারসাম্য বজায় রাখা;
• যেকোনো যুক্তিসঙ্গত সময়ে ভারসাম্য বজায় রাখা;
• যে কোনো VM ব্যালেন্স করা;
• "কোলাহলপূর্ণ" ভার্চুয়াল মেশিনের ভারসাম্য বজায় রাখা (যাতে অন্যদের বিরক্ত না করা);
• ভার্চুয়াল মেশিন ডেটা প্রায়ই স্থানীয় ডিস্কে অবস্থিত;
• স্টোরেজ সিস্টেম এবং নেটওয়ার্কগুলির গড় কর্মক্ষমতা বিবেচনায় নিয়ে (ক্লাউড আর্কিটেকচার একীভূত);
• সাধারণ নিয়ম এবং উপলব্ধ ডেটা সেন্টার আচরণ পরিসংখ্যান অনুযায়ী ভারসাম্য।

সমস্যার জটিলতা

ভারসাম্য বজায় রাখার অসুবিধা হল যে ডিআরএস অবশ্যই প্রচুর পরিমাণে অনিশ্চিত কারণগুলির সাথে কাজ করবে:

• প্রতিটি ক্লায়েন্টের তথ্য সিস্টেমের ব্যবহারকারীদের আচরণ;
• তথ্য সিস্টেম সার্ভার পরিচালনার জন্য অ্যালগরিদম;
• DBMS সার্ভারের আচরণ;
• কম্পিউটিং সংস্থান, স্টোরেজ সিস্টেম, নেটওয়ার্কের উপর লোড;
• ক্লাউড সম্পদের জন্য সংগ্রামে একে অপরের সাথে সার্ভারের মিথস্ক্রিয়া।

ক্লাউড সংস্থানগুলিতে প্রচুর সংখ্যক ভার্চুয়াল অ্যাপ্লিকেশন সার্ভার এবং ডাটাবেসের লোড সময়ের সাথে সাথে ঘটে, এর পরিণতিগুলি নিজেকে প্রকাশ করতে পারে এবং একটি অপ্রত্যাশিত সময়ে একটি অপ্রত্যাশিত প্রভাবের সাথে একে অপরকে ওভারল্যাপ করতে পারে। এমনকি তুলনামূলকভাবে সহজ প্রক্রিয়াগুলি নিয়ন্ত্রণ করতে (উদাহরণস্বরূপ, একটি ইঞ্জিন নিয়ন্ত্রণ করতে, বাড়িতে একটি জল গরম করার ব্যবস্থা), স্বয়ংক্রিয় নিয়ন্ত্রণ ব্যবস্থা জটিল ব্যবহার করতে হবে সমানুপাতিক-অখণ্ড-পার্থক্য প্রতিক্রিয়া সহ অ্যালগরিদম।

আমাদের কাজটি আরও জটিল আকারের অনেকগুলি অর্ডার, এবং একটি ঝুঁকি রয়েছে যে সিস্টেমটি যুক্তিসঙ্গত সময়ে প্রতিষ্ঠিত মানগুলির সাথে ভারসাম্য বজায় রাখতে সক্ষম হবে না, এমনকি ব্যবহারকারীদের কাছ থেকে কোনও বাহ্যিক প্রভাব না থাকলেও।

আমাদের উন্নয়নের ইতিহাস

এই সমস্যাটি সমাধান করার জন্য, আমরা স্ক্র্যাচ থেকে শুরু না করার সিদ্ধান্ত নিয়েছি, তবে বিদ্যমান অভিজ্ঞতার উপর ভিত্তি করে তৈরি করেছি এবং এই ক্ষেত্রের অভিজ্ঞতা সহ বিশেষজ্ঞদের সাথে যোগাযোগ করতে শুরু করেছি। সৌভাগ্যবশত, সমস্যাটি সম্পর্কে আমাদের উপলব্ধি সম্পূর্ণভাবে মিলে গেছে।

পর্যায় 1

আমরা নিউরাল নেটওয়ার্ক প্রযুক্তির উপর ভিত্তি করে একটি সিস্টেম ব্যবহার করেছি এবং এর উপর ভিত্তি করে আমাদের সংস্থানগুলি অপ্টিমাইজ করার চেষ্টা করেছি।

এই পর্যায়ের আগ্রহ ছিল একটি নতুন প্রযুক্তি পরীক্ষা করা, এবং এর গুরুত্ব ছিল একটি সমস্যা সমাধানের জন্য একটি অ-মানক পদ্ধতি প্রয়োগ করা যেখানে, অন্যান্য জিনিসগুলি সমান, মানক পদ্ধতিগুলি কার্যত নিজেদেরকে ক্লান্ত করে ফেলেছিল।

আমরা সিস্টেম চালু করেছি, এবং আমরা সত্যিই ভারসাম্য শুরু করেছি। আমাদের ক্লাউডের স্কেল আমাদের ডেভেলপারদের দ্বারা বর্ণিত আশাবাদী ফলাফল পেতে দেয়নি, তবে এটি স্পষ্ট যে ভারসাম্য কাজ করছে।

একই সময়ে, আমাদের বেশ গুরুতর সীমাবদ্ধতা ছিল:

• একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য, ভার্চুয়াল মেশিনগুলিকে সপ্তাহ বা মাস ধরে উল্লেখযোগ্য পরিবর্তন ছাড়াই চলতে হবে।
• অ্যালগরিদমটি পূর্ববর্তী "ঐতিহাসিক" ডেটার বিশ্লেষণের উপর ভিত্তি করে অপ্টিমাইজেশনের জন্য ডিজাইন করা হয়েছে।
• একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য যথেষ্ট পরিমাণে ডেটা এবং কম্পিউটিং সংস্থান প্রয়োজন।
• অপ্টিমাইজেশন এবং ভারসাম্য তুলনামূলকভাবে খুব কমই করা যেতে পারে - প্রতি কয়েক ঘণ্টায় একবার, যা স্পষ্টতই যথেষ্ট নয়।

পর্যায় 2

যেহেতু আমরা পরিস্থিতির সাথে সন্তুষ্ট ছিলাম না, আমরা সিস্টেমটি সংশোধন করার সিদ্ধান্ত নিয়েছি এবং এটি করার জন্য, উত্তর প্রধান প্রশ্ন - আমরা এটা কার জন্য তৈরি করছি?

প্রথম - কর্পোরেট ক্লায়েন্টদের জন্য। এর মানে হল যে আমাদের এমন একটি সিস্টেম দরকার যা দ্রুত কাজ করে, সেই কর্পোরেট বিধিনিষেধের সাথে যা শুধুমাত্র বাস্তবায়নকে সহজ করে।

দ্বিতীয় প্রশ্ন - আপনি "দ্রুত" শব্দ দ্বারা কি বোঝাতে চান? একটি সংক্ষিপ্ত বিতর্কের ফলস্বরূপ, আমরা সিদ্ধান্ত নিয়েছি যে আমরা 5-10 মিনিটের প্রতিক্রিয়া সময় দিয়ে শুরু করতে পারি, যাতে স্বল্প-মেয়াদী বৃদ্ধি সিস্টেমটিকে অনুরণনে প্রবর্তন না করে।

তৃতীয় প্রশ্ন - সার্ভারের ভারসাম্যপূর্ণ সংখ্যার কোন আকার নির্বাচন করতে হবে?
এই সমস্যা নিজেই সমাধান. সাধারণত, ক্লায়েন্টরা সার্ভারের সমষ্টিকে খুব বড় করে তোলে না এবং এটি 30-40 সার্ভারে একত্রিতকরণ সীমাবদ্ধ করার জন্য নিবন্ধের সুপারিশগুলির সাথে সামঞ্জস্যপূর্ণ।

উপরন্তু, সার্ভার পুল ভাগ করে, আমরা ব্যালেন্সিং অ্যালগরিদমের কাজটি সহজ করি।

চতুর্থ প্রশ্ন - দীর্ঘ শেখার প্রক্রিয়া এবং বিরল ভারসাম্য সহ একটি নিউরাল নেটওয়ার্ক আমাদের জন্য কতটা উপযুক্ত? আমরা সেকেন্ডের মধ্যে ফলাফল পেতে সহজ অপারেশনাল অ্যালগরিদমের পক্ষে এটি পরিত্যাগ করার সিদ্ধান্ত নিয়েছি।

এই ধরনের অ্যালগরিদম ব্যবহার করে এমন একটি সিস্টেমের বর্ণনা এবং এর অসুবিধাগুলি পাওয়া যাবে এখানে

আমরা এই সিস্টেমটি বাস্তবায়ন করেছি এবং চালু করেছি এবং উত্সাহজনক ফলাফল পেয়েছি - এখন এটি নিয়মিতভাবে ক্লাউড লোড বিশ্লেষণ করে এবং ভার্চুয়াল মেশিনগুলি সরানোর জন্য সুপারিশ করে, যা অনেকাংশে সঠিক। এমনকি এখন এটি স্পষ্ট যে আমরা বিদ্যমানগুলির কাজের মান উন্নত করার সাথে সাথে নতুন ভার্চুয়াল মেশিনগুলির জন্য 10-15% সংস্থান প্রকাশ করতে পারি।

যখন RAM বা CPU-তে একটি ভারসাম্যহীনতা সনাক্ত করা হয়, তখন সিস্টেম প্রয়োজনীয় ভার্চুয়াল মেশিনের লাইভ মাইগ্রেশন সঞ্চালনের জন্য Tionix শিডিউলারকে আদেশ জারি করে। মনিটরিং সিস্টেম থেকে দেখা যায়, ভার্চুয়াল মেশিনটি একটি (উপরের) থেকে অন্য (নিম্ন) হোস্টে চলে গেছে এবং উপরের হোস্টে (হলুদ চেনাশোনাগুলিতে হাইলাইট করা) মেমরি মুক্ত করেছে, যথাক্রমে নীচের দিকে (সাদা রঙে হাইলাইট করা হয়েছে) দখল করেছে। চেনাশোনা)।

এখন আমরা বর্তমান অ্যালগরিদমের কার্যকারিতা আরও সঠিকভাবে মূল্যায়ন করার চেষ্টা করছি এবং এতে সম্ভাব্য ত্রুটিগুলি খুঁজে বের করার চেষ্টা করছি।

পর্যায় 3

দেখে মনে হবে যে কেউ এতে শান্ত হতে পারে, প্রমাণিত কার্যকারিতার জন্য অপেক্ষা করতে পারে এবং বিষয়টি বন্ধ করতে পারে।
কিন্তু আমরা নিম্নলিখিত সুস্পষ্ট অপ্টিমাইজেশান সুযোগ দ্বারা একটি নতুন পর্যায় চালাতে চাপ দেওয়া হয়

1. পরিসংখ্যান, উদাহরণস্বরূপ, এখানে и এখানে দেখায় যে দুই- এবং চার-প্রসেসর সিস্টেমগুলি একক-প্রসেসর সিস্টেমের তুলনায় উল্লেখযোগ্যভাবে কম। এর মানে হল যে সমস্ত ব্যবহারকারী একক-প্রসেসরের তুলনায় মাল্টিপ্রসেসর সিস্টেমে কেনা CPU, RAM, SSD, LAN, FC থেকে উল্লেখযোগ্যভাবে কম আউটপুট পান।
2. রিসোর্স শিডিউলারের নিজের গুরুতর ত্রুটি থাকতে পারে, এখানে নিবন্ধ এক এই বিষয়ে।
3. র‌্যাম এবং ক্যাশে নিরীক্ষণের জন্য ইন্টেল এবং এএমডি দ্বারা প্রদত্ত প্রযুক্তিগুলি ভার্চুয়াল মেশিনগুলির আচরণ অধ্যয়ন করা এবং সেগুলিকে এমনভাবে স্থাপন করা সম্ভব করে যাতে "কোলাহলপূর্ণ" প্রতিবেশীরা "শান্ত" ভার্চুয়াল মেশিনগুলিতে হস্তক্ষেপ না করে।
4. প্যারামিটারের সেটের প্রসারণ (নেটওয়ার্ক, স্টোরেজ সিস্টেম, ভার্চুয়াল মেশিনের অগ্রাধিকার, মাইগ্রেশনের খরচ, মাইগ্রেশনের জন্য এর প্রস্তুতি)।

মোটে

ভারসাম্যমূলক অ্যালগরিদমগুলিকে উন্নত করার জন্য আমাদের কাজের ফলাফলটি ছিল পরিষ্কার উপসংহার যে আধুনিক অ্যালগরিদম ব্যবহার করে ডেটা সেন্টার সংস্থানগুলির উল্লেখযোগ্য অপ্টিমাইজেশন (25-30%) অর্জন করা সম্ভব এবং একই সাথে গ্রাহক পরিষেবার মান উন্নত করা সম্ভব।

নিউরাল নেটওয়ার্কের উপর ভিত্তি করে একটি অ্যালগরিদম অবশ্যই একটি আকর্ষণীয় সমাধান, তবে এটির আরও বিকাশের প্রয়োজন এবং বিদ্যমান সীমাবদ্ধতার কারণে, এটি ব্যক্তিগত ক্লাউডগুলির জন্য সাধারণ ভলিউমগুলিতে এই ধরণের সমস্যা সমাধানের জন্য উপযুক্ত নয়। একই সময়ে, অ্যালগরিদম উল্লেখযোগ্য আকারের পাবলিক ক্লাউডগুলিতে ভাল ফলাফল দেখিয়েছে।

আমরা আপনাকে নিম্নলিখিত নিবন্ধগুলিতে প্রসেসর, শিডিউলার এবং উচ্চ-স্তরের ভারসাম্যের ক্ষমতা সম্পর্কে আরও বলব।

উত্স: www.habr.com