কিভাবে AWS তার ইলাস্টিক পরিষেবা রান্না করে। স্কেলিং সার্ভার এবং ডাটাবেস

মেঘ একটি জাদুর বাক্সের মত - আপনি আপনার কি প্রয়োজন জিজ্ঞাসা করুন, এবং সম্পদ শুধু কোথাও দেখা যাচ্ছে না. ভার্চুয়াল মেশিন, ডাটাবেস, নেটওয়ার্ক - এই সব শুধুমাত্র আপনার অন্তর্গত। অন্যান্য ক্লাউড ভাড়াটে আছে, কিন্তু আপনার মহাবিশ্বে আপনিই একমাত্র শাসক। আপনি নিশ্চিত যে আপনি সর্বদা প্রয়োজনীয় সংস্থানগুলি পাবেন, আপনি কাউকে বিবেচনা করবেন না এবং আপনি স্বাধীনভাবে নির্ধারণ করবেন যে নেটওয়ার্কটি কেমন হবে। কীভাবে এই জাদু কাজ করে যা মেঘকে স্থিতিস্থাপকভাবে সম্পদ বরাদ্দ করে এবং ভাড়াটেদের একে অপরের থেকে সম্পূর্ণ বিচ্ছিন্ন করে?

AWS ক্লাউড হল একটি মেগা-সুপার কমপ্লেক্স সিস্টেম যা 2006 সাল থেকে বিবর্তনীয়ভাবে বিকশিত হচ্ছে। এই উন্নয়নের একটি অংশ ঘটেছে ভ্যাসিলি প্যান্টিউখিন - আমাজন ওয়েব সার্ভিসেস আর্কিটেক্ট। একজন স্থপতি হিসাবে, তিনি কেবলমাত্র শেষ ফলাফলেই নয়, AWS যে চ্যালেঞ্জগুলি কাটিয়ে উঠতে পারে তার ভিতরের চেহারাও পান। সিস্টেমটি কীভাবে কাজ করে তার বোঝা যত বেশি, আস্থা তত বেশি। অতএব, ভ্যাসিলি AWS ক্লাউড পরিষেবাগুলির গোপনীয়তা ভাগ করবে। নীচে ভৌত AWS সার্ভারের ডিজাইন, ইলাস্টিক ডাটাবেস স্কেলেবিলিটি, একটি কাস্টম অ্যামাজন ডাটাবেস এবং ভার্চুয়াল মেশিনগুলির কার্যক্ষমতা বৃদ্ধির জন্য একই সাথে তাদের দাম কমানোর পদ্ধতি রয়েছে৷ Amazon এর স্থাপত্য পদ্ধতির জ্ঞান আপনাকে AWS পরিষেবাগুলিকে আরও কার্যকরভাবে ব্যবহার করতে সাহায্য করবে এবং আপনার নিজস্ব সমাধানগুলি তৈরি করার জন্য আপনাকে নতুন ধারণা দিতে পারে৷

স্পিকার সম্পর্কে: ভ্যাসিলি প্যান্টিউখিন (মুরগি) .ru কোম্পানিতে ইউনিক্স প্রশাসক হিসেবে শুরু করেছেন, 6 বছর ধরে বড় সান মাইক্রোসিস্টেম হার্ডওয়্যারে কাজ করেছেন এবং 11 বছর ধরে EMC-তে একটি ডেটা-কেন্দ্রিক বিশ্ব প্রচার করেছেন। এটি স্বাভাবিকভাবেই প্রাইভেট ক্লাউডে বিকশিত হয়েছে এবং 2017 সালে পাবলিক ক্লাউডে চলে গেছে। এখন তিনি AWS ক্লাউডে বাঁচতে এবং বিকাশে সহায়তা করার জন্য প্রযুক্তিগত পরামর্শ প্রদান করেন।

দাবিত্যাগ: নীচের সমস্ত কিছু ভ্যাসিলির ব্যক্তিগত মতামত এবং অ্যামাজন ওয়েব পরিষেবাগুলির অবস্থানের সাথে মিলিত নাও হতে পারে। ভিডিও রেকর্ডিং প্রতিবেদনটি যার উপর ভিত্তি করে নিবন্ধটি আমাদের ইউটিউব চ্যানেলে উপলব্ধ।

কেন আমি অ্যামাজন ডিভাইসের কথা বলছি?

আমার প্রথম গাড়ী একটি ম্যানুয়াল ট্রান্সমিশন ছিল. আমি গাড়ি চালাতে পারি এবং এটির উপর সম্পূর্ণ নিয়ন্ত্রণ রাখতে পারি এই অনুভূতির কারণে এটি দুর্দান্ত ছিল। আমি এটাও পছন্দ করেছি যে আমি অন্তত মোটামুটিভাবে এর অপারেশনের নীতিটি বুঝতে পেরেছি। স্বাভাবিকভাবেই, আমি বাক্সের কাঠামোটিকে বেশ আদিম কল্পনা করেছি - একটি সাইকেলের গিয়ারবক্সের মতো কিছু।

সবকিছুই দুর্দান্ত ছিল, একটি জিনিস বাদে - ট্র্যাফিক জ্যামে আটকে। মনে হচ্ছে আপনি বসে আছেন এবং কিছুই করছেন না, কিন্তু আপনি ক্রমাগত গিয়ার পরিবর্তন করছেন, ক্লাচ, গ্যাস, ব্রেক টিপছেন - এটি আপনাকে সত্যিই ক্লান্ত করে তোলে। পরিবার স্বয়ংক্রিয় গাড়ি পেলে যানজটের সমস্যার আংশিক সমাধান হয়েছে। ড্রাইভিং করার সময়, আমার কিছু চিন্তা করার এবং একটি অডিওবুক শোনার সময় ছিল।

আমার জীবনে আরেকটি রহস্য উপস্থিত হয়েছিল, কারণ আমি আমার গাড়ি কীভাবে কাজ করে তা সম্পূর্ণরূপে বোঝা বন্ধ করে দিয়েছিলাম। একটি আধুনিক গাড়ি একটি জটিল ডিভাইস। গাড়িটি একই সাথে কয়েক ডজন বিভিন্ন পরামিতির সাথে খাপ খায়: গ্যাস টিপে, ব্রেক, ড্রাইভিং স্টাইল, রাস্তার গুণমান। আমি এটা আর কিভাবে কাজ করে বুঝতে পারছি না.

আমি যখন অ্যামাজন ক্লাউডে কাজ শুরু করি, তখন এটাও আমার কাছে রহস্য ছিল। কেবলমাত্র এই রহস্যটিই বৃহত্তর মাত্রার একটি আদেশ, কারণ গাড়িতে একজন চালক আছে এবং AWS-এ তাদের সংখ্যা লক্ষাধিক। সমস্ত ব্যবহারকারী একই সাথে স্টিয়ারিং, গ্যাস এবং ব্রেক টিপুন। এটা আশ্চর্যজনক যে তারা যেখানে চায় সেখানে যায় - এটি আমার কাছে একটি অলৌকিক ঘটনা! সিস্টেমটি স্বয়ংক্রিয়ভাবে প্রতিটি ব্যবহারকারীর সাথে খাপ খায়, স্কেল এবং স্থিতিস্থাপকভাবে সামঞ্জস্য করে যাতে তার কাছে মনে হয় যে তিনি এই মহাবিশ্বে একা।

আমি পরে অ্যামাজনে একজন স্থপতি হিসাবে কাজ করতে এসে জাদুটি কিছুটা বন্ধ হয়ে যায়। আমি দেখেছি আমরা কী সমস্যার মুখোমুখি হই, কীভাবে আমরা সেগুলি সমাধান করি এবং কীভাবে আমরা পরিষেবাগুলি বিকাশ করি। সিস্টেম কীভাবে কাজ করে তার ক্রমবর্ধমান বোঝার সাথে, পরিষেবাতে আরও আস্থা দেখা যায়। তাই আমি AWS ক্লাউডের হুডের নিচে কি আছে তার একটি ছবি শেয়ার করতে চাই।

আমরা কি বিষয়ে কথা বলতে হবে

আমি একটি বৈচিত্র্যময় পদ্ধতি বেছে নিয়েছি - আমি 4টি আকর্ষণীয় পরিষেবা নির্বাচন করেছি যেগুলি সম্পর্কে কথা বলার মতো।

সার্ভার অপ্টিমাইজেশান. ক্ষণস্থায়ী ক্লাউড একটি ভৌত ​​মূর্তি সহ: ফিজিক্যাল ডেটা সেন্টার যেখানে ফিজিক্যাল সার্ভার আছে যেগুলো গুঞ্জন করে, তাপ দেয় এবং আলোর সাথে মিটমিট করে।

সার্ভারহীন ফাংশন (Lambda) সম্ভবত ক্লাউডের সবচেয়ে মাপযোগ্য পরিষেবা।

ডাটাবেস স্কেলিং. আমরা কীভাবে আমাদের নিজস্ব মাপযোগ্য ডেটাবেস তৈরি করি সে সম্পর্কে আমি আপনাকে বলব।

নেটওয়ার্ক স্কেলিং. শেষ অংশে আমি আমাদের নেটওয়ার্কের ডিভাইসটি খুলব। এটি একটি বিস্ময়কর জিনিস - প্রতিটি ক্লাউড ব্যবহারকারী বিশ্বাস করে যে তিনি ক্লাউডে একা আছেন এবং অন্য ভাড়াটেদের দেখতে পান না।

বিঃদ্রঃ. এই নিবন্ধটি সার্ভার অপ্টিমাইজেশান এবং ডাটাবেস স্কেলিং নিয়ে আলোচনা করবে। আমরা পরবর্তী নিবন্ধে নেটওয়ার্ক স্কেলিং বিবেচনা করব। সার্ভারহীন ফাংশন কোথায়? তাদের সম্পর্কে একটি পৃথক প্রতিলিপি প্রকাশিত হয়েছিল "ছোট, কিন্তু স্মার্ট। আনবক্সিং ফায়ারক্র্যাকার মাইক্রোভার্চুয়াল" এটি বিভিন্ন স্কেলিং পদ্ধতি সম্পর্কে কথা বলে, এবং ফায়ারক্র্যাকার সমাধান সম্পর্কে বিস্তারিত আলোচনা করে - একটি ভার্চুয়াল মেশিন এবং পাত্রের সেরা গুণাবলীর একটি সিম্বিওসিস।

সার্ভারস

মেঘ ক্ষণস্থায়ী। কিন্তু এই ক্ষণস্থায়ীতার এখনও একটি শারীরিক মূর্ত রূপ রয়েছে - সার্ভার। প্রাথমিকভাবে, তাদের স্থাপত্য ছিল ক্লাসিক্যাল। স্ট্যান্ডার্ড x86 চিপসেট, নেটওয়ার্ক কার্ড, লিনাক্স, জেন হাইপারভাইজার যার উপর ভার্চুয়াল মেশিন চালানো হত।

2012 সালে, এই স্থাপত্যটি তার কাজগুলিকে বেশ ভালভাবে মোকাবেলা করেছিল। Xen একটি দুর্দান্ত হাইপারভাইজার, তবে এটির একটি প্রধান ত্রুটি রয়েছে। সে যথেষ্ট আছে ডিভাইস এমুলেশন জন্য উচ্চ ওভারহেড. নতুন, দ্রুত নেটওয়ার্ক কার্ড বা SSD ড্রাইভ উপলব্ধ হওয়ার সাথে সাথে এই ওভারহেডটি খুব বেশি হয়ে যায়। কিভাবে এই সমস্যা মোকাবেলা করতে? আমরা একসাথে দুটি ফ্রন্টে কাজ করার সিদ্ধান্ত নিয়েছি - হার্ডওয়্যার এবং হাইপারভাইজার উভয়ই অপ্টিমাইজ করুন. কাজটি খুবই গুরুতর।

হার্ডওয়্যার এবং হাইপারভাইজার অপ্টিমাইজ করা

একবারে সবকিছু করা এবং ভালভাবে করা কাজ করবে না। "ভাল" কি ছিল তাও প্রাথমিকভাবে অস্পষ্ট ছিল।

আমরা একটি বিবর্তনীয় পদ্ধতি গ্রহণ করার সিদ্ধান্ত নিয়েছি - আমরা স্থাপত্যের একটি গুরুত্বপূর্ণ উপাদান পরিবর্তন করে এটিকে উৎপাদনে নিক্ষেপ করি।

আমরা প্রতিটি রেকে পা রাখি, অভিযোগ ও পরামর্শ শুনি। তারপর আমরা অন্য উপাদান পরিবর্তন. সুতরাং, ছোট বৃদ্ধিতে, আমরা ব্যবহারকারীদের প্রতিক্রিয়া এবং সমর্থনের ভিত্তিতে সম্পূর্ণ আর্কিটেকচারকে আমূল পরিবর্তন করি।

রূপান্তরটি 2013 সালে সবচেয়ে জটিল জিনিস দিয়ে শুরু হয়েছিল - নেটওয়ার্ক। ভিতরে S3 উদাহরণ, স্ট্যান্ডার্ড নেটওয়ার্ক কার্ডে একটি বিশেষ নেটওয়ার্ক অ্যাক্সিলারেটর কার্ড যোগ করা হয়েছে। এটি সামনের প্যানেলে একটি ছোট লুপব্যাক তারের সাথে আক্ষরিকভাবে সংযুক্ত ছিল। এটি সুন্দর নয়, তবে এটি মেঘে দৃশ্যমান নয়। কিন্তু হার্ডওয়্যারের সাথে সরাসরি মিথস্ক্রিয়া মৌলিকভাবে উন্নত জিটার এবং নেটওয়ার্ক থ্রুপুট।

পরবর্তীতে আমরা ব্লক ডেটা স্টোরেজ EBS - ইলাস্টিক ব্লক স্টোরেজ অ্যাক্সেস উন্নত করার সিদ্ধান্ত নিয়েছি। এটি নেটওয়ার্ক এবং স্টোরেজের সংমিশ্রণ। মুশকিল হল যখন নেটওয়ার্ক অ্যাক্সিলারেটর কার্ড বাজারে বিদ্যমান ছিল, তখন কেবল স্টোরেজ এক্সিলারেটর হার্ডওয়্যার কেনার কোনো বিকল্প ছিল না। তাই আমরা একটি স্টার্টআপ চালু অন্নপূর্ণা ল্যাবস, যারা আমাদের জন্য বিশেষ ASIC চিপ তৈরি করেছে। তারা দূরবর্তী ইবিএস ভলিউমগুলিকে NVMe ডিভাইস হিসাবে মাউন্ট করার অনুমতি দিয়েছে।

দৃষ্টান্তে C4 আমরা দুটি সমস্যা সমাধান করেছি। প্রথমটি হল আমরা প্রতিশ্রুতিশীল ভবিষ্যতের জন্য একটি ভিত্তি প্রয়োগ করেছি, কিন্তু সেই সময়ে নতুন, NVMe প্রযুক্তি। দ্বিতীয়ত, আমরা একটি নতুন কার্ডে অনুরোধের প্রক্রিয়াকরণ EBS-এ স্থানান্তর করে কেন্দ্রীয় প্রসেসরটিকে উল্লেখযোগ্যভাবে আনলোড করেছি। এটি ভাল পরিণত হয়েছে, তাই এখন অন্নপূর্ণা ল্যাবস অ্যামাজনের অংশ।

নভেম্বর 2017 এর মধ্যে, আমরা বুঝতে পেরেছিলাম যে হাইপারভাইজারটি নিজেই পরিবর্তন করার সময় এসেছে।

পরিবর্তিত KVM কার্নেল মডিউলের উপর ভিত্তি করে নতুন হাইপারভাইজার তৈরি করা হয়েছে।

এটি মৌলিকভাবে ডিভাইস এমুলেশনের ওভারহেড হ্রাস করা এবং নতুন ASIC-এর সাথে সরাসরি কাজ করা সম্ভব করেছে। দৃষ্টান্ত S5 হুডের নিচে চলমান একটি নতুন হাইপারভাইজার সহ প্রথম ভার্চুয়াল মেশিন। আমরা তার নাম রেখেছি নিত্র.

টাইমলাইনে দৃষ্টান্তের বিবর্তন।

নভেম্বর 2017 থেকে উপস্থিত হওয়া সমস্ত নতুন ধরণের ভার্চুয়াল মেশিন এই হাইপারভাইজারে চলে। বেয়ার মেটালের উদাহরণে হাইপারভাইজার নেই, কিন্তু তাদের নাইট্রোও বলা হয়, কারণ তারা বিশেষ নাইট্রো কার্ড ব্যবহার করে।

পরবর্তী দুই বছরে, নাইট্রো দৃষ্টান্তের সংখ্যা কয়েক ডজন ছাড়িয়ে গেছে: A1, C5, M5, T3 এবং অন্যান্য।

উদাহরণ প্রকার।

আধুনিক নাইট্রো মেশিন কিভাবে কাজ করে

তাদের তিনটি প্রধান উপাদান রয়েছে: নাইট্রো হাইপারভাইজার (উপরে আলোচনা করা হয়েছে), নিরাপত্তা চিপ এবং নাইট্রো কার্ড।

নিরাপত্তা চিপ সরাসরি মাদারবোর্ডে একত্রিত। এটি অনেক গুরুত্বপূর্ণ ফাংশন নিয়ন্ত্রণ করে, যেমন হোস্ট ওএসের লোডিং নিয়ন্ত্রণ করা।

নাইট্রো কার্ড - তাদের চার প্রকার। এগুলি সবই অন্নপূর্ণা ল্যাব দ্বারা তৈরি এবং সাধারণ ASIC-এর উপর ভিত্তি করে তৈরি৷ তাদের কিছু ফার্মওয়্যারও সাধারণ।

চার ধরনের নাইট্রো কার্ড।

কার্ডগুলির একটির সাথে কাজ করার জন্য ডিজাইন করা হয়েছে অন্তর্জালVPC. এটি একটি নেটওয়ার্ক কার্ড হিসাবে ভার্চুয়াল মেশিনে দৃশ্যমান হয় ENA - ইলাস্টিক নেটওয়ার্ক অ্যাডাপ্টার. এটি একটি ফিজিক্যাল নেটওয়ার্কের মাধ্যমে ট্রান্সমিট করার সময় ট্র্যাফিককে এনক্যাপসুলেট করে (আমরা নিবন্ধের দ্বিতীয় অংশে এটি সম্পর্কে কথা বলব), সিকিউরিটি গ্রুপ ফায়ারওয়াল নিয়ন্ত্রণ করে এবং রাউটিং এবং অন্যান্য নেটওয়ার্ক জিনিসগুলির জন্য দায়ী।

সিলেক্ট কার্ড ব্লক স্টোরেজ সহ কাজ করে EBS এবং সার্ভারে তৈরি করা ডিস্ক। তারা গেস্ট ভার্চুয়াল মেশিন হিসাবে উপস্থিত হয় NVMe অ্যাডাপ্টার. তারা ডেটা এনক্রিপশন এবং ডিস্ক পর্যবেক্ষণের জন্যও দায়ী।

নাইট্রো কার্ড, হাইপারভাইজার এবং সিকিউরিটি চিপের সিস্টেমটি একটি SDN নেটওয়ার্কে একত্রিত হয় বা সফ্টওয়্যার সংজ্ঞায়িত নেটওয়ার্ক. এই নেটওয়ার্ক পরিচালনার জন্য দায়ী (কন্ট্রোল প্লেন) নিয়ামক কার্ড.

অবশ্যই, আমরা নতুন এএসআইসি বিকাশ চালিয়ে যাচ্ছি। উদাহরণস্বরূপ, 2018 সালের শেষে তারা Inferentia চিপ প্রকাশ করেছে, যা আপনাকে মেশিন লার্নিং কাজগুলির সাথে আরও দক্ষতার সাথে কাজ করতে দেয়।

ইনফরেন্টিয়া মেশিন লার্নিং প্রসেসর চিপ।

মাপযোগ্য ডাটাবেস

একটি ঐতিহ্যগত ডাটাবেসের একটি স্তরযুক্ত কাঠামো রয়েছে। ব্যাপকভাবে সহজ করার জন্য, নিম্নলিখিত স্তরগুলি আলাদা করা হয়।

• এসকিউএল - ক্লায়েন্ট এবং অনুরোধ প্রেরণকারীরা এটিতে কাজ করে।
• বিধান লেনদেন - এখানে সবকিছু পরিষ্কার, এসিআইডি এবং সবকিছু।
• ক্যাশিং, যা বাফার পুল দ্বারা উপলব্ধ করা হয়.
• লগিং — রিডো লগ সহ কাজ প্রদান করে। মাইএসকিউএল-এ এগুলিকে বিন লগ বলা হয়, পোসগ্রেএসকিউএল-এ - এহেড লগস (ওয়াল) লিখুন।
• স্টোরেজ - ডিস্কে সরাসরি রেকর্ডিং।

স্তরযুক্ত ডাটাবেস গঠন.

ডাটাবেস স্কেল করার বিভিন্ন উপায় আছে: শার্ডিং, শেয়ার্ড নাথিং আর্কিটেকচার, শেয়ার্ড ডিস্ক।

যাইহোক, এই সমস্ত পদ্ধতি একই মনোলিথিক ডাটাবেস গঠন বজায় রাখে। এটি উল্লেখযোগ্যভাবে স্কেলিং সীমাবদ্ধ করে। এই সমস্যা সমাধানের জন্য, আমরা আমাদের নিজস্ব ডাটাবেস তৈরি করেছি - অ্যামাজন অরোরা. এটি MySQL এবং PostgreSQL এর সাথে সামঞ্জস্যপূর্ণ।

অ্যামাজন অরোরা

মূল স্থাপত্য ধারণা হল মূল ডাটাবেস থেকে স্টোরেজ এবং লগিং স্তরগুলিকে আলাদা করা।

সামনের দিকে তাকিয়ে, আমি বলব যে আমরা ক্যাশিং স্তরটিকেও স্বাধীন করেছি। স্থাপত্য একটি মনোলিথ হতে বন্ধ হয়ে যায়, এবং আমরা পৃথক ব্লক স্কেল করার ক্ষেত্রে অতিরিক্ত ডিগ্রী স্বাধীনতা লাভ করি।

লগিং এবং স্টোরেজ লেভেল ডাটাবেস থেকে আলাদা।

একটি ঐতিহ্যগত DBMS ব্লক আকারে একটি স্টোরেজ সিস্টেমে ডেটা লেখে। Amazon Aurora-এ, আমরা স্মার্ট স্টোরেজ তৈরি করেছি যা ভাষা বলতে পারে পুনরায় লগ. ভিতরে, স্টোরেজ লগগুলিকে ডেটা ব্লকে পরিণত করে, তাদের অখণ্ডতা নিরীক্ষণ করে এবং স্বয়ংক্রিয়ভাবে ব্যাক আপ করে।

এই পদ্ধতির আপনি যেমন আকর্ষণীয় জিনিস বাস্তবায়ন করতে পারবেন ক্লোনিং. এটি মৌলিকভাবে দ্রুত এবং আরও অর্থনৈতিকভাবে কাজ করে কারণ এটি সমস্ত ডেটার সম্পূর্ণ অনুলিপি তৈরি করার প্রয়োজন নেই।

স্টোরেজ স্তরটি একটি বিতরণ সিস্টেম হিসাবে প্রয়োগ করা হয়। এটি একটি খুব বড় সংখ্যক শারীরিক সার্ভার নিয়ে গঠিত। প্রতিটি রিডো লগ একই সাথে প্রক্রিয়া করা এবং সংরক্ষণ করা হয় ছয় নট. এটি ডেটা সুরক্ষা এবং লোড ভারসাম্য নিশ্চিত করে।

উপযুক্ত প্রতিলিপি ব্যবহার করে রিড স্কেলিং অর্জন করা যেতে পারে। ডিস্ট্রিবিউটেড স্টোরেজ মূল ডাটাবেস ইনস্ট্যান্সের মধ্যে সিঙ্ক্রোনাইজেশনের প্রয়োজনীয়তা দূর করে, যার মাধ্যমে আমরা ডেটা লিখি এবং অবশিষ্ট প্রতিলিপি। আপ-টু-ডেট ডেটা সমস্ত প্রতিলিপিগুলিতে উপলব্ধ হওয়ার নিশ্চয়তা রয়েছে।

একমাত্র সমস্যা হল পঠিত প্রতিলিপিগুলিতে পুরানো ডেটা ক্যাশে করা। কিন্তু এই সমস্যার সমাধান হচ্ছে সমস্ত পুনরায় লগ স্থানান্তর অভ্যন্তরীণ নেটওয়ার্কে প্রতিলিপি করতে। লগটি ক্যাশে থাকলে, এটি ভুল এবং ওভাররাইট হিসাবে চিহ্নিত করা হয়। এটি ক্যাশে না থাকলে, এটি কেবল বাতিল করা হয়।

আমরা সঞ্চয়স্থান সাজান.

ডিবিএমএস স্তরগুলি কীভাবে স্কেল করবেন

এখানে, অনুভূমিক স্কেলিং অনেক বেশি কঠিন। তাই মারধরের পথে নেমে যাই ক্লাসিক উল্লম্ব স্কেলিং.

ধরা যাক যে আমাদের কাছে একটি অ্যাপ্লিকেশন রয়েছে যা একটি মাস্টার নোডের মাধ্যমে DBMS-এর সাথে যোগাযোগ করে।

উল্লম্বভাবে স্কেলিং করার সময়, আমরা একটি নতুন নোড বরাদ্দ করি যাতে আরও প্রসেসর এবং মেমরি থাকবে।

এর পরে, আমরা পুরানো মাস্টার নোড থেকে নতুনটিতে অ্যাপ্লিকেশনটি স্যুইচ করি। সমস্যা দেখা দেয়।

• এটি উল্লেখযোগ্য অ্যাপ্লিকেশন ডাউনটাইম প্রয়োজন হবে.
• নতুন মাস্টার নোডে কোল্ড ক্যাশে থাকবে। ক্যাশে ওয়ার্ম আপ হওয়ার পরেই ডাটাবেসের কর্মক্ষমতা সর্বাধিক হবে।

কিভাবে অবস্থার উন্নতি? অ্যাপ্লিকেশন এবং মাস্টার নোডের মধ্যে একটি প্রক্সি সেট আপ করুন৷

এটা আমাদের কি দেবে? এখন সমস্ত অ্যাপ্লিকেশনকে ম্যানুয়ালি নতুন নোডে রিডাইরেক্ট করার দরকার নেই। সুইচটি একটি প্রক্সির অধীনে করা যেতে পারে এবং এটি মৌলিকভাবে দ্রুত।

মনে হচ্ছে সমস্যার সমাধান হয়ে গেছে। কিন্তু না, আমরা এখনও ক্যাশে গরম করার প্রয়োজনে ভুগছি। উপরন্তু, একটি নতুন সমস্যা উপস্থিত হয়েছে - এখন প্রক্সি ব্যর্থতার একটি সম্ভাব্য পয়েন্ট।

অ্যামাজন অরোরা সার্ভারহীনের সাথে চূড়ান্ত সমাধান

আমরা কিভাবে এই সমস্যাগুলি সমাধান করেছি?

একটি প্রক্সি রেখে গেছেন. এটি একটি পৃথক উদাহরণ নয়, তবে প্রক্সিগুলির একটি সম্পূর্ণ বিতরণ করা বহর যার মাধ্যমে অ্যাপ্লিকেশনগুলি ডাটাবেসের সাথে সংযুক্ত হয়৷ ব্যর্থতার ক্ষেত্রে, যে কোনও নোড প্রায় তাত্ক্ষণিকভাবে প্রতিস্থাপন করা যেতে পারে।

বিভিন্ন আকারের উষ্ণ নোডের একটি পুল যোগ করা হয়েছে. অতএব, যদি একটি বড় বা ছোট আকারের একটি নতুন নোড বরাদ্দ করার প্রয়োজন হয়, এটি অবিলম্বে উপলব্ধ। এটি লোড হওয়ার জন্য অপেক্ষা করার দরকার নেই।

সমগ্র স্কেলিং প্রক্রিয়া একটি বিশেষ মনিটরিং সিস্টেম দ্বারা নিয়ন্ত্রিত হয়। মনিটরিং ক্রমাগত বর্তমান মাস্টার নোডের অবস্থা নিরীক্ষণ করে। উদাহরণস্বরূপ, যদি এটি সনাক্ত করে যে প্রসেসরের লোড একটি গুরুত্বপূর্ণ মান পৌঁছেছে, এটি একটি নতুন নোড বরাদ্দ করার প্রয়োজনীয়তার বিষয়ে উষ্ণ দৃষ্টান্তের পুলকে অবহিত করে।

বিতরণ করা প্রক্সি, উষ্ণ উদাহরণ এবং পর্যবেক্ষণ।

প্রয়োজনীয় শক্তি সহ একটি নোড উপলব্ধ। বাফার পুল এটিতে অনুলিপি করা হয় এবং সিস্টেমটি স্যুইচ করার জন্য একটি নিরাপদ মুহুর্তের জন্য অপেক্ষা করতে শুরু করে।

সাধারণত স্যুইচ করার মুহূর্তটি বেশ দ্রুত আসে। তারপরে প্রক্সি এবং পুরানো মাস্টার নোডের মধ্যে যোগাযোগ স্থগিত করা হয়, সমস্ত সেশন নতুন নোডে স্যুইচ করা হয়।

ডাটাবেস জীবনবৃত্তান্ত সঙ্গে কাজ.

গ্রাফটি দেখায় যে সাসপেনশনটি সত্যিই খুব ছোট। নীল গ্রাফ লোড দেখায়, এবং লাল ধাপগুলি স্কেলিং মুহূর্তগুলি দেখায়। নীল গ্রাফে স্বল্প-মেয়াদী ডিপগুলি অবিকল সেই স্বল্প বিলম্ব।

যাইহোক, অ্যামাজন অরোরা আপনাকে অর্থ সঞ্চয় করতে এবং ডেটাবেস বন্ধ করার অনুমতি দেয় যখন এটি ব্যবহার না হয়, উদাহরণস্বরূপ, সপ্তাহান্তে। লোড বন্ধ করার পরে, ডিবি ধীরে ধীরে তার শক্তি হ্রাস করে এবং কিছু সময়ের জন্য বন্ধ করে দেয়। যখন লোড ফিরে আসবে, এটি আবার মসৃণভাবে উঠবে।

আমাজন ডিভাইস সম্পর্কে গল্পের পরবর্তী অংশে, আমরা নেটওয়ার্ক স্কেলিং সম্পর্কে কথা বলব। সাবস্ক্রাইব মেইল এবং সাথে থাকুন যাতে আপনি নিবন্ধটি মিস না করেন।

মধ্যে হাইলোড++ ভ্যাসিলি প্যান্টিউখিন একটি প্রতিবেদন দেবেন "হিউস্টন আমরা একটি সমস্যা আছে. ব্যর্থতার জন্য সিস্টেমের নকশা, অভ্যন্তরীণ অ্যামাজন ক্লাউড পরিষেবাগুলির জন্য বিকাশের ধরণ" অ্যামাজন ডেভেলপারদের দ্বারা বিতরণ করা সিস্টেমের জন্য কোন ডিজাইনের প্যাটার্নগুলি ব্যবহার করা হয়, পরিষেবা ব্যর্থতার কারণগুলি কী, সেল-ভিত্তিক আর্কিটেকচার কী, কনস্ট্যান্ট ওয়ার্ক, শাফেল শার্ডিং - এটি আকর্ষণীয় হবে। সম্মেলন হতে এক মাসেরও কম সময় আপনার টিকিট বুক করুন. 24 অক্টোবর চূড়ান্ত মূল্য বৃদ্ধি.

উত্স: www.habr.com