কিভাবে AWS তার ইলাস্টিক পরিষেবা রান্না করে। নেটওয়ার্ক স্কেলিং

অ্যামাজন ওয়েব সার্ভিসেস নেটওয়ার্কের স্কেল 69টি অঞ্চলে সারা বিশ্বে 22টি অঞ্চল: মার্কিন যুক্তরাষ্ট্র, ইউরোপ, এশিয়া, আফ্রিকা এবং অস্ট্রেলিয়া। প্রতিটি জোনে 8টি পর্যন্ত ডেটা সেন্টার রয়েছে - ডেটা প্রসেসিং সেন্টার। প্রতিটি ডেটা সেন্টারে হাজার হাজার বা কয়েক লক্ষ সার্ভার থাকে। নেটওয়ার্কটি এমনভাবে ডিজাইন করা হয়েছে যাতে সমস্ত অসম্ভাব্য বিভ্রাটের পরিস্থিতি বিবেচনায় নেওয়া হয়। উদাহরণস্বরূপ, সমস্ত অঞ্চল একে অপরের থেকে বিচ্ছিন্ন, এবং অ্যাক্সেসিবিলিটি জোনগুলি কয়েক কিলোমিটারের দূরত্বে আলাদা করা হয়েছে। এমনকি আপনি তারের কেটে ফেললেও, সিস্টেমটি ব্যাকআপ চ্যানেলে স্যুইচ করবে, এবং তথ্য হারানোর পরিমাণ হবে কয়েকটি ডাটা প্যাকেট। ভ্যাসিলি প্যান্টিউখিন নেটওয়ার্কটি অন্য কোন নীতির উপর ভিত্তি করে তৈরি করা হয়েছে এবং কীভাবে এটি গঠন করা হয়েছে সে সম্পর্কে কথা বলবেন।

ভ্যাসিলি প্যান্টিউখিন .ru কোম্পানিতে ইউনিক্স প্রশাসক হিসেবে শুরু করেছেন, 6 বছর ধরে বড় সান মাইক্রোসিস্টেম হার্ডওয়্যারে কাজ করেছেন এবং EMC-তে 11 বছর ধরে একটি ডেটা-কেন্দ্রিক বিশ্ব প্রচার করেছেন। এটি স্বাভাবিকভাবেই প্রাইভেট ক্লাউডে বিকশিত হয়েছে, তারপর পাবলিক ক্লাউডে চলে গেছে। এখন, একজন Amazon Web Services স্থপতি হিসাবে, তিনি AWS ক্লাউডে লাইভ এবং বিকাশে সহায়তা করার জন্য প্রযুক্তিগত পরামর্শ প্রদান করেন।

এডব্লিউএস ট্রিলজির আগের অংশে, ভ্যাসিলি ফিজিক্যাল সার্ভার এবং ডাটাবেস স্কেলিং-এর নকশার দিকে নজর দিয়েছিলেন। নাইট্রো কার্ড, কাস্টম কেভিএম-ভিত্তিক হাইপারভাইজার, অ্যামাজন অরোরা ডাটাবেস - এই সমস্ত বিষয়বস্তুতে "কিভাবে AWS তার ইলাস্টিক পরিষেবা রান্না করে। স্কেলিং সার্ভার এবং ডাটাবেস" প্রসঙ্গ বা ঘড়ির জন্য পড়ুন ভিডিও টেপ পারফরমেন্স।

এই অংশটি নেটওয়ার্ক স্কেলিংয়ের উপর ফোকাস করবে, AWS-এর সবচেয়ে জটিল সিস্টেমগুলির মধ্যে একটি। একটি ফ্ল্যাট নেটওয়ার্ক থেকে একটি ভার্চুয়াল প্রাইভেট ক্লাউড এবং এর নকশা, ব্ল্যাকফুট এবং হাইপারপ্লেনের অভ্যন্তরীণ পরিষেবাগুলির বিবর্তন, একটি কোলাহলপূর্ণ প্রতিবেশীর সমস্যা এবং শেষে - নেটওয়ার্কের স্কেল, ব্যাকবোন এবং শারীরিক তারগুলি। কাটা অধীনে এই সব সম্পর্কে.

দাবিত্যাগ: নীচের সমস্ত কিছু ভ্যাসিলির ব্যক্তিগত মতামত এবং অ্যামাজন ওয়েব পরিষেবাগুলির অবস্থানের সাথে মিলিত নাও হতে পারে।

নেটওয়ার্ক স্কেলিং

AWS ক্লাউড 2006 সালে চালু হয়েছিল। তার নেটওয়ার্ক বেশ আদিম ছিল - একটি সমতল কাঠামো সহ। ব্যক্তিগত ঠিকানার পরিসীমা সমস্ত ক্লাউড ভাড়াটেদের কাছে সাধারণ ছিল৷ একটি নতুন ভার্চুয়াল মেশিন শুরু করার সময়, আপনি ঘটনাক্রমে এই পরিসর থেকে একটি উপলব্ধ IP ঠিকানা পেয়েছেন৷

এই পদ্ধতিটি বাস্তবায়ন করা সহজ ছিল, কিন্তু মৌলিকভাবে ক্লাউডের ব্যবহার সীমিত। বিশেষ করে, হাইব্রিড সমাধানগুলি বিকাশ করা বেশ কঠিন ছিল যা মাটিতে এবং AWS-এ ব্যক্তিগত নেটওয়ার্কগুলিকে একত্রিত করে। সবচেয়ে সাধারণ সমস্যা ছিল ওভারল্যাপিং আইপি অ্যাড্রেস রেঞ্জ।

ভার্চুয়াল প্রাইভেট ক্লাউড

মেঘের চাহিদা দেখা দিল। মাপযোগ্যতা এবং লক্ষ লক্ষ ভাড়াটেদের দ্বারা এর ব্যবহারের সম্ভাবনা সম্পর্কে চিন্তা করার সময় এসেছে। ফ্ল্যাট নেটওয়ার্ক বড় বাধা হয়ে দাঁড়িয়েছে। অতএব, আমরা কীভাবে নেটওয়ার্ক স্তরে ব্যবহারকারীদের একে অপরের থেকে বিচ্ছিন্ন করা যায় তা নিয়ে চিন্তা করেছি যাতে তারা স্বাধীনভাবে আইপি রেঞ্জগুলি বেছে নিতে পারে।

আপনি যখন নেটওয়ার্ক বিচ্ছিন্নতা সম্পর্কে চিন্তা করেন তখন প্রথম জিনিসটি কী মনে আসে? অবশ্যই ভিএলএএন и VRF - ভার্চুয়াল রাউটিং এবং ফরওয়ার্ডিং.

দুর্ভাগ্যবশত, এটি কাজ করেনি। VLAN ID শুধুমাত্র 12 বিট, যা আমাদের শুধুমাত্র 4096 বিচ্ছিন্ন সেগমেন্ট দেয়। এমনকি বৃহত্তম সুইচগুলি সর্বাধিক 1-2 হাজার VRF ব্যবহার করতে পারে। VRF এবং VLAN একসাথে ব্যবহার করলে আমাদের মাত্র কয়েক মিলিয়ন সাবনেট পাওয়া যায়। লক্ষ লক্ষ ভাড়াটেদের জন্য এটি অবশ্যই যথেষ্ট নয়, যাদের প্রত্যেককে একাধিক সাবনেট ব্যবহার করতে সক্ষম হতে হবে।

আমরা কেবল প্রয়োজনীয় সংখ্যক বড় বাক্স কেনার সামর্থ্যও রাখতে পারি না, উদাহরণস্বরূপ, সিসকো বা জুনিপার থেকে। দুটি কারণ রয়েছে: এটি পাগলাটে ব্যয়বহুল, এবং আমরা তাদের উন্নয়ন এবং প্যাচিং নীতির করুণাতে থাকতে চাই না।

শুধুমাত্র একটি উপসংহার আছে - আপনার নিজের সমাধান করুন।

2009 সালে আমরা ঘোষণা করি VPC - ভার্চুয়াল প্রাইভেট ক্লাউড. নাম আটকে গেছে এবং এখন অনেক ক্লাউড প্রদানকারীরাও এটি ব্যবহার করে।

ভিপিসি একটি ভার্চুয়াল নেটওয়ার্ক SDN (সফ্টওয়্যার সংজ্ঞায়িত নেটওয়ার্ক)। আমরা L2 এবং L3 স্তরে বিশেষ প্রোটোকল আবিষ্কার না করার সিদ্ধান্ত নিয়েছি। নেটওয়ার্কটি স্ট্যান্ডার্ড ইথারনেট এবং আইপিতে চলে। নেটওয়ার্কের মাধ্যমে ট্রান্সমিশনের জন্য, ভার্চুয়াল মেশিন ট্র্যাফিক আমাদের নিজস্ব প্রোটোকল র‍্যাপারে এনক্যাপসুলেট করা হয়। এটি ভাড়াটেদের VPC-এর অন্তর্গত আইডি নির্দেশ করে৷

সহজ শোনাচ্ছে. যাইহোক, বেশ কিছু গুরুতর প্রযুক্তিগত চ্যালেঞ্জ রয়েছে যা অতিক্রম করতে হবে। উদাহরণস্বরূপ, ভার্চুয়াল ম্যাক/আইপি ঠিকানা, ভিপিসি আইডি এবং সংশ্লিষ্ট শারীরিক MAC/আইপি ম্যাপিংয়ের ডেটা কোথায় এবং কীভাবে সংরক্ষণ করতে হয়। AWS স্কেলে, এটি একটি বিশাল টেবিল যা ন্যূনতম অ্যাক্সেস বিলম্বের সাথে কাজ করা উচিত। এর জন্য দায়ী ম্যাপিং পরিষেবা, যা পুরো নেটওয়ার্ক জুড়ে একটি পাতলা স্তরে ছড়িয়ে আছে।

নতুন প্রজন্মের মেশিনে, হার্ডওয়্যার স্তরে নাইট্রো কার্ড দ্বারা এনক্যাপসুলেশন করা হয়। পুরানো উদাহরণে, এনক্যাপসুলেশন এবং ডিক্যাপসুলেশন সফ্টওয়্যার-ভিত্তিক। 

সাধারণ পরিভাষায় এটি কীভাবে কাজ করে তা বের করা যাক। চলুন শুরু করা যাক L2 স্তর দিয়ে। ধরা যাক যে আমাদের কাছে আইপি 10.0.0.2 সহ একটি ভার্চুয়াল মেশিন রয়েছে একটি ফিজিক্যাল সার্ভার 192.168.0.3 এ। এটি ভার্চুয়াল মেশিন 10.0.0.3-এ ডেটা পাঠায়, যা 192.168.1.4 এ থাকে। একটি ARP অনুরোধ জেনারেট করা হয় এবং নেটওয়ার্ক নাইট্রো কার্ডে পাঠানো হয়। সরলতার জন্য, আমরা অনুমান করি যে উভয় ভার্চুয়াল মেশিন একই "নীল" ভিপিসিতে বাস করে।

মানচিত্রটি তার নিজস্ব দ্বারা উৎস ঠিকানা প্রতিস্থাপন করে এবং ARP ফ্রেমটিকে ম্যাপিং পরিষেবাতে ফরোয়ার্ড করে।

ম্যাপিং পরিষেবা L2 ফিজিক্যাল নেটওয়ার্কের মাধ্যমে ট্রান্সমিশনের জন্য প্রয়োজনীয় তথ্য প্রদান করে।

এআরপি প্রতিক্রিয়ায় নাইট্রো কার্ডটি ভিপিসি-তে একটি ঠিকানা দিয়ে শারীরিক নেটওয়ার্কের MAC-কে প্রতিস্থাপন করে।

ডেটা স্থানান্তর করার সময়, আমরা একটি VPC র‍্যাপারে লজিক্যাল MAC এবং IP মুড়ে রাখি। আমরা উপযুক্ত উত্স এবং গন্তব্য আইপি নাইট্রো কার্ড ব্যবহার করে এই সমস্ত শারীরিক নেটওয়ার্কে প্রেরণ করি।

ফিজিক্যাল মেশিন যার কাছে প্যাকেজটি নির্ধারিত হয় সেটি চেক করে। ঠিকানা স্পুফিংয়ের সম্ভাবনা রোধ করার জন্য এটি প্রয়োজনীয়। মেশিনটি ম্যাপিং পরিষেবার কাছে একটি বিশেষ অনুরোধ পাঠায় এবং জিজ্ঞাসা করে: “ভৌত মেশিন 192.168.0.3 থেকে আমি একটি প্যাকেট পেয়েছি যা নীল VPC-তে 10.0.0.3 এর জন্য তৈরি৷ সে কি বৈধ? 

ম্যাপিং পরিষেবা তার রিসোর্স অ্যালোকেশন টেবিল চেক করে এবং প্যাকেটটিকে পাস করার অনুমতি দেয় বা অস্বীকার করে। সমস্ত নতুন ক্ষেত্রে, অতিরিক্ত বৈধতা নাইট্রো কার্ডগুলিতে এম্বেড করা হয়েছে। এমনকি তাত্ত্বিকভাবে এটি বাইপাস করা অসম্ভব। অতএব, অন্য ভিপিসিতে সম্পদের স্পুফিং কাজ করবে না।

এর পরে, ডেটাটি ভার্চুয়াল মেশিনে পাঠানো হয় যার জন্য এটি উদ্দেশ্যে করা হয়েছে। 

ম্যাপিং পরিষেবাটি বিভিন্ন সাবনেটে ভার্চুয়াল মেশিনের মধ্যে ডেটা স্থানান্তর করার জন্য একটি লজিক্যাল রাউটার হিসাবেও কাজ করে। সবকিছু ধারণাগতভাবে সহজ, আমি বিশদে যাব না।

দেখা যাচ্ছে যে প্রতিটি প্যাকেট প্রেরণ করার সময়, সার্ভারগুলি ম্যাপিং পরিষেবাতে ফিরে আসে। কিভাবে অনিবার্য বিলম্ব মোকাবেলা করতে? ক্যাশিং, অবশ্যই.

সৌন্দর্য হল যে আপনার পুরো বিশাল টেবিলটি ক্যাশে করার দরকার নেই। একটি ফিজিক্যাল সার্ভার অপেক্ষাকৃত কম সংখ্যক ভিপিসি থেকে ভার্চুয়াল মেশিন হোস্ট করে। আপনি শুধুমাত্র এই VPC সম্পর্কে তথ্য ক্যাশে করতে হবে. "ডিফল্ট" কনফিগারেশনে অন্যান্য ভিপিসিতে ডেটা স্থানান্তর করা এখনও বৈধ নয়। যদি ভিপিসি-পিয়ারিংয়ের মতো কার্যকারিতা ব্যবহার করা হয়, তাহলে সংশ্লিষ্ট ভিপিসি সম্পর্কে তথ্য অতিরিক্তভাবে ক্যাশে লোড করা হয়। 

আমরা ভিপিসিতে ডেটা স্থানান্তর করার পদ্ধতিটি সাজিয়েছি।

ব্ল্যাকফুট

যে ক্ষেত্রে ট্র্যাফিক বাইরে প্রেরণ করা প্রয়োজন, উদাহরণস্বরূপ ইন্টারনেটে বা ভিপিএন-এর মাধ্যমে মাটিতে কী করবেন? আমাদের এখানে সাহায্য করে ব্ল্যাকফুট — AWS অভ্যন্তরীণ পরিষেবা। এটা আমাদের দক্ষিণ আফ্রিকান দল দ্বারা বিকশিত হয়েছে. এই কারণেই পরিষেবাটির নামকরণ করা হয়েছে দক্ষিণ আফ্রিকায় বসবাসকারী একটি পেঙ্গুইনের নামে।

ব্ল্যাকফুট ট্র্যাফিক ডিক্যাপসুলেট করে এবং এটির সাথে যা প্রয়োজন তা করে। ইন্টারনেটে যেমন আছে ডেটা পাঠানো হয়।

VPN ব্যবহার করার সময় ডেটা ডিক্যাপসুলেট করা হয় এবং IPsec-এ পুনরায় মোড়ানো হয়।

ডাইরেক্ট কানেক্ট ব্যবহার করার সময়, ট্রাফিক ট্যাগ করা হয় এবং উপযুক্ত VLAN-এ পাঠানো হয়।

হাইপারপ্লেন

এটি একটি অভ্যন্তরীণ প্রবাহ নিয়ন্ত্রণ পরিষেবা। অনেক নেটওয়ার্ক পরিষেবা পর্যবেক্ষণ প্রয়োজন ডেটা প্রবাহের অবস্থা. উদাহরণস্বরূপ, NAT ব্যবহার করার সময়, প্রবাহ নিয়ন্ত্রণ নিশ্চিত করতে হবে যে প্রতিটি IP:গন্তব্য পোর্ট জোড়ার একটি অনন্য বহির্গামী পোর্ট রয়েছে। ব্যালেন্সারের ক্ষেত্রে এনএলবি - নেটওয়ার্ক লোড ব্যালেন্সার, ডেটা প্রবাহ সবসময় একই লক্ষ্য ভার্চুয়াল মেশিনে নির্দেশিত করা উচিত। নিরাপত্তা গ্রুপ একটি রাষ্ট্রীয় ফায়ারওয়াল. এটি আগত ট্র্যাফিক নিরীক্ষণ করে এবং বহির্গামী প্যাকেট প্রবাহের জন্য অন্তর্মুখীভাবে পোর্টগুলি খোলে।

AWS ক্লাউডে, ট্রান্সমিশন লেটেন্সি প্রয়োজনীয়তা অত্যন্ত বেশি। এই জন্য হাইপারপ্লেন পুরো নেটওয়ার্কের কর্মক্ষমতার জন্য গুরুত্বপূর্ণ।

হাইপারপ্লেন EC2 ভার্চুয়াল মেশিনে নির্মিত। এখানে কোন জাদু নেই, শুধু চালাকি। কৌশলটি হল যে এগুলি বড় RAM সহ ভার্চুয়াল মেশিন। অপারেশনগুলি লেনদেনমূলক এবং মেমরিতে একচেটিয়াভাবে সঞ্চালিত হয়। এটি আপনাকে শুধুমাত্র দশ মাইক্রোসেকেন্ডের বিলম্ব অর্জন করতে দেয়। ডিস্কের সাথে কাজ করা সমস্ত উত্পাদনশীলতাকে হত্যা করবে। 

হাইপারপ্লেন হল এই ধরনের বিপুল সংখ্যক EC2 মেশিনের একটি বিতরণ ব্যবস্থা। প্রতিটি ভার্চুয়াল মেশিনের ব্যান্ডউইথ 5 জিবি/সেকেন্ড। সমগ্র আঞ্চলিক নেটওয়ার্ক জুড়ে, এটি ব্যান্ডউইথের অবিশ্বাস্য টেরাবিট প্রদান করে এবং প্রক্রিয়াকরণের অনুমতি দেয় প্রতি সেকেন্ডে লক্ষ লক্ষ সংযোগ.

হাইপারপ্লেন শুধুমাত্র স্ট্রিমগুলির সাথে কাজ করে। ভিপিসি প্যাকেট এনক্যাপসুলেশন এটির জন্য সম্পূর্ণ স্বচ্ছ। এই অভ্যন্তরীণ পরিষেবার একটি সম্ভাব্য দুর্বলতা এখনও VPC বিচ্ছিন্নতা ভাঙা থেকে প্রতিরোধ করবে। নীচের স্তরগুলি নিরাপত্তার জন্য দায়ী৷

কোলাহলপূর্ণ প্রতিবেশী

এখনও একটি সমস্যা আছে কোলাহলপূর্ণ প্রতিবেশী - কোলাহলপূর্ণ প্রতিবেশী. ধরা যাক আমাদের 8টি নোড আছে। এই নোডগুলি সমস্ত ক্লাউড ব্যবহারকারীদের প্রবাহ প্রক্রিয়া করে। সবকিছু ঠিক আছে বলে মনে হচ্ছে এবং লোডটি সমস্ত নোড জুড়ে সমানভাবে বিতরণ করা উচিত। নোডগুলি খুব শক্তিশালী এবং তাদের ওভারলোড করা কঠিন।

কিন্তু আমরা আমাদের স্থাপত্য তৈরি করি এমনকি অসম্ভাব্য পরিস্থিতির উপর ভিত্তি করে। 

কম সম্ভাবনা মানে অসম্ভব নয়।

আমরা এমন একটি পরিস্থিতি কল্পনা করতে পারি যেখানে এক বা একাধিক ব্যবহারকারী খুব বেশি লোড তৈরি করবে। সমস্ত হাইপারপ্লেন নোড এই লোড প্রক্রিয়াকরণের সাথে জড়িত এবং অন্যান্য ব্যবহারকারীরা সম্ভাব্যভাবে কিছু ধরণের পারফরম্যান্স হিট অনুভব করতে পারে। এটি মেঘের ধারণাকে ভেঙ্গে দেয়, যেখানে ভাড়াটেদের একে অপরকে প্রভাবিত করার ক্ষমতা নেই।

একটি কোলাহলপূর্ণ প্রতিবেশীর সমস্যার সমাধান কিভাবে? মনে আসে প্রথম জিনিস sharding হয়. আমাদের 8টি নোড যৌক্তিকভাবে 4টি নোডের 2টি শার্ডে বিভক্ত। এখন একটি কোলাহলপূর্ণ প্রতিবেশী সমস্ত ব্যবহারকারীর মাত্র এক চতুর্থাংশকে বিরক্ত করবে, তবে এটি তাদের ব্যাপকভাবে বিরক্ত করবে।

আসুন ভিন্নভাবে জিনিসগুলি করি। আমরা প্রতিটি ব্যবহারকারীর জন্য মাত্র 3টি নোড বরাদ্দ করব। 

কৌশলটি এলোমেলোভাবে বিভিন্ন ব্যবহারকারীকে নোড বরাদ্দ করা। নীচের ছবিতে, নীল ব্যবহারকারী অন্য দুটি ব্যবহারকারীর একটির সাথে নোডগুলিকে ছেদ করে - সবুজ এবং কমলা৷

8টি নোড এবং 3 জন ব্যবহারকারীর সাথে, একটি কোলাহলপূর্ণ প্রতিবেশী ব্যবহারকারীদের একজনের সাথে ছেদ করার সম্ভাবনা 54%। এটি এই সম্ভাবনার সাথে যে একজন নীল ব্যবহারকারী অন্যান্য ভাড়াটেদের প্রভাবিত করবে। একই সময়ে, এর লোডের একটি অংশ মাত্র। আমাদের উদাহরণে, এই প্রভাবটি অন্তত কোনওভাবে সবার কাছে নয়, তবে সমস্ত ব্যবহারকারীর এক তৃতীয়াংশের কাছে লক্ষণীয় হবে। এটি ইতিমধ্যে একটি ভাল ফলাফল।

ছেদ করবে এমন ব্যবহারকারীর সংখ্যা

শতাংশে সম্ভাবনা

0

18%

1

54%

2

26%

3

2%

আসুন পরিস্থিতিটিকে বাস্তবের কাছাকাছি নিয়ে আসি - আসুন 100টি নোড এবং 5টি নোডে 5 জন ব্যবহারকারী নেওয়া যাক৷ এই ক্ষেত্রে, নোডগুলির কোনওটিই 77% সম্ভাবনার সাথে ছেদ করবে না। 

ছেদ করবে এমন ব্যবহারকারীর সংখ্যা

শতাংশে সম্ভাবনা

0

77%

1

21%

2

1,8%

3

0,06%

4

0,0006%

5

0,00000013%

একটি বাস্তব পরিস্থিতিতে, বিপুল সংখ্যক হাইপারপ্লেন নোড এবং ব্যবহারকারীদের সাথে, অন্যান্য ব্যবহারকারীদের উপর একটি কোলাহলপূর্ণ প্রতিবেশীর সম্ভাব্য প্রভাব ন্যূনতম। এই পদ্ধতি বলা হয় মিক্সিং শার্ডিং - শাফেল শার্ডিং. এটি নোড ব্যর্থতার নেতিবাচক প্রভাব কমিয়ে দেয়।

অনেক পরিষেবা হাইপারপ্লেনের ভিত্তিতে তৈরি করা হয়েছে: নেটওয়ার্ক লোড ব্যালেন্সার, ন্যাট গেটওয়ে, আমাজন ইএফএস, এডব্লিউএস প্রাইভেটলিঙ্ক, এডব্লিউএস ট্রানজিট গেটওয়ে।

নেটওয়ার্ক স্কেল

এখন নেটওয়ার্কের স্কেল সম্পর্কে কথা বলা যাক। অক্টোবর 2019 এর জন্য AWS এর পরিষেবাগুলি অফার করে৷ 22টি অঞ্চল, এবং আরও 9টি পরিকল্পনা করা হয়েছে৷

• প্রতিটি অঞ্চলে বেশ কয়েকটি প্রাপ্যতা অঞ্চল রয়েছে। সারা বিশ্বে তাদের মধ্যে 69টি রয়েছে।
• প্রতিটি AZ ডেটা প্রসেসিং সেন্টার নিয়ে গঠিত। তাদের মধ্যে মোট 8টির বেশি নেই।
• ডেটা সেন্টারে বিপুল সংখ্যক সার্ভার রয়েছে, কিছুতে 300 পর্যন্ত।

এখন আসুন এই সমস্ত গড় করি, গুণ করি এবং একটি চিত্তাকর্ষক চিত্র পাই যা প্রতিফলিত করে অ্যামাজন ক্লাউড স্কেল.

উপলব্ধতা অঞ্চল এবং ডেটা সেন্টারের মধ্যে অনেকগুলি অপটিক্যাল লিঙ্ক রয়েছে৷ আমাদের বৃহত্তম অঞ্চলগুলির মধ্যে একটিতে, 388টি চ্যানেল স্থাপন করা হয়েছে শুধুমাত্র একে অপরের মধ্যে AZ যোগাযোগের জন্য এবং অন্যান্য অঞ্চলের সাথে যোগাযোগ কেন্দ্রগুলির (ট্রানজিট সেন্টার)। মোট এই পাগল দেয় 5000 টিবিট.

ব্যাকবোন AWS ক্লাউডের জন্য বিশেষভাবে নির্মিত এবং অপ্টিমাইজ করা হয়েছে। আমরা এটি চ্যানেলগুলিতে তৈরি করি 100 জিবি / সেকেন্ড. আমরা তাদের সম্পূর্ণ নিয়ন্ত্রণ করি, চীনের অঞ্চলগুলি বাদ দিয়ে। ট্রাফিক অন্যান্য কোম্পানির লোড সঙ্গে ভাগ করা হয় না.

অবশ্যই, আমরা ব্যক্তিগত ব্যাকবোন নেটওয়ার্ক সহ একমাত্র ক্লাউড প্রদানকারী নই। আরো এবং আরো বড় কোম্পানি এই পথ অনুসরণ করছে. এটি স্বাধীন গবেষকদের দ্বারা নিশ্চিত করা হয়েছে, উদাহরণস্বরূপ থেকে টেলিজিওগ্রাফি.

গ্রাফটি দেখায় যে বিষয়বস্তু সরবরাহকারী এবং ক্লাউড সরবরাহকারীদের ভাগ বাড়ছে। এই কারণে, ব্যাকবোন প্রদানকারীদের ইন্টারনেট ট্রাফিকের ভাগ ক্রমাগত হ্রাস পাচ্ছে।

আমি ব্যাখ্যা করব কেন এটি ঘটে। পূর্বে, বেশিরভাগ ওয়েব পরিষেবাগুলি সরাসরি ইন্টারনেট থেকে অ্যাক্সেসযোগ্য এবং ব্যবহার করা হত। আজকাল, আরও বেশি সংখ্যক সার্ভার ক্লাউডে অবস্থিত এবং এর মাধ্যমে অ্যাক্সেসযোগ্য যা CDN - সামগ্রী বিতরণ নেটওয়ার্ক. একটি সংস্থান অ্যাক্সেস করতে, ব্যবহারকারী ইন্টারনেটের মাধ্যমে শুধুমাত্র নিকটতম CDN PoP-তে যান উপস্থিতির বিন্দু. প্রায়শই এটি কাছাকাছি কোথাও হয়। তারপরে এটি সর্বজনীন ইন্টারনেট ছেড়ে যায় এবং আটলান্টিক জুড়ে একটি ব্যক্তিগত মেরুদণ্ডের মধ্য দিয়ে উড়ে যায়, উদাহরণস্বরূপ, এবং সরাসরি সম্পদে পৌঁছে যায়।

আমি ভাবছি এই ধারা অব্যাহত থাকলে 10 বছরে কীভাবে ইন্টারনেট পরিবর্তন হবে?

শারীরিক চ্যানেল

বিজ্ঞানীরা এখনও মহাবিশ্বে আলোর গতি কীভাবে বাড়ানো যায় তা বের করতে পারেননি, তবে তারা অপটিক্যাল ফাইবারের মাধ্যমে এটি প্রেরণের পদ্ধতিতে দুর্দান্ত অগ্রগতি করেছেন। আমরা বর্তমানে 6912 ফাইবার তার ব্যবহার করি। এটি তাদের ইনস্টলেশনের ব্যয়কে উল্লেখযোগ্যভাবে অপ্টিমাইজ করতে সহায়তা করে।

কিছু অঞ্চলে আমাদের বিশেষ তার ব্যবহার করতে হবে। উদাহরণস্বরূপ, সিডনি অঞ্চলে আমরা উইপোকাগুলির বিরুদ্ধে একটি বিশেষ আবরণ সহ তারগুলি ব্যবহার করি। 

কেউ সমস্যা থেকে অনাক্রম্য এবং কখনও কখনও আমাদের চ্যানেল ক্ষতিগ্রস্ত হয়. ডানদিকের ছবিটি আমেরিকান অঞ্চলগুলির একটিতে অপটিক্যাল তারগুলি দেখায় যা নির্মাণ শ্রমিকদের দ্বারা ছিঁড়েছিল৷ দুর্ঘটনার ফলে, মাত্র 13টি ডেটা প্যাকেট হারিয়ে গেছে, যা আশ্চর্যজনক। আবারও - মাত্র 13! সিস্টেমটি আক্ষরিকভাবে তাত্ক্ষণিকভাবে ব্যাকআপ চ্যানেলগুলিতে স্যুইচ করেছে - স্কেলটি কাজ করছে।

আমরা অ্যামাজনের কিছু ক্লাউড পরিষেবা এবং প্রযুক্তির মাধ্যমে এগিয়ে গিয়েছিলাম। আমি আশা করি যে আমাদের ইঞ্জিনিয়ারদের যে কাজগুলি সমাধান করতে হবে তার স্কেল সম্পর্কে আপনার অন্তত কিছুটা ধারণা রয়েছে। ব্যক্তিগতভাবে, আমি এটি খুব উত্তেজনাপূর্ণ মনে করি। 

এটি AWS ডিভাইস সম্পর্কে Vasily Pantyukhin থেকে ট্রিলজির চূড়ান্ত অংশ। ভিতরে প্রথম অংশগুলি সার্ভার অপ্টিমাইজেশান এবং ডাটাবেস স্কেলিং বর্ণনা করে এবং ইন দ্বিতীয়টি - সার্ভারহীন ফাংশন এবং ফায়ারক্র্যাকার।

মধ্যে হাইলোড++ নভেম্বরে Vasily Pantyukhin আমাজন ডিভাইসের নতুন বিবরণ শেয়ার করবেন। সে বলতে হবে ব্যর্থতার কারণ এবং অ্যামাজনে বিতরণ করা সিস্টেমের নকশা সম্পর্কে। 24 অক্টোবর এখনও সম্ভব বুক করা একটি ভাল মূল্যে টিকিট, এবং পরে অর্থ প্রদান করুন। আমরা HighLoad++ এ আপনার জন্য অপেক্ষা করছি, আসুন এবং চ্যাট করি!

উত্স: www.habr.com