কিভাবে Uma.Tech পরিকাঠামো উন্নত করেছে

আমরা নতুন পরিষেবা চালু করেছি, ট্র্যাফিক বেড়েছে, সার্ভার প্রতিস্থাপন করেছি, নতুন সাইট সংযুক্ত করেছি এবং পুনরায় তৈরি করা ডেটা সেন্টার - এবং এখন আমরা এই গল্পটি বলব, যার শুরুতে আমরা আপনাকে পাঁচ বছর আগে পরিচয় করিয়ে দিয়েছিলাম.

পাঁচ বছর হল অন্তর্বর্তী ফলাফলের সারসংক্ষেপের জন্য একটি সাধারণ সময়। অতএব, আমরা আমাদের অবকাঠামোর উন্নয়ন সম্পর্কে কথা বলার সিদ্ধান্ত নিয়েছি, যা গত পাঁচ বছরে উন্নয়নের একটি আশ্চর্যজনক আকর্ষণীয় পথ অতিক্রম করেছে, যা আমরা গর্বিত। আমরা যে পরিমাণগত পরিবর্তনগুলি প্রয়োগ করেছি তা গুণগতভাবে পরিণত হয়েছে; এখন অবকাঠামো এমন মোডে কাজ করতে পারে যা গত দশকের মাঝামাঝি সময়ে দুর্দান্ত বলে মনে হয়েছিল।

আমরা প্রিমিয়ার এবং ম্যাচ টিভি সহ নির্ভরযোগ্যতা এবং লোডের জন্য সবচেয়ে কঠোর প্রয়োজনীয়তা সহ সবচেয়ে জটিল প্রকল্পগুলির পরিচালনা নিশ্চিত করি। ক্রীড়া সম্প্রচার এবং জনপ্রিয় টিভি সিরিজের প্রিমিয়ারের জন্য টেরাবিট/সেকেন্ডে ট্র্যাফিকের প্রয়োজন হয়, আমরা সহজেই এটি বাস্তবায়ন করি এবং প্রায়শই এই ধরনের গতির সাথে কাজ করা আমাদের জন্য অনেক আগে থেকেই সাধারণ হয়ে উঠেছে। এবং পাঁচ বছর আগে, আমাদের সিস্টেমে চলমান সবচেয়ে ভারী প্রকল্পটি ছিল রুটিউব, যা তখন থেকে বিকশিত হয়েছে, ভলিউম এবং ট্র্যাফিক বাড়িয়েছে, যা লোডের পরিকল্পনা করার সময় বিবেচনায় নিতে হয়েছিল।

আমরা কীভাবে আমাদের অবকাঠামোর হার্ডওয়্যার বিকাশ করেছি সে সম্পর্কে কথা বলেছি ("Rutube 2009-2015: আমাদের হার্ডওয়্যারের ইতিহাস") এবং ভিডিও আপলোড করার জন্য দায়ী একটি সিস্টেম তৈরি করেছে ("শূন্য থেকে 700 গিগাবিট প্রতি সেকেন্ডে - কিভাবে রাশিয়ার বৃহত্তম ভিডিও হোস্টিং সাইটগুলির মধ্যে একটি ভিডিও আপলোড করে"), কিন্তু এই পাঠ্যগুলি লেখার পরে অনেক সময় অতিবাহিত হয়েছে, অন্যান্য অনেক সমাধান তৈরি এবং প্রয়োগ করা হয়েছে, যার ফলাফলগুলি আমাদের আধুনিক প্রয়োজনীয়তাগুলি পূরণ করতে এবং নতুন কাজের সাথে খাপ খাইয়ে নিতে যথেষ্ট নমনীয় হতে দেয়।

নেটওয়ার্ক কোর আমরা ক্রমাগত উন্নয়নশীল. আমরা 2015 সালে সিসকো সরঞ্জামগুলিতে স্যুইচ করেছি, যা আমরা পূর্ববর্তী নিবন্ধে উল্লেখ করেছি। তখনও এটি একই 10/40G ছিল, কিন্তু সুস্পষ্ট কারণে, কয়েক বছর পরে তারা বিদ্যমান চ্যাসিস আপগ্রেড করেছিল এবং এখন আমরা সক্রিয়ভাবে 25/100G ব্যবহার করি।

100G লিঙ্কগুলি দীর্ঘকাল ধরে একটি বিলাসিতা নয় (বরং, এটি আমাদের সেগমেন্টের সময়ের একটি জরুরী প্রয়োজন), বা একটি বিরলতা (আরও বেশি অপারেটর এই ধরনের গতিতে সংযোগ প্রদান করে)। যাইহোক, 10/40G প্রাসঙ্গিক রয়ে গেছে: এই লিঙ্কগুলির মাধ্যমে আমরা অল্প পরিমাণে ট্রাফিকের সাথে অপারেটরদের সাথে সংযোগ অব্যাহত রাখি, যার জন্য বর্তমানে আরও বেশি ধারণক্ষমতা সম্পন্ন পোর্ট ব্যবহার করা অনুপযুক্ত।

আমরা যে নেটওয়ার্ক কোরটি তৈরি করেছি তা আলাদা বিবেচনার দাবি রাখে এবং একটু পরে একটি পৃথক নিবন্ধের বিষয় হয়ে উঠবে। সেখানে আমরা প্রযুক্তিগত বিশদ অনুসন্ধান করব এবং এটি তৈরি করার সময় আমাদের কর্মের যুক্তি বিবেচনা করব। কিন্তু এখন আমরা পরিকাঠামোকে আরও পরিকল্পিতভাবে আঁকতে থাকব, যেহেতু আপনার মনোযোগ, প্রিয় পাঠক, সীমাহীন নয়।

ভিডিও আউটপুট সার্ভার দ্রুত বিকশিত হয়, যার জন্য আমরা অনেক প্রচেষ্টা অফার করি। আগে যদি আমরা প্রধানত 2U সার্ভার ব্যবহার করতাম যার প্রতিটিতে দুটি 4G পোর্ট সহ 5-10টি নেটওয়ার্ক কার্ড থাকে, এখন বেশিরভাগ ট্রাফিক 1U সার্ভার থেকে পাঠানো হয়, যার প্রতিটিতে দুটি 2G পোর্ট সহ 3-25টি কার্ড রয়েছে। 10G এবং 25G সহ কার্ডগুলির দাম প্রায় সমান, এবং দ্রুত সমাধানগুলি আপনাকে 10G এবং 25G উভয়ের উপরে প্রেরণ করতে দেয়৷ ফলাফলটি সুস্পষ্ট সঞ্চয় ছিল: সংযোগের জন্য কম সার্ভারের উপাদান এবং তারের - কম খরচ (এবং উচ্চতর নির্ভরযোগ্যতা), উপাদানগুলি র্যাকে কম জায়গা নেয় - প্রতি ইউনিট এলাকায় আরও বেশি সার্ভার স্থাপন করা সম্ভব হয়েছিল এবং তাই, ভাড়ার খরচ কম।

কিন্তু আরো গুরুত্বপূর্ণ গতি লাভ! এখন আমরা 1U দিয়ে 100G এর বেশি পাঠাতে পারি! এবং এটি এমন একটি পরিস্থিতির পটভূমিতে যেখানে কিছু বড় রাশিয়ান প্রকল্প 40U থেকে 2G আউটপুটকে "অর্জন" বলে অভিহিত করে। আমরা তাদের সমস্যা চাই!

মনে রাখবেন যে আমরা এখনও নেটওয়ার্ক কার্ডের প্রজন্ম ব্যবহার করি যেগুলি শুধুমাত্র 10G তে কাজ করতে পারে। এই সরঞ্জামটি স্থিরভাবে কাজ করে এবং আমাদের কাছে খুব পরিচিত, তাই আমরা এটিকে ফেলে দেইনি, তবে এটির জন্য একটি নতুন ব্যবহার খুঁজে পেয়েছি। আমরা ভিডিও স্টোরেজ সার্ভারগুলিতে এই উপাদানগুলি ইনস্টল করেছি, যার জন্য একটি বা দুটি 1G ইন্টারফেস কার্যকরভাবে পরিচালনা করার জন্য স্পষ্টতই যথেষ্ট নয়; এখানে 10G কার্ডগুলি প্রাসঙ্গিক বলে প্রমাণিত হয়েছে৷

স্টোরেজ সিস্টেম এছাড়াও বাড়ছে। গত পাঁচ বছরে, তারা বারো-ডিস্ক (12x HDD 2U) থেকে ছত্রিশ-ডিস্কে (36x HDD 4U) পরিবর্তিত হয়েছে। কেউ কেউ এই ধরনের ধারণক্ষমতাসম্পন্ন "শব" ব্যবহার করতে ভয় পান, যেহেতু এই ধরনের একটি চ্যাসি ব্যর্থ হলে, উত্পাদনশীলতা - এমনকি কার্যক্ষমতার জন্য হুমকি হতে পারে! - পুরো সিস্টেমের জন্য। তবে এটি আমাদের সাথে ঘটবে না: আমরা ডেটার ভূ-বিতরণকৃত কপিগুলির স্তরে ব্যাকআপ সরবরাহ করেছি। আমরা বিভিন্ন ডেটা সেন্টারে চ্যাসিগুলি বিতরণ করেছি - আমরা মোট তিনটি ব্যবহার করি - এবং এটি চ্যাসিতে ব্যর্থতার ক্ষেত্রে এবং সাইটটি পড়ে গেলে উভয় ক্ষেত্রেই সমস্যাগুলি দূর করে৷

অবশ্যই, এই পদ্ধতিটি হার্ডওয়্যার RAIDকে অপ্রয়োজনীয় করে তুলেছে, যা আমরা পরিত্যাগ করেছি। অপ্রয়োজনীয়তা দূর করে, আমরা একই সাথে সমাধানকে সরলীকরণ করে এবং ব্যর্থতার সম্ভাব্য পয়েন্টগুলির একটিকে সরিয়ে দিয়ে সিস্টেমের নির্ভরযোগ্যতা বাড়িয়েছি। আসুন আমরা আপনাকে মনে করিয়ে দিই যে আমাদের স্টোরেজ সিস্টেমগুলি "বাড়িতে তৈরি"। আমরা এটি বেশ ইচ্ছাকৃতভাবে করেছি এবং আমরা ফলাফল নিয়ে সম্পূর্ণ সন্তুষ্ট ছিলাম।

তথ্যকেন্দ্রগুলো গত পাঁচ বছরে আমরা বেশ কয়েকবার পরিবর্তন করেছি। পূর্ববর্তী নিবন্ধটি লেখার পর থেকে, আমরা শুধুমাত্র একটি ডেটা সেন্টার পরিবর্তন করিনি - ডেটালাইন - আমাদের অবকাঠামো বিকাশের সাথে সাথে বাকিগুলির প্রতিস্থাপনের প্রয়োজন৷ সাইটগুলির মধ্যে সমস্ত স্থানান্তর পরিকল্পনা করা হয়েছিল।

দুই বছর আগে, আমরা MMTS-9-এর ভিতরে স্থানান্তরিত হয়েছি, উচ্চ-মানের মেরামত, একটি ভাল কুলিং সিস্টেম, স্থিতিশীল বিদ্যুৎ সরবরাহ এবং ধুলো নেই, যা পূর্বে সমস্ত পৃষ্ঠে পুরু স্তরে পড়েছিল এবং আমাদের সরঞ্জামগুলির ভিতরের অংশগুলিকে আটকে রেখেছিল। . মানসম্পন্ন পরিষেবা চয়ন করুন - এবং কোন ধুলো নেই! - আমাদের পদক্ষেপের কারণ হয়ে উঠেছে।

প্রায় সর্বদা "একটি পদক্ষেপ দুটি আগুনের সমান", তবে স্থানান্তরের সময় সমস্যাগুলি প্রতিবার আলাদা হয়। এই সময়, একটি ডেটা সেন্টারের মধ্যে চলাচলের প্রধান অসুবিধাটি ছিল অপটিক্যাল ক্রস-সংযোগ দ্বারা "প্রদান করা" - টেলিকম অপারেটরদের দ্বারা একক ক্রস-সংযোগে একত্রিত না হয়ে ফ্লোরের মধ্যে তাদের প্রাচুর্য। ক্রস-সংযোগগুলি আপডেট করার এবং পুনরায় রাউটিং করার প্রক্রিয়া (যার সাথে MMTS-9 ইঞ্জিনিয়াররা আমাদের সাহায্য করেছিল) সম্ভবত মাইগ্রেশনের সবচেয়ে কঠিন পর্যায় ছিল।

দ্বিতীয় স্থানান্তরটি এক বছর আগে হয়েছিল; 2019 সালে, আমরা খুব ভালো ডেটা সেন্টার থেকে O2xygen-এ চলে এসেছি। সরানোর কারণগুলি উপরে আলোচিত কারণগুলির মতোই ছিল, তবে সেগুলি টেলিকম অপারেটরদের জন্য মূল ডেটা সেন্টারের অস্বাভাবিকতার সমস্যা দ্বারা পরিপূরক হয়েছিল - অনেক প্রদানকারীকে তাদের নিজেরাই এই বিন্দুতে "ধরতে" হয়েছিল।

MMTS-13-এ একটি উচ্চ-মানের সাইটে 9টি র্যাক স্থানান্তর করা এই অবস্থানটিকে শুধুমাত্র একটি অপারেটরের অবস্থান (কয়েকটি র্যাক এবং অপারেটরদের "ফরোয়ার্ড") হিসাবে নয়, এটিকে একটি হিসাবে ব্যবহার করাও সম্ভব করেছে। প্রধান বেশী এটি একটি খুব ভালো ডেটা সেন্টার থেকে স্থানান্তরকে কিছুটা সরল করেছে - আমরা এটি থেকে বেশিরভাগ সরঞ্জাম অন্য সাইটে পরিবহন করেছি এবং O2xygen কে একটি উন্নয়নশীলের ভূমিকা দেওয়া হয়েছিল, সেখানে সরঞ্জাম সহ 5টি র্যাক পাঠানো হয়েছিল।

আজ O2xygen ইতিমধ্যেই একটি পূর্ণাঙ্গ প্ল্যাটফর্ম, যেখানে আমাদের প্রয়োজনীয় অপারেটরগুলি "আগত" হয়েছে এবং নতুনরা সংযোগ অব্যাহত রেখেছে৷ অপারেটরদের জন্য, O2xygen কৌশলগত উন্নয়নের দৃষ্টিকোণ থেকেও আকর্ষণীয় হয়ে উঠেছে।

আমরা সর্বদা এক রাতে পদক্ষেপের মূল পর্বটি সম্পাদন করি এবং MMTS-9 এবং O2xygen-এ স্থানান্তরিত করার সময়, আমরা এই নিয়ম মেনে চলি। আমরা জোর দিই যে র্যাকের সংখ্যা নির্বিশেষে আমরা "রাতারাতি সরানো" নিয়মটি কঠোরভাবে অনুসরণ করি! এমনকি একটি নজির ছিল যখন আমরা 20টি র্যাক সরিয়েছি এবং এটিও এক রাতে সম্পন্ন করেছি। মাইগ্রেশন একটি মোটামুটি সহজ প্রক্রিয়া যার জন্য নির্ভুলতা এবং ধারাবাহিকতা প্রয়োজন, তবে প্রস্তুতির প্রক্রিয়ায় এবং সরানোর সময় এবং একটি নতুন স্থানে স্থাপন করার সময় এখানে কিছু কৌশল রয়েছে। আপনি আগ্রহী হলে আমরা মাইগ্রেশন সম্পর্কে বিস্তারিত কথা বলতে প্রস্তুত।

Результаты আমরা পঞ্চবার্ষিক উন্নয়ন পরিকল্পনা পছন্দ করি। আমরা তিনটি ডেটা সেন্টার জুড়ে বিতরণ করা একটি নতুন ত্রুটি-সহনশীল পরিকাঠামো নির্মাণ সম্পন্ন করেছি। আমরা ট্র্যাফিকের ঘনত্ব তীব্রভাবে বাড়িয়েছি - যদি সম্প্রতি আমরা 40U এর সাথে 80-2G নিয়ে খুশি ছিলাম, এখন আমাদের জন্য আদর্শ হল 100U এর সাথে 1G। এখন এমনকি একটি টেরাবিট ট্র্যাফিকও আমাদের কাছে সাধারণ হিসাবে বিবেচিত হয়। আমরা আমাদের পরিকাঠামো আরও বিকাশ করতে প্রস্তুত, যা নমনীয় এবং মাপযোগ্য হতে পরিণত হয়েছে।

প্রশ্ন: প্রিয় পাঠকগণ, নিম্নলিখিত গ্রন্থে আমি আপনাকে কী বলব? কেন আমরা ঘরে তৈরি ডেটা স্টোরেজ সিস্টেম তৈরি করতে শুরু করেছি? নেটওয়ার্ক কোর এবং এর বৈশিষ্ট্য সম্পর্কে? ডেটা সেন্টারের মধ্যে স্থানান্তরের কৌশল এবং সূক্ষ্মতা সম্পর্কে? উপাদান এবং সূক্ষ্ম-টিউনিং পরামিতি নির্বাচন করে বিতরণ সিদ্ধান্ত অপ্টিমাইজ করার বিষয়ে? একটি ডেটা সেন্টারের মধ্যে একাধিক অপ্রয়োজনীয়তা এবং অনুভূমিক স্কেলিং ক্ষমতার জন্য টেকসই সমাধান তৈরি করা সম্পর্কে, যা তিনটি ডেটা সেন্টারের কাঠামোতে প্রয়োগ করা হয়?

লেখক: Petr Vinogradov - Uma.Tech এর কারিগরি পরিচালক হ্যামস্টার

উত্স: www.habr.com