ما خدمات جدیدی را راه اندازی کردیم، ترافیک افزایش یافت، سرورها را جایگزین کردیم، سایت های جدید را به هم متصل کردیم و مراکز داده را بازسازی کردیم - و اکنون این داستان را تعریف می کنیم که شروع آن پنج سال پیش شما را با آن آشنا کردیم..
پنج سال زمان معمولی برای جمع بندی نتایج میانی است. بنابراین تصمیم گرفتیم در مورد توسعه زیرساخت های خود صحبت کنیم که طی پنج سال گذشته مسیر توسعه شگفت انگیزی را طی کرده است که ما به آن افتخار می کنیم. تغییرات کمی که ما انجام داده‌ایم به تغییرات کیفی تبدیل شده‌اند؛ اکنون زیرساخت‌ها می‌توانند در حالت‌هایی عمل کنند که در اواسط دهه گذشته فوق‌العاده به نظر می‌رسید.
ما از اجرای پیچیده ترین پروژه ها با سخت ترین الزامات برای قابلیت اطمینان و بارگذاری، از جمله PREMIER و Match TV اطمینان می دهیم. پخش های ورزشی و پخش سریال های پرمخاطب تلویزیونی نیاز به ترافیک ترابیت بر ثانیه دارد، ما به راحتی این را اجرا می کنیم و اغلب اوقات کار با چنین سرعت هایی برای ما عادی شده است. و پنج سال پیش، سنگین‌ترین پروژه‌ای که روی سیستم‌های ما اجرا می‌شد Rutube بود، که از آن زمان توسعه یافته، حجم و ترافیک را افزایش داده است، که باید هنگام برنامه‌ریزی بارها در نظر گرفته می‌شد.
ما در مورد چگونگی توسعه سخت افزار زیرساخت خود صحبت کردیم () و یک سیستم مسئول آپلود ویدیوها (اما زمان زیادی از نگارش این متون می گذرد، راه حل های بسیاری ایجاد و اجرا شده است که نتایج آن به ما امکان می دهد نیازهای مدرن را برآورده کنیم و به اندازه کافی انعطاف پذیر باشیم تا با وظایف جدید سازگار باشیم.
هسته شبکه ما دائما در حال توسعه هستیم. ما در سال 2015 به تجهیزات سیسکو روی آوردیم که در مقاله قبلی به آن اشاره کردیم. در آن زمان هنوز همان 10/40G بود، اما به دلایل واضح، پس از چند سال آنها شاسی موجود را ارتقا دادند و اکنون ما به طور فعال از 25/100G استفاده می کنیم.
پیوندهای 100G مدت‌هاست که نه یک لوکس بوده است (بلکه، این یک نیاز فوری زمان در بخش ما است)، و نه نادر (اپراتورهای بیشتری و بیشتر با چنین سرعتی اتصالات را ارائه می‌کنند). با این حال، 10/40G همچنان مرتبط است: از طریق این پیوندها، ما همچنان اپراتورهایی را با حجم کمی از ترافیک متصل می‌کنیم، که در حال حاضر استفاده از پورت بزرگ‌تر برای آن نامناسب است.
هسته شبکه ای که ما ایجاد کردیم سزاوار بررسی جداگانه است و کمی بعد موضوع مقاله جداگانه ای خواهد شد. در آنجا به جزئیات فنی می پردازیم و منطق اقدامات خود را هنگام ایجاد آن در نظر می گیریم. اما اکنون به ترسیم زیرساخت ها به صورت شماتیک تر ادامه خواهیم داد، زیرا توجه شما خوانندگان عزیز نامحدود نیست.
سرورهای خروجی ویدئو به سرعت تکامل یابد، که ما تلاش زیادی برای آن ارائه می دهیم. اگر قبلاً از سرورهای 2U عمدتاً با 4-5 کارت شبکه با دو پورت 10G استفاده می کردیم ، اکنون بیشتر ترافیک از سرورهای 1U ارسال می شود که دارای 2-3 کارت با دو پورت 25G هستند. کارت‌های دارای 10G و 25G تقریباً از نظر هزینه برابر هستند، و راه‌حل‌های سریع‌تر به شما امکان می‌دهند از طریق 10G و 25G انتقال دهید. نتیجه صرفه جویی آشکار بود: اجزای سرور و کابل های کمتر برای اتصال - هزینه کمتر (و قابلیت اطمینان بیشتر)، قطعات فضای کمتری را در رک اشغال می کنند - امکان قرار دادن سرورهای بیشتر در واحد سطح و در نتیجه هزینه های اجاره کمتر شد.
اما مهمتر افزایش سرعت است! اکنون می توانیم بیش از 1G را با 100U ارسال کنیم! و این در شرایطی است که برخی از پروژه‌های بزرگ روسیه خروجی 40G از 2U را یک «دستاورد» می‌نامند. ما مشکلات آنها را دوست داریم!
توجه داشته باشید که ما همچنان از نسل کارت‌های شبکه استفاده می‌کنیم که فقط روی 10G کار می‌کنند. این تجهیزات به طور پایدار کار می کند و برای ما بسیار آشنا است، بنابراین ما آن را دور نینداختیم، اما یک کاربرد جدید برای آن پیدا کردیم. ما این مؤلفه‌ها را در سرورهای ذخیره‌سازی ویدیو نصب کردیم، که برای آنها یک یا دو رابط 1G به وضوح برای عملکرد مؤثر کافی نیست؛ در اینجا کارت‌های 10G مرتبط بودند.
سیستم های ذخیره سازی نیز در حال رشد هستند. در طول پنج سال گذشته، آنها از دوازده دیسک (12x HDD 2U) به سی و شش دیسک (36x HDD 4U) تغییر کرده اند. برخی از استفاده از چنین "لاشه های" بزرگی می ترسند، زیرا اگر یکی از این شاسی ها خراب شود، ممکن است خطری برای بهره وری - یا حتی عملکرد وجود داشته باشد! - برای کل سیستم اما این اتفاق در مورد ما نمی افتد: ما پشتیبان را در سطح نسخه های جغرافیایی توزیع شده از داده ها ارائه کرده ایم. ما شاسی را در مراکز داده مختلف توزیع کرده ایم - در مجموع از سه تا استفاده می کنیم - و این باعث می شود که چه در صورت خرابی در شاسی و چه در هنگام سقوط سایت، بروز مشکل برطرف شود.
البته این رویکرد باعث شد RAID سخت افزاری اضافی شود که ما آن را رها کردیم. با حذف افزونگی، ما به طور همزمان قابلیت اطمینان سیستم را با ساده کردن راه حل و حذف یکی از نقاط بالقوه خرابی افزایش دادیم. به شما یادآوری می کنیم که سیستم های ذخیره سازی ما "خانگی" هستند. ما این کار را کاملا عمدی انجام دادیم و از نتیجه کاملا راضی بودیم.
مراکز داده در طول پنج سال گذشته ما چندین بار تغییر کرده ایم. از زمان نگارش مقاله قبلی، ما تنها یک مرکز داده - DataLine - را تغییر نداده‌ایم - بقیه آنها با توسعه زیرساخت ما نیاز به جایگزینی دارند. تمام انتقالات بین سایت ها برنامه ریزی شده بود.
دو سال پیش، ما به داخل MMTS-9 مهاجرت کردیم و به سایتی با تعمیرات با کیفیت بالا، سیستم خنک کننده خوب، منبع تغذیه پایدار و بدون گرد و غبار رفتیم که قبلاً به صورت لایه های ضخیم روی همه سطوح قرار داشت و همچنین داخل تجهیزات ما را مسدود می کرد. . خدمات با کیفیت را انتخاب کنید - بدون گرد و غبار! - دلیل حرکت ما شد.
تقریباً همیشه "یک حرکت برابر است با دو آتش"، اما مشکلات در طول مهاجرت هر بار متفاوت است. این بار، مشکل اصلی جابجایی در یک مرکز داده توسط اتصالات متقاطع نوری "تامین" شد - فراوانی آنها بین طبقات بدون اینکه اپراتورهای مخابراتی در یک اتصال متقابل واحد ترکیب شوند. فرآیند به روز رسانی و مسیریابی مجدد اتصالات متقابل (که مهندسان MMTS-9 به ما کمک کردند) شاید سخت ترین مرحله مهاجرت بود.
مهاجرت دوم یک سال پیش انجام شد؛ در سال 2019، ما از یک مرکز داده نه چندان خوب به O2xygen منتقل شدیم. دلایل این حرکت مشابه مواردی بود که در بالا مورد بحث قرار گرفت، اما آنها با مشکل غیرجذاب بودن مرکز داده اصلی برای اپراتورهای مخابراتی تکمیل شدند - بسیاری از ارائه دهندگان مجبور بودند به تنهایی به این نقطه برسند.
مهاجرت 13 رک به یک سایت با کیفیت بالا در MMTS-9 امکان توسعه این مکان را نه تنها به عنوان مکان اپراتور (چند رک و "فروارد" اپراتورها) فراهم کرد، بلکه از آن به عنوان یکی از اصلی ها این امر مهاجرت از یک مرکز داده نه چندان خوب را تا حدودی ساده کرد - ما بیشتر تجهیزات را از آن به سایت دیگری منتقل کردیم و O2xygen نقش توسعه دهنده را دریافت کرد و 5 قفسه با تجهیزات را به آنجا فرستاد.
امروزه O2xygen یک پلت فرم تمام عیار است که اپراتورهای مورد نیاز ما به آنجا رسیده اند و اپراتورهای جدید همچنان به اتصال خود ادامه می دهند. برای اپراتورها، O2xygen از نقطه نظر توسعه استراتژیک نیز جذاب بود.
ما همیشه مرحله اصلی حرکت را در یک شب انجام می دهیم و هنگام مهاجرت به داخل MMTS-9 و O2xygen، به این قانون پایبند بودیم. ما تأکید می کنیم که صرف نظر از تعداد قفسه ها، به شدت از قانون "حرکت یک شبه" پیروی می کنیم! حتی یک سابقه وجود داشت که ما 20 قفسه را جابجا کردیم و این کار را نیز در یک شب تکمیل کردیم. مهاجرت یک فرآیند نسبتاً ساده است که به دقت و سازگاری نیاز دارد، اما در اینجا ترفندهایی وجود دارد، هم در فرآیند آماده سازی، هم هنگام جابجایی و هم هنگام استقرار در مکان جدید. در صورت علاقه ما آماده هستیم تا در مورد مهاجرت به تفصیل صحبت کنیم.
یافته ها ما برنامه های توسعه پنج ساله را دوست داریم. ما ساخت یک زیرساخت جدید مقاوم در برابر خطا را تکمیل کرده ایم که در سه مرکز داده توزیع شده است. ما تراکم ترافیک را به شدت افزایش داده ایم - اگر اخیراً از 40-80G با 2U راضی بودیم، اکنون هنجار برای ما 100G با 1U است. در حال حاضر حتی یک ترابیت ترافیک برای ما امری عادی تلقی می شود. ما آماده هستیم تا زیرساخت های خود را که انعطاف پذیر و مقیاس پذیر است، توسعه دهیم.
سوال: در متن های زیر به شما خوانندگان عزیز چه بگویم؟ در مورد اینکه چرا ما شروع به ایجاد سیستم های ذخیره سازی داده های خانگی کردیم؟ درباره هسته شبکه و ویژگی های آن؟ درباره ترفندها و ظرافت های مهاجرت بین مراکز داده؟ درباره بهینه سازی تصمیمات تحویل با انتخاب اجزا و پارامترهای تنظیم دقیق؟ درباره ایجاد راه‌حل‌های پایدار به لطف افزونگی‌های متعدد و قابلیت‌های مقیاس افقی در یک مرکز داده، که در ساختاری از سه مرکز داده پیاده‌سازی می‌شوند؟
نویسنده: پتر وینوگرادوف - مدیر فنی Uma.Tech
منبع: www.habr.com