أطلقنا خدمات جديدة، وزادت حركة المرور، واستبدلنا الخوادم، وربطنا مواقع جديدة، وأعدنا تشكيل مراكز البيانات - والآن سنروي هذه القصة، التي عرفناك على بدايتها منذ خمس سنوات.
خمس سنوات هي الوقت المثالي لتلخيص النتائج المؤقتة. لذلك، قررنا التحدث عن تطوير البنية التحتية لدينا، والتي مرت على مدى السنوات الخمس الماضية بمسار تطوير مثير للاهتمام بشكل مدهش، والذي نفخر به. لقد تحولت التغييرات الكمية التي قمنا بتنفيذها إلى تغييرات نوعية؛ والآن يمكن للبنية التحتية أن تعمل بأوضاع بدت رائعة في منتصف العقد الماضي.
نحن نضمن تشغيل المشاريع الأكثر تعقيدًا مع المتطلبات الأكثر صرامة من حيث الموثوقية والأحمال، بما في ذلك PREMIER وMatch TV. تتطلب عمليات البث الرياضية والعرض الأول للمسلسلات التلفزيونية الشهيرة حركة مرور تبلغ تيرابت/ثانية، ونحن ننفذ ذلك بسهولة، وفي كثير من الأحيان أصبح العمل بهذه السرعات أمرًا شائعًا بالنسبة لنا منذ فترة طويلة. وقبل خمس سنوات، كان أثقل مشروع قيد التشغيل على أنظمتنا هو Rutube، الذي قام منذ ذلك الحين بتطوير وزيادة الحجم وحركة المرور، وهو ما كان يجب أخذه في الاعتبار عند تخطيط الأحمال.
تحدثنا عن كيفية تطوير أجهزة بنيتنا التحتية () وتطوير النظام المسؤول عن تحميل الفيديوهات ()، ولكن لقد مر وقت طويل منذ كتابة هذه النصوص، وتم إنشاء وتنفيذ العديد من الحلول الأخرى، والتي تتيح لنا نتائجها تلبية المتطلبات الحديثة والتحلي بالمرونة الكافية للتكيف مع المهام الجديدة.
جوهر الشبكة نحن نتطور باستمرار. لقد تحولنا إلى معدات Cisco في عام 2015، وهو ما ذكرناه في المقالة السابقة. في ذلك الوقت كان لا يزال هو نفسه 10/40G، ولكن لأسباب واضحة، بعد بضع سنوات قاموا بترقية الهيكل الحالي، والآن نستخدم 25/100G بنشاط.
لم تكن روابط 100G منذ فترة طويلة ترفا (بل هذا مطلب عاجل للوقت في قطاعنا)، ولا نادرة (يوفر المزيد والمزيد من المشغلين اتصالات بهذه السرعات). ومع ذلك، يظل 10/40G مناسبًا: من خلال هذه الروابط، نواصل توصيل المشغلين بكمية صغيرة من حركة المرور، والتي من غير المناسب حاليًا استخدام منفذ أكثر سعة لها.
يستحق جوهر الشبكة الذي أنشأناه دراسة منفصلة وسيصبح موضوعًا لمقالة منفصلة بعد قليل. هناك سوف نتعمق في التفاصيل الفنية وننظر في منطق أفعالنا عند إنشائها. ولكن الآن سوف نستمر في رسم البنية التحتية بشكل أكثر تخطيطًا، لأن انتباهكم أيها القراء الأعزاء ليس بلا حدود.
خوادم إخراج الفيديو تتطور بسرعة، والتي نبذل الكثير من الجهد من أجلها. إذا استخدمنا سابقًا خوادم مكونة من 2U مع 4-5 بطاقات شبكة مع منفذي 10G لكل منها، فسيتم الآن إرسال معظم حركة المرور من خوادم 1U، والتي تحتوي على 2-3 بطاقات مع منفذين 25G لكل منها. البطاقات ذات 10G و25G متساوية تقريبًا في التكلفة، وتسمح لك الحلول الأسرع بالنقل عبر كل من 10G و25G. وكانت النتيجة توفيرًا واضحًا: عدد أقل من مكونات الخادم وكابلات الاتصال - تكلفة أقل (ووثوقية أعلى)، تشغل المكونات مساحة أقل على الحامل - أصبح من الممكن وضع المزيد من الخوادم لكل مساحة وحدة، وبالتالي انخفاض تكاليف الإيجار.
ولكن الأهم هو المكاسب في السرعة! الآن يمكننا إرسال أكثر من 1 جيجا مع 100U! وهذا على خلفية الوضع الذي تصف فيه بعض المشاريع الروسية الكبيرة إنتاج 40G من 2U بأنه "إنجاز". ونود مشاكلهم!
لاحظ أننا ما زلنا نستخدم جيل بطاقات الشبكة التي يمكنها العمل على 10G فقط. تعمل هذه المعدات بثبات وهي مألوفة جدًا بالنسبة لنا، لذلك لم نتخلص منها، بل وجدنا لها استخدامًا جديدًا. لقد قمنا بتثبيت هذه المكونات في خوادم تخزين الفيديو، والتي من الواضح أن واجهة أو اثنتين من واجهات 1G لا تكفي للعمل بفعالية؛ هنا تبين أن بطاقات 10G ذات صلة.
أنظمة التخزين تنمو أيضا. على مدى السنوات الخمس الماضية، تغيرت من اثني عشر قرصًا (12x HDD 2U) إلى ستة وثلاثين قرصًا (36x HDD 4U). يخشى البعض استخدام مثل هذه "الهياكل" الواسعة، لأنه في حالة فشل أحد هذه الهياكل، فقد يكون هناك تهديد للإنتاجية - أو حتى قابلية التشغيل! - للنظام بأكمله. لكن هذا لن يحدث معنا: لقد قدمنا نسخة احتياطية على مستوى نسخ البيانات الموزعة جغرافيًا. لقد قمنا بتوزيع الهيكل على مراكز بيانات مختلفة - نستخدم ثلاثة في المجموع - وهذا يلغي حدوث مشاكل سواء في حالة فشل الهيكل أو عند سقوط الموقع.
وبطبيعة الحال، أدى هذا النهج إلى جعل أجهزة RAID زائدة عن الحاجة، وهو ما تخلينا عنه. ومن خلال التخلص من التكرار، قمنا في نفس الوقت بزيادة موثوقية النظام من خلال تبسيط الحل وإزالة إحدى نقاط الفشل المحتملة. دعونا نذكرك بأن أنظمة التخزين لدينا هي "محلية الصنع". لقد فعلنا ذلك بشكل متعمد وكنا راضين تمامًا عن النتيجة.
مراكز البيانات على مدى السنوات الخمس الماضية تغيرنا عدة مرات. منذ كتابة المقال السابق، لم نقم بتغيير مركز بيانات واحد فقط - DataLine - أما الباقي فقد تطلب الاستبدال مع تطور البنية التحتية لدينا. تم التخطيط لجميع عمليات النقل بين المواقع.
قبل عامين، انتقلنا إلى داخل MMTS-9، وانتقلنا إلى موقع به إصلاحات عالية الجودة، ونظام تبريد جيد، وإمدادات طاقة مستقرة، ولا يوجد غبار، والذي كان يكمن في السابق في طبقات سميكة على جميع الأسطح ويؤدي أيضًا إلى انسداد الأجزاء الداخلية من معداتنا . اختر خدمات عالية الجودة - وبدون غبار! - أصبح سبب تحركنا.
دائمًا تقريبًا "حركة واحدة تساوي نارين"، لكن المشاكل أثناء الهجرة تختلف في كل مرة. هذه المرة، كانت الصعوبة الرئيسية في التنقل داخل مركز بيانات واحد "مقدمة" من خلال التوصيلات المتقاطعة الضوئية - وفرتها بين الطوابق دون دمجها في اتصال متقاطع واحد بواسطة مشغلي الاتصالات. ربما كانت عملية تحديث وإعادة توجيه الاتصالات المتقاطعة (التي ساعدنا بها مهندسو MMTS-9) هي أصعب مراحل الترحيل.
حدثت الهجرة الثانية قبل عام، وفي عام 2019، انتقلنا من مركز بيانات ليس جيدًا جدًا إلى O2xygen. كانت أسباب هذه الخطوة مشابهة لتلك التي تمت مناقشتها أعلاه، ولكن تم استكمالها بمشكلة عدم جاذبية مركز البيانات الأصلي لمشغلي الاتصالات - كان على العديد من مقدمي الخدمة "اللحاق" بهذه النقطة بمفردهم.
إن ترحيل 13 رفًا إلى موقع عالي الجودة في MMTS-9 جعل من الممكن تطوير هذا الموقع ليس فقط كموقع للمشغل (زوج من الرفوف و"الأمامية" للمشغلين)، ولكن أيضًا لاستخدامه كأحد المواقع الرئيسية. أدى هذا إلى تبسيط عملية الترحيل إلى حد ما من مركز بيانات غير جيد جدًا - حيث قمنا بنقل معظم المعدات منه إلى موقع آخر، وتم منح O2xygen دور مركز التطوير، حيث أرسلنا 5 رفوف بالمعدات هناك.
اليوم، أصبحت O2xygen بالفعل منصة كاملة، حيث "وصل" المشغلون الذين نحتاجهم ويستمر المشغلون الجدد في الاتصال. بالنسبة للمشغلين، تبين أن O2xygen أيضًا جذاب من وجهة نظر التطوير الاستراتيجي.
نقوم دائمًا بتنفيذ المرحلة الرئيسية من الحركة في ليلة واحدة، وعند الترحيل داخل MMTS-9 وإلى O2xygen، التزمنا بهذه القاعدة. ونؤكد أننا نتبع بدقة قاعدة "التحرك بين عشية وضحاها"، بغض النظر عن عدد الرفوف! بل كانت هناك سابقة عندما قمنا بنقل 20 رفًا وأكملنا هذا أيضًا في ليلة واحدة. يعد الترحيل عملية بسيطة إلى حد ما وتتطلب الدقة والاتساق، ولكن هناك بعض الحيل هنا، سواء في عملية الإعداد أو عند النقل أو عند النشر إلى موقع جديد. نحن على استعداد للحديث عن الهجرة بالتفصيل إذا كنت مهتمًا.
النتائج نحن نحب خطط التنمية الخمسية. لقد أكملنا إنشاء بنية تحتية جديدة تتحمل الأخطاء موزعة على ثلاثة مراكز بيانات. لقد قمنا بزيادة كثافة حركة المرور بشكل حاد - إذا كنا سعداء مؤخرًا بـ 40-80 جيجا مع 2U، فإن المعيار بالنسبة لنا هو 100 جيجا مع 1U. الآن، حتى تيرابايت من حركة المرور نعتبرها أمرًا شائعًا. ونحن على استعداد لمواصلة تطوير بنيتنا التحتية، التي أصبحت مرنة وقابلة للتطوير.
السؤال: ماذا يجب أن أخبركم عنه في النصوص التالية أيها القراء الأعزاء؟ لماذا بدأنا في إنشاء أنظمة تخزين البيانات محلية الصنع؟ نبذة عن نواة الشبكة ومميزاتها؟ حول الحيل والخفايا الخاصة بالهجرة بين مراكز البيانات؟ حول تحسين قرارات التسليم عن طريق اختيار المكونات وضبط المعلمات؟ حول إنشاء حلول مستدامة بفضل عمليات التكرار المتعددة وإمكانيات التوسع الأفقي داخل مركز البيانات، والتي يتم تنفيذها في هيكل مكون من ثلاثة مراكز بيانات؟
المؤلف: بيتر فينوغرادوف - المدير الفني لشركة Uma.Tech
المصدر: www.habr.com