سأخبركم اليوم كيف ظهرت فكرة إنشاء شبكة داخلية جديدة لشركتنا وكيف تم تنفيذها. يتمثل موقف الإدارة في جعل نفس المشروع الكامل لنفسك كما هو الحال بالنسبة للعميل. إذا عملنا جيدًا لأنفسنا ، فسنكون قادرين على دعوة العميل وإظهار مدى جودة ترتيب وعمل ما نقدمه له. لذلك ، اقتربنا من تطوير مفهوم الشبكة الجديدة لمكتب موسكو بدقة شديدة ، باستخدام دورة الإنتاج الكاملة: تحليل احتياجات الأقسام ← اختيار حل تقني ← تصميم ← تنفيذ ← اختبار. دعنا نبدأ.
اختيار الحل التقني: ملاذ متحور
أفضل وصف لإجراء العمل على نظام مؤتمت معقد في GOST 34.601-90 "الأنظمة الآلية. مراحل الخلق "، لذلك عملنا عليها. وبالفعل في مراحل تكوين المتطلبات وتطوير المفهوم ، واجهنا الصعوبات الأولى. تحتاج المنظمات ذات الملفات الشخصية المختلفة - البنوك ، وشركات التأمين ، ومطورو البرامج ، وما إلى ذلك - لمهامهم ومعاييرهم إلى أنواع معينة من الشبكات ، تكون تفاصيلها مفهومة وموحدة. ومع ذلك ، هذا لن يعمل معنا.
لماذا؟
Jet Infosystems هي شركة كبيرة ومتنوعة لتكنولوجيا المعلومات. في نفس الوقت ، قسم الدعم الداخلي لدينا صغير (لكنه فخور) ، فهو يضمن أداء الخدمات والأنظمة الأساسية. تحتوي الشركة على العديد من الإدارات التي تؤدي وظائف مختلفة: هذه هي عدة فرق قوية للاستعانة بمصادر خارجية ، ومطورو داخلي لأنظمة الأعمال ، وأمن المعلومات ، ومهندسو أنظمة الكمبيوتر - بشكل عام ، من هم ليسوا كذلك. وفقًا لذلك ، تختلف أيضًا مهامها وأنظمتها وسياساتها الأمنية. مما خلق ، كما هو متوقع ، صعوبات في عملية تحليل الاحتياجات وتوحيدها.
على سبيل المثال ، قسم التطوير: يقوم موظفوه بكتابة واختبار الكود لعدد كبير من العملاء. غالبًا ما تكون هناك حاجة لتنظيم بيئات الاختبار بسرعة ، وبصراحة ، ليس من الممكن دائمًا تكوين متطلبات لكل مشروع وطلب الموارد وبناء بيئة اختبار منفصلة وفقًا لجميع اللوائح الداخلية. يؤدي هذا إلى ظهور مواقف غريبة: بمجرد أن نظر خادمك المطيع إلى غرفة التطوير ووجد مجموعة Hadoop تعمل بشكل صحيح من 20 جهاز كمبيوتر مكتبيًا أسفل الطاولة ، والتي كانت متصلة بشكل غير مفهوم بالشبكة العامة. أعتقد أنه ليس من الضروري تحديد أن قسم تقنية المعلومات في الشركة لم يكن يعلم بوجودها. هذا الظرف ، مثل العديد من الظروف الأخرى ، أصبح السبب في حقيقة أنه أثناء تطوير المشروع كان لدينا مصطلح "احتياطي المسوخ" ، الذي يصف حالة البنية التحتية للمكتب التي طالت معاناتها.
أو هنا مثال آخر. بشكل دوري ، يتم إنشاء منصة اختبار داخل القسم. كان هذا هو الحال مع Jira و Confluence ، والتي تم استخدامها إلى حد محدود من قبل مركز تطوير البرمجيات في بعض المشاريع. بعد مرور بعض الوقت ، تعرفت الإدارات الأخرى على هذه الموارد المفيدة ، وأعربت عن تقديرها لها ، وفي نهاية عام 2018 ، انتقلت Jira and Confluence من حالة "لعبة المبرمجين المحلية" إلى حالة "موارد الشركة". الآن يجب تعيين المالك لهذه الأنظمة ، اتفاقية مستوى الخدمة ، سياسات أمان الوصول / المعلومات ، سياسة النسخ الاحتياطي ، المراقبة ، يجب تحديد قواعد توجيه طلبات استكشاف الأخطاء وإصلاحها - بشكل عام ، يجب أن تكون جميع سمات نظام المعلومات الكامل موجودة.
كل قسم من أقسامنا هو أيضًا حاضنة تنمو منتجاتها الخاصة. يموت بعضهم في مرحلة التطوير ، والبعض الآخر نستخدمه أثناء العمل في المشاريع ، بينما يتجذر البعض الآخر ويتحول إلى حلول مكررة نبدأ في استخدام أنفسنا وبيعها للعملاء. لكل نظام من هذا القبيل ، من المستحسن أن يكون له بيئة شبكته الخاصة ، حيث سيتم تطويره دون التدخل في الأنظمة الأخرى ، وفي مرحلة ما يكون قادرًا على الاندماج في البنية التحتية للشركة.
بالإضافة إلى التطوير ، لدينا ملف كبير جدًا مع أكثر من 500 موظف تم تشكيلها في فرق لكل عميل. يشاركون في صيانة الشبكات والأنظمة الأخرى ، والمراقبة عن بعد ، وتسوية المطالبات ، وما إلى ذلك. أي أن البنية التحتية للجنة العليا هي ، في الواقع ، البنية التحتية للعميل الذي يعملون معه حاليًا. خصوصية العمل مع هذا القسم من الشبكة هو أن محطات العمل الخاصة بهم لشركتنا خارجية جزئيًا وداخلية جزئيًا. لذلك ، قمنا بتنفيذ النهج التالي للجنة العليا - تزود الشركة القسم المقابل بالشبكة والموارد الأخرى ، مع الأخذ في الاعتبار محطات عمل هذه الأقسام على أنها اتصالات خارجية (على غرار الفروع والمستخدمين عن بعد).
تصميم الطريق السريع: نحن المشغل (مفاجأة)
بعد تقييم جميع المخاطر ، أدركنا أننا نحصل على شبكة مشغل اتصالات داخل مكتب واحد ، وبدأنا في التصرف وفقًا لذلك.
لقد أنشأنا شبكة أساسية ، بمساعدة أي مستهلك داخلي ، وفي المستقبل ، يتم تزويد مستهلك خارجي بالخدمة المطلوبة: L2 VPN أو L3 VPN أو توجيه L3 العادي. تحتاج بعض الإدارات إلى وصول آمن إلى الإنترنت ، بينما يحتاج البعض الآخر إلى وصول نظيف بدون جدران حماية ، ولكن في نفس الوقت يحمي موارد الشركة والشبكة الأساسية من حركة المرور الخاصة بهم.
قمنا بشكل غير رسمي "بالتوقيع على اتفاقية مستوى الخدمة" مع كل قسم. وفقًا لذلك ، يجب القضاء على جميع الحوادث الناشئة في غضون فترة زمنية معينة متفق عليها مسبقًا. تبين أن متطلبات الشركة لشبكتها كانت صارمة. كان الحد الأقصى لوقت الاستجابة للحوادث لانقطاع الهاتف والبريد الإلكتروني 5 دقائق. لا يتجاوز وقت استعادة الشبكة في حالة حدوث أعطال نموذجية أكثر من دقيقة.
نظرًا لأن لدينا شبكة من فئة الناقل ، لا يمكنك الاتصال بها إلا وفقًا للقواعد الصارمة. تضع أقسام الخدمة السياسات وتقدم الخدمات. إنهم لا يحتاجون حتى إلى معلومات حول اتصالات خوادم معينة وآلات افتراضية ومحطات عمل. ولكن في الوقت نفسه ، هناك حاجة إلى آليات الحماية ، لأنه لا ينبغي لأي اتصال تعطيل الشبكة. إذا تم إنشاء حلقة بطريق الخطأ ، فيجب ألا يلاحظ المستخدمون الآخرون ذلك ، أي أن تفاعل الشبكة الكافي ضروري. أي مشغل اتصالات يحل باستمرار مثل هذه المهام التي تبدو معقدة داخل شبكته الأساسية. يوفر خدمة للعديد من العملاء ذوي الاحتياجات المختلفة وحركة المرور. في الوقت نفسه ، يجب ألا يواجه المشتركون المختلفون أي إزعاج من حركة مرور الآخرين.
في المنزل ، قمنا بحل هذه المشكلة على النحو التالي: قمنا ببناء شبكة العمود الفقري L3 مع التكرار الكامل ، باستخدام بروتوكول IS-IS. تم إنشاء شبكة تراكب أعلى الشبكة المرجعية بناءً على التكنولوجيا /باستخدام بروتوكول التوجيه . تم استخدام تقنية BFD لتسريع تقارب بروتوكولات التوجيه.
هيكل الشبكة
في الاختبارات ، أثبت هذا المخطط أنه ممتاز - عند إيقاف تشغيل أي قناة أو مفتاح ، لا يزيد وقت التقارب عن 0.1-0.2 ثانية ، ويتم فقد الحد الأدنى من الحزم (غالبًا ليس واحدًا) ، ولا يتم قطع جلسات TCP لا تنقطع المحادثات الهاتفية.
طبقة الأساس - التوجيه
طبقة التراكب - التوجيه
تم استخدام محولات Huawei CE6870 مع تراخيص VXLAN كمفاتيح توزيع. يتمتع هذا الجهاز بنسبة سعر / جودة مثالية ، ويسمح لك بتوصيل المشتركين بسرعة 10 جيجابت / ثانية ، والاتصال بالعمود الفقري بسرعات 40-100 جيجابت / ثانية ، اعتمادًا على أجهزة الإرسال والاستقبال المستخدمة.
مفاتيح هواوي CE6870
تم استخدام مفاتيح Huawei CE8850 كمفاتيح أساسية. مهمتهم هي نقل حركة المرور بسرعة وبشكل موثوق. لا يتصلون بأي أجهزة غير محولات التوزيع ، ولا يعرفون شيئًا عن VXLAN ، لذلك تم اختيار نموذج به 32 منفذًا 40/100 جيجابت / ثانية ، مع ترخيص أساسي يوفر توجيه L3 ويدعم IS-IS و MP بروتوكولات -BGP.
أقلها هو مفتاح Huawei CE8850 الأساسي
في مرحلة التصميم ، اندلعت مناقشة داخل الفريق حول التقنيات التي يمكن استخدامها لتنفيذ اتصال متسامح مع الأعطال لعقد الشبكة الأساسية. يقع مكتبنا في موسكو في ثلاثة مبانٍ ، ولدينا 7 غرف عرضية ، في كل منها تم تثبيت مفتاحي توزيع Huawei CE6870 (تم تثبيت مفاتيح الوصول فقط في عدة غرف عرضية أخرى). عند تطوير مفهوم الشبكة ، تم النظر في خيارين للتكرار:
- التراص المتسامح لمفاتيح التوزيع في كل غرفة متقاطعة. الإيجابيات: البساطة وسهولة الإعداد. السلبيات: احتمال أكبر لفشل المكدس بأكمله عند حدوث أخطاء في البرامج الثابتة لأجهزة الشبكة ("تسرب الذاكرة" وما شابه).
- تطبيق تقنيات بوابة M-LAG و Anycast لتوصيل الأجهزة بمفاتيح التوزيع.
في النهاية استقرنا على الخيار الثاني. يعد إعداده أكثر صعوبة إلى حد ما ، لكنه أظهر من الناحية العملية أدائه وموثوقيته العالية.
ضع في اعتبارك أولاً توصيل الأجهزة الطرفية بمفاتيح التوزيع:
يعبر
يتم تضمين مفتاح الوصول أو الخادم أو أي جهاز آخر يتطلب اتصال تجاوز الفشل في محولي توزيع. توفر تقنية M-LAG التكرار على مستوى الارتباط. من المفترض أن يظهر مفتاحي توزيع للجهاز المتصل كجهاز واحد. يتم تنفيذ التكرار وموازنة الحمل باستخدام بروتوكول LACP.
توفر تقنية بوابة Anycast التكرار على مستوى الشبكة. يتم تكوين عدد كبير بما فيه الكفاية من VRFs على كل مفتاح من مفاتيح التوزيع (تم تصميم كل VRF لأغراضه الخاصة - بشكل منفصل للمستخدمين "العاديين" ، بشكل منفصل للاتصالات الهاتفية ، بشكل منفصل لبيئات الاختبار والتطوير المختلفة ، وما إلى ذلك) ، وفي كل تم تكوين شبكات محلية ظاهرية متعددة (VRF). في شبكتنا ، تعد مفاتيح التوزيع هي البوابة الافتراضية لجميع الأجهزة المتصلة بها. عناوين IP المقابلة لواجهات VLAN هي نفسها لكل من محولات التوزيع. يتم توجيه حركة المرور من خلال أقرب محول.
فكر الآن في توصيل مفاتيح التوزيع بالجوهر:
يتم توفير التسامح مع الخطأ على مستوى الشبكة ، باستخدام بروتوكول IS-IS. يرجى ملاحظة أنه يتم توفير خط اتصال L3 منفصل بين المفاتيح بسرعة 100G. ماديًا ، خط الاتصال هذا عبارة عن كابل وصول مباشر ، يمكنك رؤيته على اليمين في صورة مفاتيح Huawei CE6870.
قد يكون البديل هو تنظيم طوبولوجيا "نجمتين" "عادلة" متشابكة بالكامل ، ولكن ، كما ذكرنا سابقًا ، لدينا 7 غرف توزيع في ثلاثة مبانٍ. وفقًا لذلك ، إذا اخترنا طوبولوجيا "النجمة المزدوجة" ، فسنحتاج بالضبط إلى ضعف عدد أجهزة الإرسال والاستقبال "بعيدة المدى" 40G. المدخرات هنا كبيرة جدا.
يجب قول بضع كلمات حول كيفية عمل تقنيات بوابة VXLAN و Anycast معًا. VXLAN ، دون الخوض في التفاصيل ، هو نفق لنقل إطارات Ethernet داخل حزم UDP. يتم استخدام واجهات الاسترجاع الخاصة بمفاتيح التوزيع كعنوان IP الوجهة لنفق VXLAN. يحتوي كل اتصال متقاطع على محولين لهما نفس عناوين واجهات الاسترجاع ، على التوالي ، يمكن أن تصل الحزمة إلى أي منها ، ويمكن استخراج إطار Ethernet منها.
إذا كان المحول يعرف عنوان MAC الوجهة للإطار المسترد ، فسيتم تسليم الإطار بشكل صحيح إلى وجهته. تعد آلية M-LAG مسؤولة عن ضمان أن كلا محولات التوزيع المثبتة في نفس التوصيل المتقاطع تحتوي على معلومات محدثة حول جميع عناوين MAC "التي تصل" من محولات الوصول ، والتي توفر مزامنة جداول عناوين MAC (بالإضافة إلى جداول ARP) على محولات زوج M-LAG.
يتم تحقيق موازنة حركة المرور نظرًا لوجود العديد من المسارات في الشبكة الأساسية المؤدية إلى واجهات الاسترجاع الخاصة بمفاتيح التوزيع.
بدلا من خاتمة
كما هو مذكور أعلاه ، في الاختبارات والتشغيل ، أظهرت الشبكة موثوقية عالية (وقت الاسترداد لحالات الفشل النموذجية لا يزيد عن مئات المللي ثانية) وأداء جيد - كل اتصال متقاطع متصل بالنواة عن طريق قناتين 40 جيجابت / ثانية. محولات الوصول في شبكتنا مكدسة ومتصلة بمفاتيح التوزيع عبر LACP / M-LAG مع رابطين بسرعة 10 جيجابت / ثانية. عادةً ما تحتوي المكدس على 5 مفاتيح مع 48 منفذًا لكل منها ، ما يصل إلى 10 مكدسات وصول متصلة بالتوزيع في كل اتصال متقاطع. وبالتالي ، يوفر العمود الفقري حوالي 30 ميجابت / ثانية لكل مستخدم حتى عند الحد الأقصى للحمل النظري ، وهو ما يكفي وقت كتابة هذا التقرير لجميع تطبيقاتنا العملية.
تتيح لك الشبكة تنظيم الاقتران بسهولة بين أي أجهزة متصلة بشكل تعسفي عبر كل من L2 و L3 ، مما يوفر عزلًا تامًا لحركة المرور (التي تحبها خدمة أمن المعلومات) ومجالات الخطأ (التي تحبها خدمة التشغيل).
في الجزء التالي ، سنخبرك كيف انتقلنا إلى الشبكة الجديدة. ابقوا متابعين!
مكسيم كلوشكوف
مستشار أول ، تدقيق الشبكة ومجموعة المشاريع المعقدة
مركز حلول الشبكات
"Jet Infosystems"
المصدر: www.habr.com