في المادتين الأوليين ، أثرت مسألة الأتمتة وحددت إطارها ، وفي المقال الثاني قمت باستطراد في المحاكاة الافتراضية للشبكة ، كأول نهج لأتمتة تكوين الخدمة.
والآن حان الوقت لرسم مخطط للشبكة المادية.

إذا لم تكن على قدم وساق مع تنظيم شبكات مراكز البيانات ، فأنا أوصي بشدة بالبدء بـ مقالات عنها.

جميع الإصدارات:

• 0. ADSM. الجزء صفر. تخطيط
• 1. ADSM. الجزء الأول (الذي يقع بعد الصفر). الشبكة الافتراضية
• 2. ADSM. الجزء الثاني. تصميم الشبكات

يجب أن تكون الممارسات الموضحة في هذه السلسلة قابلة للتطبيق على أي نوع من الشبكات وأي نطاق وأي مجموعة متنوعة من البائعين (لا). ومع ذلك ، من المستحيل وصف مثال عالمي لتطبيق هذه الأساليب. لذلك ، سأركز على الهندسة المعمارية الحديثة لشبكة DC: مصنع كلوز.
سنفعل DCI على MPLS L3VPN.

في الجزء العلوي من الشبكة المادية ، توجد شبكة Overlay من المضيف (يمكن أن تكون OpenStack's VXLAN أو Tungsten Fabric ، أو أي شيء آخر يتطلب اتصال IP أساسيًا فقط من الشبكة).

في هذه الحالة ، نحصل على سيناريو بسيط نسبيًا للأتمتة ، لأن لدينا الكثير من المعدات التي تم تكوينها بنفس الطريقة.

سنختار DC كروي في الفراغ:

• إصدار تصميم واحد في كل مكان.
• بائعان يشكلان طائرتين شبكيتين.
• واحد DC يشبه الآخر مثل قطرتين من الماء.

محتوى

• الطوبولوجيا الفيزيائية
• التوجيه
• خطة IP
• لابا
• اختتام
• وصلات مفيدة

دع مقدم الخدمة LAN_DC ، على سبيل المثال ، يستضيف مقاطع فيديو تدريبية حول المصاعد المتوقفة عن العمل.

في المدن الكبرى ، هذا شائع بشكل كبير ، لذا فأنت بحاجة إلى الكثير من الآلات المادية.

أولاً ، سأصف الشبكة تقريبًا كما أرغب في رؤيتها. وبعد ذلك سأبسط المعامل.

الطوبولوجيا الفيزيائية

المواقع

سيكون LAN_DC 6 DCs:

• روسيا (RU):
  • موسكو (MSK)
  • قازان (kzn)

• إسبانيا (SP):
  • برشلونة (BCN)
  • ملقة (MLG)

• الصين (CN):
  • شنغهاي (إن شاء)
  • شيان (هو)

داخل العاصمة (داخل العاصمة)

تمتلك جميع مراكز البيانات (DC) شبكات اتصال داخلية متطابقة تستند إلى طوبولوجيا كلوزه.
ما هي شبكات كلوز ولماذا هم بالضبط - بشكل منفصل مقالة.

كل وحدة تحكم بها 10 رفوف بها سيارات ، سيتم ترقيمها كـ A, B, C وهلم جرا.

يوجد 30 آلة في كل رف. لن تهمنا.

أيضًا ، يوجد في كل رف مفتاح يتم توصيل جميع الأجهزة به - وهذا هو الجزء العلوي من مفتاح الرف - ToR أو غير ذلك ، من حيث مصنع كلوزه ، سوف نسميها ورق.

المخطط العام للمصنع.

سوف نسميهم XXX-ورقةYحيث XXX - اختصار مكون من ثلاثة أحرف DC ، و Y - رقم سري. على سبيل المثال، ورقة kzn11.

في مقالاتي ، سأسمح لنفسي باستخدام مصطلحات Leaf و ToR كمرادفات تافهة. ومع ذلك ، يجب أن نتذكر أن الأمر ليس كذلك.
ToR هو مفتاح مثبت على حامل تتصل به الآلات.
Leaf هو دور الجهاز في شبكة فعلية أو مفتاح تبديل من المستوى الأول من حيث طوبولوجيا كلوزه.
هذا هو ، Leaf! = ToR.
لذلك يمكن أن يكون Leaf مفتاح EndofRaw ، على سبيل المثال.
ومع ذلك ، في إطار هذه المقالة ، سنظل نتعامل معها كمرادفات.

كل مفتاح ToR متصل بدوره بأربعة مفاتيح تجميع أعلى - العمود الفقري. تحت العمود الفقري ، يتم تخصيص رف واحد في العاصمة. سوف نسميها على النحو التالي: XXX-العمود الفقريY.

في نفس الرف ، ستكون هناك معدات شبكة للاتصال بين DCs - 2 جهاز توجيه مع MPLS على متن الطائرة. لكن بشكل عام ، هذه هي نفس العناصر. أي ، من وجهة نظر مفاتيح Spine ، لا يهم ToR المعتاد مع الأجهزة المتصلة أو جهاز توجيه لـ DCI - شيء واحد فقط.

تسمى هذه الشروط الخاصة حافة ورقة. سوف نسميهم XXX-حافةY.

سيبدو مثل هذا.

في الرسم البياني أعلاه ، قمت بالفعل بوضع الحافة والأوراق على نفس المستوى. شبكات كلاسيكية ثلاثية الطبقات علمنا أن نعتبر الوصلة الصاعدة (في الواقع ، ومن هنا المصطلح) روابط تصل. وهنا يتضح أن "الوصلة الصاعدة" لـ DCI تتراجع ، مما يكسر المنطق المعتاد قليلاً بالنسبة للبعض. في حالة الشبكات الكبيرة ، عندما يتم تقسيم مراكز البيانات إلى وحدات أصغر - POD(نقطة التسليم) ، قم بتخصيص الفرد حافة- PODلـ DCI والوصول إلى الشبكات الخارجية.

لسهولة الإدراك في المستقبل ، سأستمر في رسم الحافة فوق العمود الفقري ، بينما سنضع في اعتبارنا أنه لا يوجد ذكاء على العمود الفقري ولا توجد اختلافات عند العمل مع ورقة عادية ومع ورقة الحافة (على الرغم من وجود فروق دقيقة ولكن بشكل عام هذا صحيح).

رسم تخطيطي للمصنع بأوراق الحواف.

تشكل الورقة الثلاثية والعمود الفقري والحافة شبكة أساسية أو مصنعًا.

مهمة مصنع الشبكة (اقرأ Underlay) ، كما حددناها بالفعل في المسألة الأخيرة، بسيط جدًا جدًا - لتوفير اتصال IP بين الأجهزة داخل نفس DC وبينها.
هذا هو سبب تسمية الشبكة بالمصنع ، تمامًا مثل ، على سبيل المثال ، مصنع التحويل داخل مربعات الشبكة المعيارية ، والتي يمكنك قراءة المزيد عنها في SDSM14.

بشكل عام ، تسمى هذه الطوبولوجيا مصنعًا ، لأن النسيج في الترجمة هو نسيج. ومن الصعب الاختلاف:

المصنع L3 بالكامل. لا توجد شبكات محلية ظاهرية ، ولا بث - هؤلاء هم المبرمجون الرائعون الموجودون لدينا في LAN_DC ، ويمكنهم كتابة التطبيقات التي تعيش في نموذج L3 ، ولا تتطلب الأجهزة الافتراضية الترحيل المباشر مع حفظ عنوان IP.

ومرة أخرى: إجابة السؤال لماذا المصنع ولماذا L3 منفصل مقالة.

DCI - ربط مركز البيانات (Inter-DC)

سيتم تنظيم DCI بمساعدة Edge-Leaf ، أي أنها نقطة خروجنا من الطريق السريع.
من أجل التبسيط ، نفترض أن DC مترابطة بواسطة روابط مباشرة.
دعونا نستبعد من النظر الاتصال الخارجي.

أدرك أنه في كل مرة أقوم فيها بإزالة أحد المكونات ، أقوم بتبسيط الشبكة بشكل كبير. وعند أتمتة شبكتنا المجردة ، سيكون كل شيء على ما يرام ، لكن ستظهر العكازات على الشبكة الحقيقية.
هذا صحيح. ومع ذلك ، فإن الغرض من هذه السلسلة هو التفكير والعمل على المناهج ، وليس حل المشكلات الوهمية بشكل بطولي.

في Edge-Leafs ، ​​يتم وضع الأساس في VPN ويتم نقله عبر العمود الفقري MPLS (نفس الرابط المباشر).

هنا يتم الحصول على مخطط المستوى الأعلى.

التوجيه

للتوجيه داخل DC ، سوف نستخدم BGP.
على العمود الفقري OSPF + LDP MPLS.
بالنسبة إلى DCI ، أي تنظيم الاتصال في الأساس - BGP L3VPN عبر MPLS.

مخطط التوجيه العام

لا يوجد OSPF و ISIS في المصنع (بروتوكول التوجيه محظور في الاتحاد الروسي).

وهذا يعني أنه لن يكون هناك اكتشاف تلقائي وحساب لأقصر المسارات - فقط يدويًا (تلقائي بالفعل - نتحدث هنا عن الأتمتة) إعدادات البروتوكول والحي والسياسة.

مخطط توجيه BGP داخل DC

لماذا BGP؟

هناك RFC كله سميت باسم Facebook و Arista ، والتي تخبرنا عن كيفية البناء كبير جدا شبكات مراكز البيانات التي تستخدم BGP. يقرأ مثل الخيال تقريبًا ، أوصي به بشدة لأمسية ثقيلة.

يوجد أيضًا قسم كامل في مقالتي مخصص لهذا. أين يمكنني أن آخذك و يرسل.

ولكن لا يزال ، باختصار ، لا يوجد IGP مناسب لشبكات مراكز البيانات الكبيرة ، حيث يصل عدد أجهزة الشبكة إلى الآلاف.

بالإضافة إلى ذلك ، سيسمح لك استخدام BGP في كل مكان بعدم استخدام الدعم للعديد من البروتوكولات المختلفة والمزامنة فيما بينها.

يدا بيد ، في مصنعنا ، والذي على الأرجح لن ينمو بسرعة ، سيكون OSPF كافيا لأعيننا. هذه في الواقع مشكلة المتسللين العملاقين وعمالقة السحابة. لكن دعونا نتخيل بعض المشكلات التي نحتاجها ، وسنستخدم BGP ، كما أوصى بيتر لابوخوف.

سياسات التوجيه

في مفاتيح Leaf ، نقوم باستيراد البادئات من واجهات شبكة Underlay إلى BGP.
سيكون لدينا جلسة BGP بين كل زوج من Leaf-Spine ، حيث سيتم الإعلان عن بادئات Underlay عبر الشبكة هنا وهناك.

داخل مركز بيانات واحد ، سنقوم بتوزيع التفاصيل التي قمنا باستيرادها إلى Tor. في Edge-Leafs ، ​​سنقوم بتجميعها والإعلان عنها إلى DCs البعيدة وإرسالها إلى Tors. أي أن كل Tor سيعرف بالضبط كيفية الوصول إلى Tor آخر في نفس العاصمة وأين توجد نقطة الدخول للوصول إلى Tor في DC آخر.

في DCI ، سيتم إرسال المسارات كـ VPNv4. للقيام بذلك ، في Edge-Leaf ، سيتم وضع الواجهة نحو المصنع في VRF ، دعنا نسميها UNDERLAY ، وسوف يرتفع الحي الذي يحتوي على العمود الفقري على Edge-Leaf داخل VRF ، وبين Edge-Leafs في عائلة VPNv4.

سنحظر أيضًا إعادة الإعلان عن المسارات الواردة من العمود الفقري إلى الخلف.

في الورقة والعمود الفقري ، لن نقوم باستيراد Loopbacks. سنحتاجهم فقط لتحديد معرف جهاز التوجيه.

ولكن في Edge-Leafs ، ​​نقوم باستيراده إلى Global BGP. بين عناوين Loopback ، ستنشئ Edge-Leafs جلسة BGP في عائلة IPv4 VPN مع بعضها البعض.

بين أجهزة EDGE ، سيكون لدينا جذع ممتد إلى OSPF + LDP. الكل في منطقة واحدة. تكوين بسيط للغاية.

هذه صورة مع التوجيه.

BGP ASN

ورقة الحافة ASN

في Edge-Leafs ، ​​سيكون هناك ASN واحد في جميع DC. من المهم أن يكون هناك iBGP بين Edge-Leafs ، ​​ولا نواجه الفروق الدقيقة في eBGP. فليكن 65535. في الواقع ، يمكن أن يكون رقم AS عام.

العمود الفقري ASN

في العمود الفقري ، سيكون لدينا ASN واحد لكل DC. لنبدأ هنا من الرقم الأول من نطاق AS الخاص - 64512 ، 64513 وهكذا.

لماذا ASN على DC؟

لنحلل هذا السؤال إلى قسمين:

• لماذا نفس ASN على جميع العمود الفقري لعاصمة واحدة؟
• لماذا هم مختلفون في البلدان النامية المختلفة؟

لماذا نفس ASN على جميع أشواك DC واحد

هذا هو الشكل الذي سيبدو عليه AS-Path الخاص بالمسار الأساسي على حافة الورقة:
[leafX_ASN, spine_ASN, edge_ASN]
عند محاولة إعادته إلى Spine ، سيتم رفضه لأن AS (Spine_AS) موجود بالفعل في القائمة.

ومع ذلك ، داخل العاصمة ، نحن راضون تمامًا عن أن المسارات الأساسية التي ارتفعت إلى الحافة لن تكون قادرة على النزول. يجب أن تحدث جميع الاتصالات بين المضيفين داخل العاصمة داخل مستوى العمود الفقري.

في الوقت نفسه ، ستصل المسارات المجمعة لمراكز DC الأخرى بحرية في أي حال إلى Tors - سيحتوي AS-Path الخاص بهم على ASN 65535 فقط - عدد AS Edge-Leafs ، ​​لأنه تم إنشاؤها عليها.

لماذا تختلف في البلدان النامية المختلفة

نظريًا ، قد نحتاج إلى سحب Loopback وبعض الأجهزة الافتراضية للخدمة بين DC.

على سبيل المثال ، على المضيف سنقوم بتشغيل Route Reflector أو نفس VNGW (بوابة الشبكة الافتراضية) ، والتي ستغلق نفسها مع Tor عبر BGP وتعلن استرجاعها ، والذي يجب أن يكون متاحًا من جميع DCs.

إذن هذا ما سيبدو عليه AS-Path:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

ولا ينبغي تكرار ASNs في أي مكان.

أي ، يجب أن يكون Spine_DC1 و Spine_DC2 مختلفين ، تمامًا مثل leafX_DC1 و leafY_DC2 ، وهو بالضبط ما نقترب منه.

كما تعلم على الأرجح ، هناك عمليات اختراق تتيح لك قبول المسارات ذات ASNs المكررة على الرغم من آلية منع الحلقة (allowas-in على Cisco). بل وله استخدامات مشروعة. لكن هذه فجوة محتملة في استقرار الشبكة. وأنا شخصيا وقعت فيه عدة مرات.

وإذا أتيحت لنا الفرصة لعدم استخدام الأشياء الخطرة ، فسنستخدمها.

أوراق ASN

سيكون لدينا ASN فردي على كل محول أوراق داخل الشبكة بالكامل.
نقوم بذلك للأسباب المذكورة أعلاه: AS-Path بدون حلقات ، تكوين BGP بدون إشارات مرجعية.

لكي تمر المسارات بين Leafs بسلاسة ، يجب أن يبدو AS-Path كما يلي:
[leafX_ASN, spine_ASN, leafY_ASN]
حيث سيكون من الجيد أن تكون أوراق LeaX_ASN و leafY_ASN مختلفة.

هذا مطلوب أيضًا للموقف مع الإعلان عن استرجاع VNF بين DC:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

سنستخدم ASN 4 بايت وننشئه بناءً على ASN الخاص بالعمود الفقري ورقم مفتاح Leaf ، مثل هذا: العمود الفقري_ASN.0000X.

هذه صورة مع ASN.

خطة IP

بشكل أساسي ، نحتاج إلى تخصيص عناوين للاتصالات التالية:

1. عناوين الشبكة الأساسية بين ToR والجهاز. يجب أن تكون فريدة داخل الشبكة بالكامل حتى يتمكن أي جهاز من التواصل مع أي جهاز آخر. تناسب كبير 10/8. لكل رف / 26 بهامش. سنخصص / 19 لكل DC و / 17 لكل منطقة.
2. عناوين الارتباط بين Leaf / Tor و Spine.

   أود تعيينهم خوارزميًا ، أي الحساب من أسماء الأجهزة التي يجب توصيلها.

   فليكن ... 169.254.0.0/16.
   يسمى 169.254.00X.Y / 31حيث X - رقم العمود الفقري ، Y - شبكة P2P / 31.
   سيسمح لك هذا بتشغيل ما يصل إلى 128 رفًا ، وما يصل إلى 10 عمودًا في العاصمة. يمكن (وسوف) تكرار عناوين الارتباط من DC إلى DC.

3. العمود الفقري المشترك - تنظيم Edge-Leaf على شبكات فرعية 169.254.10X.Y / 31، حيث بالضبط نفس الشيء X - رقم العمود الفقري ، Y - شبكة P2P / 31.
4. عناوين الارتباط من Edge-Leaf إلى العمود الفقري MPLS. هنا يختلف الوضع إلى حد ما - تقاطع كل القطع في دائري واحد ، لذلك لن تتمكن من إعادة استخدام نفس العناوين - تحتاج إلى اختيار الشبكة الفرعية المجانية التالية. لذلك ، نأخذ كأساس 192.168.0.0/16 وسوف نتحرر منه.
5. عناوين الاسترجاع. دعونا نمنحهم النطاق الكامل 172.16.0.0/12.
   • ورقة - / 25 لكل منهما في العاصمة - نفس 128 رفًا. تخصيص / 23 لكل منطقة.
   • العمود الفقري - بنسبة / 28 على العاصمة - حتى 16 عمودًا. تخصيص / 26 لكل منطقة.
   • Edge-Leaf - / 29 في DC - ما يصل إلى 8 صناديق. تخصيص / 27 لكل منطقة.

إذا لم يكن لدينا ما يكفي من النطاقات المخصصة في DC (ولن نمتلكها - نتظاهر بكوننا مفرط التقلص) ، فنحن ببساطة نختار المجموعة التالية.

هذه صورة مع عنونة IP.

الاسترجاع:

بادئة
دور الجهاز
منطقة
العاصمة

172.16.0.0/23
حافة
 
 

172.16.0.0/27
ru
 

172.16.0.0/29
MSK

172.16.0.8/29
kzn

172.16.0.32/27
sp
 

172.16.0.32/29
BCN

172.16.0.40/29
MLG

172.16.0.64/27
cn
 

172.16.0.64/29
إن شاء

172.16.0.72/29
هو

172.16.2.0/23
العمود الفقري
 
 

172.16.2.0/26
ru
 

172.16.2.0/28
MSK

172.16.2.16/28
kzn

172.16.2.64/26
sp
 

172.16.2.64/28
BCN

172.16.2.80/28
MLG

172.16.2.128/26
cn
 

172.16.2.128/28
إن شاء

172.16.2.144/28
هو

172.16.8.0/21
ورق
 
 

172.16.8.0/23
ru
 

172.16.8.0/25
MSK

172.16.8.128/25
kzn

172.16.10.0/23
sp
 

172.16.10.0/25
BCN

172.16.10.128/25
MLG

172.16.12.0/23
cn
 

172.16.12.0/25
إن شاء

172.16.12.128/25
هو

الأساس الذي تقوم عليه:

بادئة
منطقة
العاصمة

10.0.0.0/17
ru
 

10.0.0.0/19
MSK

10.0.32.0/19
kzn

10.0.128.0/17
sp
 

10.0.128.0/19
BCN

10.0.160.0/19
MLG

10.1.0.0/17
cn
 

10.1.0.0/19
إن شاء

10.1.32.0/19
هو

لابا

بائعان. شبكة واحدة. ADSM.

جونيبر + أريستا. أوبونتو. حواء العجوز الطيبة.

لا يزال حجم الموارد على جهازك الافتراضي في Miran محدودًا ، لذا سنستخدم في الممارسة العملية مثل هذه الشبكة المبسطة إلى أقصى حد.

مركزان للبيانات: كازان وبرشلونة.

• يدور كل منهما: جونيبر وأريستا.
• طارة واحدة (ورقة) في كل منهما - جونيبر وأريستا ، مع مضيف واحد متصل (لنأخذ وزن خفيف Cisco IOL لهذا الغرض).
• عقدة حافة واحدة لكل منها (فقط العرعر حتى الآن).
• مفتاح Cisco واحد للحكم عليهم جميعًا.
• بالإضافة إلى مربعات الشبكة ، تم إطلاق مدير آلة افتراضي. تحت أوبونتو.
  لديه حق الوصول إلى جميع الأجهزة ، وسوف يقوم بتشغيل أنظمة IPAM / DCIM ، ومجموعة من نصوص Python النصية ، وغير ذلك من الأشياء التي قد نحتاجها.

التكوين الكامل لجميع أجهزة الشبكة ، والتي سنحاول إعادة إنتاجها باستخدام الأتمتة.

اختتام

وهل هي مقبولة ايضا؟ تحت كل مادة لجعل خاتمة قصيرة؟

لذلك اخترنا ثلاثة مستويات شبكة Kloz داخل العاصمة ، لأننا نتوقع الكثير من حركة المرور بين الشرق والغرب ونريد ECMP.

قمنا بتقسيم الشبكة إلى مادية (أساس) وافتراضي (تراكب). في الوقت نفسه ، يبدأ التراكب من المضيف - وبالتالي يبسط متطلبات الطبقة السفلية.

اختر BGP كبروتوكول توجيه جهاز التوجيه لقابلية التوسع ومرونة السياسة.

سيكون لدينا عقد منفصلة لتنظيم DCI - Edge-leaf.
سيكون هناك OSPF + LDP على العمود الفقري.
سيتم تنفيذ DCI على أساس MPLS L3VPN.
بالنسبة إلى روابط P2P ، سنحسب عناوين IP بطريقة حسابية بناءً على أسماء الأجهزة.
سيتم تعيين Loopbacks وفقًا لدور الأجهزة وموقعها بالتتابع.
البادئات السفلية - فقط على مفاتيح Leaf في السلسلة بناءً على موقعها.

لنفترض أنه ليس لدينا أي معدات مثبتة في الوقت الحالي.
لذلك ، ستكون خطواتنا التالية هي إدخالهم في الأنظمة (IPAM ، المخزون) ، وتنظيم الوصول ، وإنشاء التكوين ونشره.

في المقالة التالية ، سنتعامل مع Netbox ، وهو نظام جرد وإدارة لمساحة IP في DC.

شكرًا

• Andrey Glazkov الملقب glazgoo للتدقيق والتحرير
• Alexandru Klimenko aka @ v00lk للتدقيق والتحرير
• أرتيوم تشيرنوباي لـ KDPV

المصدر: www.habr.com