Birinchi ikkita maqolada men avtomatlashtirish masalasini ko'tardim va uning asoslarini chizdim, ikkinchisida xizmatlar konfiguratsiyasini avtomatlashtirishning birinchi yondashuvi sifatida tarmoq virtualizatsiyasiga chekindim.
Endi jismoniy tarmoq diagrammasini chizish vaqti keldi.

Agar siz ma'lumotlar markazi tarmoqlarini o'rnatish bilan tanish bo'lmasangiz, unda men boshlashni tavsiya qilaman ular haqida maqolalar.

Barcha masalalar:

• 0. ADSM. Nolinchi qism. Rejalashtirish
• 1. ADSM. Birinchi qism (noldan keyin). Tarmoqni virtualizatsiya qilish
• 2. ADSM. Ikkinchi qism. Tarmoq dizayni

Ushbu seriyada tasvirlangan amaliyotlar har qanday turdagi tarmoqqa, har qanday hajmga, har qanday sotuvchiga (yo'q) tegishli bo'lishi kerak. Biroq, bu yondashuvlarni qo'llashning universal misolini tasvirlab bo'lmaydi. Shuning uchun men DC tarmog'ining zamonaviy arxitekturasiga e'tibor qarataman: Kloz zavodi.
Biz MPLS L3VPN da DCI qilamiz.

Overlay tarmog'i xostdan jismoniy tarmoq ustida ishlaydi (bu OpenStack VXLAN yoki Tungsten Fabric yoki tarmoqdan faqat asosiy IP ulanishini talab qiladigan boshqa narsa bo'lishi mumkin).

Bunday holda, biz avtomatlashtirish uchun nisbatan oddiy stsenariyni olamiz, chunki bizda bir xil tarzda tuzilgan juda ko'p uskunalar mavjud.

Biz vakuumda sferik DC ni tanlaymiz:

• Hamma joyda bitta dizayn versiyasi.
• Ikkita tarmoq tekisligini tashkil etuvchi ikkita sotuvchi.
• Bir DC boshqasiga o'xshaydi, xuddi poddagi ikkita no'xat.

Mundarija

• Fizik topologiya
• Marshrutlash
• IP rejasi
• Laba
• xulosa
• Foydali havolalar

Masalan, LAN_DC xizmat ko'rsatuvchi provayderimiz tiqilib qolgan liftlarda omon qolish haqida o'quv videolarini o'tkazsin.

Megapolislarda bu juda mashhur, shuning uchun sizga juda ko'p jismoniy mashinalar kerak.

Birinchidan, men tarmoqni taxminan men xohlagancha tasvirlab beraman. Va keyin men uni laboratoriya uchun soddalashtiraman.

Fizik topologiya

Joylar

LAN_DCda 6 ta DC bo‘ladi:

• Rossiya (RU):
  • Moskva (msk)
  • Qozon (kzn)

• Ispaniya (SP):
  • Barselona (bcn)
  • Malaga (mlg)

• Xitoy (CN):
  • Shanxay (sha)
  • Sian (sia)

DC ichida (Intra-DC)

Barcha DClar Clos topologiyasiga asoslangan bir xil ichki ulanish tarmoqlariga ega.
Ular qanday Clos tarmoqlari va nima uchun ular alohida maqola.

Har bir shaharda mashinalari bo'lgan 10 ta raf mavjud, ular raqamlangan bo'ladi A, B, C Va shunga o'xshash.

Har bir tokchada 30 ta mashina mavjud. Ular bizni qiziqtirmaydi.

Shuningdek, har bir tokchada barcha mashinalar ulangan kalit mavjud - bu Rafning yuqori qismidagi kalit - ToR yoki aks holda, Clos zavodi nuqtai nazaridan, biz uni chaqiramiz Barg.

Zavodning umumiy diagrammasi.

Biz ularni chaqiramiz XXX-bargYqayerda XXX - uch harfli qisqartma DC, va Y - tartib raqam. Masalan, kzn-barg11.

Maqolalarimda men Leaf va ToR atamalarini sinonim sifatida bejiz ishlatishga ruxsat beraman. Biroq, biz bunday emasligini unutmasligimiz kerak.
ToR - bu mashinalar ulangan rafga o'rnatilgan kalit.
Leaf - bu jismoniy tarmoqdagi qurilmaning roli yoki Cloes topologiyasi nuqtai nazaridan birinchi darajali kalit.
Ya'ni, Leaf != ToR.
Shunday qilib, Leaf, masalan, EndofRaw kaliti bo'lishi mumkin.
Biroq, ushbu maqola doirasida biz ularni sinonim sifatida ko'rib chiqamiz.

Har bir ToR kaliti o'z navbatida to'rtta yuqori darajadagi yig'ish kalitlariga ulangan - Orqa miya. DCdagi bitta raft Spines uchun ajratilgan. Biz uni xuddi shunday nomlaymiz: XXX- umurtqa pog'onasiY.

Xuddi shu stendda MPLS-ga ega DC - 2 router o'rtasida ulanish uchun tarmoq uskunalari mavjud. Ammo umuman olganda, bular bir xil ToRlar. Ya'ni, orqa miya kalitlari nuqtai nazaridan, ulangan mashinalar yoki DCI uchun router bilan odatiy ToR umuman ahamiyatga ega emas - faqat yo'naltirish.

Bunday maxsus ToRlar deyiladi Yon barg. Biz ularni chaqiramiz XXX- chekkaY.

Bu shunday ko'rinadi.

Yuqoridagi diagrammada men chekka va bargni bir xil darajaga qo'ydim. Klassik uch qatlamli tarmoqlar Ular bizga yuqoriga ulanishni (shuning uchun atama) yuqoriga ulanish deb hisoblashni o'rgatishdi. Va ma'lum bo'lishicha, DCI "uplink" yana pastga tushadi, bu ba'zilar uchun odatiy mantiqni biroz buzadi. Katta tarmoqlarda, ma'lumotlar markazlari hatto kichikroq bo'linmalarga bo'linganda - PODKASTLAR's (Point Of Delivery), individualni ajratib ko'rsatish Edge-POD's DCI va tashqi tarmoqlarga kirish uchun.

Для удобства восприятия в дальнейшем я буду всё же рисовать Edge над Spine, при этом мы будем держать в уме, что никакого интеллекта на Spine и отличий при работе с обычными Leaf и с Edge-leaf нет (хотя тут могут быть нюансы, но в целом bu shunday).

Edge-barglari bo'lgan zavod sxemasi.

Barg, orqa miya va chekka uchligi Underlay tarmog'ini yoki zavodni tashkil qiladi.

Tarmoq zavodining vazifasi (Underlay-ni o'qing), biz allaqachon aniqlaganimizdek oxirgi masala, juda, juda oddiy - bir xil shahar ichidagi mashinalar va ular orasidagi IP ulanishini ta'minlash.
Shuning uchun tarmoq zavod deb ataladi, masalan, modulli tarmoq qutilari ichidagi kommutatsiya zavodi kabi, siz bu haqda ko'proq o'qishingiz mumkin. SDSM14.

Umuman olganda, bunday topologiya zavod deb ataladi, chunki tarjimada mato mato degan ma'noni anglatadi. Va bunga rozi bo'lish qiyin:

Zavod butunlay L3. VLAN yo'q, Broadcast yo'q - bizda LAN_DCda shunday ajoyib dasturchilar bor, ular L3 paradigmasida yashovchi ilovalarni qanday yozishni bilishadi va virtual mashinalar IP manzilini saqlab qolgan holda Live Migratsiyani talab qilmaydi.

Va yana bir bor: nima uchun zavod va nima uchun L3 alohida bo'lgan savolga javob maqola.

DCI - Data Center Interconnect (Inter-DC)

DCI Edge-Leaf yordamida tashkil etiladi, ya'ni ular bizning magistralga chiqish nuqtamizdir.
Oddiylik uchun biz DC lar bir-biriga to'g'ridan-to'g'ri havolalar orqali ulangan deb taxmin qilamiz.
Keling, tashqi ulanishni hisobga olmaymiz.

Men har safar komponentni olib tashlaganimda tarmoqni sezilarli darajada soddalashtirganimni bilaman. Va biz mavhum tarmog'imizni avtomatlashtirganda, hamma narsa yaxshi bo'ladi, lekin haqiqiyda qo'ltiq tayoqchalari bo'ladi.
Bu shunday. Shunday bo'lsa-da, bu seriyaning maqsadi xayoliy muammolarni qahramonona hal qilish emas, balki yondashuvlar ustida o'ylash va ishlashdir.

Edge-Leafs-da pastki qatlam VPN-ga joylashtiriladi va MPLS magistral orqali uzatiladi (xuddi shu to'g'ridan-to'g'ri havola).

Bu biz olgan yuqori darajadagi diagramma.

Marshrutlash

DC ichida marshrutlash uchun biz BGP dan foydalanamiz.
MPLS magistralida OSPF+LDP.
DCI uchun, ya'ni er ostidagi ulanishni tashkil qilish - MPLS orqali BGP L3VPN.

Umumiy marshrutlash sxemasi

Zavodda OSPF yoki ISIS (Rossiya Federatsiyasida taqiqlangan marshrutlash protokoli) mavjud emas.

Bu shuni anglatadiki, eng qisqa yo'llarni avtomatik aniqlash yoki hisoblash bo'lmaydi - faqat qo'lda (aslida avtomatik - bu erda avtomatlashtirish haqida gapiramiz) protokol, qo'shnichilik va siyosatlarni sozlash.

DC ichida BGP marshrutlash sxemasi

Nima uchun BGP?

Bu mavzuda mavjud butun RFC Facebook va Arista nomi bilan atalgan, qanday qilib qurish kerakligini aytadi juda katta BGP yordamida ma'lumotlar markazi tarmoqlari. U deyarli fantastika kabi o'qiydi, men uni bema'ni oqshom uchun tavsiya qilaman.

Va mening maqolamda bunga bag'ishlangan butun bo'lim ham mavjud. Sizni qayerga olib boraman va yuboryapman.

Ammo baribir, qisqasi, tarmoq qurilmalari soni minglab bo'lgan yirik ma'lumotlar markazlari tarmoqlari uchun hech qanday IGP mos kelmaydi.

Bundan tashqari, BGP-dan hamma joyda foydalanish sizga bir nechta turli xil protokollarni qo'llab-quvvatlash va ular orasidagi sinxronizatsiya uchun vaqtni behuda sarf qilmaslik imkonini beradi.

Yurakdan turib, yuqori ehtimollik bilan tez o'smaydigan fabrikamızda OSPF ko'zlar uchun etarli bo'ladi. Bular aslida megaskalerlar va bulut titanlarining muammolari. Ammo keling, bir nechta relizlar uchun bizga kerak bo'lganini tasavvur qilaylik va biz Pyotr Lapuxov vasiyat qilganidek, BGP dan foydalanamiz.

Marshrutlash siyosati

Leaf kalitlarida biz Underlay tarmoq interfeyslaridan BGP ga prefikslarni import qilamiz.
O'rtasida BGP sessiyasi bo'ladi har biri Leaf-Spine juftligi, unda ushbu Underlay prefikslari tarmoq orqali u erda va u erda e'lon qilinadi.

Bitta ma'lumot markazida biz ToRega import qilingan texnik xususiyatlarni tarqatamiz. Edge-Leafs-da biz ularni birlashtiramiz va ularni masofaviy DC-larga e'lon qilamiz va ularni TOR-larga yuboramiz. Ya'ni, har bir ToR xuddi shu DCdagi boshqa ToRga qanday borishni va kirish nuqtasi boshqa DCdagi ToRga borishni aniq biladi.

DCI da marshrutlar VPNv4 sifatida uzatiladi. Buning uchun Edge-Leaf-da zavod tomon interfeys VRF-ga joylashtiriladi, keling, uni UNDERLAY deb ataymiz va Edge-Leaf-da umurtqa pog'onasi VRF ichida va VPNv4-da Edge-Leafs o'rtasida ko'tariladi. oila.

Shuningdek, biz umurtqa pog'onasidan olingan marshrutlarni ularga qaytadan e'lon qilishni ham taqiqlaymiz.

Leaf va Spine-da biz Loopback-larni import qilmaymiz. Bizga faqat Router identifikatorini aniqlash uchun kerak.

Ammo Edge-Leafs-da biz uni Global BGP-ga import qilamiz. Loopback manzillari o'rtasida Edge-Leafs bir-biri bilan IPv4 VPN oilasida BGP seansini o'rnatadi.

Biz EDGE qurilmalari orasida OSPF+LDP magistraliga ega bo'lamiz. Hammasi bitta zonada. Juda oddiy konfiguratsiya.

Bu marshrutlash bilan rasm.

BGP ASN

Edge-Leaf ASN

Edge-Leafs-da barcha DClarda bitta ASN bo'ladi. Edge-Leafs o'rtasida iBGP mavjudligi juda muhim va biz eBGP nuanslariga tushib qolmaymiz. 65535 bo'lsin. Haqiqatda bu ommaviy AS ning soni bo'lishi mumkin.

Orqa miya ASN

Spine-da har bir DC uchun bitta ASN bo'ladi. Keling, shaxsiy AS diapazonidagi birinchi raqamdan boshlaylik - 64512, 64513 Va hokazo.

Nima uchun DCda ASN?

Keling, bu savolni ikkiga ajratamiz:

• Nima uchun ASNlar bitta shaharning barcha umurtqalarida bir xil?
• Nima uchun ular turli DClarda farqlanadi?

Nima uchun bitta DC ning barcha umurtqalarida bir xil ASN mavjud?

Edge-Leaf-dagi Underlay marshrutining AS-yo'li quyidagicha ko'rinadi:
[leafX_ASN, spine_ASN, edge_ASN]
Uni orqaga orqaga e'lon qilmoqchi bo'lganingizda, u o'chirib tashlaydi, chunki uning AS (Spine_AS) allaqachon ro'yxatda.

Biroq, DC ichida biz Edgega ko'tariladigan Underlay marshrutlari pastga tusha olmasligidan to'liq qoniqamiz. DC ichidagi xostlar o'rtasidagi barcha aloqa umurtqa pog'onasi darajasida amalga oshirilishi kerak.

Bunday holda, boshqa DC larning jamlangan marshrutlari har qanday holatda ham ToR larga osonlik bilan etib boradi - ularning AS-yo'lida faqat ASN 65535 bo'ladi - AS Edge-Leafs soni, chunki ular aynan shu erda yaratilgan.

Nima uchun ular turli DClarda farqlanadi?

Nazariy jihatdan, biz Loopback va ba'zi xizmat virtual mashinalarini DClar o'rtasida sudrab borishimiz kerak bo'lishi mumkin.

Masalan, xostda biz Route Reflector yoki ishga tushiramiz bir xil VNGW (Virtual tarmoq shlyuzi), u BGP orqali TopR bilan bloklanadi va barcha DC lardan kirish mumkin bo'lgan o'zining qayta aylanishini e'lon qiladi.

Shunday qilib, uning AS-yo'li shunday ko'rinadi:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

Va hech qanday joyda takroriy ASN bo'lmasligi kerak.

Ya'ni, Spine_DC1 va Spine_DC2, xuddi leafX_DC1 va leafY_DC2 kabi, har xil bo'lishi kerak, bu biz yaqinlashayotgan narsadir.

Siz bilganingizdek, aylanmaning oldini olish mexanizmiga qaramay (Cisco-ga kirishga ruxsat berilgan) ikki nusxadagi ASN-lar bilan marshrutlarni qabul qilish imkonini beruvchi xakerlar mavjud. Va hatto qonuniy foydalanishga ega. Ammo bu tarmoq barqarorligidagi potentsial bo'shliqdir. Va shaxsan men bunga bir necha bor tushib qoldim.

Va agar bizda xavfli narsalarni ishlatmaslik imkoniyati bo'lsa, biz undan foydalanamiz.

Barg ASN

Biz tarmoq bo'ylab har bir Leaf kalitida individual ASNga ega bo'lamiz.
Biz buni yuqorida keltirilgan sabablarga ko'ra qilamiz: pastadirsiz AS-Path, xatcho'plarsiz BGP konfiguratsiyasi.

Barglar orasidagi marshrutlar muammosiz o'tishi uchun AS-Path quyidagicha ko'rinishi kerak:
[leafX_ASN, spine_ASN, leafY_ASN]
bu erda leafX_ASN va leafY_ASN boshqacha bo'lsa yaxshi bo'lardi.

Bu, shuningdek, DClar o'rtasida VNF orqaga qaytishini e'lon qilish bilan bog'liq vaziyat uchun ham talab qilinadi:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

Biz 4 baytlik ASN dan foydalanamiz va uni Spine ASN va Leaf switch raqami asosida yaratamiz, xususan: Spine_ASN.0000X.

Bu ASN bilan rasm.

IP rejasi

Asosan, biz quyidagi ulanishlar uchun manzillarni ajratishimiz kerak:

1. ToR va mashina o'rtasidagi pastki tarmoq manzillari. Ular butun tarmoq ichida yagona bo'lishi kerak, shuning uchun har qanday mashina boshqasi bilan bog'lanishi mumkin. Ajoyib mos 10/8. Har bir stend uchun zaxiraga ega /26 mavjud. Biz DC uchun /19 va mintaqa uchun /17 ajratamiz.
2. Leaf/Tor va Spine o'rtasidagi bog'lanish manzillari.

   Men ularni algoritmik tarzda belgilashni xohlayman, ya'ni ulanishi kerak bo'lgan qurilmalarning nomlaridan hisoblab chiqing.

   Bo'lsin... 169.254.0.0/16.
   Aynan 169.254.00X.Y/31qayerda X - Orqa miya raqami, Y - P2P tarmog'i /31.
   Bu sizga DCda 128 tagacha tayanchni va 10 tagacha Spineni ishga tushirish imkonini beradi. Bog'lanish manzillari DC dan DC ga takrorlanishi mumkin (va bo'ladi).

3. Biz pastki tarmoqlarda Spine-Edge-Leaf birikmasini tashkil qilamiz 169.254.10X.Y/31, qayerda aynan bir xil X - Orqa miya raqami, Y - P2P tarmog'i /31.
4. Edge-Leaf-dan MPLS magistraliga manzillarni bog'lang. Bu erda vaziyat biroz boshqacha - barcha qismlar bitta pirogga ulangan joy, shuning uchun bir xil manzillarni qayta ishlatish ishlamaydi - keyingi bepul pastki tarmoqni tanlashingiz kerak. Shuning uchun, keling, asos qilib olaylik 192.168.0.0/16 Biz undan ozod bo'lganlarni siqib chiqaramiz.
5. Orqaga qaytish manzillari. Biz ular uchun butun assortimentni beramiz 172.16.0.0/12.
   • Barg - / DC uchun 25 - bir xil 128 ta raf. Har bir hudud uchun /23 ajratamiz.
   • Orqa miya - / DC boshiga 28 - 16 gacha Orqa miya. Mintaqaga /26 ni ajratamiz.
   • Edge-Leaf - DC uchun /29 - 8 qutigacha. Mintaqaga /27 ni ajratamiz.

Agar bizda DCda ajratilgan diapazonlar etarli bo'lmasa (va ular bo'lmaydi - biz hiperskalerlar deb da'vo qilamiz), biz shunchaki keyingi blokni tanlaymiz.

Bu IP manzilli rasm.

Orqaga qaytishlar:

Prefiks
Qurilmaning roli
Manzil
DC

172.16.0.0/23
chet
 
 

172.16.0.0/27
ru
 

172.16.0.0/29
msk

172.16.0.8/29
kzn

172.16.0.32/27
sp
 

172.16.0.32/29
bcn

172.16.0.40/29
mlg

172.16.0.64/27
cn
 

172.16.0.64/29
sha

172.16.0.72/29
sia

172.16.2.0/23
umurtqa
 
 

172.16.2.0/26
ru
 

172.16.2.0/28
msk

172.16.2.16/28
kzn

172.16.2.64/26
sp
 

172.16.2.64/28
bcn

172.16.2.80/28
mlg

172.16.2.128/26
cn
 

172.16.2.128/28
sha

172.16.2.144/28
sia

172.16.8.0/21
barg
 
 

172.16.8.0/23
ru
 

172.16.8.0/25
msk

172.16.8.128/25
kzn

172.16.10.0/23
sp
 

172.16.10.0/25
bcn

172.16.10.128/25
mlg

172.16.12.0/23
cn
 

172.16.12.0/25
sha

172.16.12.128/25
sia

Astar:

Prefiks
Manzil
DC

10.0.0.0/17
ru
 

10.0.0.0/19
msk

10.0.32.0/19
kzn

10.0.128.0/17
sp
 

10.0.128.0/19
bcn

10.0.160.0/19
mlg

10.1.0.0/17
cn
 

10.1.0.0/19
sha

10.1.32.0/19
sia

Laba

Ikkita sotuvchi. Bitta tarmoq. ADSM.

Archa + Arista. Ubuntu. Yaxshi eski Momo Havo.

Miranadagi virtual serverimizdagi resurslar miqdori hali ham cheklangan, shuning uchun amaliyot uchun biz chegaraga qadar soddalashtirilgan tarmoqdan foydalanamiz.

Ikkita ma'lumot markazlari: Qozon va Barselona.

• Har biri ikkita tikan: Juniper va Arista.
• Har birida bitta torus (barg) - Juniper va Arista, bitta ulangan xostga ega (buning uchun engil Cisco IOLni olaylik).
• Har birida bittadan Edge-Leaf tugunlari (hozircha faqat Juniper).
• Ularning barchasini boshqarish uchun bitta Cisco kaliti.
• Tarmoq qutilariga qo'shimcha ravishda virtual boshqaruv mashinasi ishlamoqda. Ubuntu ishlayotgan.
  U barcha qurilmalarga kirish huquqiga ega, u IPAM/DCIM tizimlari, bir qator Python skriptlari, Ansible va bizga kerak bo'ladigan boshqa narsalarni boshqaradi.

To'liq konfiguratsiya Biz avtomatlashtirish yordamida qayta ishlab chiqarishga harakat qiladigan barcha tarmoq qurilmalari.

xulosa

Bu ham qabul qilinadimi? Har bir maqola ostida qisqacha xulosa yozishim kerakmi?

Shunday qilib, biz tanladik uch darajali DC ichidagi Kloz tarmog'i, chunki biz Sharqdan G'arbga ko'p trafikni kutamiz va ECMP ni xohlaymiz.

Tarmoq fizik (astarli) va virtual (qoplamali) ga bo'lingan. Shu bilan birga, qoplama xostdan boshlanadi - shu bilan astar uchun talablarni soddalashtiradi.

Biz tarmoq tarmoqlari uchun marshrutlash protokoli sifatida BGP ni kengayishi va siyosatning moslashuvchanligi uchun tanladik.

DCI - Edge-leaf ni tashkil qilish uchun bizda alohida tugunlar bo'ladi.
Magistralda OSPF+LDP bo'ladi.
DCI MPLS L3VPN asosida amalga oshiriladi.
P2P havolalari uchun biz IP manzillarni qurilma nomlari asosida algoritmik tarzda hisoblaymiz.
Biz qurilmalarning roli va ularning joylashuvi bo'yicha ketma-ket ravishda loopbacklarni tayinlaymiz.
Astarli prefikslar - faqat Leaf kalitlarida ularning joylashuviga qarab ketma-ket.

Aytaylik, bizda hozircha uskunalar o'rnatilmagan.
Shuning uchun bizning keyingi qadamlarimiz ularni tizimlarga qo'shish (IPAM, inventar), kirishni tashkil qilish, konfiguratsiyani yaratish va uni joylashtirishdan iborat bo'ladi.

Keyingi maqolada biz Netbox bilan shug'ullanamiz - DCdagi IP maydoni uchun inventar va boshqaruv tizimi.

rahmat

• Andrey Glazkov aka @glazgoo korreksiya va tuzatishlar uchun
• Aleksandr Klimenko aka @v00lk, o'qish va tahrirlash uchun
• KDPV uchun Artyom Chernobay

Manba: www.habr.com