Ing rong artikel pisanan, aku ngangkat masalah otomatisasi lan nggawe sketsa kerangka, ing kaloro aku nggawe mundur menyang virtualisasi jaringan, minangka pendekatan pisanan kanggo ngotomatisasi konfigurasi layanan.
Saiki wektu kanggo nggambar diagram jaringan fisik.

Yen sampeyan ora ngerti nyetel jaringan pusat data, mula aku nyaranake miwiti artikel bab wong-wong mau.

Kabeh masalah:

• 0. ADSM. Part Zero. ngrancang
• 1. ADSM. Bagian siji (sing sawise nol). Virtualisasi jaringan
• 2. ADSM. Bagian loro. Desain jaringan

Praktek sing diterangake ing seri iki kudu ditrapake kanggo kabeh jinis jaringan, ukuran apa wae, karo macem-macem vendor (ora). Nanging, ora bisa njlèntrèhaké conto universal saka aplikasi pendekatan kasebut. Mulane, aku bakal fokus ing arsitektur modern saka jaringan DC: Pabrik Kloz.
Kita bakal nindakake DCI ing MPLS L3VPN.

Jaringan Overlay mlaku ing ndhuwur jaringan fisik saka host (bisa uga OpenStack's VXLAN utawa Tungsten Fabric utawa liya-liyane sing mbutuhake konektivitas IP dhasar saka jaringan).

Ing kasus iki, kita entuk skenario sing relatif prasaja kanggo otomatisasi, amarga kita duwe akeh peralatan sing dikonfigurasi kanthi cara sing padha.

Kita bakal milih DC bunder ing vakum:

• Versi desain siji nang endi wae.
• Loro vendor mbentuk loro pesawat jaringan.
• Siji DC kaya liyane kaya rong kacang polong ing polong.

Isi

• Topologi fisik
• Routing
• rencana IP
• Laba
• kesimpulan
• link migunani

Ayo Service Provider LAN_DC, contone, dadi tuan rumah video latihan babagan urip ing elevator macet.

Ing megacities iki wildly populer, supaya sampeyan kudu akèh mesin fisik.

Pisanan, aku bakal njlèntrèhaké jaringan kira-kira kaya sing dikarepake. Banjur aku bakal nyederhanakake kanggo lab.

Topologi fisik

Lokasi

LAN_DC bakal duwe 6 DC:

• Rusia (RU):
  • Moscow (msk)
  • Kazan (kzn)

• Bongso Spanyol (SP):
  • Barcelona (bcn)
  • Malaga (mlg)

• Cina (CN):
  • Shanghai (sha)
  • Xi'an (sia)

Ing njero DC (Intra-DC)

Kabeh DC duwe jaringan panyambungan internal sing padha adhedhasar topologi Clos.
Apa jenis jaringan Clos lan kok padha ing kapisah artikel.

Saben DC wis 10 rak karo mesin, padha bakal nomer minangka A, B, C Lan liyane.

Saben rak duwe 30 mesin. Dheweke ora bakal narik kawigaten kita.

Uga ing saben rak ana ngalih sing kabeh mesin disambungake - iki Ndhuwur ngalih Rak - ToR utawa digunakake, ing syarat-syarat pabrik Clos, kita bakal nelpon Leaf.

Diagram umum pabrik.

Kita bakal nelpon wong-wong mau XXX- godhongYngendi XXX - telung huruf singkatan DC, lan Y - nomer seri. Tuladhane, kzn-godhong11.

Ing artikelku, aku bakal ngidini aku nggunakake istilah Leaf lan ToR kanthi sembrono minangka sinonim. Nanging, kita kudu ngelingi yen iki ora kedadeyan.
ToR minangka saklar sing dipasang ing rak sing disambungake mesin.
Leaf minangka peran piranti ing jaringan fisik utawa switch tingkat pertama ing babagan topologi Cloes.
Yaiku, Godhong != ToR.
Dadi Leaf bisa dadi saklar EndofRaw, contone.
Nanging, ing kerangka artikel iki, kita isih bakal dianggep minangka sinonim.

Saben switch ToR disambungake menyang papat switch agregasi tingkat sing luwih dhuwur - Spine. Siji rak ing DC diparengake kanggo Spines. Kita bakal menehi jeneng sing padha: XXX- balung mburiY.

Rak padha bakal ngemot peralatan jaringan kanggo panyambungan antarane DC - 2 router karo MPLS ing Papan. Nanging umume, iki ToR sing padha. Yaiku, saka sudut pandang Spine switch, ToR biasa karo mesin sing disambungake utawa router kanggo DCI ora masalah - mung diterusake.

ToR khusus kasebut diarani Godhong pinggir. Kita bakal nelpon XXX-gaweY.

Iku bakal katon kaya iki.

Ing diagram ing ndhuwur, aku nempatake pinggir lan godhong ing tingkat sing padha. Jaringan telung lapisan klasik Padha ngajari kita kanggo nimbang uplinking (mula istilah kasebut) minangka uplink. Lan kene dadi metu sing DCI "uplink" bali mudhun, kang kanggo sawetara rada ngilangi logika biasanipun. Ing kasus jaringan gedhe, nalika pusat data dipérang dadi unit sing luwih cilik - polong's (Point Of Delivery), sorot individu Edge-POD's kanggo DCI lan akses menyang jaringan njaba.

Kanggo ease saka pemahaman ing mangsa, Aku isih bakal tarik Edge liwat Spine, nalika kita bakal mbudidaya sing ora ana Intelligence ing Spine lan ora ana beda nalika nggarap Leaf biasa lan Edge-leaf (sanajan ana uga nuansa kene. , nanging ing umum Iki bener).

Skema pabrik karo Edge-leafs.

Trinitas Leaf, Spine lan Edge mbentuk jaringan utawa pabrik Underlay.

Tugas pabrik jaringan (waca Underlay), kaya sing wis ditemtokake ing masalah pungkasan, banget, banget prasaja - kanggo nyedhiyani panyambungan IP antarane mesin loro ing DC padha lan antarane.
Mulane jaringan kasebut diarani pabrik, kaya, contone, pabrik switching ing kothak jaringan modular, sing bisa diwaca luwih lengkap ing SDSM14.

Umumé, topologi kasebut diarani pabrik, amarga kain ing terjemahan tegese kain. Lan angel ora setuju:

Pabrik rampung L3. Ora VLAN, ora Broadcast - kita duwe programer apik banget ing LAN_DC, padha ngerti carane nulis aplikasi sing manggon ing paradigma L3, lan mesin virtual ora mbutuhake Live Migration karo pengawetan saka alamat IP.

Lan sepisan maneh: jawaban kanggo pitakonan kenapa pabrik lan kenapa L3 ana ing kapisah artikel.

DCI - Data Center Interconnect (Inter-DC)

DCI bakal diatur nggunakake Edge-Leaf, yaiku, minangka titik metu kita menyang dalan gedhe.
Kanggo gamblang, kita nganggep sing DCs disambungake kanggo saben liyane dening pranala langsung.
Ayo kita ngilangi panyambungan eksternal saka pertimbangan.

Aku weruh sing saben-saben mbusak komponen, Ngartekno menakake jaringan. Lan nalika kita ngotomatisasi jaringan abstrak, kabeh bakal apik, nanging sing nyata bakal ana crutches.
Iki bener. Isih, titik seri iki kanggo mikir lan ngupayakake pendekatan, ora kanggo ngatasi masalah khayalan kanthi heroik.

Ing Edge-Leafs, underlay diselehake ing VPN lan dikirim liwat backbone MPLS (link langsung sing padha).

Iki minangka diagram tingkat paling dhuwur sing kita entuk.

Routing

Kanggo nuntun ing DC kita bakal nggunakake BGP.
Ing trunk MPLS OSPF + LDP.
Kanggo DCI, yaiku, ngatur konektivitas ing lemah - BGP L3VPN liwat MPLS.

Skema routing umum

Ora ana OSPF utawa ISIS (protokol rute sing dilarang ing Federasi Rusia) ing pabrik kasebut.

Iki tegese ora bakal ana Penemuan otomatis utawa pitungan dalan sing paling cendhak - mung manual (sajatine otomatis - kita ngomong babagan otomatisasi ing kene) nyetel protokol, lingkungan lan kabijakan.

skema routing BGP ing DC

Kenapa BGP?

Ing topik iki ana kabèh RFC dijenengi sawise Facebook lan Arista, kang ngandhani carane mbangun gedhe banget jaringan pusat data nggunakake BGP. Wacane meh kaya fiksi, aku menehi saran banget kanggo sore sing languid.

Lan ana uga bagean kabeh ing artikelku darmabakti kanggo iki. Ngendi aku njupuk sampeyan lan Aku ngirim.

Nanging, cendhak, ora ana IGP sing cocog kanggo jaringan pusat data gedhe, ing ngendi jumlah piranti jaringan nganti ewonan.

Kajaba iku, nggunakake BGP ing endi wae bakal ngidini sampeyan ora mbuwang wektu kanggo ndhukung sawetara protokol lan sinkronisasi ing antarane.

Tangan ing jantung, ing pabrik kita, kang karo jurusan dhuwure kemungkinan ora bakal tuwuh kanthi cepet, OSPF bakal cukup kanggo mata. Iki sejatine masalah megascaler lan titans awan. Nanging ayo bayangake mung kanggo sawetara rilis sing kita butuhake, lan kita bakal nggunakake BGP, kaya sing diwarisake Pyotr Lapukhov.

Kawicaksanan Routing

Ing switch Leaf, kita ngimpor awalan saka antarmuka jaringan Underlay menyang BGP.
Kita bakal duwe sesi BGP antarane saben pasangan Leaf-Spine, ing ngendi prefiks Underlay iki bakal diumumake liwat jaringan ing kene.

Ing siji pusat data, kita bakal nyebarake spesifikasi sing diimpor menyang ToRe. Ing Edge-Leafs kita bakal nglumpukake lan ngumumake menyang DC remot lan dikirim menyang TOR. Sing, saben ToR bakal ngerti persis carane njaluk menyang ToR liyane ing DC padha lan ngendi titik entri kanggo njaluk menyang ToR ing DC liyane.

Ing DCI, rute bakal dikirim minangka VPNv4. Kanggo nindakake iki, ing Edge-Leaf, antarmuka menyang pabrik bakal diselehake ing VRF, ayo diarani UNDERLAY, lan tetanggan karo Spine on Edge-Leaf bakal munggah ing VRF, lan ing antarane Edge-Leafs ing VPNv4- kulawarga.

Kita uga bakal nglarang maneh woro-woro rute sing ditampa saka spines bali menyang.

Ing Leaf lan Spine kita ora bakal ngimpor Loopbacks. Kita mung perlu kanggo nemtokake ID Router.

Nanging ing Edge-Leafs kita ngimpor menyang Global BGP. Antarane alamat Loopback, Edge-Leafs bakal netepake sesi BGP ing IPv4 VPN-kulawarga karo saben liyane.

Kita bakal duwe OSPF + LDP backbone antarane piranti EDGE. Kabeh ana ing siji zona. konfigurasi banget prasaja.

Iki gambar karo routing.

BGP ASN

Edge-Leaf ASN

Ing Edge-Leafs bakal ana siji ASN ing kabeh DC. Iku penting sing ana iBGP antarane Edge-Leafs, lan kita ora njaluk kejiret munggah ing nuansa saka eBGP. Ayo dadi 65535. Ing kasunyatan, iki bisa dadi nomer AS umum.

Tulang tonggong ASN

Ing Spine kita bakal duwe siji ASN saben DC. Ayo dadi miwiti kene karo nomer banget pisanan saka sawetara pribadi AS - 64512, 64513 Lan ing.

Kenapa ASN ing DC?

Ayo dipecah pitakonan iki dadi loro:

• Apa ASN padha ing kabeh spines siji DC?
• Apa padha beda ing DC beda?

Apa ASN padha ing kabeh spines siji DC?

Iki bakal katon kaya AS-Path saka rute Underlay ing Edge-Leaf:
[leafX_ASN, spine_ASN, edge_ASN]
Nalika sampeyan nyoba kanggo Panggenan maneh kanggo Spine, iku bakal discard amarga AS (Spine_AS) wis ing dhaftar.

Nanging, ing DC kita rampung wareg yen rute Underlay sing munggah menyang Edge ora bakal bisa mudhun. Kabeh komunikasi antarane host ing DC kudu dumadi ing tingkat utomo.

Ing kasus iki, rute agregat saka DC liyane bakal gampang tekan ToRs - AS-Path mung bakal duwe ASN 65535 - nomer AS Edge-Leafs, amarga ing kono padha digawe.

Apa padha beda ing DC beda?

Secara teoritis, kita kudu nyeret Loopback lan sawetara mesin virtual layanan antarane DC.

Contone, ing inang kita bakal mbukak Route Reflector utawa VNGW padha (Virtual Network Gateway), sing bakal ngunci TopR liwat BGP lan ngumumake loopback, sing kudu diakses saka kabeh DC.

Dadi iki bakal katon kaya AS-Path:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

Lan ora ana duplikat ASN ing ngendi wae.

Tegese, Spine_DC1 lan Spine_DC2 kudu beda, kaya leafX_DC1 lan leafY_DC2, sing persis sing bakal kita tekan.

Sing mbokmenawa ngerti, ana hacks sing ngijini sampeyan kanggo nampa rute karo duplikat ASNs senadyan mekanisme Nyegah daur ulang (allowas-in ing Cisco). Lan malah wis nggunakake sah. Nanging iki minangka longkangan potensial ing stabilitas jaringan. Lan aku wong tiba ing saperangan kaping.

Lan yen kita duwe kesempatan kanggo ora nggunakake barang sing mbebayani, kita bakal entuk manfaat saka iku.

Godhong ASN

Kita bakal duwe ASN individu ing saben switch Leaf ing saindhenging jaringan.
Kita nindakake iki kanggo alasan sing diwenehi ing ndhuwur: AS-Path tanpa puteran, konfigurasi BGP tanpa tetenger.

Supaya rute antarane Leafs bisa dilewati kanthi lancar, AS-Path kudu katon kaya iki:
[leafX_ASN, spine_ASN, leafY_ASN]
ngendi leafX_ASN lan leafY_ASN bakal becik kanggo beda.

Iki uga dibutuhake kanggo kahanan kanthi woro-woro loopback VNF ing antarane DC:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

Kita bakal nggunakake ASN 4-byte lan ngasilake adhedhasar ASN Spine lan nomer switch Leaf, yaiku, kaya iki: Spine_ASN.0000X.

Iki foto karo ASN.

rencana IP

Sejatine, kita kudu nyedhiyakake alamat kanggo sambungan ing ngisor iki:

1. Underlay alamat jaringan antarane ToR lan mesin. Padha kudu unik ing kabeh jaringan supaya mesin apa wae bisa komunikasi karo liyane. Pas banget 10/8. Kanggo saben rak ana / 26 karo cadangan. Kita bakal nyedhiyakake / 19 saben DC lan / 17 saben wilayah.
2. Link alamat antarane Leaf / Tor lan Spine.

   Aku pengin nemtokake algoritma kasebut, yaiku, ngitung saka jeneng piranti sing kudu disambungake.

   Ayo dadi ... 169.254.0.0/16.
   Yaiku 169.254.00X.Y/31ngendi X - Nomer tulang punggung, Y - Jaringan P2P /31.
   Iki bakal ngidini sampeyan miwiti munggah 128 rak, lan munggah 10 Spines ing DC. Alamat link bisa (lan bakal) diulang saka DC menyang DC.

3. Kita ngatur persimpangan Spine-Edge-Leaf ing subnet 169.254.10X.Y/31, ngendi persis padha X - Nomer tulang punggung, Y - Jaringan P2P /31.
4. Link alamat saka Edge-Leaf menyang MPLS backbone. Ing kene kahanan rada beda - panggonan ing ngendi kabeh potongan disambungake menyang siji pai, supaya nggunakake maneh alamat sing padha ora bakal bisa - sampeyan kudu milih subnet free sabanjuré. Mulane, ayo njupuk minangka basis 192.168.0.0/16 lan kita bakal rake metu sing free saka iku.
5. Alamat Loopback. Kita bakal menehi kabeh kisaran kanggo wong-wong mau 172.16.0.0/12.
   • Godhong - / 25 saben DC - padha 128 rak. Kita bakal nyedhiyakake / 23 saben wilayah.
   • Spine - / 28 saben DC - nganti 16 Spine. Ayo dialokasikan / 26 saben wilayah.
   • Edge-Leaf - / 29 saben DC - nganti 8 kothak. Ayo dialokasikan / 27 saben wilayah.

Yen kita ora duwe kisaran sing diparengake cukup ing DC (lan ora bakal ana - kita ngaku minangka hyperscaler), kita mung milih blok sabanjure.

Iki gambar karo alamat IP.

Loopbacks:

Ater-ater
Peran piranti
Wilayah
ДЦ

172.16.0.0/23
pinggiran
 
 

172.16.0.0/27
ru
 

172.16.0.0/29
msk

172.16.0.8/29
kzn

172.16.0.32/27
sp
 

172.16.0.32/29
bcn

172.16.0.40/29
mlg

172.16.0.64/27
cn
 

172.16.0.64/29
sha

172.16.0.72/29
sia

172.16.2.0/23
utomo
 
 

172.16.2.0/26
ru
 

172.16.2.0/28
msk

172.16.2.16/28
kzn

172.16.2.64/26
sp
 

172.16.2.64/28
bcn

172.16.2.80/28
mlg

172.16.2.128/26
cn
 

172.16.2.128/28
sha

172.16.2.144/28
sia

172.16.8.0/21
godhong
 
 

172.16.8.0/23
ru
 

172.16.8.0/25
msk

172.16.8.128/25
kzn

172.16.10.0/23
sp
 

172.16.10.0/25
bcn

172.16.10.128/25
mlg

172.16.12.0/23
cn
 

172.16.12.0/25
sha

172.16.12.128/25
sia

Underlay:

Ater-ater
Wilayah
ДЦ

10.0.0.0/17
ru
 

10.0.0.0/19
msk

10.0.32.0/19
kzn

10.0.128.0/17
sp
 

10.0.128.0/19
bcn

10.0.160.0/19
mlg

10.1.0.0/17
cn
 

10.1.0.0/19
sha

10.1.32.0/19
sia

Laba

Loro vendor. Jaringan siji. ADSM.

Juniper + Arista. Ubuntu. Eve lawas apik.

Jumlah sumber daya ing server virtual kita ing Mirana isih diwatesi, mula kanggo latihan kita bakal nggunakake jaringan sing disederhanakake nganti watesan.

Loro pusat data: Kazan lan Barcelona.

• Loro spines saben: Juniper lan Arista.
• Siji torus (Leaf) ing saben - Juniper lan Arista, karo siji inang disambungake (ayo njupuk Cisco IOL entheng kanggo iki).
• Saben simpul Edge-Leaf (saiki mung Juniper).
• Siji Cisco ngalih kanggo aturan mau kabeh.
• Saliyane kothak jaringan, mesin kontrol virtual mlaku. Mlaku Ubuntu.
  Wis akses kanggo kabeh piranti, bakal mbukak IPAM / sistem DCIM, Bunch saka skrip Python, Ansible lan tindakan liya kita bisa uga kudu.

Konfigurasi lengkap kabeh piranti jaringan, sing bakal kita coba reproduksi nggunakake otomatisasi.

kesimpulan

Apa iku uga ditampa? Apa aku kudu nulis kesimpulan singkat ing saben artikel?

Dadi kita milih telung tingkat Jaringan Kloz ing DC, amarga kita ngarepake lalu lintas Timur-Kulon lan pengin ECMP.

Jaringan kasebut dipérang dadi fisik (underlay) lan virtual (overlay). Ing wektu sing padha, overlay diwiwiti saka host - saéngga nyederhanakake syarat kanggo underlay.

Kita milih BGP minangka protokol routing kanggo jaringan jaringan kanggo skalabilitas lan keluwesan kebijakan.

Kita bakal duwe kelenjar kapisah kanggo ngatur DCI - Edge-leaf.
Backbone bakal duwe OSPF + LDP.
DCI bakal dileksanakake adhedhasar MPLS L3VPN.
Kanggo tautan P2P, kita bakal ngetung alamat IP kanthi algoritma adhedhasar jeneng piranti.
Kita bakal nemtokake loopbacks miturut peran piranti lan lokasi kanthi urutan.
Ater-ater underlay - mung ing switch Leaf kanthi urutan adhedhasar lokasi.

Ayo nganggep manawa saiki kita durung nginstal peralatan kasebut.
Mula, langkah sabanjure yaiku nambahake menyang sistem (IPAM, inventaris), ngatur akses, nggawe konfigurasi lan nyebarake.

Ing artikel sabanjure kita bakal menehi hasil karo Netbox - sistem inventaris lan manajemen kanggo ruang IP ing DC.

matur nuwun

• Andrey Glazkov aka @glazgoo kanggo proofreading lan koreksi
• Alexander Klimenko alias @v00lk kanggo proofreading lan suntingan
• Artyom Chernobay kanggo KDPV

Source: www.habr.com