Dina dua artikel anu munggaran, kuring ngangkat masalah otomatisasi sareng ngagambar kerangka na, anu kadua kuring mundur kana virtualisasi jaringan, salaku pendekatan anu munggaran pikeun ngajadikeun otomatis konfigurasi jasa.
Ayeuna waktuna ngagambar diagram jaringan fisik.
Upami anjeun henteu wawuh sareng nyetél jaringan pusat data, maka kuring nyarankeun pisan ngamimitian .
Sadaya masalah:
Prakték anu dijelaskeun dina séri ieu kedah dianggo pikeun jinis jaringan naon waé, ukuran naon waé, sareng sagala rupa padagang (henteu). Nanging, mustahil pikeun ngajelaskeun conto universal ngeunaan aplikasi pendekatan ieu. Ku alatan éta, kuring baris difokuskeun arsitektur modern tina jaringan DC: .
Urang bakal ngalakukeun DCI on MPLS L3VPN.
Jaringan Overlay dijalankeun dina luhureun jaringan fisik tina host (ieu tiasa janten VXLAN atanapi Tungsten Fabric OpenStack atanapi naon waé anu ngan ukur peryogi konektipitas IP dasar tina jaringan).
Dina hal ieu, urang meunang skenario kawilang basajan pikeun automation, sabab urang boga loba parabot nu ngonpigurasi dina cara nu sarua.
Urang bakal milih DC buleud dina vakum:
- Hiji versi desain madhab.
- Dua padagang ngabentuk dua pesawat jaringan.
- Hiji DC kawas sejen kawas dua kacang polong dina pod a.
eusi
- Topologi fisik
- Routing
- rencana IP
- Laba
- kacindekan
- link mangpaat
Hayu urang Service Provider LAN_DC, contona, host video latihan ngeunaan salamet dina elevators macet.
Dina megacities ieu wildly populér, jadi Anjeun kudu loba mesin fisik.
Kahiji, kuring bakal ngajelaskeun jaringan kira-kira sakumaha anu kuring hoyongkeun. Lajeng abdi gé simplify eta pikeun lab.
Topologi fisik
Lokasi
LAN_DC bakal gaduh 6 DC:
- Rusia (RU):
- Moscow (msk)
- Kazan (kzn)
- Spanyol (SP):
- Barcelona (bcn)
- Malaga (mlg)
- Cina (CN):
- Shanghai (sha)
- Xi'an (sia)
Di jero DC (Intra-DC)
Sadaya DC gaduh jaringan konektipitas internal anu sami dumasar kana topologi Clos.
Naon jenis jaringan Clos aranjeunna sarta naha aranjeunna dina misah .
Unggal DC boga 10 rak jeung mesin, aranjeunna bakal wilanganana salaku A, B, C Jeung saterusna.
Unggal rak boga 30 mesin. Aranjeunna moal dipikaresep ku urang.
Ogé di unggal rak aya switch nu disambungkeun ka sadaya mesin - ieu téh Luhureun switch rak - ToR atawa lamun heunteu, dina watesan pabrik Clos, urang bakal nelepon deui Daun.
Diagram umum pabrik.
Urang bakal nelepon aranjeunna XXX-daunYdimana XXX - tilu-hurup singketan DC, jeung Y - nomer séri. Salaku conto, kzn-daun11.
Dina tulisan kuring kuring bakal ngijinkeun diri kuring nganggo istilah Daun sareng ToR rada sembrono salaku sinonim. Nanging, urang kedah émut yén ieu sanés masalahna.
ToR mangrupakeun switch dipasang dina rak nu mesin disambungkeun.
Daun mangrupikeun peran alat dina jaringan fisik atanapi saklar tingkat kahiji dina hal topologi Cloes.
Maksudna, Daun != ToR.
Janten Daun tiasa janten saklar EndofRaw, contona.
Nanging, dina kerangka tulisan ieu kami bakal tetep ngarawat aranjeunna salaku sinonim.
Unggal switch ToR giliran disambungkeun ka opat saklar aggregation tingkat luhur - tulang tonggong. Hiji rak di DC disadiakeun pikeun Spines. Urang bakal ngaranan eta sarupa: XXX-tulang tonggongY.
Rak sarua bakal ngandung alat jaringan pikeun konektipitas antara DC - 2 routers kalawan MPLS on dewan. Tapi sacara umum, ieu mangrupikeun ToR anu sami. Nyaéta, tina sudut pandang saklar Spine, ToR biasa sareng mesin anu nyambung atanapi router pikeun DCI henteu masalah pisan - ngan ukur diteruskeun.
ToR khusus sapertos kitu disebut Ujung-daun. Urang bakal nelepon aranjeunna XXX-palingY.
Ieu bakal kasampak kawas kieu.
Dina diagram di luhur, kuring sabenerna nempatkeun ujung jeung daun dina tingkat anu sarua. Aranjeunna ngajarkeun urang mertimbangkeun uplinking (éta tempat istilah asalna tina) salaku uplinks. Sarta di dieu tétéla yén DCI "uplink" balik ka handap, nu keur sababaraha rada ngarecah logika dawam. Dina kasus jaringan ageung, nalika pusat data dibagi kana unit anu langkung alit - Pod's (Point Of Delivery), sorot individu Tepi-POD's pikeun DCI sarta aksés ka jaringan éksternal.
Pikeun betah persépsi dina mangsa nu bakal datang, abdi masih bakal ngagambar Tepi leuwih tulang tonggong, bari urang bakal tetep dina pikiran nu euweuh kecerdasan on tulang tonggong jeung euweuh béda nalika gawé bareng Daun biasa na Tepi-daun (sanajan meureun aya nuances dieu. , tapi sacara umum Ieu leres).
Skéma pabrik kalayan daun tepi.
Trinitas Daun, Tulang tonggong sareng Tepi ngabentuk jaringan atanapi pabrik Underlay.
Tugas pabrik jaringan (baca Underlay), sakumaha anu parantos didefinisikeun dina , pisan, basajan pisan - nyadiakeun konektipitas IP antara mesin duanana dina DC sarua jeung antara aranjeunna.
Éta sababna jaringan disebut pabrik, sapertos, contona, pabrik switching di jero kotak jaringan modular, anu anjeun tiasa baca langkung seueur ngeunaan .
Sacara umum, topologi sapertos kitu disebut pabrik, sabab lawon dina tarjamahan hartosna lawon. Sareng hese teu satuju:
Pabrik lengkep L3. Taya VLAN, euweuh Panyiaran - urang boga programer éndah sapertos di LAN_DC, maranéhna terang kumaha carana nulis aplikasi nu hirup dina paradigma L3, sarta mesin virtual teu merlukeun Migrasi Live kalawan pelestarian alamat IP.
Jeung sakali deui: jawaban kana patarosan naha pabrik jeung naha L3 aya dina misah .
DCI - Data Center Interconnect (Inter-DC)
DCI bakal diayakeun nganggo Edge-Leaf, nyaéta, aranjeunna mangrupikeun titik kaluar kami ka jalan raya.
Pikeun kesederhanaan, urang nganggap yén DCs disambungkeun ka silih ku tumbu langsung.
Hayu urang ngaluarkeun konektipitas éksternal tina tinimbangan.
Kuring sadar yén unggal waktos kuring ngahapus komponén, kuring nyederhanakeun jaringan sacara signifikan. Sareng nalika urang ngajadikeun otomatis jaringan abstrak urang, sadayana bakal saé, tapi anu nyata bakal aya crutches.
Ieu leres. Leungit, titik séri ieu téh mikir jeung ngerjakeun pendekatan, teu heroically ngajawab masalah imajinér.
Dina Edge-Leafs, underlay disimpen dina VPN sareng dikirimkeun ngaliwatan tulang tonggong MPLS (tumbu langsung anu sami).
Ieu diagram tingkat luhur anu urang kéngingkeun.
Routing
Pikeun routing dina DC urang bakal ngagunakeun BGP.
Dina batang MPLS OSPF + LDP.
Pikeun DCI, nyaéta, ngatur konektipitas di jero taneuh - BGP L3VPN ngaliwatan MPLS.
Skéma routing umum
Henteu aya OSPF atanapi ISIS (protokol routing dilarang di Féderasi Rusia) di pabrik.
Ieu ngandung harti yén moal aya Penemuan Otomatis atanapi itungan jalur anu paling pondok - ngan ukur manual (saleresna otomatis - urang ngobrol ngeunaan otomatisasi di dieu) netepkeun protokol, lingkungan sareng kawijakan.
skéma routing BGP dina DC
Naha BGP?
Dina topik ieu aya dingaranan Facebook jeung Arista, nu ngabejaan kumaha carana ngawangun kacida gedéna jaringan puseur data ngagunakeun BGP. Éta maca ampir sapertos fiksi, kuring nyarankeun pisan pikeun malem anu languid.
Sareng aya ogé bagian sadayana dina tulisan kuring khusus pikeun ieu. Dimana kuring nyandak anjeun na .
Tapi tetep, pondokna, teu aya IGP anu cocog pikeun jaringan pusat data ageung, dimana jumlah alat jaringan dugi ka rébuan.
Salaku tambahan, ngagunakeun BGP di mana waé bakal ngamungkinkeun anjeun henteu miceunan waktos pikeun ngadukung sababaraha protokol anu béda sareng singkronisasi antara aranjeunna.
Leungeun dina haté, di pabrik urang, nu mibanda gelar luhur kamungkinan moal tumuwuh gancang, OSPF bakal cukup pikeun panon. Ieu sabenerna masalah megascalers na awan titans. Tapi hayu urang ngabayangkeun ngan pikeun sababaraha release nu urang peryogi eta, sarta kami bakal ngagunakeun BGP, sakumaha Pyotr Lapukhov bequeathed.
Kawijakan Routing
Dina switch Daun, urang ngimpor awalan tina interfaces jaringan Underlay kana BGP.
Urang bakal boga sési BGP antara masing-masing pasangan Daun-Tulang tonggong, dimana awalan Underlay ieu bakal diumumkeun ngaliwatan jaringan deui mudik.
Dina hiji puseur data, urang bakal ngadistribusikaeun spésifikasi nu urang diimpor kana ToRe. Dina Tepi-Daun urang bakal agrégat aranjeunna sarta dibewarakeun ka DC jauh jeung ngirim aranjeunna ka handap pikeun TORs. Nyaéta, unggal ToR bakal terang persis kumaha carana angkat ka ToR anu sanés dina DC anu sami sareng dimana titik éntri pikeun dugi ka ToR di DC anu sanés.
Dina DCI, ruteu bakal dikirimkeun salaku VPNv4. Jang ngalampahkeun ieu, dina Tepi-Daun, antarbeungeut ka pabrik bakal ditempatkeun dina VRF, hayu urang sebut wae UNDERLAY, sarta lingkungan kalawan Spine on Tepi-Daun bakal naek dina VRF, sarta antara Tepi-Daun di VPNv4-. kulawarga.
Urang ogé bakal nyaram pengumuman ulang rute anu ditampi ti tulang tonggong deui ka aranjeunna.
Dina Daun sareng Tulang tonggong urang moal ngimpor Loopbacks. Urang ngan butuh aranjeunna pikeun nangtukeun Router ID.
Tapi dina Edge-Leafs kami ngimpor kana BGP Global. Antara alamat Loopback, Tepi-Daun bakal ngadegkeun sési BGP dina IPv4 VPN-kulawarga saling.
Urang bakal boga OSPF + LDP tulang tonggong antara alat EDGE. Sadayana aya dina hiji zona. Konfigurasi basajan pisan.
Ieu gambar kalawan routing.
BGP ASN
Tepi-Daun ASN
Edge-Leafs bakal gaduh hiji ASN dina sadaya DC. Kadé aya iBGP antara Tepi-Daun, sarta kami teu meunang bray up dina nuansa eBGP. Nyanggakeun 65535. Kanyataanna, ieu tiasa janten jumlah AS umum.
Tulang tonggong ASN
Dina tulang tonggong urang bakal boga hiji ASN per DC. Hayu urang mimitian di dieu jeung nomer pisan munggaran ti rentang AS swasta - 64512, 64513 Jeung saterusna.
Naha ASN on DC?
Hayu urang ngabagi patarosan ieu jadi dua:
- Naha ASN sarua dina sagala spines hiji DC?
- Naha aranjeunna béda dina DC béda?
Naha ASN sarua dina sagala spines hiji DC?
Ieu mangrupikeun jalur AS-Path tina jalur Underlay dina Edge-Leaf:
[leafX_ASN, spine_ASN, edge_ASN]
Nalika anjeun nyobian ngiklankeun deui ka Spine, éta bakal dipiceun sabab AS (Spine_AS) parantos aya dina daptar.
Sanajan kitu, dina DC urang sagemblengna wareg yén ruteu Underlay naek ka Tepi moal bisa turun. Sadaya komunikasi antara host dina DC kedah lumangsung dina tingkat tulang tonggong.
Dina waktos anu sami, rute agrégat tina DC anu sanés bakal gampang ngahontal ToRs - AS-Pathna ngan ukur gaduh ASN 65535 - jumlah AS Edge-Leafs, sabab éta tempatna diciptakeun.
Naha aranjeunna béda dina DC béda?
Sacara téoritis, urang kedah nyered Loopback sareng sababaraha mesin virtual jasa antara DC.
Contona, dina host urang bakal ngajalankeun Rute Reflector atawa (Virtual Network Gateway), anu bakal ngonci sareng TopR via BGP sareng ngumumkeun loopback na, anu kedah diaksés tina sadaya DC.
Janten ieu bakal katingalina AS-Path na:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
Sareng teu kedah aya duplikat ASN di mana waé.
Hartina, Spine_DC1 na Spine_DC2 kudu béda, kawas leafX_DC1 na leafY_DC2, nu persis naon urang approaching.
Anjeun meureun terang, aya hacks nu ngidinan Anjeun pikeun nampa ruteu kalawan duplikat ASNs sanajan mékanisme pencegahan loop (allowas-in on Cisco). Sarta eta malah boga kagunaan sah. Tapi ieu mangrupikeun gap poténsial dina stabilitas jaringan. Sareng kuring pribadi murag kana éta sababaraha kali.
Sareng upami urang ngagaduhan kasempetan pikeun henteu ngagunakeun hal-hal anu bahaya, urang bakal ngamangpaatkeunana.
Daun ASN
Urang bakal boga hiji ASN individu dina unggal switch Daun sapanjang jaringan.
Urang ngalakukeun ieu alesan ditétélakeun di luhur: AS-Jalur tanpa puteran, konfigurasi BGP tanpa tetengger.
Pikeun rute antara Leafs lancar, AS-Path kedah sapertos kieu:
[leafX_ASN, spine_ASN, leafY_ASN]
dimana leafX_ASN na leafY_ASN bakal jadi nice janten béda.
Ieu ogé diperlukeun pikeun situasi jeung pengumuman tina loopback VNF antara DCs:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
Kami bakal nganggo ASN 4-bait sareng ngahasilkeun dumasar kana ASN Tulang tonggong sareng nomer switch Daun, nyaéta, sapertos kieu: Tulang tonggong_ASN.0000X.
Ieu gambar sareng ASN.
rencana IP
Dasarna, urang kedah nyayogikeun alamat pikeun sambungan ieu:
- Underlay alamat jaringan antara ToR jeung mesin. Éta kedah unik dina sadaya jaringan supados mesin naon waé tiasa komunikasi sareng anu sanés. Pas pisan 10/8. Pikeun unggal rak aya / 26 kalawan cadangan a. Urang bakal allocate / 19 per DC jeung / 17 per wewengkon.
- Alamat link antara Daun / Tor sareng Tulang tonggong.
Abdi hoyong napelkeun aranjeunna sacara algoritma, nyaéta, ngitung aranjeunna tina nami alat anu kedah dihubungkeun.
Nyanggakeun... 169.254.0.0/16.
Nyaéta 169.254.00X.Y/31dimana X - Jumlah tulang tonggong, Y - Jaringan P2P /31.
Ieu bakal ngidinan Anjeun pikeun ngajalankeun nepi ka 128 rak, sarta nepi ka 10 Spines di DC. Alamat link tiasa (sareng bakal) diulang ti DC ka DC. - Urang ngatur simpang tulang tonggong-Tepi-Daun dina subnets 169.254.10X.Y/31, mana persis sarua X - Jumlah tulang tonggong, Y - Jaringan P2P /31.
- Alamat tautan ti Edge-Leaf ka tulang tonggong MPLS. Di dieu kaayaan téh rada béda - tempat dimana sakabeh potongan disambungkeun kana hiji pai, jadi reusing alamat sarua moal jalan - Anjeun kudu milih subnet bébas salajengna. Ku kituna, hayu urang nyandak salaku dadasar 192.168.0.0/16 sarta kami bakal rake kaluar leuwih bébas ti dinya.
- Alamat Loopback. Urang bakal masihan sakabéh rentang pikeun aranjeunna 172.16.0.0/12.
- Daun - / 25 per DC - sarua 128 rak. Urang bakal allocate / 23 per wewengkon.
- Tulang tonggong - / 28 per DC - nepi ka 16 tulang tonggong. Hayu urang alokasikeun / 26 per wewengkon.
- Tepi-Daun - / 29 per DC - nepi ka 8 kotak. Hayu urang alokasi / 27 per wewengkon.
Upami urang henteu gaduh rentang anu dialokasikeun dina DC (sareng moal aya - urang ngaku janten hyperscalers), urang ngan ukur milih blok salajengna.
Ieu gambar sareng alamat IP.
Loopbacks:
awalan
Peran alat
Wewengkon
DC
172.16.0.0/23
sisi
172.16.0.0/27
ru
172.16.0.0/29
msk
172.16.0.8/29
kzn
172.16.0.32/27
sp
172.16.0.32/29
bcn
172.16.0.40/29
mlg
172.16.0.64/27
cn
172.16.0.64/29
sha
172.16.0.72/29
sia
172.16.2.0/23
tulang tonggong
172.16.2.0/26
ru
172.16.2.0/28
msk
172.16.2.16/28
kzn
172.16.2.64/26
sp
172.16.2.64/28
bcn
172.16.2.80/28
mlg
172.16.2.128/26
cn
172.16.2.128/28
sha
172.16.2.144/28
sia
172.16.8.0/21
daun
172.16.8.0/23
ru
172.16.8.0/25
msk
172.16.8.128/25
kzn
172.16.10.0/23
sp
172.16.10.0/25
bcn
172.16.10.128/25
mlg
172.16.12.0/23
cn
172.16.12.0/25
sha
172.16.12.128/25
sia
Underlay:
awalan
Wewengkon
DC
10.0.0.0/17
ru
10.0.0.0/19
msk
10.0.32.0/19
kzn
10.0.128.0/17
sp
10.0.128.0/19
bcn
10.0.160.0/19
mlg
10.1.0.0/17
cn
10.1.0.0/19
sha
10.1.32.0/19
sia
Laba
Dua padagang. Hiji jaringan. ADSM.
Juniper + Arista. Ubuntu. Hawa heubeul alus.
Jumlah sumber daya dina server maya kami di Mirana masih kawates, jadi pikeun latihan urang bakal ngagunakeun jaringan anu disederhanakeun kana wates.
Dua pusat data: Kazan sareng Barcelona.
- Dua spines unggal: Juniper jeung Arista.
- Hiji torus (Daun) dina unggal - Juniper na Arista, kalawan hiji host disambungkeun (hayu urang nyandak hiji lightweight Cisco IOL pikeun ieu).
- Hiji titik Tepi-Daun unggal (pikeun ayeuna ukur Juniper).
- Hiji switch Cisco pikeun aturan aranjeunna sadayana.
- Salian kotak jaringan, mesin kontrol virtual dijalankeun. Ngajalankeun Ubuntu.
Éta ngagaduhan aksés ka sadaya alat, éta bakal ngajalankeun sistem IPAM / DCIM, kebat skrip Python, Ansible sareng naon waé anu urang peryogikeun.
sadaya alat jaringan, anu bakal urang coba pikeun baranahan ngagunakeun automation.
kacindekan
Éta ogé ditarima? Naha kuring kedah nyerat kacindekan pondok dina unggal tulisan?
Ku kituna urang milih jaringan Clos jero DC, saprak urang ngaharepkeun loba lalulintas Wétan-Kulon jeung hayang ECMP.
Jaringan dibagi kana fisik (underlay) sareng virtual (overlay). Dina waktos anu sami, overlay dimimitian ti host - ku kituna nyederhanakeun sarat pikeun underlay.
Kami milih BGP salaku protokol routing pikeun jaringan jaringan pikeun skalabilitas sareng kalenturan kawijakan.
Urang bakal boga titik misah pikeun ngatur DCI - Tepi-daun.
Tulang tonggong bakal boga OSPF + LDP.
DCI bakal dilaksanakeun dumasar kana MPLS L3VPN.
Pikeun tautan P2P, urang bakal ngitung alamat IP sacara algoritma dumasar kana nami alat.
Urang bakal nangtukeun loopbacks nurutkeun peran alat jeung lokasi maranéhanana sequentially.
Awalan underlay - ngan dina switch Daun sacara berurutan dumasar kana lokasina.
Hayu urang nganggap yén ayeuna urang teu acan gaduh parabot dipasang.
Ku alatan éta, léngkah salajengna urang bakal ditambahkeun kana sistem (IPAM, inventory), ngatur aksés, ngahasilkeun konfigurasi sarta nyebarkeun eta.
Dina artikel salajengna urang bakal nungkulan Netbox - hiji inventory sarta sistem manajemen pikeun spasi IP dina DC.
hatur nuhun
- Andrey Glazkov alias @glazgoo pikeun koréksi sareng koréksi
- Alexander Klimenko alias @v00lk pikeun koréksi sareng éditan
- Artyom Chernobay pikeun KDPV
sumber: www.habr.com