Fl-ewwel żewġ artikoli, qajjt il-kwistjoni tal-awtomazzjoni u fasslet il-qafas tagħha, fit-tieni għamilt irtir fil-virtwalizzazzjoni tan-netwerk, bħala l-ewwel approċċ għall-awtomatizzazzjoni tal-konfigurazzjoni tas-servizzi.
Issa wasal iż-żmien li tfassal dijagramma tan-netwerk fiżiku.
Jekk m'intix familjari mat-twaqqif ta 'netwerks taċ-ċentru tad-dejta, allura nirrakkomanda bil-qawwa li tibda biha .
Il-kwistjonijiet kollha:
Il-prattiki deskritti f'din is-serje għandhom ikunu applikabbli għal kwalunkwe tip ta 'netwerk, kull daqs, ma' kwalunkwe varjetà ta 'bejjiegħa (mhux). Madankollu, huwa impossibbli li jiġi deskritt eżempju universali tal-applikazzjoni ta 'dawn l-approċċi. Għalhekk, se niffoka fuq l-arkitettura moderna tan-netwerk DC: .
Aħna se nagħmlu DCI fuq MPLS L3VPN.
Netwerk Overlay jimxi fuq in-netwerk fiżiku mill-host (dan jista 'jkun VXLAN jew Tungsten Fabric ta' OpenStack jew kull ħaġa oħra li teħtieġ biss konnettività IP bażika min-netwerk).
F'dan il-każ, aħna jkollna xenarju relattivament sempliċi għall-awtomazzjoni, għaliex għandna ħafna tagħmir li huwa kkonfigurat bl-istess mod.
Aħna se nagħżlu DC sferika fil-vakwu:
- Verżjoni tad-disinn wieħed kullimkien.
- Żewġ bejjiegħa li jiffurmaw żewġ pjani tan-netwerk.
- Waħda DC hija bħal oħra bħal żewġ piżelli ġo pod.
Kontenut
- Topoloġija fiżika
- Rotot
- pjan IP
- Laba
- Konklużjoni
- Links utli
Ħalli lill-Fornitur tas-Servizz tagħna LAN_DC, pereżempju, jospita vidjows tat-taħriġ dwar is-sopravivenza f'liftijiet mwaħħla.
Fil-megacities dan huwa popolari ħafna, għalhekk għandek bżonn ħafna magni fiżiċi.
L-ewwel, ser niddeskrivi n-netwerk bejn wieħed u ieħor kif nixtieq li jkun. U mbagħad nissimplifikaha għal-laboratorju.
Topoloġija fiżika
Lokalitajiet
LAN_DC se jkollu 6 DCs:
- Russja (RU):
- Moska (msk)
- Kazan (kzn)
- Spanja (SP):
- Barċellona (bcn)
- Malaga (MLG)
- Iċ-Ċina (CN):
- Shanghai (SHA)
- Xi'an (ASI)
Ġewwa DC (Intra-DC)
Id-DCs kollha għandhom netwerks ta' konnettività interni identiċi bbażati fuq it-topoloġija Clos.
X'tip ta' netwerks Clos huma u għaliex huma separati .
Kull DC għandu 10 xtillieri b'magni, se jkunu nnumerati bħala A, B, C U hekk.
Kull rack għandu 30 magna. Mhux se jinteressana.
Ukoll f'kull rack hemm swiċċ li miegħu huma konnessi l-magni kollha - dan huwa Fuq tal-iswiċċ tar-Rack - ToR jew inkella, f'termini tal-fabbrika Clos, aħna se nsejħuha Leaf.
Dijagramma ġenerali tal-fabbrika.
Aħna se nsejħulhom XXX-werqaYfejn XXX - abbrevjazzjoni bi tliet ittri DC, u Y - numru tas-serje. Pereżempju, kzn-werqa11.
Fl-artikoli tiegħi se nħalli lili nnifsi nuża t-termini Leaf u ToR b'mod pjuttost frivoli bħala sinonimi. Madankollu, irridu niftakru li dan mhuwiex il-każ.
ToR huwa swiċċ installat f'rack li miegħu huma konnessi l-magni.
Leaf huwa r-rwol ta 'apparat f'netwerk fiżiku jew swiċċ tal-ewwel livell f'termini tat-topoloġija Cloes.
Jiġifieri Leaf != ToR.
Allura Leaf jista 'jkun swiċċ EndofRaw, pereżempju.
Madankollu, fil-qafas ta 'dan l-artikolu aħna xorta se nittrattawhom bħala sinonimi.
Kull swiċċ ToR huwa mbagħad konness ma 'erba' swiċċijiet ta 'aggregazzjoni ta' livell ogħla - Sinsla. Rack wieħed fid-DC huwa allokat għal Spines. Aħna se nsemmuha bl-istess mod: XXX-ispinaY.
L-istess rack se jkun fih tagħmir tan-netwerk għall-konnettività bejn id-DC - 2 routers b'MPLS abbord. Iżda b'mod ġenerali, dawn huma l-istess ToRs. Jiġifieri, mil-lat ta 'swiċċijiet tas-Sinsla, it-ToR tas-soltu b'magni konnessi jew router għal DCI ma jimpurtax xejn - sempliċiment twassil.
Dawn it-ToRs speċjali jissejħu Xifer-werqa. Aħna se nsejħulhom XXX-ħabelY.
Se tidher bħal din.
Fid-dijagramma ta 'hawn fuq, fil-fatt poġġejt it-tarf u l-weraq fuq l-istess livell. Huma għallmuna nikkunsidraw l-uplinking (għalhekk it-terminu) bħala uplinks. U hawn jirriżulta li d-DCI "uplink" jinżel lura, li għal xi ftit ikisser il-loġika tas-soltu. Fil-każ ta 'netwerks kbar, meta ċ-ċentri tad-dejta huma maqsuma f'unitajiet saħansitra iżgħar - POD's (Punt ta' Kunsinna), jenfasizzaw l-individwu Xifer-POD's għal DCI u aċċess għal netwerks esterni.
Għal faċilità ta 'perċezzjoni fil-futur, jien xorta se niġbed Edge over Spine, filwaqt li se nżommu f'moħħna li m'hemm l-ebda intelliġenza fuq Spine u m'hemm l-ebda differenzi meta taħdem ma' Leaf regolari u Edge-leaf (għalkemm jista 'jkun hemm sfumaturi hawn , iżda b'mod ġenerali Dan huwa minnu).
Skema ta' fabbrika b'Edge-leafs.
It-trinità ta 'Werqa, Sinsla u Xifer jiffurmaw netwerk jew fabbrika ta' Underlay.
Il-kompitu ta 'fabbrika tan-netwerk (aqra Underlay), kif diġà ddefinijna fih , sempliċi ħafna, ħafna - biex tipprovdi konnettività IP bejn magni kemm fl-istess DC kif ukoll bejniethom.
Huwa għalhekk li n-netwerk jissejjaħ fabbrika, bħal, pereżempju, fabbrika tal-iswiċċjar ġewwa kaxxi tan-netwerk modulari, li tista 'taqra aktar dwarhom f' .
B'mod ġenerali, topoloġija bħal din tissejjaħ fabbrika, minħabba li drapp fit-traduzzjoni jfisser drapp. U diffiċli li ma taqbilx:
Il-fabbrika hija kompletament L3. L-ebda VLAN, l-ebda Broadcast - għandna programmaturi meraviljużi bħal dawn f'LAN_DC, jafu kif jiktbu applikazzjonijiet li jgħixu fil-paradigma L3, u magni virtwali ma jeħtiġux Migrazzjoni Live bil-preservazzjoni tal-indirizz IP.
U għal darb'oħra: it-tweġiba għall-mistoqsija għaliex il-fabbrika u għaliex L3 hija separata .
DCI - Interkonnessjoni taċ-Ċentru tad-Data (Inter-DC)
Id-DCI se tkun organizzata bl-użu Edge-Leaf, jiġifieri, huma l-punt tal-ħruġ tagħna għall-awtostrada.
Għal sempliċità, nassumu li d-DCs huma konnessi ma 'xulxin b'rabtiet diretti.
Ejja neskludu l-konnettività esterna mill-konsiderazzjoni.
Jiena konxju li kull darba li nneħħi komponent, nissimplifika b'mod sinifikanti n-netwerk. U meta nawtomatizzaw in-netwerk astratt tagħna, kollox ikun tajjeb, iżda fuq dak reali se jkun hemm krozzi.
Dan huwa minnu. Xorta waħda, il-punt ta 'din is-serje huwa li taħseb u taħdem fuq approċċi, mhux biex issolvi problemi immaġinarji b'mod erojku.
Fuq Edge-Leafs, il-qiegħ jitqiegħed fil-VPN u trażmess permezz tas-sinsla MPLS (l-istess rabta diretta).
Din hija d-dijagramma tal-ogħla livell li jkollna.
Rotot
Għar-routing fi ħdan id-DC se nużaw BGP.
Fuq it-trunk MPLS OSPF+LDP.
Għal DCI, jiġifieri, torganizza konnettività fl-art - BGP L3VPN fuq MPLS.
Skema ta' rotta ġenerali
M'hemm l-ebda OSPF jew ISIS (protokoll ta 'routing projbit fil-Federazzjoni Russa) fil-fabbrika.
Dan ifisser li mhux se jkun hemm Awto-skoperta jew kalkolu tal-iqsar mogħdijiet - manwali biss (fil-fatt awtomatika - qed nitkellmu dwar l-awtomazzjoni hawn) it-twaqqif tal-protokoll, il-viċinat u l-politiki.
Skema ta' routing BGP fi ħdan id-DC
Għaliex BGP?
Fuq dan is-suġġett hemm isem Facebook u Arista, li tgħid kif tibni kbar ħafna netwerks taċ-ċentri tad-dejta li jużaw BGP. Taqra kważi bħal finzjoni, nirrakkomandaha ħafna għal lejla languid.
U hemm ukoll taqsima sħiħa fl-artiklu tiegħi ddedikata għal dan. Fejn nieħuk u .
Iżda xorta waħda, fil-qosor, l-ebda IGP mhu adattat għal netwerks ta 'ċentri tad-dejta kbar, fejn in-numru ta' tagħmir tan-netwerk jilħaq l-eluf.
Barra minn hekk, l-użu ta 'BGP kullimkien jippermettilek li ma taħlix ħin biex tappoġġja diversi protokolli differenti u sinkronizzazzjoni bejniethom.
Idejn fuq il-qalb, fil-fabbrika tagħna, li bi grad għoli ta 'probabbiltà mhux se jikbru malajr, OSPF ikun biżżejjed għall-għajnejn. Dawn huma fil-fatt il-problemi tal-megascalers u tat-titani tas-sħab. Imma ejja nimmaġinaw biss għal ftit ħarġiet li għandna bżonnha, u se nużaw il-BGP, kif ħalla Pyotr Lapukhov.
Politika tar-Rotot
Fuq swiċċijiet Leaf, aħna importazzjoni prefissi minn interfaces tan-netwerk Underlay fil-BGP.
Ikollna sessjoni BGP bejn kull wieħed par Leaf-Spine, li fih dawn il-prefissi Underlay se jitħabbru fuq in-netwerk hawn u hemm.
Fi ħdan ċentru tad-dejta wieħed se nqassmu l-ispeċifikazzjonijiet li importajna lil ToRe. Fuq Edge-Leafs aħna se niġbruhom u nħabbruhom lil DCs remoti u nibagħtuhom sa TORs. Jiġifieri, kull ToR ikun jaf eżatt kif jasal għal ToR ieħor fl-istess DC u fejn il-punt tad-dħul huwa li jasal għat-ToR f'DC ieħor.
Fid-DCI, ir-rotot se jiġu trażmessi bħala VPNv4. Biex tagħmel dan, fuq Edge-Leaf, l-interface lejn il-fabbrika se titqiegħed f'VRF, ejja nsejħulha UNDERLAY, u l-lokal bi Spine fuq Edge-Leaf se jitla' fi ħdan il-VRF, u bejn Edge-Leafs fil-VPNv4- familja.
Se nipprojbixxu wkoll it-tħabbira mill-ġdid tar-rotot riċevuti mill-ispina lura lejhom.
Fuq Leaf u Spine mhux se nimportaw Loopbacks. Għandna bżonnhom biss biex jiddeterminaw l-ID tar-Router.
Iżda fuq Edge-Leafs aħna jimportawh f'Global BGP. Bejn l-indirizzi Loopback, Edge-Leafs se jistabbilixxi sessjoni BGP fil-familja VPN IPv4 ma 'xulxin.
Se jkollna sinsla OSPF + LDP bejn l-apparati EDGE. Kollox jinsab f'żona waħda. Konfigurazzjoni sempliċi ħafna.
Din hija l-istampa bir-routing.
BGP ASN
Xifer-Werqa ASN
Fuq Edge-Leafs se jkun hemm ASN wieħed fid-DCs kollha. Huwa importanti li jkun hemm iBGP bejn Edge-Leafs, u ma ninqabdux fl-sfumaturi ta 'eBGP. Ħalliha tkun 65535. Fir-realtà, dan jista 'jkun in-numru ta' AS pubbliku.
Sinsla ASN
Fuq Spine se jkollna ASN wieħed għal kull DC. Nibdew hawn bl-ewwel numru mill-firxa ta 'AS privati - 64512, 64513 U l-bqija.
Għaliex ASN fuq DC?
Ejja naqsmu din il-mistoqsija fi tnejn:
- Għaliex l-ASNs huma l-istess fuq is-sinsla kollha ta 'DC wieħed?
- Għaliex huma differenti f'DCs differenti?
Għaliex huma l-istess ASNs fuq is-sinsla kollha ta 'DC wieħed?
Hekk se tidher l-AS-Path tar-rotta Underlay fuq Edge-Leaf:
[leafX_ASN, spine_ASN, edge_ASN]
Meta tipprova tirreklamaha lura lil Spine, se tarmiha minħabba li l-AS tagħha (Spine_AS) diġà tinsab fil-lista.
Madankollu, fi ħdan id-DC aħna kompletament sodisfatti li r-rotot ta’ Underlay li jitilgħu lejn ix-Xifer mhux se jkunu jistgħu jinżlu. Il-komunikazzjoni kollha bejn l-ospiti fi ħdan id-DC għandha sseħħ fil-livell tas-sinsla.
F'dan il-każ, ir-rotot aggregati ta 'DCs oħra fi kwalunkwe każ se jilħqu faċilment it-ToRs - l-AS-Path tagħhom se jkollhom biss ASN 65535 - in-numru ta' AS Edge-Leafs, għaliex dak huwa fejn inħolqu.
Għaliex huma differenti f'DCs differenti?
Teoretikament, jista 'jkollna bżonn nkaxkru Loopback u xi magni virtwali tas-servizz bejn DCs.
Per eżempju, fuq l-ospitanti se nħaddmu Route Reflector jew (Virtual Network Gateway), li se jissakkar ma 'TopR permezz ta' BGP u jħabbar il-loopback tiegħu, li għandu jkun aċċessibbli mid-DCs kollha.
Allura dan huwa kif se jidher l-AS-Path tiegħu:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
U m'għandu jkun hemm l-ebda ASNs duplikati kullimkien.
Jiġifieri, Spine_DC1 u Spine_DC2 għandhom ikunu differenti, bħal leafX_DC1 u leafY_DC2, li huwa eżattament dak li qed noqorbu.
Kif probabilment taf, hemm hacks li jippermettulek taċċetta rotot b'ASNs duplikati minkejja l-mekkaniżmu ta 'prevenzjoni tal-linja (allows-in fuq Cisco). U anke għandu użi leġittimi. Iżda dan huwa vojt potenzjali fl-istabbiltà tan-netwerk. U jien personalment waqa 'fiha ftit drabi.
U jekk ikollna l-opportunità li ma nużawx affarijiet perikolużi, nieħdu vantaġġ minnha.
Weraq ASN
Se jkollna ASN individwali fuq kull swiċċ tal-Leaf fin-netwerk kollu.
Nagħmlu dan għar-raġunijiet mogħtija hawn fuq: AS-Path mingħajr loops, konfigurazzjoni BGP mingħajr bookmarks.
Biex ir-rotot bejn Leafs jgħaddu bla xkiel, l-AS-Path għandu jidher bħal dan:
[leafX_ASN, spine_ASN, leafY_ASN]
fejn leafX_ASN u leafY_ASN ikunu sbieħ li jkunu differenti.
Dan huwa meħtieġ ukoll għas-sitwazzjoni bit-tħabbira ta' loopback VNF bejn DCs:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
Aħna se nużaw ASN ta' 4 byte u niġġenerawha bbażata fuq l-ASN tas-Spina u n-numru tal-iswiċċ tal-werqa, jiġifieri, bħal dan: Spine_ASN.0000X.
Din hija l-istampa bl-ASN.
pjan IP
Fundamentalment, irridu nallokaw indirizzi għall-konnessjonijiet li ġejjin:
- Indirizzi tan-netwerk ta' taħt bejn it-ToR u l-magna. Għandhom ikunu uniċi fin-netwerk kollu sabiex kull magna tkun tista 'tikkomunika ma' kwalunkwe oħra. Tajjeb kbir 10/8. Kull rack għandu /26 b'riżerva. Se nallokaw /19 għal kull DC u /17 għal kull reġjun.
- Link indirizzi bejn Leaf/Tor u Spine.
Nixtieq nassenjahom algoritmikament, jiġifieri, nikkalkulahom mill-ismijiet tal-apparati li jeħtieġ li jiġu konnessi.
Ħalliha tkun... 169.254.0.0/16.
Jiġifieri 169.254.00X.Y/31fejn X - Numru tas-sinsla, Y — Netwerk P2P /31.
Dan jippermettilek tniedi sa 128 xtillieri, u sa 10 Spines fid-DC. L-indirizzi tal-links jistgħu (u se) jiġu ripetuti minn DC għal DC. - Aħna norganizzaw il-junction Spine-Edge-Leaf fuq subnets 169.254.10X.Y/31, fejn eżattament l-istess X - Numru tas-sinsla, Y — Netwerk P2P /31.
- Link indirizzi minn Edge-Leaf għas-sinsla MPLS. Hawnhekk is-sitwazzjoni hija kemmxejn differenti - il-post fejn il-biċċiet kollha huma konnessi f'torta waħda, għalhekk l-użu mill-ġdid tal-istess indirizzi ma jaħdimx - trid tagħżel is-subnet ħielsa li jmiss. Għalhekk, ejja nieħdu bħala bażi 192.168.0.0/16 u aħna se niġbdu lil dawk ħielsa minnha.
- Indirizzi Loopback. Aħna se nagħtu l-firxa kollha għalihom 172.16.0.0/12.
- Leaf - /25 għal kull DC - l-istess 128 xtillieri. Se nallokaw /23 għal kull reġjun.
- Sinsla - /28 għal kull DC - sa 16 Sinsla. Ejja nallokaw /26 għal kull reġjun.
- Edge-Leaf - /29 għal kull DC - sa 8 kaxxi. Ejja nallokaw /27 għal kull reġjun.
Jekk ma jkollniex biżżejjed firxiet allokati fid-DC (u mhux se jkun hemm - aħna nippretendu li nkunu hyperscalers), aħna sempliċement nagħżlu l-blokk li jmiss.
Din hija l-istampa bl-indirizzar tal-IP.
Loopbacks:
Prefiss
Rwol tal-apparat
Reġjun
ДЦ
172.16.0.0/23
tarf
172.16.0.0/27
ru
172.16.0.0/29
msk
172.16.0.8/29
kzn
172.16.0.32/27
sp
172.16.0.32/29
bcn
172.16.0.40/29
MLG
172.16.0.64/27
cn
172.16.0.64/29
SHA
172.16.0.72/29
ASI
172.16.2.0/23
ispina
172.16.2.0/26
ru
172.16.2.0/28
msk
172.16.2.16/28
kzn
172.16.2.64/26
sp
172.16.2.64/28
bcn
172.16.2.80/28
MLG
172.16.2.128/26
cn
172.16.2.128/28
SHA
172.16.2.144/28
ASI
172.16.8.0/21
weraq
172.16.8.0/23
ru
172.16.8.0/25
msk
172.16.8.128/25
kzn
172.16.10.0/23
sp
172.16.10.0/25
bcn
172.16.10.128/25
MLG
172.16.12.0/23
cn
172.16.12.0/25
SHA
172.16.12.128/25
ASI
Sottotezzjoni:
Prefiss
Reġjun
ДЦ
10.0.0.0/17
ru
10.0.0.0/19
msk
10.0.32.0/19
kzn
10.0.128.0/17
sp
10.0.128.0/19
bcn
10.0.160.0/19
MLG
10.1.0.0/17
cn
10.1.0.0/19
SHA
10.1.32.0/19
ASI
Laba
Żewġ bejjiegħa. Netwerk wieħed. ADSM.
Ġnibru + Arista. Ubuntu. Lejliet il-qadima tajba.
L-ammont ta 'riżorsi fuq is-server virtwali tagħna f'Mirana għadu limitat, għalhekk għall-prattika se nużaw netwerk li huwa ssimplifikat sal-limitu.
Żewġ ċentri tad-dejta: Kazan u Barċellona.
- Żewġ xewk kull wieħed: Ġnibru u Arista.
- Torus wieħed (Leaf) f'kull wieħed - Juniper u Arista, b'ospitant wieħed konness (ejja nieħdu Cisco IOL ħafif għal dan).
- Node One Edge-Leaf kull wieħed (għal issa Juniper biss).
- Swiċċ wieħed Cisco biex imexxihom kollha.
- Minbarra l-kaxxi tan-netwerk, qed taħdem magna ta 'kontroll virtwali. Tmexxi Ubuntu.
Għandu aċċess għall-apparati kollha, se jmexxi sistemi IPAM/DCIM, mazz ta 'skripts Python, Ansible u kull ħaġa oħra li jista' jkun hemm bżonn.
tal-apparati kollha tan-netwerk, li se nippruvaw nirriproduċu bl-użu tal-awtomazzjoni.
Konklużjoni
Dan huwa aċċettat ukoll? Għandi nikteb konklużjoni qasira taħt kull artiklu?
Allura għażilna Netwerk Kloz ġewwa d-DC, peress li nistennew ħafna traffiku Lvant-Punent u rridu ECMP.
In-netwerk kien maqsum fiżiku (underlay) u virtwali (overlay). Fl-istess ħin, l-overlay jibda mill-host - u b'hekk jissimplifika r-rekwiżiti għall-overlay.
Aħna għażilna BGP bħala l-protokoll tar-routing għan-netwerks tan-netwerk għall-iskalabbiltà u l-flessibbiltà tal-politika tiegħu.
Se jkollna nodi separati għall-organizzazzjoni DCI - Edge-leaf.
Is-sinsla se jkollha OSPF+LDP.
DCI se jiġi implimentat ibbażat fuq MPLS L3VPN.
Għal links P2P, aħna se nikkalkulaw l-indirizzi IP algoritmikament ibbażati fuq l-ismijiet tal-apparat.
Aħna se jassenjaw loopbacks skont ir-rwol tal-apparati u l-post tagħhom b'mod sekwenzjali.
Prefissi ta 'taħt - biss fuq swiċċijiet Leaf b'mod sekwenzjali bbażati fuq il-lokalità tagħhom.
Ejja nassumu li bħalissa m'għandniex it-tagħmir installat.
Għalhekk, il-passi li jmiss tagħna se jkunu li nżiduhom mas-sistemi (IPAM, inventarju), norganizzaw l-aċċess, niġġeneraw konfigurazzjoni u niskjerawha.
Fl-artiklu li jmiss se nittrattaw Netbox - sistema ta 'inventarju u ġestjoni għall-ispazju IP f'DC.
Grazzi
- Andrey Glazkov aka @glazgoo għall-qari tal-provi u l-korrezzjonijiet
- Alexander Klimenko aka @v00lk għall-qari tal-provi u l-editjar
- Artyom Chernobay għall-KDPV
Sors: www.habr.com