Sa una nga duha ka mga artikulo, akong gipataas ang isyu sa automation ug gi-sketch ang balangkas niini, sa ikaduha naghimo ako usa ka pag-atras sa virtualization sa network, ingon ang una nga pamaagi sa pag-automate sa pag-configure sa mga serbisyo.
Karon na ang panahon sa pagdrowing og diagram sa pisikal nga network.
Kung dili ka pamilyar sa pag-set up sa mga network sa data center, nan kusganon kong girekomenda nga magsugod .
Tanang isyu:
Ang mga gawi nga gihulagway sa kini nga serye kinahanglan nga magamit sa bisan unsang klase sa network, bisan unsang gidak-on, sa bisan unsang lainlaing mga vendor (dili). Bisan pa, imposible nga ihulagway ang usa ka unibersal nga pananglitan sa paggamit niini nga mga pamaagi. Busa, ako mag-focus sa modernong arkitektura sa DC network: .
Buhaton namo ang DCI sa MPLS L3VPN.
Ang usa ka Overlay network nagdagan sa ibabaw sa pisikal nga network gikan sa host (mahimo kini nga OpenStack's VXLAN o Tungsten Fabric o bisan unsang butang nga nanginahanglan lamang sa sukaranan nga koneksyon sa IP gikan sa network).
Sa kini nga kaso, nakakuha kami usa ka medyo yano nga senaryo alang sa automation, tungod kay kami adunay daghang mga kagamitan nga gi-configure sa parehas nga paagi.
Magpili kami usa ka spherical DC sa usa ka vacuum:
- Usa ka bersyon sa disenyo bisan asa.
- Duha ka mga vendor nga nagporma og duha ka network nga eroplano.
- Ang usa ka DC sama sa lain sama sa duha ka gisantes sa usa ka pod.
Mga sulod
- Pisikal nga topolohiya
- Pag-ruta
- IP nga plano
- Laba
- konklusyon
- Mapuslanon nga mga link
Himoa nga ang among Service Provider LAN_DC, pananglitan, mag-host sa mga video sa pagbansay bahin sa pag-survive sa mga naka-stuck nga elevator.
Sa mga megacities kini popular kaayo, mao nga kinahanglan nimo ang daghang pisikal nga mga makina.
Una, akong ihulagway ang network nga gibana-bana nga gusto nako. Ug dayon akong pasimplehon kini para sa lab.
Pisikal nga topolohiya
Mga lokasyon
Ang LAN_DC adunay 6 ka DC:
- Russia (RU):
- Moscow (msk)
- Kazan (kzn)
- Espanya (SP):
- Barcelona (bcn)
- Malaga (mlg)
- China (CN):
- Shanghai (sha)
- Xi'an (sia)
Sulod sa DC (Intra-DC)
Ang tanan nga mga DC adunay parehas nga internal nga koneksyon nga mga network base sa Clos topology.
Unsang klaseha sa mga network sa Clos sila ug ngano nga lahi sila .
Ang matag DC adunay 10 ka racks nga adunay mga makina, sila isipon nga A, B, C Ug sa ingon.
Ang matag rack adunay 30 ka makina. Dili sila interesado kanato.
Usab sa matag rack adunay usa ka switch diin ang tanan nga mga makina konektado - kini mao Ibabaw sa Rack switch - ToR o kung dili, sa mga termino sa pabrika sa Clos, tawgon namon kini Dahon sa.
Kinatibuk-ang diagram sa pabrika.
Tawgon nato sila XXX-dahonYdiin XXX - tulo ka letra nga abbreviation DC, ug Y - serial number. Pananglitan, kzn-dahon11.
Sa akong mga artikulo akong tugotan ang akong kaugalingon sa paggamit sa mga termino nga Leaf ug ToR nga walay hinungdan ingon nga mga synonyms. Bisan pa, kinahanglan naton hinumdoman nga dili kini ang kahimtang.
Ang ToR usa ka switch nga gibutang sa usa ka rack diin ang mga makina konektado.
Ang dahon mao ang papel sa usa ka himan sa usa ka pisikal nga network o usa ka first-level switch sa termino sa Cloes topology.
Sa ato pa, Dahon != ToR.
Busa ang Leaf mahimong usa ka EndofRaw switch, pananglitan.
Bisan pa, sulod sa gambalay niini nga artikulo ato gihapon silang tagdon nga mga synonyms.
Ang matag switch sa ToR konektado sa upat ka mas taas nga lebel sa aggregation switch - Spine. Usa ka rack sa DC ang gigahin alang sa Spines. Atong nganlan kini sa samang paagi: XXX- dugokanY.
Ang parehas nga rack adunay sulud nga kagamitan sa network alang sa koneksyon tali sa DC - 2 nga mga router nga adunay MPLS sakay. Apan sa kadaghanan, parehas ra kini nga mga ToR. Kana mao, gikan sa punto sa panglantaw sa mga switch sa Spine, ang naandan nga ToR nga adunay konektado nga mga makina o usa ka router alang sa DCI dili igsapayan - pagpasa lang.
Ang maong mga espesyal nga ToR gitawag Sidsid-dahon. Tawgon nato sila XXX-kataposanY.
Kini tan-awon sama niini.
Sa dayagram sa ibabaw, gibutang gyud nako ang ngilit ug dahon sa parehas nga lebel. Gitudloan mi nila nga isipon ang uplinking (busa ang termino) isip mga uplink. Ug dinhi kini nahimo nga ang DCI "uplink" mibalik, nga alang sa pipila gamay nga nakaguba sa naandan nga lohika. Sa kaso sa dagkong mga network, kung ang mga sentro sa datos gibahin sa mas gagmay nga mga yunit - POD's (Point Of Delivery), i-highlight ang indibidwal Edge-PODpara sa DCI ug pag-access sa mga eksternal nga network.
Alang sa kasayon sa panglantaw sa umaabot, magdrowing gihapon ko sa Edge over Spine, samtang atong hinumdoman nga wala'y salabutan sa Spine ug walay mga kalainan sa pagtrabaho uban sa regular nga Leaf ug Edge-leaf (bisan tuod adunay mga nuances dinhi. , apan sa kinatibuk-an Kini tinuod).
Ang laraw sa usa ka pabrika nga adunay mga dahon sa ngilit.
Ang trinidad sa Leaf, Spine ug Edge usa ka Underlay network o pabrika.
Ang tahas sa usa ka pabrika sa network (basaha ang Underlay), ingon nga gipasabut na namon sa , kaayo, yano kaayo - aron mahatagan ang koneksyon sa IP tali sa mga makina sa sulod sa parehas nga DC ug sa taliwala nila.
Mao nga ang network gitawag nga pabrika, sama pananglit, usa ka pabrika nga nagbalhin sa sulod sa mga kahon sa modular network, nga mahimo nimong mabasa ang dugang bahin sa .
Sa kinatibuk-an, ang ingon nga topology gitawag nga pabrika, tungod kay ang panapton sa paghubad nagpasabut nga panapton. Ug lisud ang dili pag-uyon:
Ang pabrika hingpit nga L3. Walay VLAN, walay Broadcast - kami adunay ingon ka nindot nga mga programmer sa LAN_DC, nahibal-an nila kung unsaon pagsulat ang mga aplikasyon nga nagpuyo sa L3 paradigm, ug ang mga virtual machine wala magkinahanglan og Live Migration nga adunay pagpreserbar sa IP address.
Ug sa makausa pa: ang tubag sa pangutana ngano nga ang pabrika ug ngano nga ang L3 naa sa usa ka bulag .
DCI - Data Center Interconnect (Inter-DC)
Ang DCI organisado gamit ang Edge-Leaf, sa ato pa, sila ang atong exit point sa highway.
Alang sa kayano, atong gihunahuna nga ang mga DC konektado sa usag usa pinaagi sa direktang mga link.
Dili nato iapil ang external connectivity gikan sa konsiderasyon.
Nahibal-an ko nga sa matag higayon nga magtangtang ako usa ka sangkap, gipasimple nako ang network. Ug kung atong i-automate ang atong abstract nga network, mamaayo ra ang tanan, apan sa tinuod adunay crutches.
Tinuod kini. Bisan pa, ang punto sa kini nga serye mao ang paghunahuna ug pagtrabaho sa mga pamaagi, dili aron mabayanihan ang pagsulbad sa mga hinanduraw nga mga problema.
Sa Edge-Leafs, ang underlay gibutang sa VPN ug gipasa pinaagi sa MPLS backbone (sama nga direktang link).
Kini ang pinakataas nga lebel nga diagram nga atong makuha.
Pag-ruta
Para sa routing sulod sa DC atong gamiton ang BGP.
Sa MPLS trunk OSPF+LDP.
Alang sa DCI, kana mao, pag-organisar sa koneksyon sa ilawom sa yuta - BGP L3VPN sa MPLS.
Kinatibuk-ang routing scheme
Walay OSPF o ISIS (routing protocol nga gidili sa Russian Federation) sa pabrika.
Kini nagpasabot nga walay Auto-discovery o kalkulasyon sa pinakamubo nga mga agianan - manwal lamang (sa tinuud awtomatiko - naghisgot kami bahin sa automation dinhi) nga nagbutang sa protocol, kasilinganan ug mga palisiya.
BGP routing scheme sulod sa DC
Nganong BGP?
Sa niini nga hilisgutan adunay ginganlan sunod sa Facebook ug Arista, nga nagsulti kon unsaon pagtukod dako kaayo mga network sa data center gamit ang BGP. Gibasa kini nga halos sama sa fiction, girekomenda ko kini alang sa usa ka maluya nga gabii.
Ug adunay usa usab ka tibuuk nga seksyon sa akong artikulo nga gipahinungod niini. Asa ko nimo dad-on ug .
Apan sa gihapon, sa laktud, walay IGP ang angay alang sa mga network sa dagkong mga sentro sa datos, diin ang gidaghanon sa mga himan sa network midagan ngadto sa liboan.
Dugang pa, ang paggamit sa BGP bisan diin magtugot kanimo nga dili mag-usik ug oras sa pagsuporta sa daghang lainlaing mga protocol ug pag-synchronize sa taliwala nila.
Kamot sa kasingkasing, sa atong pabrika, nga uban sa usa ka hataas nga ang-ang sa kalagmitan dili motubo paspas, OSPF igo na alang sa mga mata. Kini sa tinuud ang mga problema sa mga megascaler ug cloud titans. Apan atong hunahunaon alang lamang sa pipila ka pagpagawas nga gikinahanglan nato kini, ug atong gamiton ang BGP, ingon sa gibilin ni Pyotr Lapukhov.
Mga Patakaran sa Pag-ruta
Sa mga switch sa Leaf, nag-import kami og mga prefix gikan sa Underlay nga mga interface sa network ngadto sa BGP.
Adunay kami usa ka sesyon sa BGP taliwala matag usa usa ka pares nga Leaf-Spine, diin kini nga mga Underlay prefix ipahibalo sa network pabalik-balik.
Sulod sa usa ka sentro sa datos among ipang-apod-apod ang mga detalye nga among gi-import sa ToRe. Sa Edge-Leafs ato silang i-aggregate ug ipahibalo sa mga remote DC ug ipadala kini ngadto sa mga TOR. Sa ato pa, ang matag ToR mahibal-an kung giunsa pag-adto sa lain nga ToR sa parehas nga DC ug kung diin ang entry point aron makaabut sa ToR sa laing DC.
Sa DCI, ang mga ruta ipasa ingon VPNv4. Aron mahimo kini, sa Edge-Leaf, ang interface padulong sa pabrika ibutang sa usa ka VRF, tawgon nato kini nga UNDERLAY, ug ang kasilinganan nga adunay Spine on Edge-Leaf mobangon sulod sa VRF, ug tali sa Edge-Leafs sa VPNv4- pamilya.
Idili usab namo ang pag-anunsyo pag-usab sa mga rota nga nadawat gikan sa mga tunok balik ngadto kanila.
Sa Leaf ug Spine dili kami mag-import ug Loopbacks. Kinahanglan ra namon nga mahibal-an nila ang Router ID.
Apan sa Edge-Leafs among gi-import kini sa Global BGP. Taliwala sa mga adres sa Loopback, ang Edge-Leafs magtukod ug sesyon sa BGP sa IPv4 VPN-pamilya sa usag usa.
Kita adunay usa ka OSPF + LDP backbone tali sa EDGE mga himan. Ang tanan naa sa usa ka zone. Talagsaon nga yano nga pag-configure.
Kini ang hulagway nga adunay routing.
BGP ASN
Edge-Leaf ASN
Ang Edge-Leafs adunay usa ka ASN sa tanang DC. Importante nga adunay iBGP tali sa Edge-Leafs, ug dili kita madakpan sa mga nuances sa eBGP. Himoa nga 65535. Sa pagkatinuod, kini mahimong numero sa usa ka publikong AS.
Duol ASN
Sa Spine kita adunay usa ka ASN kada DC. Magsugod kita dinhi sa una nga numero gikan sa hanay sa pribado nga AS - 64512, 64513 Ug uban pa.
Nganong ASN sa DC?
Atong gub-on kini nga pangutana sa duha:
- Ngano nga ang mga ASN parehas sa tanan nga mga spine sa usa ka DC?
- Ngano nga lahi sila sa lainlaing mga DC?
Ngano nga parehas ang mga ASN sa tanan nga mga spine sa usa ka DC?
Kini ang hitsura sa AS-Path sa Underlay nga ruta sa Edge-Leaf:
[leafX_ASN, spine_ASN, edge_ASN]
Kung gisulayan nimo nga i-advertise kini balik sa Spine, isalikway kini tungod kay ang AS (Spine_AS) naa na sa lista.
Bisan pa, sulod sa DC hingpit kaming natagbaw nga ang mga ruta sa Underlay nga mosaka sa Edge dili makapaubos. Ang tanan nga komunikasyon tali sa mga host sulod sa DC kinahanglan nga mahitabo sulod sa lebel sa dugokan.
Sa samang higayon, ang mga aggregated nga mga rota sa ubang mga DC sa bisan unsang kaso dali nga makaabot sa mga ToR - ang ilang AS-Path adunay ASN 65535 lamang - ang gidaghanon sa AS Edge-Leafs, tungod kay didto sila gibuhat.
Ngano nga lahi sila sa lainlaing mga DC?
Sa teoriya, mahimo nga kinahanglan naton nga i-drag ang Loopback ug pipila nga mga virtual machine sa serbisyo tali sa mga DC.
Pananglitan, sa host kita modagan Route Reflector o (Virtual Network Gateway), nga mag-lock sa TopR pinaagi sa BGP ug ipahibalo ang loopback niini, nga kinahanglan ma-access gikan sa tanan nga mga DC.
Mao kini ang hitsura sa AS-Path:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
Ug kinahanglan nga walay duplicate ASNs bisan asa.
Sa ato pa, kinahanglan magkalainlain ang Spine_DC1 ug Spine_DC2, sama sa leafX_DC1 ug leafY_DC2, nga mao gyud ang among gipaduol.
Sama sa imong nahibal-an, adunay mga hack nga nagtugot kanimo sa pagdawat sa mga ruta nga adunay doble nga mga ASN bisan pa sa mekanismo sa pagpugong sa loop (allowas-in sa Cisco). Ug bisan kini adunay mga lehitimong gamit. Apan kini usa ka potensyal nga gintang sa kalig-on sa network. Ug ako personal nga nahulog niini sa pipila ka mga higayon.
Ug kon duna tay kahigayonan nga dili mogamit ug peligrosong mga butang, ato kining pahimuslan.
Dahon ASN
Kita adunay usa ka indibidwal nga ASN sa matag Leaf switch sa tibuok network.
Gibuhat namo kini alang sa mga rason nga gihatag sa ibabaw: AS-Path nga walay loops, BGP configuration nga walay mga bookmark.
Para sa mga ruta tali sa mga Leaf nga moagi nga hapsay, ang AS-Path kinahanglan nga ingon niini:
[leafX_ASN, spine_ASN, leafY_ASN]
diin ang leafX_ASN ug leafY_ASN maayo nga lahi.
Gikinahanglan usab kini alang sa sitwasyon sa pagpahibalo sa usa ka VNF loopback tali sa DCs:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
Maggamit kami og 4-byte ASN ug makamugna kini base sa ASN sa Spine ug sa Leaf switch number, nga mao, sama niini: Spine_ASN.0000X.
Kini ang hulagway uban sa ASN.
IP nga plano
Sa panguna, kinahanglan natong igahin ang mga adres alang sa mosunod nga mga koneksyon:
- I-underlay ang mga adres sa network tali sa ToR ug makina. Kinahanglang talagsaon sila sulod sa tibuok network aron ang bisan unsang makina makakomunikar sa uban. Nindot kaayo 10/8. Alang sa matag rack adunay /26 nga adunay reserba. Among igahin ang /19 kada DC ug /17 kada rehiyon.
- I-link ang mga adres tali sa Leaf/Tor ug Spine.
Gusto nako nga i-assign sila sa algorithm nga paagi, nga mao, kuwentaha sila gikan sa mga ngalan sa mga aparato nga kinahanglan nga konektado.
Pasagdi na... 169.254.0.0/16.
Sa ato pa 169.254.00X.Y/31diin X - Numero sa dugokan, Y — P2P network /31.
Makatugot kini kanimo nga maglansad hangtod sa 128 racks, ug hangtod sa 10 Spines sa DC. Ang mga adres sa link mahimo (ug) masubli gikan sa DC hangtod sa DC. - Among giorganisar ang Spine-Edge-Leaf junction sa mga subnet 169.254.10X.Y/31, diin parehas gyud X - Numero sa dugokan, Y — P2P network /31.
- I-link ang mga adres gikan sa Edge-Leaf hangtod sa backbone sa MPLS. Dinhi ang sitwasyon medyo lahi - ang lugar diin ang tanan nga mga piraso konektado sa usa ka pie, busa ang paggamit pag-usab sa parehas nga mga adres dili molihok - kinahanglan nimo nga pilion ang sunod nga libre nga subnet. Busa, atong kuhaon isip basehan 192.168.0.0/16 ug atong kuhaon gikan niini ang mga gawasnon.
- Mga Address sa Loopback. Ihatag namo ang tibuok range para nila 172.16.0.0/12.
- Dahon - / 25 kada DC - parehas nga 128 racks. Atong igahin ang /23 kada rehiyon.
- Spine - / 28 kada DC - hangtod sa 16 Spine. Atong igahin ang /26 kada rehiyon.
- Edge-Leaf - /29 kada DC - hangtod sa 8 ka kahon. Atong igahin ang /27 kada rehiyon.
Kung wala kami igo nga gigahin nga mga sakup sa DC (ug wala’y bisan unsa - giangkon namon nga mga hyperscaler), gipili ra namon ang sunod nga bloke.
Kini ang hulagway nga adunay IP addressing.
Mga loopback:
Prefix
Papel sa device
Rehiyon
DC
172.16.0.0/23
sulab
172.16.0.0/27
ru
172.16.0.0/29
msk
172.16.0.8/29
kzn
172.16.0.32/27
sp
172.16.0.32/29
bcn
172.16.0.40/29
mlg
172.16.0.64/27
cn
172.16.0.64/29
sha
172.16.0.72/29
sia
172.16.2.0/23
spine
172.16.2.0/26
ru
172.16.2.0/28
msk
172.16.2.16/28
kzn
172.16.2.64/26
sp
172.16.2.64/28
bcn
172.16.2.80/28
mlg
172.16.2.128/26
cn
172.16.2.128/28
sha
172.16.2.144/28
sia
172.16.8.0/21
Dahon
172.16.8.0/23
ru
172.16.8.0/25
msk
172.16.8.128/25
kzn
172.16.10.0/23
sp
172.16.10.0/25
bcn
172.16.10.128/25
mlg
172.16.12.0/23
cn
172.16.12.0/25
sha
172.16.12.128/25
sia
underlay:
Prefix
Rehiyon
DC
10.0.0.0/17
ru
10.0.0.0/19
msk
10.0.32.0/19
kzn
10.0.128.0/17
sp
10.0.128.0/19
bcn
10.0.160.0/19
mlg
10.1.0.0/17
cn
10.1.0.0/19
sha
10.1.32.0/19
sia
Laba
Duha ka vendor. Usa ka network. ADSM.
Juniper + Arista. UbuntuMaayo nga tigulang nga Eva.
Limitado gihapon ang gidaghanon sa mga kahinguhaan sa among virtual server sa Mirana, mao nga para sa praktis mogamit kami og network nga gipasayon sa limitasyon.
Duha ka sentro sa datos: Kazan ug Barcelona.
- Duha ka spines matag usa: Juniper ug Arista.
- Usa ka torus (Dahon) sa matag usa - Juniper ug Arista, nga adunay usa ka konektado nga host (magkuha kita usa ka gaan nga Cisco IOL alang niini).
- Usa ka Edge-Leaf node matag usa (karon lang Juniper).
- Usa ka switch sa Cisco aron madumala silang tanan.
- Gawas sa mga network box, usa ka virtual machine manager ang gilunsad. Ubos sa kontrol Ubuntu.
Kini adunay access sa tanan nga mga himan, kini modagan IPAM / DCIM sistema, usa ka hugpong sa mga script sa Python, Ansible ug bisan unsa pa nga atong gikinahanglan.
sa tanan nga mga aparato sa network, nga among sulayan nga kopyahon gamit ang automation.
konklusyon
Gidawat ba usab kana? Angay ba kong mosulat ug mubong konklusyon ubos sa matag artikulo?
So nagpili mi Clos network sa sulod sa DC, tungod kay nagpaabut kami nga daghang trapiko sa East-West ug gusto ang ECMP.
Ang network gibahin sa pisikal (underlay) ug virtual (overlay). Sa samang higayon, ang overlay magsugod gikan sa host - sa ingon gipasimple ang mga kinahanglanon alang sa underlay.
Gipili namo ang BGP isip routing protocol alang sa mga network network alang sa scalability ug pagka-flexible sa palisiya niini.
Kita adunay bulag nga mga node alang sa pag-organisar sa DCI - Edge-leaf.
Ang backbone adunay OSPF+LDP.
Ang DCI ipatuman base sa MPLS L3VPN.
Alang sa mga link sa P2P, among kuwentahon ang mga IP address sa algorithm nga gibase sa mga ngalan sa device.
Mag-assign kami og mga loopback sumala sa papel sa mga device ug sa ilang lokasyon nga sunud-sunod.
Underlay prefix - lamang sa Leaf switch sunod-sunod base sa ilang nahimutangan.
Ibutang ta nga sa pagkakaron wala pa kitay kagamitan nga na-install.
Busa, ang among sunod nga mga lakang mao ang pagdugang niini sa mga sistema (IPAM, imbentaryo), pag-organisar sa pag-access, pagmugna og usa ka configuration ug pag-deploy niini.
Sa sunod nga artikulo atong atubangon ang Netbox - usa ka sistema sa imbentaryo ug pagdumala alang sa wanang sa IP sa usa ka DC.
Salamat
- Andrey Glazkov aka @glazgoo para sa pag-proofread ug pagkorihir
- Alexander Klimenko aka @v00lk para sa pag-proofread ug pag-edit
- Artyom Chernobay para sa KDPV
Source: www.habr.com
