ProHoster > Blog > Pulega > Otometi mo tamaiti laiti. Vaega lona lua. Fuafuaga o feso'otaiga
Otometi mo tamaiti laiti. Vaega lona lua. Fuafuaga o feso'otaiga
I mataupu muamua e lua, na ou lagaina le mataupu o le masini ma tusia lona auivi, i le lona lua na ou faia se solomuli i luga o fesoʻotaʻiga virtualization, o le auala muamua i le faʻaogaina o le faʻatulagaina o auaunaga.
Ua oo nei i le taimi e tusi ai se ata o le fesootaiga faaletino.
Afai e te le masani i le faʻatulagaina o fesoʻotaʻiga nofoaga autu, ona ou matua fautuaina lea e amata i tala e uiga ia i latou.
O faʻataʻitaʻiga o loʻo faʻamatalaina i lenei faasologa e tatau ona faʻaoga i soʻo se ituaiga o fesoʻotaʻiga, soʻo se tele, ma soʻo se ituaiga tagata faʻatau (leai). Ae ui i lea, e le mafai ona faʻamatalaina se faʻataʻitaʻiga lautele o le faʻaogaina o nei auala. O le mea lea, o le a ou taulaʻi atu i le fausaga faʻaonaponei o le DC network: Kloz Factory.
O le a matou faia DCI ile MPLS L3VPN.
O se fesoʻotaʻiga Overlay e taʻavale i luga o le fesoʻotaʻiga faaletino mai le talimalo (e mafai ona avea ma OpenStack's VXLAN poʻo Tungsten Fabric poʻo soʻo se mea e manaʻomia ai naʻo le fesoʻotaʻiga IP masani mai le fesoʻotaʻiga).
I lenei tulaga, matou te maua se faʻataʻitaʻiga faigofie mo le masini, aua e tele a matou meafaigaluega e faʻapipiʻiina i le auala lava e tasi.
O le a matou filifilia se DC spherical i totonu o se vacuum:
Tasi mamanu mamanu i soo se mea.
E lua tagata fa'atau e fausia ni va'alele feso'otaiga se lua.
O le tasi DC e pei o le isi e lua pi i totonu o se pusa.
Mataupu
Topology fa'aletino
Fa'asinoala
Fuafuaga IP
Lapa
iʻuga
aoga fesoʻotaʻiga
Fa'ataga la matou Au'aunaga LAN_DC, mo se fa'ata'ita'iga, e fa'afeiloa'i ata fa'aa'oa'oga e uiga i le ola i lifi mau.
I megacities e lauiloa tele lenei mea, o lea e te manaʻomia ai le tele o masini faaletino.
Muamua, o le a ou faamatalaina le fesoʻotaʻiga e pei ona ou manaʻo i ai. Ona ou faafaigofieina lea mo le fale suesue.
Topology fa'aletino
Nofoaga
LAN_DC e 6 DCs:
Lusia (RU):
Moscow (msk)
Kazan (kzn)
Spain (SP):
Barcelona (bcn)
Malaga (mlg)
Saina (CN):
Shanghai (SHA)
Xi'an (sia)
Totonu DC (Intra-DC)
O DCs uma e iai feso'ota'iga feso'ota'iga tutusa i totonu e fa'avae ile Clos topology.
O le a le ituaiga o fesoʻotaʻiga Clos ma pe aisea ua tuʻu ese ai tusiga.
O DC taitasi e 10 fata ma masini, o le a faanumeraina e pei A, B, C Ma isi.
O fata taitasi e 30 masini. O le a latou le fiafia ia i tatou.
I totonu foi o fata ta'itasi o lo'o i ai se ki e feso'ota'i uma ai masini - o le mea lea Le pito i luga o le fata ki - ToR pe a le o lea, e tusa ai ma le fale gaosi Clos, matou te taʻua Pepa.
Ata lautele o le falegaosimea.
O le a tatou valaauina i latou XXX-laulauYfea XXX - tolu mataitusi fa'apuupuuga DC, ma Y - numera seriolo. Faataitaiga, kzn-lau11.
I aʻu tala o le a ou faʻatagaina aʻu lava e faʻaogaina upu Leaf ma ToR nai lo le faʻafefe e pei o upu tutusa. Ae ui i lea, e tatau ona tatou manatua e le o le tulaga lea.
ToR o se ki fa'apipi'i i totonu o se fata e fa'afeso'ota'i ai masini.
Leaf o le matafaioi a se masini i totonu o se fesoʻotaʻiga faʻaletino poʻo se suiga muamua i tulaga ole Cloes topology.
O lona uiga, Lau!= ToR.
O lea la o le Laulau e mafai ona avea ma se EndofRaw ki, mo se faʻataʻitaʻiga.
Ae ui i lea, i totonu o le auivi o lenei tusiga o le a tatou faia pea i latou o ni upu tutusa.
O ki ToR ta'itasi e feso'ota'i atu i su'ega fa'aopoopo e fa maualuga - Spine. E tasi le fata i le DC ua fa'asoa mo Spines. O le a matou faaigoa faapena: XXX-tula'auY.
O le fata lava lea e tasi o le a iai masini feso'ota'iga mo feso'ota'iga i le va o le DC-2 routers ma MPLS i luga o le va'a. Ae i le lautele, o nei ToRs tutusa. O lona uiga, mai le vaaiga a Spine switches, o le ToR masani ma masini fesoʻotaʻi poʻo se alalaupapa mo DCI e le afaina lava - naʻo le lafoina.
O ia ToR fa'apitoa e ta'ua Laulau pito. O le a tatou valaauina i latou XXX-faʻailogaY.
O le a pei o lenei.
I le ata o loʻo i luga, na ou tuʻuina moni le pito ma le lau i luga o le tulaga tutusa. Feso'ota'iga fa'apitoa e tolu-vaega Na latou aʻoaʻoina i matou e mafaufau i le uplinking (o le mea lea o le upu) o ni uplinks. Ma o iinei e foliga mai o le DCI "uplink" e toe foʻi i lalo, lea mo nisi e malepelepe ai le masani masani. I le tulaga o fesoʻotaʻiga tetele, pe a vaevaeina nofoaga autu o faʻamaumauga i ni vaega laiti - POD's (Point Of Delivery), faʻailoga eseese Edge-POD's mo DCI ma avanoa i feso'otaiga i fafo.
Mo le faigofie o le malamalama i le lumanaʻi, o le a ou tusia pea Edge i luga ole Spine, ae o le a tatou manatua e leai se atamai i luga ole Spine ma e leai se eseesega pe a galue i le Laau masani ma Edge-lau (e ui atonu e iai ni nuances iinei. , ae i se tulaga lautele E moni lenei).
Fuafuaga o se falegaosimea e iai lau pito.
O le tolutasi o Leaf, Spine ma Edge e fausia ai se fesoʻotaʻiga Underlay poʻo se fale gaosimea.
Le galuega a se fale gaosi fesoʻotaʻiga (faitau Underlay), e pei ona uma ona matou faʻamatalaina i totonu lomiga mulimuli, matua, matua faigofie - e tuʻuina atu le fesoʻotaʻiga IP i le va o masini i totonu ole DC tutusa ma le va o latou.
O le mea lea e taʻua ai le fesoʻotaʻiga o se fale gaosimea, e pei lava, mo se faʻataʻitaʻiga, o se fale gaosi oloa i totonu o pusa fesoʻotaʻiga modular, e mafai ona e faitau atili i ai i totonu. SDSM14.
I se tulaga lautele, o sea topology e taʻua o se fale gaosi oloa, aua o le ie i le faaliliuga o lona uiga o le ie. Ma e faigata ona le ioe:
Ole falegaosimea ole L3 atoa. Leai VLAN, leai Faasalalauga - o loʻo i ai a matou polokalame faʻapitoa i LAN_DC, latou te iloa le auala e tusi ai tusi talosaga e ola i le L3 paradigm, ma masini komepiuta e le manaʻomia le Live Migration ma le faʻasaoina o le tuatusi IP.
Ma toe tasi: o le tali i le fesili pe aisea le falegaosimea ma pe aisea ua ese ai le L3 tusiga.
O le a faʻatulagaina le DCI e faʻaaoga ai le Edge-Leaf, o lona uiga, o latou o lo tatou ulufafo i le alatele.
Mo le faigofie, matou te manatu o DC e fesoʻotaʻi le tasi i le isi e ala i fesoʻotaʻiga tuusaʻo.
Se'i tatou fa'ate'aina feso'ota'iga i fafo mai le iloiloga.
Ou te iloa o taimi uma lava ou te aveese ai se vaega, ou te matua faafaigofieina le fesootaiga. Ma a otometi la tatou fesoʻotaʻiga faʻapitoa, o le a lelei mea uma, ae i luga o le mea moni o le ai ai tootoo.
E moni lenei mea. Ae, o le manatu o lenei faasologa o le mafaufau ma galue i auala, ae le o le lototoa e foia faafitauli faalemafaufau.
I luga o Edge-Leafs, o loʻo tuʻuina le pito i lalo i le VPN ma faʻasalalau atu i le MPLS ivi tua (le tutusa tuʻusaʻo).
O le ata pito i luga lea matou te maua.
Fa'asinoala
Mo ta'avale i totonu o le DC matou te fa'aogaina le BGP.
I luga ole ogalaau MPLS OSPF+LDP.
Mo DCI, o lona uiga, faʻatulagaina fesoʻotaʻiga i lalo ole eleele - BGP L3VPN i luga ole MPLS.
Fa'asologa lautele o auala
E leai se OSPF po'o le ISIS (fa'asaina o le auala i Rusia) i le falegaosimea.
O lona uiga o le a leai se Auto-discovery poʻo le faʻatusatusaina o auala sili ona pupuu - naʻo le tusi lesona (otometi moni - o loʻo matou talanoa e uiga i le otometi iinei) faʻatulagaina le protocol, pitonuu ma faiga faʻavae.
BGP fa'aalaala polokalame i totonu ole DC
Aisea BGP?
I luga o lenei autu e iai RFC atoa faaigoa ia Facebook ma Arista, lea e taʻu mai ai le auala e fau ai tetele tele feso'ota'iga nofoaga autu fa'amaumauga e fa'aaoga ai le BGP. E faitau toetoe lava pei o tala fatu, ou te fautuaina tele mo se afiafi vaivai.
Ma o loʻo i ai foi se vaega atoa i laʻu tusiga faʻapitoa i lenei mea. O fea ou te ave oe ma Ou te auina atu.
Ae ui i lea, i se faapuupuuga, e leai se IGP e talafeagai mo fesoʻotaʻiga o nofoaga autu o faʻamatalaga tetele, lea e oʻo atu ai le numera o masini fesoʻotaʻiga i le afe.
E le gata i lea, o le faʻaaogaina o le BGP i soʻo se mea o le a faʻatagaina oe e le faʻaumatia le taimi i le lagolagoina o le tele o faʻasalalauga eseese ma le faʻamaopoopoina i le va oi latou.
Lima i luga o le fatu, i totonu o la matou fale gaosimea, lea e maualuga le tulaga o le a le tupu vave, OSPF o le a lava mo mata. O le mea moni ia o faʻafitauli o megascalers ma ao titans. Ae seʻi o tatou mafaufau mo na o ni nai faʻasalalauga tatou te manaʻomia, ma o le a tatou faʻaogaina le BGP, e pei ona tuʻuina atu e Pyotr Lapukhov.
Faiga Fa'atonu
I luga ole la'au sui, matou te fa'aulufale mai fa'auluuluga mai feso'ota'iga feso'ota'iga Underlay ile BGP.
O le a faia se matou sauniga BGP i le va taʻitasi se pa'aga Lau-Spine, lea o le a fa'asalalauina ai nei fa'ailoga Underlay i luga o le feso'otaiga i tua ma luma.
I totonu o le tasi nofoaga autu o faʻamatalaga o le a matou tufatufaina atu faʻamatalaga na matou faʻaulufale mai i ToRe. I luga o Edge-Leafs o le a matou faʻapotopotoina ma faʻasalalau i latou i DC mamao ma lafo i lalo i TORs. O lona uiga, o le a iloa lelei e ToR taitasi le auala e oʻo atu ai i le isi ToR i le DC tutusa ma le mea e ulufale ai i le ToR i le isi DC.
I DCI, o auala o le a tuʻuina atu VPNv4. Ina ia faia lenei mea, i luga o le Edge-Leaf, o le a tuʻuina le faʻaoga agai i le fale gaosimea i se VRF, seʻi o tatou taʻua UNDERLAY, ma o le pitonuʻu ma Spine on Edge-Leaf o le a tulaʻi i totonu o le VRF, ma le va o Edge-Leafs i le VPNv4- aiga.
O le a matou fa'asa fo'i le toe fa'asalalauina o auala na maua mai i tuala e toe fo'i atu ia i latou.
I luga o Laulau ma Spine matou te le fa'aulufaleina mai Loopbacks. Na'o matou mana'omia latou e iloa ai le Router ID.
Ae i luga o Edge-Leafs matou te faʻaulufale mai i le Global BGP. I le va o tuatusi Loopback, Edge-Leafs o le a faʻatuina se sauniga BGP i le IPv4 VPN-aiga ma le tasi ma le isi.
O le a tatou maua se OSPF + LDP ivi i le va o masini EDGE. O mea uma lava e tasi le sone. Fa'atonu faigofie.
O le ata lea o lo'o i ai le ta'avale.
BGP ASN
Edge-Lau ASN
Edge-Leafs e tasi le ASN i DC uma. E taua tele le iai o le iBGP i le va o Edge-Leafs, ma tatou te le maua i le nuances o le eBGP. Ia 65535. O le mea moni, atonu o le numera lea o se AS lautele.
Spine ASN
I luga ole Spine ole a maua le tasi ASN ile DC. Tatou amata iinei i le numera muamua lava mai le tele o tulaga tumaoti AS - 64512, 64513 Ma isi.
Aisea ASN i DC?
Sei o tatou vaevaeina lenei fesili i ni vaega se lua:
Aisea e tutusa ai le ASN i tui uma o le DC e tasi?
Aisea e eseese ai i latou i DC eseese?
Aisea e tutusa ai ASN i luga o tui uma o le tasi DC?
Ole mea lea ole AS-Path o le Underlay route ile Edge-Leaf ole a foliga mai: [leafX_ASN, spine_ASN, edge_ASN]
A e taumafai e toe fa'asalalau i Spine, o le a lafoa'i ona o lona AS (Spine_AS) ua uma ona i totonu o le lisi.
Ae ui i lea, i totonu o le DC ua matou matua faamalieina e le mafai ona alu i lalo auala Underlay e alu aʻe i le Edge. O fesoʻotaʻiga uma i le va o 'au i totonu o le DC e tatau ona tupu i totonu o le tui.
I le taimi lava e tasi, o le tuʻufaʻatasia o auala o isi DCs o le a faigofie lava ona oʻo atu i ToRs - o latou AS-Path e naʻo le ASN 65535 - le numera o AS Edge-Leafs, aua o iina na faia ai.
Aisea e eseese ai i latou i DC eseese?
I le manatu, atonu tatou te manaʻomia le tosoina o Loopback ma nisi o masini komepiuta tautua i le va o DCs.
Mo se faʻataʻitaʻiga, i luga o le talimalo o le a matou faʻatautaia Route Reflector poʻo le VNGW tutusa (Virtual Network Gateway), lea o le a lokaina ma TopR e ala i le BGP ma faʻasalalau lona loopback, lea e tatau ona maua mai DCs uma.
O le mea lea e foliga mai ai lona AS-Path: [VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
Ma e le tatau ona i ai se kopi ASN i soo se mea.
O lona uiga, Spine_DC1 ma Spine_DC2 e tatau ona ese, pei o leafX_DC1 ma leafY_DC2, o le mea tonu lava lea o loʻo tatou agai atu i ai.
E pei ona e iloa, o loʻo i ai hacks e faʻatagaina oe e talia auala faʻatasi ai ma ASN faʻalua e ui lava i le faʻaogaina o le puipuiga (faʻatagaina-i luga o Cisco). Ma e iai fo'i fa'aoga tatau. Ae o se avanoa lenei i le mautu o fesoʻotaʻiga. Ma sa ou pau i ai i ni nai taimi.
Ma afai tatou te maua le avanoa e aua le faaaogaina mea matautia, o le a tatou faaaogaina.
Laulau ASN
O le a i ai se matou ASN ta'ito'atasi i luga ole laiga ta'itasi ile feso'otaiga.
Matou te faia lenei mea mo mafuaʻaga o loʻo tuʻuina atu i luga: AS-Path e aunoa ma ni matasele, BGP faʻatulagaina e aunoa ma ni faʻailoga.
Mo auala i le va o Laulau e pasi malie, o le AS-Path e tatau ona faʻapea: [leafX_ASN, spine_ASN, leafY_ASN]
lea e manaia ai le ese'ese ole leafX_ASN ma le leafY_ASN.
E manaʻomia foʻi lenei mea mo le tulaga ma le faʻasalalauga o le VNF loopback i le va o DCs: [VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
O le a matou faʻaogaina se 4-byte ASN ma faʻavaeina e faʻavae i luga o le Spine's ASN ma le numera o le laiga, e pei o lenei: Spine_ASN.0000X.
O le ata lea ma le ASN.
Fuafuaga IP
O le mea autu, matou te manaʻomia le tuʻuina atu o tuatusi mo fesoʻotaʻiga nei:
Fa'alalo tuatusi feso'ota'iga i le va o le ToR ma le masini. E tatau ona tulaga ese i totonu o le fesoʻotaʻiga atoa ina ia mafai e soʻo se masini ona fesoʻotaʻi ma soʻo se isi. fetaui lelei 10/8. Mo fata ta'itasi e iai /26 ma se fa'aagaga. O le a matou fa'asoaina /19 i le DC ma le /17 i le itulagi.
So'oga tuatusi i le va o Lau/Tor ma Tula'au.
Ou te manaʻo e tuʻuina atu i latou i le algorithmically, o lona uiga, fuafua i latou mai igoa o masini e manaʻomia ona faʻafesoʻotaʻi.
Tu'u pea... 169.254.0.0/16.
O lona uiga 169.254.00X.Y/31fea X - Numera ivi, Y — P2P feso'otaiga /31.
O lenei mea o le a faʻatagaina oe e faʻalauiloa i luga ole 128 fata, ma oʻo atu ile 10 Spines ile DC. O tuatusi feso'ota'iga e mafai (ma o le a) toe fai mai DC i DC.
Matou te fa'atulagaina le feso'ota'iga Spine-Edge-Leaf i luga ole laiga 169.254.10X.Y/31, o fea tonu lava X - Numera ivi, Y — P2P feso'otaiga /31.
Feso'ota'i tuatusi mai Edge-Leaf ile MPLS ivi tua. O lea e fai si ese le tulaga - o le nofoaga e feso'ota'i uma ai vaega i le pai e tasi, o lea e le aoga le toe fa'aaogaina o tuatusi tutusa - e tatau ona e filifilia le isi subnet saoloto. O le mea lea, seʻi o tatou avea ma faavae 192.168.0.0/16 ma o le a tatou tafiesea mai ai ē saʻoloto.
Tuatusi Tua'i. O le a matou tuʻuina atu le vaega atoa mo i latou 172.16.0.0/12.
Laulaau - /25 i le DC - tutusa 128 fata. O le a matou fa'asoa /23 i le itulagi.
Spine - / 28 i le DC - e o'o atu i le 16 Spine. Tatou fa'asoa /26 i le itulagi.
Edge-Leaf - /29 i le DC - e oʻo atu i le 8 pusa. Tatou fa'asoa /27 i le itulagi.
Afai e le lava a matou vaʻa tuʻufaʻatasia i le DC (ma o le a leai se mea - matou te fai mai o hyperscalers), matou te filifilia le isi poloka.
O le ata lea e iai le tuatusi IP.
Loopbacks:
Muamua Matafaioi a le masini Itumalo DC
172.16.0.0/23
mata
172.16.0.0/27
ru
172.16.0.0/29
msk
172.16.0.8/29
kzn
172.16.0.32/27
sp
172.16.0.32/29
bcn
172.16.0.40/29
mlg
172.16.0.64/27
cn
172.16.0.64/29
SHA
172.16.0.72/29
sia
172.16.2.0/23
ivitū
172.16.2.0/26
ru
172.16.2.0/28
msk
172.16.2.16/28
kzn
172.16.2.64/26
sp
172.16.2.64/28
bcn
172.16.2.80/28
mlg
172.16.2.128/26
cn
172.16.2.128/28
SHA
172.16.2.144/28
sia
172.16.8.0/21
lau
172.16.8.0/23
ru
172.16.8.0/25
msk
172.16.8.128/25
kzn
172.16.10.0/23
sp
172.16.10.0/25
bcn
172.16.10.128/25
mlg
172.16.12.0/23
cn
172.16.12.0/25
SHA
172.16.12.128/25
sia
lalo:
Muamua Itumalo DC
10.0.0.0/17
ru
10.0.0.0/19
msk
10.0.32.0/19
kzn
10.0.128.0/17
sp
10.0.128.0/19
bcn
10.0.160.0/19
mlg
10.1.0.0/17
cn
10.1.0.0/19
SHA
10.1.32.0/19
sia
Lapa
E lua tagata fa'atau. Tasi feso'ota'iga. ADSM.
Juniper + Arista. Ubuntu. Malo le toeaina o Eva.
Ole aofaʻi o punaoa ile matou virtual server i Mirana e faʻatapulaʻaina pea, o lea mo le faʻataʻitaʻiga o le a matou faʻaogaina se fesoʻotaʻiga e faʻafaigofie i le tapulaʻa.
E lua nofoaga autu o faʻamaumauga: Kazan ma Barcelona.
E lua tui taʻitasi: Juniper ma Arista.
Tasi torus (Lau) i totonu - Juniper ma Arista, faʻatasi ai ma le tasi talimalo fesoʻotaʻi (tatou ave se Cisco IOL mama mo lenei mea).
E tasi le pito-Lau node ta'itasi (mo le taimi nei na'o Juniper).
Tasi Cisco sui e pulea i latou uma.
I le faʻaopoopoga i pusa fesoʻotaʻiga, o loʻo taʻavale se masini faʻatautaia. Faʻaauau le Ubuntu.
E maua avanoa i masini uma, o le a faʻatautaia le IPAM / DCIM faiga, o le tele o tusitusiga Python, Ansible ma soʻo se mea tatou te manaʻomia.
Fa'atonuga atoatoa o masini fesoʻotaʻiga uma, lea o le a matou taumafai e toe gaosia e faʻaaoga ai le masini.
iʻuga
Pe talia foi lena mea? E tatau ona ou tusia se faaiuga puupuu i lalo o mataupu taitasi?
O lea na matou filifili ai tolu-tulaga Kloz fesoʻotaʻiga i totonu o le DC, talu ai matou te faʻamoemoeina le tele o feoaiga i Sasaʻe-Sisifo ma manaʻomia le ECMP.
Na vaevaeina le feso'ota'iga i le tino (underlay) ma le virtual (overlay). I le taimi lava e tasi, o le faʻapipiʻiina e amata mai le talimalo - faʻafaigofieina manaʻoga mo le faʻavae.
Na matou filifilia le BGP e fai ma ta'iala mo feso'ota'iga feso'ota'iga mo lona fa'alauteleina ma le fetuutuuna'i o faiga fa'avae.
O le a iai a matou nodes eseese mo le faʻatulagaina o DCI - Edge-leaf.
Ole ivi tua ole a iai le OSPF+LDP.
DCI ole a fa'atinoina ile MPLS L3VPN.
Mo fesoʻotaʻiga P2P, matou te faʻatatauina tuatusi IP algorithm e faʻavae i luga o igoa masini.
O le a matou tuʻuina atu faʻasologa e tusa ai ma le matafaioi a masini ma o latou nofoaga faʻasolosolo.
Fa'alalo prefix - na'o luga ole laiga sui fa'asolosolo fa'atatau ile latou nofoaga.
Se'i fa'apea o le taimi nei e le'i fa'apipi'iina meafaigaluega.
O le mea lea, o a tatou laasaga e sosoo ai o le faʻaopoopoina i latou i faiga (IPAM, inventory), faʻatulagaina avanoa, faʻatupuina se faʻatulagaga ma faʻapipiʻi.
I le isi tala o le a tatou feagai ma Netbox - o se suʻesuʻega ma le pulega mo avanoa IP i le DC.
Fa'afetai
Andrey Glazkov aka @glazgoo mo le toe su'esu'eina ma faasa'oga
Alexander Klimenko aka @v00lk mo su'esu'ega ma teuteuga