Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

I roto i nga tuhinga tuatahi e rua, i whakaarahia e ahau te take o te automation me te tuhi i tana anga, i te tuarua ka huri au ki te mariko whatunga, hei huarahi tuatahi ki te whakaaunoa i te whirihoranga o nga ratonga.
Kua tae ki te wa ki te tuhi hoahoa o te whatunga tinana.

Mena kaore koe i te mohio ki te whakatu i nga whatunga pokapū raraunga, katahi ka tino taunaki ahau kia timata ma tuhinga mo ratou.

Nga take katoa:

Ko nga mahinga e whakaahuatia ana i tenei raupapa me whai waahi ki tetahi momo whatunga, ahakoa te rahi, me nga momo kaihoko (kaore). Engari, kaore e taea te whakaatu i tetahi tauira mo te ao mo te whakamahinga o enei huarahi. Na reira, ka aro ahau ki te hoahoanga hou o te whatunga DC: Kloz Factory.
Ka mahia e matou te DCI i runga i te MPLS L3VPN.

Ko te whatunga Whakakikorua ka rere ki runga ake o te whatunga tinana mai i te kaihautu (koinei pea ko OpenStack's VXLAN, Tungsten Fabric ranei tetahi atu mea e hiahia ana ki te honohono IP taketake mai i te whatunga).

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

I tenei keehi, ka whiwhi maatau i tetahi ahuatanga ngawari mo te automation, na te mea he maha nga taputapu kua whirihorahia i roto i te huarahi ano.

Ka whiriwhiri tatou i te DC porohita i roto i te korehau:

  • Kotahi te putanga hoahoa i nga waahi katoa.
  • E rua nga kaihoko e hanga ana i nga rererangi whatunga e rua.
  • Ko tetahi DC he rite ki tetahi rite ki nga pi e rua i roto i te putea.

Tuhinga

  • Topology tinana
  • Ararere
  • Mahere IP
  • Rapa
  • mutunga
  • hononga whaihua

Tukua to tatou Kaiwhakarato Ratonga LAN_DC, hei tauira, ki te manaaki i nga ataata whakangungu mo te oranga i roto i nga ararewa kua mau.

I nga taone nui he tino rongonui tenei, na reira me nui nga miihini tinana.

Tuatahi, ka whakaahua ahau i te whatunga kia rite ki taku e pirangi ai. Na ka whakangawari ahau mo te taiwhanga.

Topology tinana

Nga waahi

LAN_DC ka 6 DC:

  • Ruhia (RU):
    • Moscow (msk)
    • Kazan (kzn)

  • Paniora (SP):
    • Barcelona (bcn)
    • Malaga (MLC)

  • Haina (CN):
    • Shanghai (SHA)
    • Xi'an (Tuhinga)

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

Roto DC (roto-DC)

He rite nga hononga honohono o roto o nga DC katoa i runga i te topology Clos.
He aha te momo whatunga Clos me te aha i noho motuhake ai Tuhinga.

Kei ia DC nga whatanga 10 me nga miihini, ka tohua hei A, B, C A pera tonu.

He 30 nga miihini o ia whatanga. Kaore ratou e aro ki a tatou.

Kei roto hoki i ia whatanga he whakawhiti ki te hono i nga miihini katoa - koinei Runga o te Whakawhiti Rack - ToR ki te kore ranei, mo te wheketere Clos, ka kiia e matou Leaf.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga
Te hoahoa whanui o te wheketere.

Ka karanga matou ki a ratou XXX-rauYte wahi XXX - toru-reta whakapoto DC, me Y - tau rangatū. Hei tauira, kzn-rau11.

I roto i aku tuhinga ka whakaae ahau ki te whakamahi i nga kupu Leaf me te ToR hei kupu taurite. Engari, me mahara tatou ehara tenei i te mea.
Ko te ToR he pana kua whakauruhia ki roto i te whatanga e hono ana nga miihini.
Ko te rau te mahi a te taputapu i roto i te whatunga tinana, i te whakawhiti taumata tuatahi ranei i runga i nga tikanga o Cloes topology.
Ara, Rau != ToR.
Na ka taea e Leaf te whakahuri EndofRaw, hei tauira.
Heoi, i roto i te anga o tenei tuhinga ka kiia tonutia he kupu taurite.

Ka honoa ia hurihanga ToR ki nga huringa whakahiato taumata teitei e wha - Tuhinga o mua. Kotahi te whatanga i roto i te DC kua tohaina mo Spines. Ka rite ano ta matou ingoa: XXX-tuiraY.

Kei roto i taua whatanga nga taputapu whatunga mo te honohono i waenga i nga pouara DC - 2 me MPLS kei runga. Engari i te nuinga, he rite tonu enei ToR. Arā, mai i te tirohanga o nga huringa Spine, ko te ToR o mua me nga miihini hono, he pouara ranei mo te DCI kaore he mea nui - he tuku whakamua noa.

Ko enei ToR motuhake ka kiia Tapa-rau. Ka karanga matou ki a ratou XXX-kaitiY.

Ka penei te ahua.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

I roto i te hoahoa i runga ake nei, i whakanohohia e au te tapa me te rau ki te taumata kotahi. Ko nga whatunga papa-toru tawhito Na ratou matou i ako ki te whakaaro ki te hono ki runga (no reira te kupu) hei hono. Na i konei ka puta ko te DCI "uplink" ka hoki ki raro, mo etahi ka pakaru noa te arorau o mua. Mo nga whatunga nui, ka wehea nga pokapū raraunga ki nga waahanga iti ake - POD's (Point Of Delivery), miramira takitahi Tapa-PODmo DCI me te uru ki nga whatunga o waho.

Mo te ngawari o te tirohanga a muri ake nei, ka tuhi tonu ahau i te Edge ki runga i te Spine, i te mea ka maumahara tatou kaore he matauranga i runga i te Spine me te kore he rereke i te wa e mahi tahi ana me te Rau me te Rau-Tau (ahakoa he ahua kei konei. , engari i roto i te whanui He pono tenei).

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga
Kaupapa o te wheketere whai Edge-leafs.

Ko te Torutoru o te Rau, te Hiwi me te Tapa ka hanga hei whatunga Underlay, wheketere ranei.

Ko te mahi a te wheketere whatunga (panuihia te Underlay), kua tautuhia e matou i roto putanga whakamutunga, tino, tino ngawari - ki te whakarato hononga IP i waenga i nga miihini i roto i te DC kotahi me waenganui i a raatau.
Koia te take i kiia ai te whatunga he wheketere, penei, hei tauira, he wheketere whakawhiti i roto i nga pouaka whatunga modular, ka taea e koe te panui atu i roto SDSM14.

I te nuinga o te waa, ka kiia tenei topology he wheketere, no te mea ko te papanga i te whakamaoritanga ko te papanga. A he uaua ki te whakahē:
Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

Ko te wheketere he L3 katoa. Karekau he VLAN, karekau he Panui - kei a matou nga kaihōtaka whakamiharo i LAN_DC, e mohio ana ratou ki te tuhi tono e noho ana i roto i te tauira L3, me nga miihini mariko kaore e hiahiatia te Migration Ora me te tiaki i te wahitau IP.

A kotahi ano: ko te whakautu ki te patai he aha te wheketere me te aha i noho motuhake ai a L3 Tuhinga.

DCI - Hononga Pokapū Raraunga (Iwa-DC)

Ka whakaritea te DCI ma te whakamahi i te Edge-Leaf, ara, ko ratou to matou putanga ki te huarahi nui.
Mo te ngawari, ka whakaarohia e hono ana nga DC ki tetahi ki tetahi ma nga hononga tika.
Kia whakakorehia te hononga o waho mai i te whakaaro.

E mohio ana ahau i nga wa katoa ka tangohia e au tetahi waahanga, ka tino whakaawarihia e au te whatunga. A, ka whakaaunoa tatou i to tatou kupenga waitara, ka pai nga mea katoa, engari i runga i te mea tuturu ka whai tootoo.
He pono tenei. Heoi ano, ko te kaupapa o tenei raupapa ko te whakaaro me te mahi i nga huarahi, kaua ko te whakaoti maia i nga raruraru pohewa.

I runga i te Edge-Leafs, ka tuuhia te paparanga ki roto i te VPN ka tukuna ma te tuara MPLS (ko taua hononga hono).

Koinei te hoahoa taumata-runga ka whiwhi tatou.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

Ararere

Mo te ararere i roto i te DC ka whakamahia e matou te BGP.
I runga i te kātua MPLS OSPF+LDP.
Mo te DCI, ara, te whakarite hononga ki raro i te whenua - BGP L3VPN i runga i te MPLS.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga
Te kaupapa ararere whanui

Karekau he OSPF, ISIS ranei (kawa ararere i te Rūhia) i te wheketere.

Ko te tikanga tenei karekau he kitenga-aunoa, he tatau ranei mo nga huarahi poto rawa - he pukapuka-a-ringa anake (aunoa tonu - kei te korero matou mo te automation i konei) ki te whakarite i te kawa, te takiwa me nga kaupapa here.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga
kaupapa ararere BGP i roto i te DC

He aha te BGP?

Kei runga i tenei kaupapa RFC katoa i tapaina ki a Facebook me Arista, e whakaatu ana me pehea te hanga tino nui whatunga pokapū raraunga ma te whakamahi i te BGP. He rite ki nga korero pakiwaitara, ka tino taunaki ahau mo te ahiahi pouri.

A he waahanga katoa ano kei roto i taku tuhinga i whakatapua ki tenei. Ka kawea koe e ahau ki hea Kei te tuku ahau.

Engari, i te poto, kaore he IGP e tika ana mo nga whatunga o nga pokapū raraunga nui, kei reira te maha o nga taputapu whatunga ka rere ki te mano.

Hei taapiri, ma te whakamahi i te BGP ki nga waahi katoa ka kore koe e moumou taima ki te tautoko i nga momo kawa rereke me te tukutahitanga i waenga i a raatau.

I runga i te ngakau, i roto i to maatau wheketere, he nui te tupono ka kore e tere te tipu, ka ranea te OSPF mo nga kanohi. Ko enei nga raru o nga megascalers me nga titans kapua. Engari me whakaaro noa mo etahi whakaputanga e hiahiatia ana e tatou, ka whakamahia e tatou te BGP, pera i ta Pyotr Lapukhov i tuku.

Kaupapahere Ararere

I runga i nga huringa Leaf, ka kawemai matou i nga prefix mai i nga hononga whatunga Underlay ki te BGP.
Ka whai waahi tatou BGP i waenganui ia takitahi he takirua Rau-Spine, ka panuitia enei tohu tuatahi o Underlay i runga i te whatunga ki konei, ki reira.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

I roto i tetahi pokapū raraunga ka tohatohahia e matou nga korero i kawemai ki ToRe. I runga i te Edge-Leafs ka whakahiatohia e matou ka panui ki nga DC mamao ka tukuna ki raro ki nga TOR. Arā, ka tino mohio ia ToR me pehea te haere ki tetahi atu ToR i roto i te DC kotahi me te waahi urunga ki te toro atu ki te ToR i tetahi atu DC.

I roto i te DCI, ka tukuna nga huarahi hei VPNv4. Ki te mahi i tenei, i runga i te Edge-Leaf, ka tuuhia te atanga ki te wheketere ki roto i te VRF, me kii he UNDERLAY, a ko te takiwa me te Spine on Edge-Leaf ka ara ake i roto i te VRF, me waenganui o Edge-Leafs i roto i te VPNv4- whanau.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

Ka aukatihia e matou te panui ano mo nga huarahi kua riro mai i nga tarakona ki a ratou.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

I runga i te Rau me te Hiwi kaore matou e kawemai i nga Loopbacks. Ka hiahia noa matou ki a raatau ki te whakatau i te ID Pouara.

Engari i runga i te Edge-Leafs ka kawemai ki te Global BGP. I waenganui i nga wahitau Loopback, Edge-Leafs ka whakatuu he huihuinga BGP i roto i te IPv4 VPN-whanau me tetahi ki tetahi.

Ka whiwhi tatou i te OSPF+LDP i waenga i nga taputapu EDGE. Kei te rohe kotahi nga mea katoa. whirihoranga tino ngawari.

Koinei te pikitia me te ararere.

BGP ASN

Tapa-Rau ASN

I runga i te Edge-Leafs ka kotahi te ASN ki nga DC katoa. He mea nui kia noho he iBGP i waenga i a Edge-Leafs, a kaua tatou e mau ki nga ahuatanga o te eBGP. Me waiho ko 65535. Inaa, koinei pea te nama o te AS whanui.

Hiwi ASN

I runga i te Spine ka kotahi te ASN mo ia DC. Me timata i konei me te nama tuatahi mai i te awhe o te motuhake AS - 64512, 64513 Me te aha.

He aha te ASN i runga DC?

Kia wehea tenei patai kia rua:

  • He aha i rite ai nga ASN ki nga tuara katoa o te DC kotahi?
  • He aha i rereke ai i roto i nga DC rereke?

He aha i rite ai nga ASN ki nga tuara katoa o te DC kotahi?

Koinei te ahua o te ara-AS o te ara Underlay i runga i Edge-Leaf:
[leafX_ASN, spine_ASN, edge_ASN]
Ka ngana ana koe ki te panui ki a Spine, ka whakakorehia na te mea ko tana AS (Spine_AS) kei roto i te raarangi.

Heoi, i roto i te DC e tino makona ana matou ko nga ara Underlay e piki ana ki te Tapa e kore e taea te heke iho. Ko nga whakawhitinga korero katoa i waenga i nga kaihautu i roto i te DC me puta i roto i te taumata tuara.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

I tenei keehi, ko nga huarahi whakahiato o etahi atu DC ka ngawari ki te tae atu ki nga ToR - ko to ratou AS-Path anake te ASN 65535 - te maha o nga AS Edge-Leafs, no te mea i reira i hangaia ai.

He aha i rereke ai i roto i nga DC rereke?

Ko te tikanga, me toia a Loopback me etahi miihini mariko ratonga i waenga i nga DC.

Hei tauira, i runga i te kaihautu ka whakahaeretia e matou te Route Reflector or taua VNGW (Virtual Network Gateway), ka maukati ki a TopR ma te BGP ka panui i tana whakamuri, me uru mai i nga DC katoa.

Na koinei te ahua o tana AS-Path:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

A kia kaua he ASN takirua ki hea.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

Arā, me rerekē a Spine_DC1 me Spine_DC2, he rite tonu ki te rauX_DC1 me te rauY_DC2, koira tonu ta tatou e whakatata atu nei.

Kei te mohio pea koe, he hacks e taea ai e koe te whakaae ki nga huarahi me nga ASN taarua ahakoa te tikanga aukati (whakaaetia ki runga Cisco). A he whakamahi tika ano. Engari he waahi pea tenei mo te pumau o te whatunga. Na ka taka ahau ki roto i nga wa e rua.

E mai te peu e e nehenehe tatou e ore e faaohipa i te mau mea atâta, e fana‘o ïa tatou i te reira.

Rau ASN

Ka whiwhi tatou i tetahi ASN takitahi mo ia whakawhiti Rau puta noa i te whatunga.
Ka mahia e matou tenei mo nga take i runga ake nei: AS-Ara kahore he koropiko, whirihoranga BGP kaore he tohu tohu.

Kia pai te haere o nga huarahi i waenga i nga Rau, me penei te ahua o te Ara-AS:
[leafX_ASN, spine_ASN, leafY_ASN]
he pai te ahua o te leafX_ASN me te leafY_ASN.

E hiahiatia ana hoki tenei mo te ahuatanga me te panui o te whakamuri VNF i waenga i nga DC:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

Ka whakamahia e matou he ASN 4-paita ka whakaputa i runga i te ASN a Spine me te tau whakawhiti Rau, ara, penei: Tuakiri_ASN.0000X.

Koinei te pikitia me ASN.
Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

Mahere IP

Ko te tikanga, me toha nga wahitau mo nga hononga e whai ake nei:

  1. Tuhia nga wahitau whatunga i waenga i te ToR me te miihini. Me noho motuhake i roto i te whatunga katoa kia taea ai e tetahi miihini te korero ki tetahi atu. Tino pai 10/8. Mo ia whatanga he /26 me te rahui. Ka tohatohahia e matou /19 mo ia DC me /17 mo ia rohe.
  2. Honoa nga wahitau i waenga i te Rau/Tor me te Tuakiri.

    E hiahia ana ahau ki te tautapa i a raatau i runga i te algorithm, ara, tatauhia mai i nga ingoa o nga taputapu e tika ana kia hono.

    Waiho... 169.254.0.0/16.
    Ara 169.254.00X.Y/31te wahi X - Tau tuaiwi, Y — whatunga P2P /31.
    Ma tenei ka taea e koe te whakarewa ake ki te 128 racks, me te 10 Spines i te DC. Ko nga wahitau hono ka taea (a ka) tukurua mai i DC ki DC.

  3. Ka whakaritea e matou te hononga o te Spine-Edge-Leaf i runga i nga kupenga-roto 169.254.10X.Y/31, kei hea te rite tonu X - Tau tuaiwi, Y — whatunga P2P /31.
  4. Honoa nga wahitau mai i Edge-Leaf ki te tuara MPLS. I konei he ahua rereke te ahuatanga - te waahi e honoa ai nga waahanga katoa ki te porowhita kotahi, no reira karekau e mahi te whakamahi ano i nga wahitau kotahi - me kowhiria e koe te kupenga-roto kore utu e whai ake nei. No reira, me tango tatou hei turanga 192.168.0.0/16 a ka hutia atu e matou te hunga kore noa i roto.
  5. Wāhitau Whakamuri. Ka hoatu e matou te awhe katoa mo ratou 172.16.0.0/12.
    • Rau - /25 mo ia DC - he 128 nga whata. Ka tohatohahia e matou /23 mo ia rohe.
    • Spine - /28 mo ia DC - tae atu ki te 16 Spine. Me tohatoha /26 mo ia rohe.
    • Tapa-Rau - /29 mo ia DC - tae atu ki te 8 pouaka. Me tohatoha /27 mo ia rohe.

Mena kaore i te nui nga awhe kua tohatohahia i roto i te DC (a karekau - e kii ana matou he hyperscalers), ka tohua noa e matou te poraka e whai ake nei.

Koinei te pikitia whai wāhitau IP.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

Whakamuri:

Pahau
Te mahi a te taputapu
Wāhi
ДЦ

172.16.0.0/23
mata
 
 

172.16.0.0/27
ru
 

172.16.0.0/29
msk

172.16.0.8/29
kzn

172.16.0.32/27
sp
 

172.16.0.32/29
bcn

172.16.0.40/29
MLC

172.16.0.64/27
cn
 

172.16.0.64/29
SHA

172.16.0.72/29
Tuhinga

172.16.2.0/23
tuaiwi
 
 

172.16.2.0/26
ru
 

172.16.2.0/28
msk

172.16.2.16/28
kzn

172.16.2.64/26
sp
 

172.16.2.64/28
bcn

172.16.2.80/28
MLC

172.16.2.128/26
cn
 

172.16.2.128/28
SHA

172.16.2.144/28
Tuhinga

172.16.8.0/21
rau
 
 

172.16.8.0/23
ru
 

172.16.8.0/25
msk

172.16.8.128/25
kzn

172.16.10.0/23
sp
 

172.16.10.0/25
bcn

172.16.10.128/25
MLC

172.16.12.0/23
cn
 

172.16.12.0/25
SHA

172.16.12.128/25
Tuhinga

Paparanga:

Pahau
Wāhi
ДЦ

10.0.0.0/17
ru
 

10.0.0.0/19
msk

10.0.32.0/19
kzn

10.0.128.0/17
sp
 

10.0.128.0/19
bcn

10.0.160.0/19
MLC

10.1.0.0/17
cn
 

10.1.0.0/19
SHA

10.1.32.0/19
Tuhinga

Rapa

E rua nga kaihoko. Kotahi te whatunga. ADSM.

Juniper + Arista. Ubuntu. Pai tawhito Eva.

He iti tonu te nui o nga rauemi kei runga i ta maatau tūmau mariko i Mirana, no reira mo te parakatihi ka whakamahia e matou he whatunga kua ngawari ki te rohe.

Aunoatanga mo nga tamariki iti. Te wahanga tuarua. Hoahoa whatunga

E rua nga pokapū raraunga: Kazan me Barcelona.

  • E rua nga taraki ia: Juniper me Arista.
  • Kotahi torus (Leaf) i ia - Juniper me Arista, me tetahi kaihautu hono (me tango he Cisco IOL mama mo tenei).
  • Kotahi te node Tapa-Rau ia ia (mo Huniper anake inaianei).
  • Kotahi te huringa Cisco hei whakahaere i a raatau katoa.
  • I tua atu i nga pouaka whatunga, kei te rere te miihini mana mariko. Kei te whakahaere i te Ubuntu.
    Ka whai waahi ki nga taputapu katoa, ka whakahaerehia e ia nga punaha IPAM/DCIM, he paihere o nga tuhinga Python, Ansible me etahi atu mea e hiahiatia ana e tatou.

whirihoranga katoa o nga taputapu whatunga katoa, ka ngana tatou ki te whakaputa ma te whakamahi aunoatanga.

mutunga

Ka whakaaetia ano hoki tera? Me tuhi e au he whakatau poto i raro i ia tuhinga?

Na i whiriwhiria e matou taumata-toru Ko te whatunga Kloz i roto i te DC, na te mea e tumanako ana matou he maha nga waka ki te Rawhiti-Haauru me te hiahia ki te ECMP.

I wehewehea te whatunga ki te tinana (whakapapa) me te mariko (whakapapa). I te wa ano, ka timata te whakakikorua mai i te kaihautu - na reira ka whakamaarama i nga whakaritenga mo te paparanga.

I kowhiria e matou te BGP hei kawa ararere mo nga whatunga whatunga mo tana tauineine me te ngawari kaupapa here.

Ka whai waahi motuhake mo te whakarite DCI - Edge-leaf.
Ka whai OSPF+LDP te tuara.
Ka whakatinanahia te DCI i runga i te MPLS L3VPN.
Mo nga hononga P2P, ka tatauhia e matou nga wahitau IP i runga i nga ingoa taputapu.
Ka tautapahia e matou nga huringa i runga i te waahi o nga taputapu me o raatau waahi.
Tuhinga o mua - kei runga anake nga huringa Rau i runga i to raatau waahi.

Me whakaaro tatou i tenei wa kaore ano kia whakauruhia nga taputapu.
No reira, ko nga mahi ka whai ake ko te taapiri atu ki nga punaha (IPAM, rarangi pukapuka), te whakarite urunga, te whakaputa whirihoranga me te tuku.

I roto i te tuhinga e whai ake nei ka mahi maatau ki a Netbox - he raarangi me te punaha whakahaere mo te waahi IP i roto i te DC.

Mauruuru koe

  • Andrey Glazkov aka @glazgoo mo te whakatikatika me te whakatika
  • Alexander Klimenko aka @v00lk mo te panui me te whakatika
  • Artyom Chernobay mo KDPV

Source: will.com

Tāpiri i te kōrero