In ons plaaslike netwerk-aggregasie het ons ses pare Arista DCS-7050CX3-32S-skakelaars en een paar Brocade VDX 6940-36Q-skakelaars gehad. Dit is nie dat ons te veel gespanne was deur die Brocade-skakelaars in hierdie netwerk nie, hulle werk en voer hul funksies uit, maar ons het volle outomatisering van sommige aksies voorberei, en ons het nie hierdie vermoëns op hierdie skakelaars gehad nie. Ek wou ook oorskakel van 40GE-koppelvlakke na die moontlikheid om 100GE te gebruik om 'n reserwe vir die volgende 2-3 jaar te maak. Ons het dus besluit om Brocade na Arista te verander.
Hierdie skakelaars is LAN-aggregasieskakelaars vir elke datasentrum. Verspreidingskakelaars (die tweede vlak van samevoeging) is direk aan hulle gekoppel, wat reeds Top-of-Rack plaaslike netwerkskakelaars in rakke met bedieners saamstel.
Elke bediener is gekoppel aan een of twee toegangskakelaars. Toegangskakelaars word aan 'n paar verspreidingskakelaars gekoppel (twee verspreidingskakelaars en twee fisiese skakels van die toegangskakelaar na verskillende verspreidingskakelaars word vir oortolligheid gebruik).
Elke bediener kan deur sy eie kliënt gebruik word, dus word 'n aparte VLAN aan die kliënt toegeken. Dieselfde VLAN word dan op 'n ander bediener van hierdie kliënt in enige rek geregistreer. Die datasentrum bestaan uit verskeie sulke rye (POD's), elke ry rakke het sy eie verspreidingskakelaars. Dan word hierdie verspreidingskakelaars aan aggregasieskakelaars gekoppel.
Kliënte kan 'n bediener in enige ry bestel; dit is onmoontlik om vooraf te voorspel dat die bediener in 'n spesifieke ry in 'n spesifieke rek toegewys of geïnstalleer sal word, so daar is ongeveer 2500 VLAN's op samevoegingskakelaars in elke datasentrum.
Toerusting vir DCI (Data-Center Interconnect) is gekoppel aan aggregasieskakelaars. Dit kan bedoel word vir L2-konneksie ('n paar skakelaars wat 'n VXLAN-tonnel na 'n ander datasentrum vorm) of vir L3-konneksie (twee MPLS-roeteerders).
Soos ek reeds geskryf het, om die prosesse van outomatisering van die konfigurasie van dienste op toerusting in een datasentrum te verenig, was dit nodig om die sentrale samevoegingskakelaars te vervang. Ons het nuwe skakelaars langs die bestaandes geïnstalleer, hulle in 'n MLAG-paar gekombineer en begin voorberei vir werk. Hulle is onmiddellik aan bestaande samevoegingskakelaars gekoppel, sodat hulle 'n gemeenskaplike L2-domein oor alle kliënt-VLAN's gehad het.
Kringbesonderhede
Vir besonderhede, kom ons noem die ou samevoegingskakelaars A1 и A2, nuwe - N1 и N2. Kom ons verbeel ons dit in POD 1 и POD 4 bedieners van een kliënt word gehuisves С1,Die kliënt VLAN word in blou aangedui. Hierdie kliënt gebruik L2-verbindingsdiens met 'n ander datasentrum, so sy VLAN word na 'n paar VXLAN-skakelaars gevoer.
kliënt С2 gasheer bedieners in POD 2 и POD 3,Die kliënt VLAN word in donkergroen aangedui. Hierdie kliënt gebruik ook 'n verbindingsdiens met 'n ander datasentrum, maar L3, so sy VLAN word na 'n paar L3VPN-roeteerders gevoer.
Ons het kliënt-VLAN's nodig om te verstaan in watter stadiums van die vervangingswerk wat gebeur, waar die kommunikasie-onderbreking plaasvind en wat die duur daarvan kan wees. Die STP-protokol word nie in hierdie skema gebruik nie, aangesien die breedte van die boom daarvoor in hierdie geval groot is, en die konvergensie van die protokol groei eksponensieel met die aantal toestelle en skakels tussen hulle.
Alle toestelle wat deur dubbelskakels verbind is, vorm 'n stapel, MLAG-paar of VCS Ethernet-stof. Vir 'n paar L3VPN-roeteerders word sulke tegnologieë nie gebruik nie, aangesien daar geen behoefte aan L2-oortolligheid is nie; dit is genoeg dat hulle L2-konnektiwiteit met mekaar het deur samevoegingskakelaars.
Implementering opsies
Toe ons opsies vir verdere geleenthede ontleed het, het ons besef dat daar verskeie maniere is om hierdie werk uit te voer. Van 'n globale onderbreking op die hele plaaslike netwerk, tot klein letterlik 1-2 sekondes onderbrekings in dele van die netwerk.
Netwerk, stop! Skakelaars, vervang hulle!
Die maklikste manier is natuurlik om 'n globale kommunikasieonderbreking op alle POD's en alle DCI-dienste te verklaar en alle skakels van die skakelaars af te skakel А aan skakelaars N.
Afgesien van die onderbreking, die tyd waarvan ons nie betroubaar kan voorspel nie (ja, ons weet die aantal skakels, maar ons weet nie hoeveel keer iets verkeerd sal gaan nie - van 'n stukkende pleisterkoord of beskadigde verbinding tot 'n foutiewe poort of transceiver ), ons kan nog steeds nie vooraf voorspel of die lengte van die pleisterkoorde, DAC, AOC, gekoppel aan die ou skakelaars A, genoeg sal wees om hulle na die nuwe skakelaars N te bereik nie, alhoewel dit langs hulle staan, maar nog 'n bietjie om die kant, en of dieselfde transceivers /DAC/AOC van Brocade-skakelaars na Arista-skakelaars sal werk.
En dit alles onder omstandighede van erge druk van kliënte en tegniese ondersteuning (“Natasha, staan op! Natasha, alles werk nie daar nie! Natasha, ons het reeds aan tegniese ondersteuning geskryf, eerlik! Natasha, hulle het klaar alles laat vaar! ! Natasha, hoeveel meer het ons nie sal dit werk nie? Natasha, wanneer sal dit werk?!"). Selfs ten spyte van die vooraf aangekondigde onderbreking en kennisgewing aan kliënte, is 'n toestroming van versoeke op so 'n tyd gewaarborg.
Stop, 1-2-3-4!
Wat as ons nie 'n wêreldwye onderbreking aankondig nie, maar eerder 'n reeks klein kommunikasie-onderbrekings vir POD- en DCI-dienste. Skakel gedurende die eerste pouse oor na skakelaars N slegs POD 1, in die tweede - oor 'n paar dae - POD 2, dan nog 'n paar dae POD 3Verdere POD 4…[N], dan VXLAN-skakelaars en dan L3VPN-roeteerders.
Met hierdie organisasie van skakelwerk verminder ons die kompleksiteit van eenmalige werk en verhoog ons tyd om probleme op te los as iets skielik verkeerd loop. POD 1 bly gekoppel aan ander POD's en DCI's na oorskakeling. Maar die werk self sloer vir 'n lang tyd; tydens hierdie werk in die datasentrum word 'n ingenieur vereis om die oorskakeling fisies uit te voer, en tydens die werk (en sulke werk word as 'n reël snags vanaf 2 gedoen. tot 5:2), word die teenwoordigheid van 'n aanlyn netwerkingenieur vereis op 'n redelik hoë vlak kwalifikasies. Maar dan kry ons kort kommunikasie-onderbrekings; as 'n reël kan werk uitgevoer word in 'n interval van 'n halfuur met 'n breek van tot 20 minute (in die praktyk, dikwels 30-XNUMX sekondes met die verwagte gedrag van die toerusting).
In die voorbeeld kliënt С1 of kliënt С2 jy sal ten minste drie keer moet waarsku oor werk met 'n kommunikasie-onderbreking - die eerste keer om werk op een POD uit te voer, waarin een van sy bedieners geleë is, die tweede keer - op die tweede, en die derde keer - wanneer skakeltoerusting vir DCI-dienste.
Verandering van geaggregeerde kommunikasiekanale
Hoekom praat ons van die verwagte gedrag van toerusting, en hoe saamgevoegde kanale oorgeskakel kan word terwyl kommunikasie-onderbreking tot die minimum beperk word? Kom ons stel ons die volgende prentjie voor:
Aan die een kant van die skakel is daar POD verspreiding skakelaars - D1 и D2, hulle vorm 'n MLAG-paar met mekaar (stapel, VCS-fabriek, vPC-paar), aan die ander kant is daar twee skakels - Skakel 1 и Skakel 2 - ingesluit in die MLAG-paar ou samevoegingskakelaars А. Aan die skakelaarkant D 'n saamgevoegde koppelvlak met die naam Port-kanaal A, aan die kant van aggregasieskakelaars А - saamgevoegde koppelvlak met die naam Port-kanaal D.
Geaggregeerde koppelvlakke gebruik LACP in hul werking, dit wil sê skakelaars aan beide kante ruil gereeld LACPDU-pakkies op albei skakels uit om seker te maak dat die skakels:
- werk;
- ingesluit in een paar toestelle aan die afgeleë kant.
Wanneer pakkies uitgeruil word, dra die pakkie die waarde stelsel-ID, wat die toestel aandui waar hierdie skakels ingesluit is. Vir 'n MLAG-paar (stapel, fabriek, ens.), is die stelsel-ID-waarde vir die toestelle wat die saamgevoegde koppelvlak vorm dieselfde. Skakel oor D1 stuur aan Skakel 1 waarde stelsel-ID D, en skakel oor D2 stuur aan Skakel 2 waarde stelsel-ID D.
Skakelaars A1 и A2 ontleed LACPDU-pakkies wat oor een Po D-koppelvlak ontvang is en kyk of die stelsel-ID daarin ooreenstem. As die stelsel-ID wat via een of ander skakel ontvang is, skielik verskil vanaf die huidige bedryfswaarde, dan word hierdie skakel van die saamgevoegde koppelvlak verwyder totdat die situasie reggestel is. Nou aan ons skakelkant D huidige stelsel-ID waarde van die LACP vennoot - A, en aan die skakelaarkant А — huidige stelsel-ID-waarde van die LACP-vennoot — D.
As ons die saamgevoegde koppelvlak moet verander, kan ons dit op twee verskillende maniere doen:
Metode 1 - Eenvoudig
Deaktiveer beide skakels vanaf skakelaars A. In hierdie geval werk die saamgevoegde kanaal nie.
Koppel albei skakels een vir een aan die skakelaars N, dan sal die LACP-bedryfsparameters weer onderhandel word en die koppelvlak sal gevorm word PoD op skakelaars N en oordrag van waardes op skakels stelsel-ID N.
Metode 2 - Minimaliseer onderbreking
Ontkoppel Skakel 2 van skakelaar A2. Terselfdertyd verkeer tussen А и D sal voortgaan om net oor een van die skakels versend te word, wat deel van die saamgevoegde koppelvlak sal bly.
Koppel Skakel 2 om N2 te skakel. Op die skakelaar N die saamgevoegde koppelvlak is reeds gekonfigureer Po DN, en skakel oor N2 sal begin uitsaai na LACPDU stelsel-ID N. Op hierdie stadium kan ons reeds kontroleer dat die skakelaar N2 werk korrek met die transceiver waarvoor gebruik word Skakel 2, dat die verbindingspoort die toestand binnegegaan het Up, en dat geen foute op die verbindingspoort voorkom wanneer LACPDU's oorgedra word nie.
Maar die feit dat die skakelaar D2 vir saamgevoegde koppelvlak Po A van die kant af Skakel 2 ontvang 'n stelsel-ID N-waarde wat verskil van die huidige bedryfstelsel-ID A-waarde, laat nie skakelaars toe nie D betree Skakel 2 deel van die saamgevoegde koppelvlak Po A. Skakel oor N kan nie ingaan nie Skakel 2 in werking tree, aangesien dit nie bevestiging van werkbaarheid van die LACP-vennoot van die skakelaar ontvang nie D2. Die gevolglike verkeer is Skakel 2 nie deurkom nie.
En nou skakel ons Skakel 1 van skakelaar A1 af, en ontneem daardeur die skakelaars А и D werkende totale koppelvlak. So aan die skakelaarkant D die huidige werkende stelsel-ID waarde vir die koppelvlak verdwyn Po A.
Dit laat skakelaars toe D и N stem in om stelsel-ID uit te ruil AN op koppelvlakke Po A и Po DN, sodat verkeer langs die skakel oorgedra word Skakel 2. Die breek in hierdie geval is in praktyk tot 2 sekondes.
En nou kan ons skakel 1 maklik oorskakel na N1, die herstel van die kapasiteit en vlak van koppelvlakoortolligheid Po A и Po DN. Aangesien wanneer hierdie skakel gekoppel is, die huidige stelsel-ID-waarde nie aan weerskante verander nie, is daar geen onderbreking nie.
Bykomende skakels
Maar die skakelaar kan uitgevoer word sonder die teenwoordigheid van 'n ingenieur ten tyde van die oorskakeling. Om dit te doen, sal ons vooraf addisionele skakels tussen verspreidingskakelaars moet lê D en nuwe samevoegingskakelaars N.
Ons lê nuwe skakels tussen samevoegingskakelaars N en verspreidingskakelaars vir alle POD's. Dit vereis om bykomende pleisterkoorde te bestel en te lê, en bykomende transceivers te installeer soos in N, en in D. Ons kan dit doen, want in ons skakelaars D Elke POD het gratis poorte (of ons maak dit vooraf vry). Gevolglik is elke POD fisies verbind deur twee skakels aan die ou skakelaars A en aan die nuwe skakelaars N.
Op die skakelaar D twee saamgevoegde koppelvlakke is gevorm - Po A met skakels Skakel 1 и Skakel 2En Po N - met skakels Skakel N1 и Skakel N2. Op hierdie stadium kontroleer ons die korrekte verbinding van koppelvlakke en skakels, die vlakke van optiese seine aan beide kante van die skakels (via DDM-inligting van die skakelaars), ons kan selfs die werkverrigting van die skakel onder las nagaan of die toestande van optiese seine en transceiver temperature vir 'n paar dae.
Verkeer word steeds deur die koppelvlak gestuur Po A, en die koppelvlak Po N kos geen verkeer nie. Die instellings op die koppelvlakke is iets soos volg:
Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan noneD-skakelaars ondersteun as 'n reël sessie-gebaseerde konfigurasieveranderinge; skakelaarmodelle wat hierdie funksionaliteit het, word gebruik. Ons kan dus die instellings van die Po A- en Po N-koppelvlakke in een stap verander:
Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
CommitDan sal die konfigurasieverandering vinnig genoeg plaasvind, en die breek sal in die praktyk nie meer as 5 sekondes wees nie.
Hierdie metode stel ons in staat om al die voorbereidende werk vooraf te voltooi, al die nodige kontrole uit te voer, die werk met die deelnemers aan die proses te koördineer, die aksies vir die produksie van werk in detail te voorspel, sonder kreatiwiteitsvlugte wanneer "alles verkeerd geloop het" ,” en het 'n plan byderhand om na die vorige konfigurasie terug te keer. Werk volgens hierdie plan word deur 'n netwerkingenieur uitgevoer sonder die teenwoordigheid van 'n datasentrumingenieur op die perseel wat die oorskakeling fisies uitvoer.
Wat ook belangrik is met hierdie metode van oorskakeling, is dat alle nuwe skakels reeds vooraf gemonitor word. Foute, insluiting van skakels in die eenheid, laai van skakels - al die nodige inligting is reeds in die moniteringstelsel, en dit is reeds op die kaarte geteken.
D-dag
POD
Ons het die minste pynlike oorskakelingspad vir kliënte gekies en die minste geneig tot "iets het verkeerd geloop" scenario's met bykomende skakels. Ons het dus alle POD's binne 'n paar nagte na nuwe samevoegingskakelaars oorgeskakel.
Maar al wat oorbly, is om die toerusting wat DCI-dienste verskaf, oor te skakel.
L2
In die geval van toerusting wat L2-verbinding verskaf, was ons nie in staat om soortgelyke werk met bykomende skakels uit te voer nie. Daar is ten minste twee redes hiervoor:
- Gebrek aan gratis poorte van die vereiste spoed op VXLAN-skakelaars.
- Gebrek aan sessiekonfigurasieveranderingsfunksie op VXLAN-skakelaars.
Ons het nie skakels "een op 'n slag" met 'n breek gewissel net terwyl ons ooreengekom het op 'n nuwe stelsel-ID-paar nie, aangesien ons nie 100% vertroue gehad het dat die prosedure korrek sou verloop nie, en 'n toets in die laboratorium het getoon dat in die As "iets verkeerd loop", kry ons steeds 'n verbindingsonderbreking, en wat die ergste is, is nie net vir kliënte wat L2-verbinding met ander datasentrums het nie, maar in die algemeen vir alle kliënte van hierdie datasentrum.
Ons het voor die tyd propagandawerk gedoen oor die oorgang van L2-kanale, so die aantal kliënte wat deur werk op VXLAN-skakelaars geraak is, was reeds verskeie kere minder as 'n jaar gelede. As gevolg hiervan het ons besluit om kommunikasie via die L2-verbindingsdiens te onderbreek, mits ons die normale werking van plaaslike netwerkdienste in een datasentrum handhaaf. Daarbenewens maak die SLA vir hierdie diens voorsiening vir die moontlikheid om geskeduleerde werk met onderbrekings uit te voer.
L3
Waarom het ons aanbeveel dat almal na L3VPN oorskakel wanneer hulle DCI-dienste organiseer? Een van die redes is die vermoë om werk uit te voer op een van die roeteerders wat hierdie diens lewer, deur bloot die oortolligheidsvlak tot N+0 te verminder, sonder om kommunikasie te onderbreek.
Kom ons bekyk die diensleweringskema van naderby. In hierdie diens gaan die L2-segment slegs van kliëntbedieners na L3VPN Selectel-roeteerders. Die kliëntnetwerk word op routers beëindig.
Elke kliëntbediener, bv. S2 и S3 in die bostaande diagram, het hul eie private IP-adresse - 10.0.0.2/24 op die S2-bediener и 10.0.0.3/24 op die S3-bediener. Adresse 10.0.0.252/24 и 10.0.0.253/24 deur Selectel aan routers toegewys L3VPN-1 и L3VPN-2, onderskeidelik. IP adres 10.0.0.254/24 is 'n VRRP VIP-adres op Selectel-routers.
U kan meer leer oor die L3VPN-diens in ons blog.
Voor die skakelaar het alles ongeveer gelyk soos in die diagram:
Twee routers L3VPN-1 и L3VPN-2 was aan die ou samevoegingskakelaar gekoppel А. Die meester vir VRRP VIP-adres 10.0.0.254 is die router L3VPN-1. Dit het 'n hoër prioriteit vir hierdie adres as die router L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}Die S2-bediener gebruik gateway 10.0.0.254 om met bedieners op ander plekke te kommunikeer. Dus, die ontkoppeling van die L3VPN-2-roeteerder van die netwerk (natuurlik, as dit eers van die MPLS-domein ontkoppel word) beïnvloed nie die konnektiwiteit van die kliënt se bedieners nie. Op hierdie stadium word die stroombaan se oortolligheidsvlak eenvoudig verminder.
Hierna kan ons die router veilig weer koppel L3VPN-2 na 'n paar skakelaars N. Lê skakels, verander transceivers. Die roeteerder se logiese koppelvlakke, waarvan die werking van kliëntedienste afhang, is gedeaktiveer totdat bevestig word dat alles funksioneer soos dit moet.
Nadat die skakels, transceivers, seinvlakke en foutvlakke op die koppelvlakke nagegaan is, word die router in werking gestel, maar reeds gekoppel aan 'n nuwe paar skakelaars.
Vervolgens verlaag ons die VRRP-prioriteit van die L3VPN-1-roeteerder, en die VIP-adres 10.0.0.254 word na die L3VPN-2-roeteerder geskuif. Hierdie werke word ook uitgevoer sonder onderbreking van kommunikasie.
Dra VIP-adres 10.0.0.254 oor na die router L3VPN-2 laat jou toe om die router te deaktiveer L3VPN-1 sonder onderbreking van kommunikasie vir die kliënt en koppel dit aan 'n nuwe paar samevoegingskakelaars N.
Of VRRP VIP na die L3VPN-1-roeteerder moet terugbesorg of nie, is 'n ander vraag, en selfs al word dit teruggestuur, word dit gedoen sonder om die verbinding te onderbreek.
In totaal
Na al hierdie stappe het ons eintlik die samevoegingskakelaars in een van ons datasentrums vervang, terwyl ons ontwrigting vir ons kliënte tot die minimum beperk het.
Al wat oorbly is aftakeling. Demontage van ou skakelaars, aftakeling van ou skakels tussen skakelaars A en D, aftakeling van transceivers vanaf hierdie skakels, regstelling van monitering, regstelling van netwerkdiagramme in dokumentasie en monitering.
Ons kan skakelaars, transceivers, pleisterkoorde, AOC, DAC wat oorgebly het na oorskakeling in ander projekte of vir ander soortgelyke skakeling gebruik.
"Natasha, ons het alles verander!"
Bron: will.com