Yn ús lokale netwurkaggregaasje hienen wy seis pearen Arista DCS-7050CX3-32S-skeakels en ien pear Brocade VDX 6940-36Q-skeakels. It is net dat wy oerdreaun wiene troch de Brocade-skeakels yn dit netwurk, se wurkje en fiere har funksjes út, mar wy wiene folsleine automatisearring fan guon aksjes tariede, en wy hawwe dizze mooglikheden net op dizze skeakels. Ik woe ek wikselje fan 40GE-ynterfaces nei de mooglikheid om 100GE te brûken om in reserve te meitsjen foar de kommende 2-3 jier. Dat wy besletten Brocade te feroarjen nei Arista.
Dizze skeakels binne LAN-aggregaasje-skeakels foar elk datasintrum. Distribúsje-skeakels (it twadde nivo fan aggregaasje) binne direkt mei har ferbûn, dy't al Top-of-Rack lokale netwurkskeakels yn racks mei servers gearstalle.
Eltse tsjinner is ferbûn mei ien of twa tagong switches. Tagong Switches wurde ferbûn mei in pear distribúsje Switches (twa distribúsje Switches en twa fysike keppelings út de tagong switch nei ferskillende distribúsje Switches wurde brûkt foar oerstallichheit).
Elke tsjinner kin brûkt wurde troch syn eigen kliïnt, sadat de kliïnt in aparte VLAN wurdt tawiisd. Itselde VLAN wurdt dan registrearre op in oare tsjinner fan dizze client yn alle rack. It datasintrum bestiet út ferskate sokke rigen (POD's), elke rige racks hat syn eigen distribúsjeskeakels. Dan binne dizze distribúsje-skeakels ferbûn mei aggregaasje-skeakels.
Klanten kinne in tsjinner yn elke rige bestelle; it is ûnmooglik om fan tefoaren te foarsizzen dat de tsjinner wurdt tawiisd of ynstalleare yn in spesifike rige yn in spesifyk rack, dêrom binne d'r sawat 2500 VLAN's op aggregaasje-skeakels yn elk datasintrum.
Apparatuer foar DCI (Data-Center Interconnect) is ferbûn mei aggregation switches. It kin bedoeld wêze foar L2-ferbining (in pear skeakels dy't in VXLAN-tunnel foarmje nei in oar datasintrum) of foar L3-ferbining (twa MPLS-routers).
Lykas ik al skreau, om de prosessen te ferienigjen foar it automatisearjen fan de konfiguraasje fan tsjinsten op apparatuer yn ien datasintrum, wie it nedich om de sintrale aggregaasje-skeakels te ferfangen. Wy ynstalleare nije skeakels neist de besteande, kombineare se yn in MLAG-pear en begon te meitsjen foar wurk. Se waarden fuortendaliks ferbûn mei besteande aggregation switches, sadat se hiene in mienskiplik L2 domein oer alle client VLANs.
Skema details
Lit ús foar spesifikaasjes de âlde aggregaasje-skeakels neame A1 и A2, nij- N1 и N2. Litte wy ús dat yntinke POD 1 и POD 4 tsjinners fan ien klant wurde hosted С1,De client VLAN wurdt oanjûn yn blau. Dizze kliïnt brûkt L2-ferbiningstsjinst mei in oar datasintrum, sadat syn VLAN wurdt fieden nei in pear VXLAN-skeakels.
Klant С2 hosts tsjinners yn POD 2 и POD 3,De client VLAN wurdt oanjûn yn donkergrien. Dizze kliïnt brûkt ek in ferbiningstsjinst mei in oar datasintrum, mar L3, sadat syn VLAN wurdt fiede nei in pear L3VPN-routers.
Wy hawwe client VLANs nedich om te begripen yn hokker stadia fan it ferfangende wurk wat bart, wêr't de kommunikaasjeûnderbrekking optreedt en wat de doer kin wêze. It STP-protokol wurdt net brûkt yn dit skema, om't de breedte fan 'e beam dêrfoar yn dit gefal grut is, en de konverginsje fan it protokol groeit eksponentiell mei it oantal apparaten en keppelings tusken har.
Alle apparaten ferbûn troch dûbele keppelings foarmje in stack, MLAG pear of VCS Ethernet fabric. Foar in pear L3VPN-routers wurde sokke technologyen net brûkt, om't d'r gjin need is foar L2-redundânsje; it is genôch dat se L2-ferbining mei elkoar hawwe fia aggregaasje-skeakels.
Ymplemintaasje opsjes
By it analysearjen fan opsjes foar fierdere eveneminten, realisearre wy dat d'r ferskate manieren binne om dit wurk út te fieren. Fan in globale brek op it hiele lokale netwurk, oant lytse letterlik 1-2 sekonden breaks yn dielen fan it netwurk.
Netwurk, stopje! Switches, ferfange se!
De maklikste manier is fansels om in globale kommunikaasjeûnderbrekking te ferklearjen op alle POD's en alle DCI-tsjinsten en alle keppelings fan 'e skeakels te wikseljen А oan skeakels N.
Utsein de ûnderbrekking, de tiid wêrfan wy net betrouber kinne foarsizze (ja, wy witte it oantal keppelings, mar wy witte net hoefolle kearen der ferkeard gean sil - fan in brutsen patchkabel of skansearre ferbining oant in defekte poarte of transceiver ), kinne wy noch net foarsizze oft de lingte fan de patch koarden, DAC, AOC, ferbûn mei de âlde skeakels A, sil wêze genôch om te berikken se nei de nije skeakels N, hoewol't steane njonken harren, mar noch in bytsje om de kant, en oft deselde transceivers sille wurkje / DAC / AOC út Brocade skakelaars nei Arista skakelaars.
En dit alles ûnder betingsten fan swiere druk fan klanten en technyske stipe ("Natasha, stean op! Natasha, alles wurket dêr net! Natasha, wy hawwe al skreaun oan technyske stipe, earlik! Natasha, se hawwe alles al dellein ! Natasha, hoefolle mear hawwe wy net sil it wurkje? Natasha, wannear sil it wurkje?!"). Sels nettsjinsteande de foarôf oankundige brek en notifikaasje oan kliïnten, is in ynstream fan fersiken op sa'n momint garandearre.
Stopje, 1-2-3-4!
Wat as wy gjin wrâldwide brek oankundigje, mar in searje lytse kommunikaasjeûnderbrekkings foar POD- en DCI-tsjinsten. Yn de earste pauze, oerskeakelje nei skeakels N allinnich POD 1, yn 'e twadde - yn in pear dagen - POD 2, dan noch in pear dagen POD 3, dan POD 4…[N], dan VXLAN-skeakels en dan L3VPN-routers.
Mei dizze organisaasje fan wikselwurken ferminderje wy de kompleksiteit fan ienmalige wurken en ferheegje wy ús tiid om problemen op te lossen as der ynienen wat mis giet. POD 1 bliuwt ferbûn mei oare POD's en DCI's nei it wikseljen. Mar it wurk sels draacht in lange tiid; tidens dit wurk yn it datasintrum is in yngenieur ferplicht om it skeakeljen fysyk út te fieren, en tidens it wurk (en sa'n wurk wurdt útfierd, yn 'e regel, nachts, fan 2. oant 5 oere), de oanwêzigens fan in online netwurk yngenieur is fereaske op in frij heech nivo kwalifikaasjes. Mar dan krije wy koarte kommunikaasjeûnderbrekkingen; yn 'e regel kin it wurk útfierd wurde yn in ynterval fan in heal oere mei in pauze fan maksimaal 2 minuten (yn 'e praktyk faak 20-30 sekonden mei it ferwachte gedrach fan' e apparatuer).
Yn it foarbyld client С1 of klant С2 jo moatte op syn minst trije kear warskôgje oer wurk mei in kommunikaasjeûnderbrekking - de earste kear om wurk út te fieren op ien POD, wêryn ien fan syn servers sit, de twadde kear - op 'e twadde, en de tredde kear - wannear switching apparatuer foar DCI tsjinsten.
Switching aggregearre kommunikaasje kanalen
Wêrom prate wy oer it ferwachte gedrach fan apparatuer, en hoe't aggregearre kanalen kinne wurde oerskeakele, wylst kommunikaasjeûnderbrekking minimaal wurdt? Litte wy ús de folgjende ôfbylding foarstelle:
Oan de iene kant fan de keppeling binne d'r POD-distribúsje-skeakels - D1 и D2, se foarmje in MLAG-pear mei elkoar (stapel, VCS-fabryk, vPC-pear), oan 'e oare kant binne d'r twa keppelings - Link 1 и Link 2 - opnommen yn it MLAG-pear fan âlde aggregaasje-skeakels А. Oan de wikselkant D in aggregearre ynterface mei de namme Havenkanaal A, oan 'e kant fan aggregation switches А - aggregearre ynterface mei de namme Havenkanaal D.
Aggregearre ynterfaces brûke LACP yn har wurking, dat is, skeakels oan beide kanten wikselje regelmjittich LACPDU-pakketten op beide keppelings om te soargjen dat de keppelings:
- arbeiders;
- opnaam yn ien pear apparaten op 'e ôfstân kant.
By it útwikseljen fan pakketten draacht it pakket de wearde systeem-id, wat it apparaat oanjout wêr't dizze keppelings binne opnommen. Foar in MLAG-pear (stapel, fabryk, ensfh.), Is de systeem-id-wearde foar de apparaten dy't de aggregearre ynterface foarmje itselde. Omskeakelje D1 stjoert oan Link 1 betsjutting system-id D, en wikselje D2 stjoert oan Link 2 betsjutting system-id D.
Switches A1 и A2 analysearje LACPDU-pakketten ûntfongen oer ien Po D-ynterface en kontrolearje oft de systeem-id yn har oerienkomt. As de systeem-id ûntfongen fia guon keppeling ynienen ferskilt út de aktuele bedriuwsfieringskosten wearde, dan wurdt dizze keppeling fuortsmiten fan 'e aggregearre ynterface oant de situaasje korrizjearre is. No op ús switch kant D hjoeddeistige systeem-id-wearde fan 'e LACP-partner - A, en oan de switch kant А - hjoeddeistige systeem-id-wearde fan 'e LACP-partner - D.
As wy de aggregearre ynterface moatte wikselje, kinne wy it op twa ferskillende manieren dwaan:
Metoade 1 - Ienfâldich
Skeakelje beide keppelings fan skeakels A út. Yn dit gefal wurket it aggregearre kanaal net.
Ferbine beide keppelings ien foar ien oan 'e skeakels N, dan wurde de LACP-bestjoeringsparameters wer ûnderhannele en de ynterface wurdt foarme PoD op switches N en oerdracht fan wearden op keppelings system-id N.
Metoade 2 - Minimalisearje ûnderbrekking
Ferbine Link 2 fan switch A2. Tagelyk, ferkear tusken А и D sil trochgean te wurde oerdroegen gewoan oer ien fan 'e keppelings, dy't diel bliuwe fan' e aggregearre ynterface.
Ferbine Link 2 om N2 te wikseljen. Op de switch N de aggregearre ynterface is al ynsteld Po DN, en wikselje N2 sil begjinne te ferstjoeren nei LACPDU system-id N. Op dit stadium kinne wy al kontrolearje dat de switch N2 wurket goed mei de transceiver brûkt foar Link 2, dat de ferbining poarte is ynfierd de steat Up, en dat der gjin flaters foarkomme op de ferbining haven by it útstjoeren fan LACPDUs.
Mar it feit dat de switch D2 foar aggregearre ynterface Po A fan 'e kant Link 2 ûntfangt in systeem-id N-wearde oars as de hjoeddeistige bestjoeringssysteem-id A-wearde, net tastean switches D yntrodusearje Link 2 diel fan 'e aggregearre ynterface Po A. Omskeakelje N kin net yngean Link 2 yn wurking, om't it gjin befêstiging fan operabiliteit krijt fan 'e LACP-partner fan' e switch D2. It gefolch ferkear is Link 2 net trochkomme.
En no skeakelje wy Link 1 út fan switch A1, dêrmei depriving de skakelaars А и D wurkjende aggregaat ynterface. Oan de wikselkant dus D de hjoeddeiske wurkjende systeem-id wearde foar de ynterface ferdwynt Po A.
Dit kinne switches D и N akkoard om systeem-id te wikseljen AN op ynterfaces Po A и Po DN, sadat ferkear begjint te wurde oerbrocht lâns de keppeling Link 2. De pauze yn dit gefal is, yn 'e praktyk, oant 2 sekonden.
En no kinne wy maklik wikselje Link 1 om N1 te wikseljen, it herstellen fan de kapasiteit en nivo fan ynterface oerstallich Po A и Po DN. Sûnt as dizze keppeling ferbûn is, feroaret de hjoeddeistige systeem-id-wearde net oan beide kanten, is d'r gjin ûnderbrekking.
Oanfoljende keppelings
Mar de skeakel kin wurde útfierd sûnder de oanwêzigens fan in yngenieur op it momint fan wikseljen. Om dit te dwaan moatte wy foarôf ekstra keppelings lizze tusken distribúsjeskeakels D en nije aggregation switches N.
Wy lizze nije keppelings tusken aggregaasje-skeakels N en distribúsje skakelaars foar alle PODs. Dit fereasket it bestellen en lizzen fan ekstra patchkoaren, en it ynstallearjen fan ekstra transceivers lykas yn Nen yn D. Wy kinne dit dwaan omdat yn ús skeakels D Elke POD hat fergese havens (of wy befrije se foarôf). As resultaat is elke POD fysyk ferbûn troch twa keppelings nei de âlde skeakels A en nei de nije skeakels N.
Op de switch D twa aggregearre ynterfaces binne foarme - Po A mei keppelings Link 1 и Link 2en Po N - mei keppelings Link N1 и Link N2. Op dit poadium kontrolearje wy de juste ferbining fan ynterfaces en keppelings, de nivo's fan optyske sinjalen oan beide úteinen fan 'e keppelings (fia DDM-ynformaasje fan' e skeakels), kinne wy sels de prestaasjes fan 'e keppeling kontrolearje ûnder lading of de steaten kontrolearje optyske sinjalen en transceiver temperatueren foar in pear dagen.
Ferkear wurdt noch ferstjoerd fia de ynterface Po A, en de ynterface Po N kostet gjin ferkear. De ynstellingen op de ynterfaces binne sa:
Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan noneD-skeakels stypje yn 'e regel sesje-rekonfiguraasje; Switchmodellen dy't dizze funksjonaliteit hawwe wurde brûkt. Sa kinne wy de ynstellingen fan 'e Po A- en Po N-ynterfaces yn ien stap feroarje:
Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
CommitDan sil de konfiguraasjeferoaring fluch genôch plakfine, en de pauze sil yn 'e praktyk net mear wêze as 5 sekonden.
Dizze metoade lit ús te foltôgjen al it tariedend wurk fan tefoaren, útfiere alle nedige kontrôles, koördinearje it wurk mei de dielnimmers oan it proses, foarsizze yn detail de aksjes foar de produksje fan wurk, sûnder flechten fan kreativiteit as "alles gie ferkeard " en hawwe in plan by de hân om werom te gean nei de foarige konfiguraasje. Wurk neffens dit plan wurdt útfierd troch in netwurk-yngenieur sûnder de oanwêzigens fan in datacenter-yngenieur op it plak dy't fysyk de oerstap útfiert.
Wat ek wichtich is mei dizze metoade fan wikseljen is dat alle nije keppelings al fan tefoaren kontrolearre wurde. Flaters, opname fan keppelings yn 'e ienheid, laden fan keppelings - alle nedige ynformaasje is al yn it tafersjochsysteem, en dit is al tekene op' e kaarten.
D-Day
POD
Wy keas it minst pynlike wikselpaad foar kliïnten en de minste gefoelich foar "wat gie ferkeard" senario's mei ekstra keppelings. Dat wy skeakelen alle POD's yn in pear nachten oer nei nije aggregaasje-skeakels.
Mar alles wat oerbliuwt is de apparatuer te wikseljen dy't DCI-tsjinsten leveret.
L2
Yn it gefal fan apparatuer dy't L2-ferbining leveret, wiene wy net yn steat om ferlykber wurk út te fieren mei ekstra keppelings. D'r binne op syn minst twa redenen hjirfoar:
- Gebrek oan frije havens fan de fereaske snelheid op VXLAN switches.
- Gebrek oan sesje konfiguraasje feroaring funksjonaliteit op VXLAN skakelaars.
Wy wikselen gjin keppelings "ien foar ien" mei in brek allinich by it oerienkommen fan in nij systeem-id-pear, om't wy net 100% fertrouwen hienen dat de proseduere goed soe gean, en in test yn it laboratoarium liet sjen dat yn 'e gefal as "wat mis giet," wy noch krije in ferbining ûnderbrekking, en wat is slimste is net allinnich foar kliïnten dy't hawwe L2 ferbining mei oare data sintra, mar yn it algemien foar alle kliïnten fan dit data sintrum.
Wy útfierd propaganda wurk foarôfgeand oan de oergong fan L2 kanalen, sadat it oantal kliïnten beynfloede troch wurk op VXLAN switch wie al ferskate kearen minder as in jier lyn. As gefolch hawwe wy besletten om kommunikaasje fia de L2-ferbiningstsjinst te ûnderbrekken, op betingst dat wy de normale wurking fan lokale netwurktsjinsten yn ien datasintrum behâlde. Derneist soarget de SLA foar dizze tsjinst foar de mooglikheid om pland wurk mei ûnderbrekkingen út te fieren.
L3
Wêrom hawwe wy oanrikkemandearre dat elkenien oerskeakelje nei L3VPN by it organisearjen fan DCI-tsjinsten? Ien fan 'e redenen is de mooglikheid om wurk út te fieren op ien fan' e routers dy't dizze tsjinst leverje, gewoan it redundânsjenivo te ferminderjen nei N + 0, sûnder kommunikaasje te ûnderbrekken.
Litte wy in tichterby besjen op it skema fan tsjinstferliening. Yn dizze tsjinst giet it L2-segment allinich fan kliïntservers nei L3VPN Selectel-routers. It clientnetwurk wurdt beëinige op routers.
Eltse client tsjinner, f.eks. S2 и S3 yn it boppesteande diagram, hawwe har eigen privee IP-adressen - 10.0.0.2/24 op tsjinner S2 и 10.0.0.3/24 op tsjinner S3. Adressen 10.0.0.252/24 и 10.0.0.253/24 tawiisd troch Selectel oan routers L3VPN-1 и L3VPN-2, respektivelik. IP adres 10.0.0.254/24 is in VRRP VIP-adres op Selectel routers.
Jo kinne mear leare oer de L3VPN-tsjinst yn ús blog.
Foar de skeakel seach alles sawat sa as yn it diagram:
Twa routers L3VPN-1 и L3VPN-2 waarden ferbûn oan de âlde aggregation switch А. De master foar VRRP VIP-adres 10.0.0.254 is de router L3VPN-1. It hat in hegere prioriteit foar dit adres dan de router L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}De S2-tsjinner brûkt gateway 10.0.0.254 om te kommunisearjen mei servers op oare lokaasjes. Sa, it loskoppelen fan de L3VPN-2-router fan it netwurk (fansels, as it earst wurdt loskeppele fan it MPLS-domein) hat gjin ynfloed op de ferbining fan 'e tsjinners fan' e kliïnt. Op dit punt wurdt it oerstallich nivo fan it circuit gewoan fermindere.
Hjirnei kinne wy de router feilich opnij ferbine L3VPN-2 oan in pear skakelaars N. Lizze keppelings, feroarje transceivers. De logyske ynterface fan 'e router, wêrfan de wurking fan kliïnttsjinsten hinget, binne útskeakele oant it wurdt befêstige dat alles wurket sa't it moat.
Nei it kontrolearjen fan de keppelings, transceivers, sinjaalnivo's en flaternivo's op 'e ynterfaces, wurdt de router yn wurking set, mar al ferbûn mei in nij pear skeakels.
Dêrnei ferleegje wy de VRRP-prioriteit fan 'e L3VPN-1-router, en it VIP-adres 10.0.0.254 wurdt ferpleatst nei de L3VPN-2-router. Dizze wurken wurde ek útfierd sûnder ûnderbrekking fan kommunikaasje.
It oerdragen fan VIP-adres 10.0.0.254 nei de router L3VPN-2 kinne jo de router útskeakelje L3VPN-1 sûnder ûnderbrekking fan kommunikaasje foar de klant en ferbine it mei in nij pear aggregation switches N.
Of VRRP VIP wol of net weromkomme nei de L3VPN-1-router is in oare fraach, en sels as it wurdt weromjûn, wurdt it dien sûnder de ferbining te ûnderbrekken.
Totaal
Nei al dizze stappen hawwe wy eins de aggregaasje-skeakels yn ien fan ús datasintra ferfongen, wylst de fersteuring foar ús klanten minimalisearre.
Alles wat oerbliuwt is ôfbouwen. Demontage fan âlde skeakels, ûntmanteling fan âlde keppelings tusken skeakels A en D, ûntmanteling fan transceivers fan dizze keppelings, korreksje fan tafersjoch, korreksje fan netwurkdiagrammen yn dokumintaasje en tafersjoch.
Wy kinne brûke switches, transceivers, patch koarden, AOC, DAC lofts nei it wikseljen yn oare projekten of foar oare ferlykbere switching.
"Natasha, wy hawwe alles feroare!"
Boarne: www.habr.com