Zgodovina enega stikala

V naši lokalni omrežni agregaciji smo imeli šest parov stikal Arista DCS-7050CX3-32S in en par stikal Brocade VDX 6940-36Q. Ne gre za to, da bi nas stikala Brocade v tem omrežju preveč obremenjevala, saj delujejo in opravljajo svoje funkcije, vendar smo pripravljali popolno avtomatizacijo nekaterih dejanj in teh zmožnosti na teh stikalih nismo imeli. Želel sem tudi prehod z vmesnikov 40GE na možnost uporabe 100GE, da bi naredil rezervo za naslednjih 2-3 leta. Zato smo se odločili, da Brocade spremenimo v Aristo.

Ta stikala so stikala za združevanje LAN za vsak podatkovni center. Nanje so neposredno povezana razdelilna stikala (drugi nivo agregacije), ki že sestavljajo stikala lokalnega omrežja Top-of-Rack v omarah s strežniki.

Vsak strežnik je povezan z enim ali dvema dostopovnima stikaloma. Dostopna stikala so povezana s parom razdelilnih stikal (dve razdelilni stikali in dve fizični povezavi od dostopnega stikala do različnih razdelilnih stikal se uporabljajo za redundanco).

Vsak strežnik lahko uporablja lasten odjemalec, zato je odjemalcu dodeljen ločen VLAN. Isti VLAN je nato registriran na drugem strežniku tega odjemalca v kateri koli omarici. Podatkovni center je sestavljen iz več takšnih vrst (POD), vsaka vrsta regalov ima svoja razdelilna stikala. Nato se ta razdelilna stikala povežejo z agregacijskimi stikali.

Stranke lahko naročijo strežnik v kateri koli vrstici; nemogoče je vnaprej predvideti, da bo strežnik dodeljen ali nameščen v določeni vrsti v določenem omari, zato je v vsakem podatkovnem centru približno 2500 VLAN-ov na agregacijskih stikalih.

Oprema za DCI (Data-Center Interconnect) je povezana z agregacijskimi stikali. Namenjen je lahko L2 povezljivosti (par stikal, ki tvori VXLAN tunel do drugega podatkovnega centra) ali L3 povezljivosti (dva usmerjevalnika MPLS).

Kot sem že napisal, je bila za poenotenje procesov avtomatizacije konfiguracije storitev na opremi v enem podatkovnem centru potrebna zamenjava centralnih agregacijskih stikal. Nova stikala smo namestili poleg obstoječih, jih združili v MLAG par in se začeli pripravljati na delo. Takoj so bili povezani z obstoječimi združevalnimi stikali, tako da so imeli skupno domeno L2 v vseh odjemalskih VLAN-ih.

Podrobnosti vezja

Za podrobnosti poimenujmo stara stikala združevanja A1 и A2, novo - N1 и N2. Predstavljajmo si, da v POD 1 и POD 4 gostujejo strežniki enega odjemalca S1,VLAN odjemalca je označen z modro. Ta odjemalec uporablja storitev povezljivosti L2 z drugim podatkovnim centrom, zato se njegov VLAN napaja na par stikal VXLAN.

Stranka S2 gosti strežnike v POD 2 и POD 3,Odjemalski VLAN je označen s temno zeleno. Ta odjemalec prav tako uporablja storitev povezljivosti z drugim podatkovnim centrom, vendar L3, zato se njegov VLAN napaja na par usmerjevalnikov L3VPN.

Potrebujemo odjemalske VLAN-e, da razumemo, v katerih fazah nadomestnega dela se kaj zgodi, kje pride do prekinitve komunikacije in koliko lahko traja. Protokol STP v tej shemi ni uporabljen, saj je širina drevesa zanj v tem primeru velika, konvergenca protokola pa eksponentno raste s številom naprav in povezav med njimi.

Vse naprave, povezane z dvojnimi povezavami, tvorijo sklad, par MLAG ali VCS Ethernet tkanino. Za par usmerjevalnikov L3VPN se takšne tehnologije ne uporabljajo, saj ni potrebe po L2 redundanci, dovolj je, da imajo L2 povezljivost med seboj preko agregacijskih stikal.

Možnosti izvedbe

Pri analizi možnosti za nadaljnje dogodke smo ugotovili, da obstaja več načinov za izvedbo tega dela. Od globalnega preloma na celotnem lokalnem omrežju, do majhnih dobesedno 1-2 sekundnih prekinitev v delih omrežja.

Omrežje, nehaj! Stikala, zamenjaj jih!

Najlažji način je seveda, da razglasite prekinitev globalne komunikacije na vseh POD in vseh storitvah DCI in preklopite vse povezave s stikal А na stikala N.

Razen prekinitve, katere časa ne moremo zanesljivo predvideti (da, poznamo število povezav, ne vemo pa, kolikokrat bo šlo kaj narobe – od pretrganega patch kabla ali poškodovanega konektorja do okvarjenega porta ali oddajnika). ), še vedno ne moremo vnaprej predvideti, ali bo dolžina patch kablov, DAC, AOC, povezanih s starimi stikali A, zadostovala, da jih doseže nova stikala N, ki sicer stojijo poleg njih, vendar še vedno malo strani in ali bodo isti oddajniki-sprejemniki delovali /DAC/AOC od stikal Brocade do stikal Arista.

In vse to v pogojih hudega pritiska strank in tehnične podpore (»Nataša, vstani! Nataša, tam vse ne deluje! Nataša, tehnični podpori smo že pisali, pošteno! Nataša, vse so že spustili ! Nataša, koliko nas je še, da ne bo šlo? Nataša, kdaj bo šlo?!"). Tudi kljub vnaprej napovedanemu odmoru in obveščanju strank je naval povpraševanj v takem času zagotovljen.

Stop, 1-2-3-4!

Kaj pa, če ne napovemo globalne prekinitve, ampak vrsto manjših prekinitev komunikacije za storitve POD in DCI. Med prvim odmorom preklopite na stikala N Samo POD 1, v drugem - čez nekaj dni - POD 2, potem pa še nekaj dni POD 3Več POD 4…[N], nato stikala VXLAN in nato usmerjevalniki L3VPN.

S takšno organizacijo menjalnega dela zmanjšamo zahtevnost enkratnega dela in povečamo čas za reševanje težav, če gre nenadoma kaj narobe. POD 1 po preklopu ostane povezan z drugimi POD in DCI. Toda samo delo se dolgo vleče, med tem delom v podatkovnem centru mora inženir fizično izvesti preklop in med delom (in takšno delo se praviloma izvaja ponoči, od 2. do 5. ure zjutraj), je potrebna prisotnost inženirja spletnega omrežja na dokaj visoki ravni kvalifikacij. Takrat pa pride do kratkih prekinitev komunikacije, delo se lahko praviloma izvaja v intervalu pol ure z odmorom do 2 minuti (v praksi pogosto 20-30 sekund ob pričakovanem delovanju opreme).

V primeru stranke S1 ali stranko S2 na delo s prekinitvijo komunikacije boste morali opozoriti vsaj trikrat - prvič za opravljanje dela na eni POD, v kateri je eden od njenih strežnikov, drugič - na drugi in tretjič - ko stikalna oprema za storitve DCI.

Preklapljanje agregiranih komunikacijskih kanalov

Zakaj govorimo o pričakovanem obnašanju opreme in kako je mogoče preklapljati združene kanale ob zmanjšanju prekinitev komunikacije? Predstavljajmo si naslednjo sliko:

Na eni strani povezave so razdelilna stikala POD - D1 и D2, med seboj tvorita par MLAG (stack, VCS factory, vPC par), na drugi strani pa sta dve povezavi - Povezava 1 и Povezava 2 - vključeno v par starih agregacijskih stikal MLAG А. Na strani stikala D združeni vmesnik z imenom Pristaniški kanal A, na strani stikal za združevanje А - agregirani vmesnik z imenom Pristaniški kanal D.

Agregirani vmesniki pri svojem delovanju uporabljajo LACP, to pomeni, da stikala na obeh straneh redno izmenjujejo pakete LACPDU na obeh povezavah, da zagotovijo, da povezave:

• delavci;
• vključen v en par naprav na oddaljeni strani.

Pri izmenjavi paketov paket nosi vrednost ID sistema, ki označuje napravo, v kateri so te povezave vključene. Za par MLAG (sklad, tovarna itd.) je vrednost sistemskega ID-ja za naprave, ki tvorijo združeni vmesnik, enaka. Stikalo D1 pošilja na Povezava 1 vrednost ID sistema D, in preklopite D2 pošilja na Povezava 2 vrednost ID sistema D.

Stikala A1 и A2 analizirajte pakete LACPDU, prejete prek enega vmesnika Po D, in preverite, ali se ID sistema v njih ujema. Če se sistemski ID, prejet prek neke povezave, nenadoma razlikuje od trenutne obratovalne vrednosti, potem je ta povezava odstranjena iz združenega vmesnika, dokler se stanje ne popravi. Zdaj na naši preklopni strani D trenutna vrednost ID-ja sistema od partnerja LACP - A, in na strani stikala А — trenutna vrednost ID-ja sistema od partnerja LACP — D.

Če moramo preklopiti združeni vmesnik, lahko to storimo na dva različna načina:

1. način – preprosto
Onemogočite obe povezavi s stikali A. V tem primeru agregirani kanal ne deluje.

Povežite obe povezavi eno za drugo na stikala N, potem se bodo ponovno dogovorili o delovnih parametrih LACP in oblikoval se bo vmesnik Pod na stikala N in prenos vrednosti na povezavah ID sistema N.

2. način – Zmanjšajte prekinitev
Odklopite povezavo 2 s stikala A2. Ob tem se je promet med А и D se bo še naprej prenašal preprosto prek ene od povezav, ki bo ostal del združenega vmesnika.

Priključite povezavo 2 na stikalo N2. Na stikalo N agregirani vmesnik je že konfiguriran Po DN, in preklopite N2 bo začel oddajati v LACPDU ID sistema N. Na tej stopnji že lahko preverimo, ali je stikalo N2 deluje pravilno z oddajnikom in oddajnikom, ki se uporablja za Povezava 2, da so priključna vrata prešla v stanje Upin da se pri prenosu LACPDU ne pojavijo napake na povezovalnih vratih.

Toda dejstvo, da stikalo D2 za agregirani vmesnik Po A s strani Povezava 2 prejme vrednost sistemskega ID-ja N, ki se razlikuje od trenutne vrednosti A-id-ja operacijskega sistema, ne dovoljuje stikal D uvesti Povezava 2 del agregiranega vmesnika Po A. Stikalo N ne more vstopiti Povezava 2 v delovanje, saj od LACP partnerja stikala ne prejme potrditve delovanja D2. Posledični promet je Povezava 2 ne pride skozi.

In zdaj izklopimo povezavo 1 s stikala A1, s čimer prikrajšamo stikala А и D delovni agregatni vmesnik. Torej na strani stikala D trenutna delujoča vrednost system-id za vmesnik izgine Po A.

To omogoča stikala D и N strinjate se z izmenjavo sistemskega ID-ja AN na vmesnikih Po A и Po DN, tako da se promet začne prenašati po povezavi Povezava 2. Odmor je v tem primeru v praksi do 2 sekundi.

In zdaj lahko preprosto preklopimo povezavo 1 na preklop N1, obnavljanje zmogljivosti in stopnje redundance vmesnika Po A и Po DN. Ker ko je ta povezava povezana, se trenutna vrednost sistemskega ID-ja ne spremeni na nobeni strani, ni prekinitve.

Dodatne povezave

Preklop pa se lahko izvede brez prisotnosti inženirja v času preklopa. Za to bomo morali vnaprej postaviti dodatne povezave med razdelilnimi stikali D in nova stikala za združevanje N.

Polagamo nove povezave med agregacijskimi stikali N in razdelilna stikala za vse enote POD. To zahteva naročanje in polaganje dodatnih povezovalnih kablov ter namestitev dodatnih oddajnikov, kot v N, in v D. To lahko storimo, ker v naših stikalih D Vsak POD ima prosta vrata (ali pa jih vnaprej osvobodimo). Posledično je vsak POD fizično povezan z dvema povezavama s starimi stikali A in z novimi stikali N.

Na stikalo D oblikovana sta bila dva agregirana vmesnika - Po A s povezavami Povezava 1 и Povezava 2In Po N - s povezavami Povezava N1 и Povezava N2. Na tej stopnji preverimo pravilno povezavo vmesnikov in povezav, nivoje optičnih signalov na obeh koncih povezav (preko DDM informacij iz stikal), preverimo lahko tudi delovanje povezave pod obremenitvijo ali spremljamo stanja optičnih signalov in temperatur sprejemnika za nekaj dni.

Promet se še vedno pošilja prek vmesnika Po A, in vmesnik Po N ne stane prometa. Nastavitve na vmesnikih so nekako takole:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

D stikala praviloma podpirajo spreminjanje konfiguracije na podlagi seje, uporabljajo se modeli stikal, ki imajo to funkcionalnost. Tako lahko spremenimo nastavitve vmesnikov Po A in Po N v enem koraku:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Potem se bo sprememba konfiguracije zgodila dovolj hitro in premor v praksi ne bo daljši od 5 sekund.

Ta metoda nam omogoča, da vnaprej zaključimo vsa pripravljalna dela, izvedemo vsa potrebna preverjanja, uskladimo delo z udeleženci v procesu, podrobno predvidimo dejanja za izdelavo dela, brez poletov ustvarjalnosti, ko »je šlo vse narobe«. ,« in imejte pri roki načrt za vrnitev na prejšnjo konfiguracijo. Delo po tem načrtu izvaja mrežni inženir brez prisotnosti inženirja podatkovnega centra na lokaciji, ki fizično izvede preklop.

Pri tem načinu preklopa je pomembno tudi to, da so vse nove povezave že vnaprej spremljane. Napake, vključevanje povezav v enoto, nalaganje povezav - vse potrebne informacije so že v sistemu za spremljanje, to pa je že vrisano na karte.

D-dan

POD

Izbrali smo najmanj bolečo pot zamenjave za stranke in najmanj nagnjene k scenarijem »nekaj narobe« z dodatnimi povezavami. Tako smo v nekaj nočeh vse enote POD preklopili na nova stikala za združevanje.

Ostaja pa le zamenjava opreme, ki zagotavlja storitve DCI.

L2

V primeru opreme, ki omogoča L2 povezljivost, podobnega dela z dodatnimi povezavami nismo mogli izvesti. Razloga za to sta vsaj dva:

• Pomanjkanje prostih vrat zahtevane hitrosti na stikalih VXLAN.
• Pomanjkanje funkcije spreminjanja konfiguracije seje na stikalih VXLAN.

Povezav nismo preklapljali »eno po eno« s prekinitvijo samo med dogovarjanjem o novem paru system-id, saj nismo imeli 100% zaupanja, da bo postopek potekal pravilno, preizkus v laboratoriju pa je pokazal, da v Če gre »kaj narobe«, še vedno dobimo prekinitev povezave, kar je najslabše ne samo za stranke, ki imajo L2 povezljivost z drugimi podatkovnimi centri, ampak na splošno za vse stranke tega podatkovnega centra.

Predčasno smo izvedli propagandno delo na prehodu s kanalov L2, tako da je bilo število odjemalcev, ki so bili prizadeti zaradi dela na VXLAN stikalih, že nekajkrat manj kot pred letom dni. Posledično smo se odločili za prekinitev komunikacije prek storitve povezovanja L2, pod pogojem, da vzdržujemo normalno delovanje lokalnih omrežnih storitev v enem podatkovnem centru. Poleg tega SLA za to storitev predvideva možnost izvajanja načrtovanega dela s prekinitvami.

L3

Zakaj smo pri organizaciji storitev DCI vsem priporočili prehod na L3VPN? Eden od razlogov je zmožnost izvajanja dela na enem od usmerjevalnikov, ki zagotavljajo to storitev, preprosto zmanjšanje redundance na N+0, brez prekinitve komunikacije.

Oglejmo si podrobneje shemo izvajanja storitev. V tej storitvi gre segment L2 od odjemalskih strežnikov samo do usmerjevalnikov L3VPN Selectel. Odjemalsko omrežje je zaključeno na usmerjevalnikih.

Vsak odjemalski strežnik, npr. S2 и S3 v zgornjem diagramu imajo svoje zasebne naslove IP - 10.0.0.2/24 na strežniku S2 и 10.0.0.3/24 na strežniku S3. Naslovi 10.0.0.252/24 и 10.0.0.253/24 ki jih Selectel dodeli usmerjevalnikom L3VPN-1 и L3VPN-2, oz. IP naslov 10.0.0.254/24 je VRRP VIP naslov na usmerjevalnikih Selectel.

Več o storitvi L3VPN lahko izveste prebrati v našem blogu.

Pred preklopom je vse izgledalo približno tako kot na diagramu:

Dva usmerjevalnika L3VPN-1 и L3VPN-2 so bili povezani s starim stikalom združevanja А. Glavni za VRRP VIP naslov 10.0.0.254 je usmerjevalnik L3VPN-1. Za ta naslov ima višjo prednost kot usmerjevalnik L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Strežnik S2 uporablja prehod 10.0.0.254 za komunikacijo s strežniki na drugih lokacijah. Tako izključitev usmerjevalnika L3VPN-2 iz omrežja (seveda, če je najprej izključen iz domene MPLS) ne vpliva na povezljivost odjemalčevih strežnikov. Na tej točki se stopnja redundance vezja preprosto zmanjša.

Po tem lahko varno ponovno povežemo usmerjevalnik L3VPN-2 na par stikal N. Postavite povezave, zamenjajte oddajnike. Logični vmesniki usmerjevalnika, od katerih je odvisno delovanje odjemalskih storitev, so onemogočeni, dokler ni potrjeno, da vse deluje kot mora.

Po preverjanju povezav, oddajnikov, nivojev signalov in nivojev napak na vmesnikih se usmerjevalnik zažene, vendar je že priključen na nov par stikal.

Nato znižamo prioriteto VRRP usmerjevalnika L3VPN-1 in naslov VIP 10.0.0.254 premaknemo na usmerjevalnik L3VPN-2. Tudi ta dela potekajo brez prekinitve komunikacije.

Prenos VIP naslova 10.0.0.254 na usmerjevalnik L3VPN-2 vam omogoča, da onemogočite usmerjevalnik L3VPN-1 brez prekinitve komunikacije za odjemalca in ga povežemo z novim parom agregacijskih stikal N.

Ali vrniti VRRP VIP usmerjevalniku L3VPN-1 ali ne, je drugo vprašanje, in tudi če se vrne, se to stori brez prekinitve povezave.

Skupno

Po vseh teh korakih smo dejansko zamenjali stikala za združevanje v enem od naših podatkovnih centrov, hkrati pa zmanjšali motnje za naše stranke.

Ostala je le še demontaža. Demontaža starih stikal, demontaža starih povezav med stikali A in D, demontaža oddajnikov iz teh povezav, korekcija monitoringa, korekcija omrežnih shem v dokumentaciji in monitoring.

Uporabimo lahko stikala, oddajnike, patch kable, AOC, DAC, ki ostanejo po preklopu v drugih projektih ali za druge podobne preklope.

"Natasha, vse smo zamenjali!"

Vir: www.habr.com