🥇The Story of a Switch

V našej lokálnej sieti bolo šesť párov prepínačov Arista DCS-7050CX3-32S a jeden pár prepínačov Brocade VDX 6940-36Q. Nie že by nás prepínače Brocade príliš zaťažovali v tejto sieti, fungujú a plnia svoje funkcie, ale pripravovali sme plnú automatizáciu niektorých procesov, a tieto možnosti sme na týchto prepínačoch nemali. A navyše sme chceli prejsť z 40GE rozhraní na možnosť 100GE, aby sme si vytvorili rezervu na nasledujúce 2-3 roky. Rozhodli sme sa teda vymeniť Brocade za Arista.

Tieto prepínače slúžia ako prepínače agregácie lokálnej siete pre každý dátový centrá. K nim sa priamo pripájajú distribučné prepínače (druhý úroveň agregácie), ktoré už zhromažďujú prepínače Top-of-Rack lokálnej siete vo stojanoch so servermi.

Každý server je pripojený k jednému alebo dvom prístupovým prepínačom. Prístupové prepínače sú pripojené k páru distribučných prepínačov (používajú sa dva distribučné prepínače a dve fyzické linky od prístupového prepínača k rôznym distribučným prepínačom pre redundanciu).

Každý server môže byť využitý svojím klientom, takže klientovi je pridelený samostatný VLAN. Tento VLAN sa potom nakonfiguruje na inom serveri toho istého klienta v akomkoľvek stojane. Dátové centrum sa skladá z niekoľkých takých radov (POD-ov), pre každý rad stojanov sú svojské distribučné prepínače. Tieto distribučné prepínače sa potom pripájajú k prepínačom agregácie.

Klienti môžu objednať server v akomkoľvek rade, predvídať, že server bude pridelený alebo nainštalovaný v konkrétnom rade v konkrétnom stojane, nemožno, preto na prepínačoch agregácie je prítomných približne 2500 VLAN v každom dátovom centre.

Zariadenie pre DCI (Data-Center Interconnect) sa pripája k prepínačom agregácie. Môže byť určené na L2 konektivitu (pár prepínačov vytvárajúcich VXLAN tunel do iného dátového centra), tak aj na L3 konektivitu (dva MPLS smerovače).

Ako som už písal, pre zjednotenie procesov automatizácie konfigurácie služieb na zariadeniach v jednom dátovom centre bolo potrebné vymeniť centrálne agregátory. Nové agregátory sme nainštalovali vedľa existujúcich, spojili ich do MLAG páru a začali sa pripravovať na práce. Okamžite ich spojili s existujúcimi agregátormi, takže mali spoločnú L2 doménu vo všetkých klientskych VLAN.

Detaily schémy

Pre konkrétnosť nazvime staré agregátory A1 a A2, nové — N1 a N2. Predpokladajme, že v POD 1 a POD 4 sú umiestnené servery jedného klienta C1, VLAN klienta je označená modrou farbou. Tento klient využíva službu L2 konektivity s iným dátovým centrom, a preto je jeho VLAN pripojená k páru VXLAN agregátorov.

Klienta C2 umiestňuje servery v POD 2 a POD 3, VLAN klienta je označená tmavozelenou farbou. Tento klient tiež využíva službu konektivity s iným dátovým centrom, ale L3, takže jeho VLAN je pripojená k páru L3VPN smerovačov.

Klientske VLAN potrebujeme na pochopenie, v ktorých fázach prác na výmene sa čo deje, kde sa objavuje prerušenie spojenia, a aká môže byť jeho dĺžka. Protokol STP v tejto schéme nie je použitý, pretože šírka stromu by bola v takom prípade veľká a konvergencia protokolu by rástla geometrickou progresiou s počtom zariadení a prepojení medzi nimi.

Všetky zariadenia spojené dvojitými prepojmi tvoria kôš, MLAG pár alebo VCS- Ethernet fabrika. Pre pár L3VPN smerovačov takéto technológie nie sú použité, pretože nie je potrebná rezervácia L2, stačí, aby mali L2 konektivitu navzájom cez agregátory.

Možnosti realizácie

Pri analýze možností budúcich udalostí sme pochopili, že existuje niekoľko spôsobov, ako uskutočniť tieto práce. Od globálneho prerušenia celej lokálnej siete, až po malé doslova 1-2 sekundové prerušenia v častiach siete.

Sieť, zastavte! Agregátory, vymeňte sa!

Najjednoduchší spôsob je samozrejme vyhlásiť globálne prerušenie spojenia vo všetkých POD a vo všetkých službách DCI a prepnúť všetky prepojenia z agregátorov A na agregátory N.

Okrem prestávky, ktorej čas nemôžeme zaručene predvídať (áno, vieme, koľko spojení je, ale nevieme, koľkokrát sa niečo pokazí — od zlomeného patch cordu alebo poškodeného konektora po poruchu portu alebo transceivera), takisto nemôžeme vopred predpokladať, či bude dĺžka patch cordov, DAC, AOC, pripojených k starým prepínačom A, dosť na to, aby sa dostali k novým prepínačom N, aj keď sú pár krokov ďalej, a či budú fungovať tie isté transceivery/DAC/AOC z prepínačov Brocade v prepínačoch Arista.

A to všetko za prísneho tlaku zo strany zákazníkov a technickej podpory ("Natasha, vstávaj! Natasha, všetko nefunguje! Natasha, už sme napísali do technickej podpory, naozaj, naozaj! Natasha, už sme všetko spadli! Natasha, koľko ešte nebude fungovať? Natasha, kedy to začne fungovať?!"). Aj keď bol vopred oznámený prerušenie a poslané upozornenie zákazníkom, prúdy žiadostí v takomto čase sú zaručené.

Stoj, 1-2-3-4!

A ak neoznamujeme globálne prerušenie, ale ohlásime sériu malých prerušeniach pripojenia podľa POD a služieb DCI. Počas prvého prerušenia prepnúť do prepínačov N iba POD 1, počas druhého — o pár dní — POD 2, potom ešte o pár dní POD 3, ďalej POD 4…[N], potom VXLAN prepínače a potom L3VPN smerovače.

Pri takejto organizácii práce na prepínaní znižujeme zložitosti súčasných prác a zvyšujeme si čas na riešenie problémov, ak sa niečo náhodou pokazí. Spojiteľnosť POD 1 po prepnutí s inými POD a DCI sa nestráca. Samotné práce sa však predlžujú, na čas týchto prác je potrebné pridelenie inžiniera na fyzické vykonanie prepínaní, a počas prác (a takéto práce sa vykonávajú zvyčajne v noci, od 2 do 5 ráno) je potrebná prítomnosť online sieťového inžiniera s vysokou kvalifikáciou. Ale za to dostaneme krátke prerušenia pripojenia, obvykle práce môžu prebiehať v intervale polhodiny s prestávkou do 2 minút (v praxi, často 20-30 sekúnd pri očakávanom správaní zariadenia).

V uvedenom príklade klienta C1 alebo klienta C2 Bude potrebné upozorniť na práce s prerušením spojenia aspoň trikrát — prvý raz na vykonanie prác na jednom POD, kde sa nachádza jeden jeho server, druhý raz na druhom a tretí raz pri prepínaní zariadenia na DCI služby.

Prepínanie agregovaných prenosových kanálov

Prečo hovoríme o očakávanom správaní zariadení a ako môžu byť agregované kanály prepínané s minimalizovaním prerušenia spojenia. Predstavme si nasledujúci obraz:

Na jednej strane linky — switche distribúcie POD — D1 a D2, tvoria medzi sebou MLAG-pár (stack, VCS-fabriku, vPC-pár), na druhej strane dve linky — Link 1 a Link 2 — sú zapojené do MLAG-páru starých agregovaných switchov A. Na strane switchov D je vytvorený agregovaný interface s názvom Port-channel A, na strane agregovaných switchov A — agregovaný interface s názvom Port-channel D.

Agregované interface v svojej práci používajú LACP, to znamená, že switche na oboch stranách pravidelne vymieňajú LACPDU pakety po oboch linkách, aby sa uistili, že linky:

sú funkčné;
sú zapojené do jedného páru zariadení na vzdialenej strane.

Pri výmene paketov sa v pakete prenáša hodnota system-id, ktorá označuje zariadenie, kam sú tieto linky zapojené. Pre MLAG-pár (stack, fabriku a pod.) má hodnota system-id pre zariadenia, ktoré tvoria agregovaný interface, rovnakú hodnotu. Switch D1 odosiela do Link 1 hodnota system-id D, a switch D2 odosiela do Link 2 hodnota system-id D.

Prepínače A1 a A2 analyzujú LACPDU pakety, prijaté cez jeden interface Po D, a kontrolujú zhodu hodnoty system-id v nich. Ak získaný hodnotu system-id cez nejaký link zrazu sa líši od aktuálnej funkčnej hodnoty, tak tento link je vyňatý z agregovaného interface až do opravy situácie. Teraz máme na strane switchov D aktuálnu hodnotu system-id od LACP-partnera — A, a na strane switchov A — aktuálnu hodnotu system-id od LACP-partnera — D.

Pri potrebe prepínania agregovaného interface môžeme postupovať dvoma rôznymi spôsobmi:

Spôsob 1 — Jednoduchý
Odpojiť oba linky zo switchov A. Pri tom agregovaný kanál nefunguje.

Postupne zapnúť oba linky do switchov N, potom dôjde k novému vyjednávaniu parametrov práce LACP, vytvoreniu interface Po D na switchoch N a preneseniu hodnoty system-id N.

Metóda 2 — Minimalizácia prestávky
Odpojiť z prepínača A2 linku Link 2. Pri tom bude trafik medzi A a D pokračovať v prenose jednoducho po jednej z link, ktorá zostane v súčinnosti agregovaného rozhrania.

Pripojiť linku 2 do prepínača N2. Na prepínači N je už nastavené agregované rozhranie Po DN, a switch N2 začne prenášať v LACPDU system-id N. V tomto štádiu môžeme už skontrolovať, či prepínač N2 správne pracuje s prevodom, ktorý sa používa na Link 2, že port pripojenia prešiel do stavu Up, a že pri prenose LACPDU nevznikajú chyby na porte pripojenia.

Ale skutočnosť, že prepínač D2 pre agregované rozhranie Po A zo strany linky 2 dostáva hodnotu system-id N, ktorá sa líši od aktuálnej pracovnej hodnoty system-id A, neumožňuje prepínačom D zahrnúť Link 2 do súčinnosti agregovaného rozhrania. Po APrepínač N nemôže zahrnúť Link 2 do prevádzky, pretože nedostáva potvrdenie o funkčnosti od LACP partnera prepínača D2. Trafik napokon cez Link 2 neprebieha.

A teraz vypíname linku 1 z prepínača A1, tým pádom zbavujeme prepínače A a D pracujúceho agregovaného rozhrania. Týmto na strane prepínača D zanikená aktuálna pracovná hodnota system-id pre rozhranie Po A.

To umožňuje prepínačom D a N hodnoty exchange system-id A-N na rozhraniach Po A a Po DN, takže trafik začína prebiehať cez linku Link 2. Prestávka v tomto prípade zvyčajne trvá až 2 sekundy.

A teraz pohodlne prepíname linku 1 do prepínača N1, obnovujúc kapacitu a úroveň redundantnosti rozhraní Po A a Po DN. Keďže pri pripojení tejto linky sa aktuálna hodnota system-id s žiadnej strany nemení, prestávka sa nevyskytuje.

Ďalšie linky

Ale prepínanie je možné vykonať bez prítomnosti technika v čase prepínania. Na to budeme potrebovať vopred položiť ďalšie linky medzi distribučnými prepínačmi D a novými agregovanými prepínačmi N.

Položíme nové linky medzi agregovanými prepínačmi N a distribučnými prepínačmi všetkých POD. To si vyžaduje objednanie a položenie ďalších patch-káblov a inštaláciu ďalších prevodníkov ako v N, tak aj v D. Môžeme to urobiť, pretože na našich prepínačoch D každého POD máme voľné porty (alebo ich vopred uvoľníme). Každý POD je fyzicky pripojený dvoma linkami k starým prepínačom A a k novým prepínačom N.

Na prepínači D sú vytvorené dva agregované rozhrania — Po A s linkami Link 1 a Link 2, a Po N — s linkami Link N1 a Link N2. V tomto štádiu kontrolujeme správnosť pripojenia rozhraní a liniek, úrovne optických signálov na oboch koncoch liniek (prostredníctvom DDM informácií z prepínačov), môžeme dokonca skontrolovať funkčnosť linky pod záťažou alebo monitorovať stavy optických signálov a teploty prevodníkov počas niekoľkých dní.

Prevádzkový tok stále prebieha cez rozhranie Po A, zatiaľ čo rozhranie Po N je bez prevádzky. Nastavenia na rozhraniach sú približne takéto:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

Prepínače D zvyčajne podporujú session-level zmenu konfigurácie, sú používané modely prepínačov, ktoré majú túto funkciu. Takže zmenu nastavení rozhraní Po A a Po N môžeme vykonať jedným krokom:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Zmena konfigurácie sa teda udeje pomerne rýchlo a prestávka bude v praxi nepresahovať 5 sekúnd.

Tento spôsob nám umožňuje vykonať všetky prípravné práce vopred, vykonať všetky potrebné kontroly, dohodnúť práce s účastníkmi procesu, detailne predpovedať kroky pri výrobe prác, bez improvizácie, keď "všetko nešlo podľa plánu", a mať po ruke plán návratu k predchádzajúcej konfigurácii. Práce podľa tohto plánu vykonáva sieťový inžinier bez prítomnosti inžiniera dátového centra, ktorý fyzicky vykonáva prepínania.

Čo je dôležité pri takýchto prepínaniach — všetky nové linky sú už vopred nastavené na monitorovanie. Chyby, zapnutie liniek v agregácii, zaťaženie liniek — všetky potrebné informácie sú už v monitorovacom systéme a to je už zobrazené na mapách.

D-Day

POD

Vybrali sme najmenej bolestivú cestu pre klientov, s najmenším rizikom variantov „niečo sa pokazilo“ pri prepínaní s dodatočnými linkami. Tak sme počas niekoľkých nocí prepínali všetky POD na nové agregátové prepínače.

Ale ostáva prepínanie zariadenia, ktoré poskytuje služby DCI.

L2

V prípade zariadení zabezpečujúcich L2 konektivitu sme nemohli vykonať podobné práce s dodatočnými linkami. Príčinami sú minimálne dve:

Nedostatok voľných portov požadovanej rýchlosti na VXLAN prepínačoch.
Nedostatok funkčnosti pre zmenu nastavení relácie na VXLAN prepínačoch.

Prepojenie liniek „po jednom“ s prestávkou len na čas dohody novej pár system-id sme nevykonali, pretože sme nemali 100% istotu, že proces prebehne správne, a laboratórny test ukázal, že ak „niečo nejde podľa plánu“, aj tak dostávame prerušenie spojenia, a čo je najhoršie — nielen pre zákazníkov, ktorí majú L2 konektivitu s inými dátovými centrami, ale aj vôbec pre všetkých zákazníkov tohto dátového centra.

Vopred sme si urobili osvetovú prácu na prechode z L2 kanálov, takže počet zákazníkov dotknutých prácami na VXLAN prepínačoch bol už niekoľkokrát menší ako pred rokom. Nakoniec sme sa rozhodli na prerušenie spojenia pre službu L2 konektivitu s podmienkou, že zachováme normálnu prácu služieb lokálnej siete v jednom dátovom centre. Navyše SLA na túto službu predpokladá možnosť vykonania plánovaných prác s prerušením.

L3

Prečo sme odporučili všetkým prejsť na používanie L3VPN pri organizovaní služieb DCI? Jedným z dôvodov je možnosť vykonávania prác na jednom z smerovačov, ktoré poskytujú túto službu, jednoducho so znížením úrovne rezervácie na N+0, bez prerušenia spojenia.

Pozrime sa na schému poskytovania služby podrobnejšie. V tejto službe L2 segment ide od zákazníckych serverov iba k L3VPN smerovačom Selectel. Na smerovačoch sa terminujú zákaznícke siete.

Každý server zákazníka, napríklad, S2 a S3 v uvedenej schéme, má svoje súkromné IP adresy — 10.0.0.2/24 pre server S2 a 10.0.0.3/24 pre server S3. Adresy 10.0.0.252/24 a 10.0.0.253/24 sú pridelené zo strany Selectel na smerovače L3VPN-1 a L3VPN-2, resp. IP adresa 10.0.0.254/24 je VRRP VIP adresa na smerovačoch Selectel.

Podrobnejšie informácie o službe L3VPN nájdete prečítať na našom blogu.

Pred časom prepojenia to vyzeralo približne, ako na schéme:

Dva smerovače L3VPN-1 a L3VPN-2 boli pripojené k starému agregáčnemu prepínaču A. Hlavným smerovačom pre VRRP VIP adresu 10.0.0.254 je smerovač L3VPN-1. Pre tento smerovač je nastavená priorita na túto adresu vyššie než pre smerovač L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Server S2 for communication with servers in other locations uses the gateway 10.0.0.254. Thus, disconnecting from the L3VPN-2 router (of course, after first disconnecting it from the MPLS domain) does not affect the connectivity of the client's servers. At this point, only the level of redundancy in the scheme decreases.

After this, we can easily reconnect the router L3VPN-2 to a pair of switches N. Run the links, change the transceivers. The logical interfaces of the router that depend on the client's services remain off until it is confirmed that everything is functioning as it should.

After checking the links, transceivers, signal levels, and error levels on the interfaces, the router is put into operation, now connected to the new pair of switches.

Next, we lower the VRRP priority of the L3VPN-1 router, and the VIP address 10.0.0.254 moves to the L3VPN-2 router. These tasks are also carried out without any interruption in the connection.

The transfer of the VIP address 10.0.0.254 to the router L3VPN-2 allows the router to be disconnected L3VPN-1 without any interruption in connection for the client and to connect it to the new pair of aggregation switches N.

Whether to return the VRRP VIP to the L3VPN-1 router or not is another question, and if it is to be returned, it is done without any interruption in connection.

Spolu

After all these actions, we have indeed replaced the aggregation switches in one of our data centers, minimizing downtime for our clients.

Next, only the dismantling remains. Dismantling the old switches, dismantling the old links between switches A and D, dismantling the transceivers from these links, correcting monitoring, correcting the network scheme in documentation and monitoring.