🥇Příběh jednoho přepnutí

V naší agregaci místní sítě bylo šest párů přepínačů Arista DCS-7050CX3-32S a jeden pár přepínačů Brocade VDX 6940-36Q. Ne že by nás přepínače Brocade v této síti nějak zvlášť trápily, fungují a plní své úkoly, ale připravovali jsme plnou automatizaci některých procesů, a těchto možností jsme na těchto přepínačích neměli. Navíc jsme chtěli přejít z 40GE rozhraní na možnost využití 100GE, abychom si vytvořili rezervu na následující 2-3 roky. Tak jsme se rozhodli vyměnit Brocade za Arista.

Tyto přepínače jsou přepínači agregace místní sítě pro každé datové centrum. K nim se přímo připojují distribuční přepínače (druhý úroveň agregace), které již shromažďují přepínače Top-of-Rack místní sítě ve stojanech se servery.

Každý server je připojen k jednomu nebo dvěma přepínačům přístupu. Přepínače přístupu jsou připojeny k páru distribučních přepínačů (dva distribuční přepínače a dva fyzické linky od přepínače přístupu k různým distribučním přepínačům se používají pro zálohování).

Každý server může být využíván svým klientem, takže klientovi je přidělen samostatný VLAN. Tento VLAN je poté nastaven na jiném serveru tohoto klienta v libovolném stojanu. Datové centrum se skládá z několika takových řad (PODů), pro každou řadu stojanů existují své distribuční přepínače. Poté se tyto distribuční přepínače připojují k agregátovým přepínačům.

Klienti si mohou objednat server v libovolné řadě, nelze předem odhadnout, že server bude přidělen nebo nainstalován v nějaké konkrétní řadě do konkrétního stojanu, proto na agregátových přepínačích existuje přibližně 2500 VLAN v každém datovém centru.

Zařízení pro DCI (Data-Center Interconnect) se připojuje k agregátovým přepínačům. Může být určeno pro L2 konektivitu (pár přepínačů vytvářejících VXLAN tunel do jiného datového centra), jakož i pro L3 konektivitu (dvě MPLS směrovače).

Jak jsem již psal, pro unifikaci procesů automatizace konfigurace služeb na zařízení v jednom datacentru bylo potřeba vyměnit centrální agregační switche. Nainstalovali jsme nové switche vedle existujících, spojili je do páru MLAG a začali se připravovat na práce. Ihned jsme je připojili k existujícím agregačním switchům, takže měly společnou L2 doménu napříč všemi klientskými VLAN.

Detaily schémy

Pro konkrétnost označíme staré agregační switche A1 a A2, nové — N1 a N2. Představme si, že v POD 1 a POD 4 jsou umístěny servery jednoho klienta C1, VLAN klienta je označen modrou barvou. Tento klient využívá službu L2 konektivity s jiným datacentrem, tudíž jeho VLAN je přivedena na pár switche VXLAN.

Zákazník C2 umísťuje servery v POD 2 a POD 3, VLAN klienta označujeme tmavě zelenou barvou. Tento klient také využívá službu konektivity s jiným datacentrem, ale L3, takže jeho VLAN je přivedena na pár L3VPN routerů.

Klientské VLAN potřebujeme pro pochopení, v jakých fázích prací na výměně se co děje, kde se vyskytují výpadky spojení a jaká může být jejich délka. Protokol STP v této schématu není použit, protože šířka stromu pro něj v takovém případě vychází velká a konvergence protokolu roste geometrickou řadou podle počtu zařízení a spojů mezi nimi.

Všechna zařízení, spojená dvojitými spoji, tvoří stack, MLAG pár nebo VCS Ethernet fabriku. Pro pár L3VPN routerů podobné technologie nejsou použity, protože není potřeba rezervace L2, stačí, aby měly L2 konektivitu navzájem přes agregační switche.

Možnosti realizace

Při analýze možností dalších událostí jsme pochopili, že existuje několik způsobů, jak provést tyto práce. Od globálního výpadku v celé lokální síti až po malé, doslova 1-2 sekundové výpadky v částech sítě.

Síť, stůj! Switche, vyměňte se!

Nejjednodušší způsob je samozřejmě vyhlásit globální výpadek spojení ve všech POD a se všemi službami DCI a přepnout všechny linky ze switchů A na switche N.

Kromě přerušení, jehož čas nemůžeme garantovaně předpovědět (ano, víme, kolik je kabelů, ale nevíme, kolikrát se něco pokazí — od zlomeného patch kabelu nebo poškozeného konektoru až po poruchu portu nebo transceiveru), také nemůžeme předem odhadnout, zda bude délka patch kabelů, DAC, AOC, připojených ke starým switchům A, stačit, aby je dostali až k novým switchům N, které sice stojí vedle, ale přece jen jsou trošku stranou, a zda budou fungovat stejné transceivery/DAC/AOC z switchů Brocade na switchích Arista.

A to vše za silného tlaku od klientů a technické podpory („Natášo, vstávej! Natášo, tam to nefunguje! Natášo, už jsme napsali na podporu, opravdu, opravdu! Natášo, všechno už spadlo! Natášo, kolik toho ještě nebude fungovat? Natášo, kdy to začne fungovat?!“). I přes předem oznámené přerušení a učiněné upozornění pro klienty, nával žádostí v takovém čase je zaručen.

Stůj, 1-2-3-4!

A co kdybychom neoznámili globální přerušení, ale oznámili sérii malých přerušení spojení podle POD a služeb DCI. V prvním přerušení přepnout do switchů N pouze POD 1, ve druhém — o pár dní později — POD 2, pak ještě o pár dní POD 3, dále POD 4…[N], pak VXLAN switche a pak L3VPN routery.

S takovou organizací přepínacích prací snižujeme složitost jednorázových prací a zvyšujeme si čas na řešení problémů, pokud se něco náhodou pokazí. Konektivita POD 1 po přepnutí s ostatními POD a DCI není ztracena. Ale samotné práce se protahují na dlouho, v průběhu těchto prací je v datovém centru potřeba vyčlenit inženýra na fyzické provádění přepnutí, a během prací (a takové práce se obvykle provádějí v noci, od 2 do 5 ráno) je potřebná přítomnost online síťového inženýra poměrně vysoké kvalifikace. Ale zato získáváme krátká přerušení spojení, obvykle mohou práce probíhat v intervalu půl hodiny s přerušením do 2 minut (v praxi se často jedná o 20-30 sekund při očekávaném chování zařízení).

V uvedeném příkladu klienta C1 nebo klienta C2 Bude nutné varovat o výpadcích spojení nejméně třikrát — poprvé kvůli provádění prací na jednom POD, ve kterém se nachází jeden jeho server, podruhé — na druhém, a potřetí — při přepínání vybavení pro DCI služby.

Přepnutí agregovaných spojových kanálů

Proč hovoříme o očekávaném chování zařízení a jak mohou agregované kanály přepínat s minimalizací výpadku spojení. Představme si následující obraz:

Na jedné straně spojení — distribuční přepínače POD — D1 a D2, tvoří mezi sebou pár MLAG (stack, VCS-fabriku, vPC-pár), na druhé straně dva spoje — Link 1 a Link 2 — jsou zapojeny do pár MLAG starých agregujících přepínačů A. Na straně přepínačů DDoS byl vytvořen agregovaný port s názvem Port-channel A, na straně agregujících přepínačů A — agregovaný port s názvem Port-channel D.

Agregované porty ve své práci používají LACP, to znamená, že přepínače na obou stranách pravidelně vyměňují LACPDU pakety po obou spojeních, aby se ujistily, že spoje:

fungují;
jsou zahrnuty do jedné dvojice zařízení na vzdálené straně.

Při výměně paketů se v paketu přenáší hodnota system-id, která označuje zařízení, do kterého jsou tyto linky zapojeny. Pro MLAG pár (stack, fabriky atd.) je hodnota system-id pro zařízení tvořící agregovaný port stejná. Přepínač D1 odesílá v Link 1 hodnotu system-id D, a přepínač D2 odesílá v Link 2 hodnotu system-id D.

Přepínače A1 a A2 analyzuje LACPDU pakety obdržené po jednom portu Po D a kontroluje shodu system-id v nich. Pokud se obdržený system-id po některém spojení náhle liší od aktuální hodnoty, je tento spoj vyřazen z agregovaného portu, dokud se situace neopraví. Nyní máme na straně přepínačů DDoS aktuální hodnotu system-id od LACP partnera — A, a na straně přepínačů A — aktuální hodnotu system-id od LACP partnera — DDoS.

Při potřebě přepnutí agregovaného portu můžeme postupovat dvěma různými způsoby:

Způsob 1 — Jednoduchý
Odpojit oba spoje z přepínačů A.Přitom agregovaný kanál nefunguje.

Postupně připojit oba spoje k přepínačům N, pak dojde k opětovnému vyjednávání parametrů práce LACP, vytvoření portu Po D na přepínačích N a přenosu hodnoty system-id N.

Metoda 2 — Minimalizace přerušení
Odpojte z přepínače A2 linku Link 2. Tímto bude provoz mezi A a DDoS pokračovat a jednoduše se přenese přes jeden z linků, který zůstane součástí agregovaného rozhraní.

Připojte Link 2 k přepínači N2. Na přepínači N je již nakonfigurováno agregované rozhraní Po DN, a přepínač N2 začne přenášet v LACPDU system-id N. V této fázi můžeme již zkontrolovat, že přepínač N2 správně funguje s transceiverem, který se používá pro Link 2, že port připojení přešel do stavu Up, a že při přenosu LACPDU nedochází k chybám na portu připojení.

Ale skutečnost, že přepínač D2 pro agregované rozhraní Po A na straně Link 2 získává hodnotu system-id N, která se liší od aktuální pracovní hodnoty system-id A, znemožňuje přepínačům DDoS zavést Link 2 do složení agregovaného rozhraní. Po APřepínač N nemůže zavést Link 2 do provozu, protože nedostává potvrzení o funkčnosti od LACP-partnera přepínače. D2Provoz v konečném důsledku přes Link 2 není přenášen.

A nyní vypneme Link 1 z přepínače A1, čímž zbavíme přepínače A a DDoS pracujícího agregovaného rozhraní. Tímto na straně přepínače DDoS ztrácí aktuální pracovní hodnotu system-id pro rozhraní. Po A.

To umožňuje přepínačům DDoS a N domluvit se na výměně system-id A-N na rozhraních Po A a Po DN, takže provoz začne být přenášen přes linku Link 2. Přerušení v tomto případě trvá v praxi až 2 sekundy.

A nyní v klidu přepínáme Link 1 na přepínač N1, čímž obnovujeme kapacitu a úroveň zálohování rozhraní. Po A a Po DN. Protože při připojení tohoto linku nedochází ke změnám aktuální hodnoty system-id z žádné strany, k přerušení nedochází.

Další linky

Ale přepínání lze realizovat bez přítomnosti technika v okamžiku přepnutí. K tomu budeme potřebovat předem položit další linky mezi distribučními přepínači DDoS a novými agregovanými přepínači. N.

Položíme nové linky mezi agregovanými přepínači N a distribučními přepínači všech POD. To vyžaduje objednání a položení dalších patch kabelů a instalaci dalších transceiverů, jak v N, tak i v DDoS. Můžeme to udělat, protože máme v přepínačích DDoS každého POD volné porty (nebo je předem uvolníme). Každý POD je fyzicky připojen dvěma linkami ke starým přepínačům A a k novým přepínačům N.

Na přepínači DDoS byly vytvořeny dvě agregované rozhraní — Po A s linkami Link 1 a Link 2, a Po N — s linkami Link N1 a Link N2. V této fázi kontrolujeme správnost připojení rozhraní a linek, úrovně optických signálů na obou koncích linek (pomocí DDM informací z přepínačů), dokonce můžeme zkontrolovat funkčnost linky pod zátěží nebo monitorovat stavy optických signálů a teplotu transceiverů během pár dnů.

Provoz stále probíhá přes rozhraní Po A, zatímco rozhraní Po N je bez provozu. Nastavení na rozhraních je přibližně následující:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

Přepínače D obvykle podporují session-based změny konfigurace, používají se modely přepínačů, které mají tuto funkci. Takže změny nastavení na rozhraních Po A a Po N můžeme provést v jednom kroku:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

V takovém případě se změna konfigurace provede dostatečně rychle a výpadek bude v praxi maximálně 5 sekund.

Tento přístup nám umožňuje provést veškeré přípravné práce předem, provést všechny potřebné kontroly, koordinovat práce s účastníky procesu, podrobně předpovědět postupy pro realizaci prací, bez kreativních výletů, kdy "se něco pokazilo", a mít po ruce plán návratu k předchozí konfiguraci. Práce podle tohoto plánu provádí síťový inženýr bez přítomnosti inženýra datového centra, který fyzicky provádí přepínání.

Co je při takových přepínáních také důležité — všechny nové linky jsou již předem nastaveny na monitorování. Chyby, zapnutí linek do agregace, zatížení linek — všechny potřebné informace jsou již v monitorovacím systému a to už je zobrazeno na mapách.

D-Day

POD

Zvolili jsme nejméně bolestivou cestu pro klienty a nejméně náchylnou k variantám "něco se pokazilo" při přepínání s dodatečnými linkami. Tak jsme během pár nocí přepnuli všechny POD na nové agregované přepínače.

Ale zbývá přepnout zařízení poskytující služby DCI.

L2

V případě zařízení, které zajišťuje L2 konektivitu, jsme nebyli schopni provést obdobné práce s dodatečnými linkami. Příčin je minimálně dvě:

Nedostatek volných portů s požadovanou rychlostí na VXLAN switchích.
Nedostatek funkce změny konfigurace relace na VXLAN switchích.

Přepínání linek "po jednom" s přerušením pouze na dobu vyjednávání nového páru system-id jsme neprovedli, protože jsme neměli 100% jistotu, že postup proběhne správně, a test v laboratoři ukázal, že v případě, že "se něco pokazí", stejně dostaneme přerušení spojení, a co je nejhorší — ne pouze pro zákazníky, kteří mají L2 konektivitu s jinými datovými centry, ale vůbec pro všechny zákazníky tohoto datového centra.

Předem jsme provedli osvětu k přechodu z L2 kanálů, proto počet zákazníků, kterých se práce na VXLAN switchích dotkly, byl již několikrát menší než před rokem. Nakonec jsme se rozhodli na přerušení spojení pro službu L2 konektivity za podmínky, že zachováme normální fungování služeb místní sítě v jednom datovém centru. Navíc SLA pro tuto službu předpokládá možnost provádění plánovaných prací s přerušením.

L3

Proč jsme doporučili všem přejít na používání L3VPN při organizaci služeb DCI? Jedním z důvodů je možnost provádět práce na jednom z routerů, které tuto službu poskytují, jednoduše snížením úrovně rezervace na N+0, bez přerušení spojení.

Podívejme se na schéma poskytování služby podrobněji. V této službě L2 segment jde od serverů klientů pouze k L3VPN routerům Selectel. Na routerech je terminována klientská síť.

Každý server klienta, například, S2 a S3 ve uvedené schématu, má své privátní IP adres — 10.0.0.2/24 u serveru S2 a 10.0.0.3/24 u serveru S3. Adresy 10.0.0.252/24 a 10.0.0.253/24 byly přiděleny ze strany Selectel na routery L3VPN-1 a L3VPN-2, odpovídajícím způsobem. IP adresa 10.0.0.254/24 je VRRP VIP adresou na routerech Selectel.

Podrobně o službě L3VPN lze přečíst najít na našem blogu.

Do doby přepnutí to vypadalo přibližně jako na schématu:

Dva routery L3VPN-1 a L3VPN-2 byly připojeny ke starému agregátnímu switchi A. Hlavním pro VRRP VIP adresu 10.0.0.254 je router L3VPN-1Má prioritu na tuto adresu vyšší než směrovač. L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Server S2 pro komunikaci se servery na jiných místech používá bránu 10.0.0.254. Takže odpojení od L3VPN-2 směrovače (předtím samozřejmě odpojeného z MPLS domény) neovlivňuje konektivitu serverů klienta. V tu chvíli se pouze snižuje úroveň redundantnosti schématu.

Poté můžeme bez obav znovu připojit směrovač. L3VPN-2 k páru přepínačů. N. Položit linky, vyměnit transceivery. Logické rozhraní směrovače, na kterých závisí fungování služeb pro klienty, zůstává vypnuté až do potvrzení, že vše funguje, jak má.

Po kontrole linků, transceiverů, úrovní signálů a chyb na rozhraních se směrovač uvede do provozu, ale již připojen k novému páru přepínačů.

Poté snižujeme VRRP prioritu u směrovače L3VPN-1 a VIP adresa 10.0.0.254 se přesune na směrovač L3VPN-2. Tyto práce se také provádějí bez přerušení spojení.

Přesunutí VIP adresy 10.0.0.254 na směrovač L3VPN-2 umožňuje směrovač odpojit L3VPN-1 bez přerušení spojení pro klienta a připojit ho již k nové dvojici agregace přepínačů. N.

Zda vrátit VRRP VIP na směrovač L3VPN-1 či nikoliv — to je jiná otázka, a pokud se má vracet, provádí se to bez přerušení spojení.

Celkem

Po těchto akcích jsme skutečně vyměnili agregující přepínače v jednom z našich datových center, přičemž jsme minimalizovali výpadky pro naše klienty.

Dále zbývá jen demontáž. Demontáž starých přepínačů, demontáž starých linků mezi přepínači A a D, demontáž transceiverů z těchto linků, oprava monitorování, úprava schémat sítě v dokumentaci a monitorování.