Příběh jednoho vypínače

V naší lokální síťové agregaci jsme měli šest párů přepínačů Arista DCS-7050CX3-32S a jeden pár přepínačů Brocade VDX 6940-36Q. Není to tak, že bychom byli přepínači Brocade v této síti přehnaně namáháni, fungují a plní své funkce, ale připravovali jsme plnou automatizaci některých akcí a tyto možnosti jsme na těchto přepínačích neměli. Chtěl jsem také přejít ze 40GE rozhraní na možnost použití 100GE, abych si udělal rezervu na další 2-3 roky. Tak jsme se rozhodli změnit Brocade na Arista.

Tyto přepínače jsou agregační přepínače LAN pro každé datové centrum. K nim jsou přímo připojeny distribuční přepínače (druhá úroveň agregace), které již montují Top-of-Rack lokální síťové přepínače do racků se servery.

Každý server je připojen k jednomu nebo dvěma přístupovým přepínačům. Přístupové přepínače jsou připojeny ke dvojici distribučních přepínačů (pro redundanci jsou použity dva distribuční přepínače a dvě fyzické linky z přístupového přepínače k ​​různým distribučním přepínačům).

Každý server může používat jeho vlastní klient, takže klientovi je přidělena samostatná VLAN. Stejná VLAN je pak registrována na jiném serveru tohoto klienta v libovolném racku. Datové centrum se skládá z několika takových řad (POD), každá řada racků má vlastní distribuční přepínače. Poté jsou tyto distribuční přepínače připojeny k agregačním přepínačům.

Klienti si mohou objednat server v libovolné řadě, není možné předem předvídat, že server bude alokován nebo instalován v konkrétní řadě v konkrétním racku, takže v každém datovém centru je na agregačních přepínačích asi 2500 VLAN.

Zařízení pro DCI (Data-Center Interconnect) je připojeno k agregačním přepínačům. Může být určen pro L2 konektivitu (dvojice switchů tvořící VXLAN tunel do jiného datového centra) nebo pro L3 konektivitu (dva MPLS routery).

Jak jsem již psal, pro sjednocení procesů automatizace konfigurace služeb na zařízení v jednom datovém centru bylo nutné vyměnit centrální agregační přepínače. Ke stávajícím jsme nainstalovali nové vypínače, spojili je do dvojice MLAG a začali se připravovat k práci. Okamžitě byly připojeny ke stávajícím agregačním přepínačům, takže měli společnou doménu L2 napříč všemi klientskými VLAN.

Podrobnosti schématu

Pro upřesnění jmenujme staré agregační přepínače A1 и A2, Nový - N1 и N2. Představme si to v POD 1 и POD 4 jsou hostovány servery jednoho klienta С1,Klientská VLAN je označena modře. Tento klient využívá službu konektivity L2 s jiným datovým centrem, takže jeho VLAN je napájena do dvojice přepínačů VXLAN.

Zákazník С2 hostuje servery v POD 2 и POD 3,Klientská VLAN je označena tmavě zelenou barvou. Tento klient také využívá službu konektivity s jiným datovým centrem, ale L3, takže jeho VLAN je napájena do dvojice routerů L3VPN.

Potřebujeme klientské VLAN, abychom pochopili, ve kterých fázích výměny funguje, co se děje, kde dochází k přerušení komunikace a jaká může být jeho délka. Protokol STP se v tomto schématu nepoužívá, protože šířka stromu pro něj je v tomto případě velká a konvergence protokolu roste exponenciálně s počtem zařízení a spojení mezi nimi.

Všechna zařízení propojená dvojitými spoji tvoří stoh, pár MLAG nebo síť Ethernet VCS. U dvojice směrovačů L3VPN se takové technologie nepoužívají, protože není potřeba redundance L2, stačí, aby měly L2 konektivitu mezi sebou pomocí agregačních přepínačů.

Možnosti implementace

Při analýze možností dalších akcí jsme si uvědomili, že existuje několik způsobů, jak tuto práci provést. Od globálního přerušení v celé lokální síti až po malé doslova 1-2 sekundové přestávky v částech sítě.

Síť, přestaň! Vypínače, vyměňte je!

Nejjednodušší způsob je samozřejmě vyhlásit globální přerušení komunikace na všech PODech a všech službách DCI a přepnout všechny linky z přepínačů А k vypínačům N.

Kromě přerušení, jehož dobu nedokážeme spolehlivě předpovědět (ano, známe počet spojů, ale nevíme, kolikrát se něco pokazí – od přerušeného patch kabelu nebo poškozeného konektoru až po vadný port nebo transceiver ), stále nemůžeme předem odhadnout, zda délka propojovacích kabelů, DAC, AOC, připojených ke starým přepínačům A, bude stačit k jejich dosažení k novým přepínačům N, stojícím sice vedle nich, ale přece jen trochu k straně a zda budou fungovat stejné transceivery /DAC/AOC z přepínačů Brocade na přepínače Arista.

A to vše za podmínek tvrdého nátlaku ze strany zákazníků a technické podpory („Natašo, vstávej! Natašo, všechno tam nefunguje! Natašo, už jsme psali na technickou podporu, upřímně! Natašo, už všechno zahodili ! Natašo, kolik jich ještě nebude fungovat? Natašo, kdy to půjde?!"). I přes předem ohlášenou přestávku a upozornění klientům je příliv požadavků v takové chvíli zaručen.

Přestaň, 1-2-3-4!

Co když neoznámíme globální přestávku, ale spíše sérii malých přerušení komunikace pro služby POD a DCI. Během první přestávky přepněte na spínače N pouze POD 1, ve druhém - za pár dní - POD 2, pak ještě pár dní POD 3Další POD 4…[N], pak přepínače VXLAN a poté směrovače L3VPN.

Touto organizací práce s přepínáním snižujeme složitost jednorázové práce a zvyšujeme čas na řešení problémů, pokud se náhle něco pokazí. POD 1 zůstává po přepnutí připojen k ostatním POD a DCI. Samotná práce se ale vleče dlouho, při této práci v datovém centru je nutný inženýr, aby fyzicky provedl přepínání a během práce (a taková práce se provádí zpravidla v noci od 2. do 5:2), je vyžadována přítomnost online síťového inženýra na poměrně vysoké úrovni kvalifikace. Pak ale dochází ke krátkým výpadkům komunikace, zpravidla lze pracovat v intervalu půl hodiny s přestávkou do 20 minut (v praxi často 30-XNUMX sekund při očekávaném chování zařízení).

V příkladu klienta С1 nebo klient С2 budete muset na práci s přerušením komunikace upozornit minimálně třikrát – poprvé, abyste provedli práci na jednom POD, ve kterém se nachází jeden z jeho serverů, podruhé – na druhém a potřetí – když spínací zařízení pro služby DCI.

Přepínání agregovaných komunikačních kanálů

Proč mluvíme o očekávaném chování zařízení a jak lze přepínat agregované kanály při minimalizaci přerušení komunikace? Představme si následující obrázek:

Na jedné straně spoje jsou přepínače distribuce POD - D1 и D2, tvoří mezi sebou pár MLAG (stack, VCS factory, vPC pair), na druhé straně jsou zde dva odkazy - Odkaz 1 и Odkaz 2 - součástí dvojice starých agregačních přepínačů MLAG А. Na straně vypínače D agregované rozhraní s názvem Port kanál A, na straně agregačních přepínačů А - agregované rozhraní s názvem Port kanál D.

Agregovaná rozhraní používají při své činnosti LACP, to znamená, že přepínače na obou stranách si pravidelně vyměňují pakety LACPDU na obou linkách, aby se zajistilo, že linky:

• pracovníků;
• součástí jednoho páru zařízení na vzdálené straně.

Při výměně paketů nese paket hodnotu systémové-id, označující zařízení, kde jsou tyto odkazy zahrnuty. U páru MLAG (zásobník, továrna atd.) je hodnota system-id pro zařízení, která tvoří agregované rozhraní, stejná. Přepínač D1 posílá na Odkaz 1 hodnota systémové id Da přepnout D2 posílá na Odkaz 2 hodnota systémové id D.

Přepínače A1 и A2 analyzovat pakety LACPDU přijaté přes jedno rozhraní Po D a zkontrolovat, zda se shodují systémové id v nich. Pokud se systémové id přijaté přes nějaký odkaz náhle liší z aktuální provozní hodnoty, pak je tento odkaz odstraněn z agregovaného rozhraní, dokud nebude situace opravena. Nyní na straně našeho přepínače D aktuální hodnota systémového id od partnera LACP - Aa na straně vypínače А — aktuální hodnota systémového id od partnera LACP — D.

Pokud potřebujeme přepnout agregované rozhraní, můžeme to udělat dvěma různými způsoby:

Metoda 1 – jednoduchá
Zakažte obě propojení z přepínačů A. V tomto případě agregovaný kanál nefunguje.

Připojte oba spoje jeden po druhém k ​​přepínačům N, pak budou znovu vyjednány provozní parametry LACP a vytvořeno rozhraní Lusk na vypínačích N a přenos hodnot na linkách systémové id N.

Metoda 2 – Minimalizujte přerušení
Odpojte Link 2 od spínače A2. Zároveň provoz mezi А и D budou i nadále přenášeny jednoduše přes jeden z odkazů, který zůstane součástí agregovaného rozhraní.

Připojte Link 2 k přepínači N2. Na vypínači N agregované rozhraní je již nakonfigurováno Po DNa přepnout N2 začne vysílat do LACPDU systémové id N. V této fázi již můžeme zkontrolovat, zda je spínač N2 funguje správně s použitým transceiverem Odkaz 2, že připojovací port vstoupil do stavu Upa že při přenosu LACPDU nedochází k žádným chybám na připojovacím portu.

Ale skutečnost, že přepínač D2 pro agregované rozhraní Po A ze strany Link 2 obdrží hodnotu ID systému N odlišnou od aktuální hodnoty ID A operačního systému, neumožňuje přepínače D představit Odkaz 2 součástí agregovaného rozhraní Po A. Přepínač N nelze vstoupit Odkaz 2 do provozu, protože neobdrží potvrzení o provozuschopnosti od partnera LACP přepínače D2. Výsledný provoz je Odkaz 2 neprocházet.

A nyní vypneme Link 1 z přepínače A1, čímž se připraví spínače А и D pracovní agregované rozhraní. Tedy na straně vypínače D aktuální pracovní hodnota systémového id rozhraní zmizí Po A.

To umožňuje přepínače D и N souhlasit s výměnou systémového id AN na rozhraních Po A и Po DN, takže provoz se začne přenášet po spoji Odkaz 2. Přestávka je v tomto případě v praxi až 2 sekundy.

A nyní můžeme snadno přepnout Link 1 na přepínač N1, obnovení kapacity a úrovně redundance rozhraní Po A и Po DN. Protože když je toto spojení připojeno, aktuální hodnota systémového id se na žádné straně nemění, nedochází k žádnému přerušení.

Další odkazy

Přepnutí však může být provedeno bez přítomnosti technika v době přepínání. K tomu budeme muset předem položit další propojení mezi distribučními přepínači D a nové agregační přepínače N.

Pokládáme nová propojení mezi agregačními přepínači N a distribuční přepínače pro všechny PODy. To vyžaduje objednání a položení dalších propojovacích kabelů a instalaci dalších transceiverů jako v Na v D. Můžeme to udělat, protože v našich přepínačích D Každý POD má volné porty (nebo je předem uvolníme). Výsledkem je, že každý POD je fyzicky propojen dvěma spoji se starými přepínači A a s novými přepínači N.

Na vypínači D byla vytvořena dvě agregovaná rozhraní - Po A s odkazy Odkaz 1 и Odkaz 2A Po N - s odkazy Odkaz N1 и Odkaz N2. V této fázi kontrolujeme správné připojení rozhraní a spojů, úrovně optických signálů na obou koncích spojů (přes DDM informace z přepínačů), můžeme dokonce kontrolovat výkon spoje pod zatížením nebo sledovat stavy spojů. optické signály a teploty transceiveru na několik dní.

Provoz je stále odesílán přes rozhraní Po Aa rozhraní Po N nestojí žádný provoz. Nastavení rozhraní je něco takového:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

Přepínače D zpravidla podporují změny konfigurace založené na relacích, používají se modely přepínačů, které tuto funkci mají. Takže můžeme změnit nastavení rozhraní Po A a Po N v jednom kroku:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Pak ke změně konfigurace dojde dostatečně rychle a přestávka v praxi nebude delší než 5 sekund.

Tato metoda nám umožňuje dokončit všechny přípravné práce předem, provést všechny potřebné kontroly, koordinovat práci s účastníky procesu, podrobně předvídat akce pro výrobu díla, bez letů kreativity, když „se všechno pokazilo“. “ a mít po ruce plán návratu k předchozí konfiguraci. Práce podle tohoto plánu provádí síťový inženýr bez přítomnosti technika datového centra na místě, který fyzicky provádí přepínání.

U tohoto způsobu přepínání je také důležité, že všechny nové odkazy jsou již předem sledovány. Chyby, zahrnutí odkazů do jednotky, načítání odkazů – všechny potřebné informace jsou již v monitorovacím systému, a to je již zakresleno v mapách.

Den D

POD

Zvolili jsme nejméně bolestivou cestu přepínání pro klienty a nejméně náchylnou ke scénářům „něco se pokazilo“ s dalšími odkazy. Takže jsme během pár nocí přepnuli všechny PODy na nové agregační přepínače.

Zbývá ale pouze přepnout zařízení poskytující služby DCI.

L2

V případě zařízení poskytujících L2 konektivitu jsme nebyli schopni provést podobnou práci s dalšími linkami. Jsou pro to minimálně dva důvody:

• Nedostatek volných portů požadované rychlosti na přepínačích VXLAN.
• Nedostatek funkce změny konfigurace relace na přepínačích VXLAN.

Linky jsme nepřepínali „po jednom“ s přestávkou pouze při domlouvání nového páru systém-id, protože jsme neměli 100% jistotu, že postup proběhne správně, a test v laboratoři ukázal, že v v případě, že se „něco pokazí“, stále dochází k přerušení připojení, a co je nejhorší, není pouze pro klienty, kteří mají L2 konektivitu s jinými datovými centry, ale obecně pro všechny klienty tohoto datového centra.

Propagační práce na přechodu z L2 kanálů jsme provedli s předstihem, takže počet klientů ovlivněných prací na VXLAN přepínačích byl již několikrát nižší než před rokem. V důsledku toho jsme se rozhodli přerušit komunikaci prostřednictvím služby připojení L2 za předpokladu zachování běžného provozu lokálních síťových služeb v jednom datovém centru. Kromě toho SLA pro tuto službu poskytuje možnost provádět plánované práce s přerušeními.

L3

Proč jsme všem doporučili, aby při organizování služeb DCI přešli na L3VPN? Jedním z důvodů je možnost vykonávat práci na jednom ze směrovačů, které tuto službu poskytují, jednoduše snížit úroveň redundance na N+0, aniž by došlo k přerušení komunikace.

Podívejme se blíže na schéma poskytování služeb. V této službě přechází segment L2 z klientských serverů pouze na směrovače L3VPN Selectel. Klientská síť je ukončena na routerech.

Každý klientský server, např. S2 и S3 ve výše uvedeném diagramu mají své vlastní soukromé IP adresy - 10.0.0.2/24 na serveru S2 и 10.0.0.3/24 na serveru S3. Adresy 10.0.0.252/24 и 10.0.0.253/24 přiřazené Selectel routerům L3VPN-1 и L3VPN-2, resp. IP adresa 10.0.0.254/24 je VRRP VIP adresa na routerech Selectel.

Můžete se dozvědět více o službě L3VPN РїСЂРѕС ‡ РёСР ° ССЊ v našem blogu.

Před přepnutím vše vypadalo přibližně jako na obrázku:

Dva routery L3VPN-1 и L3VPN-2 byly připojeny ke starému agregačnímu přepínači А. Master pro VRRP VIP adresu 10.0.0.254 je router L3VPN-1. Má pro tuto adresu vyšší prioritu než router L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Server S2 používá bránu 10.0.0.254 ke komunikaci se servery na jiných místech. Odpojení routeru L3VPN-2 od sítě (samozřejmě, pokud je nejprve odpojeno od domény MPLS) tedy neovlivní konektivitu serverů klienta. V tomto okamžiku je úroveň redundance obvodu jednoduše snížena.

Poté můžeme router bezpečně znovu připojit L3VPN-2 na dvojici spínačů N. Položte spojení, vyměňte transceivery. Logická rozhraní routeru, na kterých závisí provoz klientských služeb, jsou deaktivována, dokud se nepotvrdí, že vše funguje, jak má.

Po kontrole spojů, transceiverů, úrovní signálu a chybovosti na rozhraních je router uveden do provozu, ale již připojen k nové dvojici přepínačů.

Dále snížíme prioritu VRRP routeru L3VPN-1 a VIP adresa 10.0.0.254 se přesune do routeru L3VPN-2. I tyto práce probíhají bez přerušení komunikace.

Přenos VIP adresy 10.0.0.254 do routeru L3VPN-2 umožňuje deaktivovat router L3VPN-1 bez přerušení komunikace pro klienta a připojit jej k nové dvojici agregačních přepínačů N.

Jestli vrátit VRRP VIP routeru L3VPN-1 nebo ne, je jiná otázka a i když se vrátí, děje se to bez přerušení spojení.

Celkem

Po všech těchto krocích jsme skutečně vyměnili agregační přepínače v jednom z našich datových center a zároveň minimalizovali narušení pro naše zákazníky.

Zbývá jen demontovat. Demontáž starých přepínačů, demontáž starých spojů mezi přepínači A a D, demontáž transceiverů z těchto spojů, oprava monitoringu, oprava síťových schémat v dokumentaci a monitoringu.

Switche, transceivery, patch cordy, AOC, DAC zbylé po přepnutí můžeme použít v jiných projektech nebo pro jiné podobné přepínání.

"Natasho, všechno jsme vyměnili!"

Zdroj: www.habr.com