V našej lokálnej sieťovej agregácii sme mali šesť párov prepínačov Arista DCS-7050CX3-32S a jeden pár prepínačov Brocade VDX 6940-36Q. Nie je to tak, že by sme boli prepínačmi Brocade v tejto sieti príliš namáhaní, fungujú a plnia svoje funkcie, ale pripravovali sme plnú automatizáciu niektorých akcií a tieto možnosti sme na týchto prepínačoch nemali. Tiež som chcel prejsť zo 40GE rozhraní na možnosť použitia 100GE, aby som si urobil rezervu na najbližšie 2-3 roky. Tak sme sa rozhodli zmeniť Brocade na Arista.
Tieto prepínače sú agregačné prepínače LAN pre každé dátové centrum. K nim sú priamo pripojené distribučné prepínače (druhá úroveň agregácie), ktoré už montujú lokálne sieťové prepínače Top-of-Rack do stojanov so servermi.
Každý server je pripojený k jednému alebo dvom prístupovým prepínačom. Prístupové prepínače sú pripojené k páru distribučných prepínačov (pre redundanciu sa používajú dva distribučné prepínače a dve fyzické linky z prístupového prepínača k rôznym distribučným prepínačom).
Každý server môže používať jeho vlastný klient, takže klientovi je pridelená samostatná VLAN. Rovnaká VLAN je potom zaregistrovaná na inom serveri tohto klienta v akomkoľvek racku. Dátové centrum pozostáva z niekoľkých takýchto radov (POD), každý rad stojanov má svoje distribučné spínače. Potom sú tieto distribučné spínače pripojené k agregačným spínačom.
Klienti si môžu objednať server v ľubovoľnom rade, nie je možné vopred predpovedať, že server bude alokovaný alebo inštalovaný v konkrétnom rade v konkrétnom racku, preto je v každom dátovom centre okolo 2500 VLAN na agregačných prepínačoch.
Zariadenie pre DCI (Data-Center Interconnect) je pripojené k agregačným prepínačom. Môže byť určený pre L2 konektivitu (dvojica prepínačov tvoriacich VXLAN tunel do iného dátového centra) alebo pre L3 konektivitu (dva MPLS routery).
Ako som už písal, pre zjednotenie procesov automatizácie konfigurácie služieb na zariadeniach v jednom dátovom centre bola potrebná výmena centrálnych agregačných prepínačov. K existujúcim sme osadili nové vypínače, spojili ich do dvojice MLAG a začali sa pripravovať na prácu. Okamžite boli pripojené k existujúcim agregačným prepínačom, takže mali spoločnú doménu L2 vo všetkých klientskych VLAN.
Podrobnosti okruhu
Pre špecifiká vymenujme staré agregačné prepínače A1 и A2, Nový - N1 и N2. Predstavme si to v POD 1 и POD 4 servery jedného klienta sú hosťované С1,VLAN klienta je označená modrou farbou. Tento klient využíva službu konektivity L2 s iným dátovým centrom, takže jeho VLAN je napájaná do dvojice prepínačov VXLAN.
zákazník С2 hostuje servery v POD 2 и POD 3,VLAN klienta je označená tmavozelenou farbou. Tento klient využíva aj službu konektivity s iným dátovým centrom, ale L3, takže jeho VLAN je napájaná na dvojicu smerovačov L3VPN.
Potrebujeme klientske VLAN, aby sme pochopili, v ktorých fázach výmeny funguje, čo sa deje, kde dochádza k prerušeniu komunikácie a aké môže trvať. Protokol STP sa v tejto schéme nepoužíva, pretože šírka stromu je v tomto prípade veľká a konvergencia protokolu exponenciálne rastie s počtom zariadení a spojení medzi nimi.
Všetky zariadenia prepojené dvojitými linkami tvoria stoh, pár MLAG alebo sieť Ethernet VCS. Pre dvojicu smerovačov L3VPN sa takéto technológie nepoužívajú, pretože nie je potrebná redundancia L2, stačí, aby mali vzájomnú konektivitu L2 prostredníctvom agregačných prepínačov.
Možnosti implementácie
Pri analýze možností pre ďalšie podujatia sme si uvedomili, že existuje niekoľko spôsobov, ako túto prácu realizovať. Od globálnej prestávky v celej lokálnej sieti až po malé doslova 1-2 sekundové prestávky v častiach siete.
Sieť, stop! Vypínače, vymeňte ich!
Najjednoduchším spôsobom je, samozrejme, vyhlásiť prerušenie globálnej komunikácie na všetkých PODoch a všetkých službách DCI a prepnúť všetky linky z prepínačov А k vypínačom N.
Okrem prerušenia, ktorého čas nevieme spoľahlivo predpovedať (áno, poznáme počet prepojení, no nevieme, koľkokrát sa niečo pokazí – od prerušeného prepojovacieho kábla alebo poškodeného konektora až po chybný port alebo transceiver ), stále nevieme vopred predpovedať, či bude dĺžka prepojovacích káblov, DAC, AOC, zapojených do starých prepínačov A, postačovať na to, aby sa dostali k novým prepínačom N, hoci stoja vedľa nich, ale stále trochu k strane a či budú fungovať rovnaké transceivery /DAC/AOC z prepínačov Brocade na prepínače Arista.
A to všetko v podmienkach silného tlaku zákazníkov a technickej podpory („Natasha, vstávaj! Natasha, všetko tam nefunguje! Natasha, už sme písali na technickú podporu, úprimne! Natasha, už všetko zahodili ! Natasha, koľko nás ešte nebude, bude to fungovať? Natasha, kedy to bude fungovať?!"). Aj napriek vopred ohlásenej prestávke a upozorneniu klientov je zaručený nápor požiadaviek v takomto čase.
Prestaň, 1-2-3-4!
Čo ak neoznámime globálnu prestávku, ale skôr sériu malých prerušení komunikácie pre služby POD a DCI. Počas prvej prestávky prepnite na spínače N iba POD 1, v druhom - o pár dní - POD 2, potom ešte pár dní POD 3Ďalšie POD 4…[N], potom prepínače VXLAN a potom smerovače L3VPN.
Touto organizáciou prepínacej práce znižujeme náročnosť jednorazovej práce a zvyšujeme čas na riešenie problémov, ak sa náhle niečo pokazí. POD 1 zostáva po prepnutí pripojený k ostatným POD a DCI. Samotná práca sa však naťahuje dlho, počas tejto práce v dátovom centre je povinný inžinier fyzicky vykonať prepínanie a počas práce (a takáto práca sa vykonáva spravidla v noci, od 2. do 5:2), vyžaduje sa prítomnosť online sieťového inžiniera na pomerne vysokej úrovni kvalifikácie. Potom však dochádza ku krátkym prerušeniam komunikácie, spravidla sa práca môže vykonávať v intervale pol hodiny s prestávkou do 20 minút (v praxi často 30-XNUMX sekúnd s očakávaným správaním zariadenia).
V príklade klienta С1 alebo klienta С2 budete musieť upozorniť na prácu s prerušením komunikácie najmenej trikrát - prvýkrát vykonať prácu na jednom POD, v ktorom sa nachádza jeden z jeho serverov, druhýkrát - na druhý a tretíkrát - keď spínacie zariadenia pre služby DCI.
Prepínanie agregovaných komunikačných kanálov
Prečo hovoríme o očakávanom správaní zariadení a ako možno prepínať agregované kanály pri minimalizácii prerušenia komunikácie? Predstavme si nasledujúci obrázok:
Na jednej strane spoja sú prepínače distribúcie POD - D1 и D2, tvoria medzi sebou pár MLAG (zásobník, továreň VCS, pár vPC), na druhej strane sú dva odkazy - Odkaz 1 и Odkaz 2 - zahrnuté v páre starých agregačných prepínačov MLAG А. Na strane vypínača D agregované rozhranie s názvom Port kanál A, na strane agregačných prepínačov А - agregované rozhranie s názvom Port kanál D.
Agregované rozhrania používajú pri svojej činnosti LACP, to znamená, že prepínače na oboch stranách si pravidelne vymieňajú pakety LACPDU na oboch linkách, aby sa zabezpečilo, že linky:
- pracovníci;
- súčasťou jedného páru zariadení na vzdialenej strane.
Pri výmene paketov nesie paket hodnotu system-id, označujúce zariadenie, kde sú tieto prepojenia zahrnuté. Pre pár MLAG (zásobník, továreň atď.) je hodnota system-id pre zariadenia, ktoré tvoria agregované rozhranie, rovnaká. Prepínač D1 posiela do Odkaz 1 hodnota ID systému Da prepnite D2 posiela do Odkaz 2 hodnota ID systému D.
Prepínače A1 и A2 analyzovať pakety LACPDU prijaté cez jedno rozhranie Po D a skontrolovať, či sa v nich zhoduje systémové ID. Ak sa systémové ID prijaté cez nejaký odkaz náhle líši z aktuálnej prevádzkovej hodnoty, potom sa tento odkaz odstráni z agregovaného rozhrania, kým sa situácia nenapraví. Teraz na strane nášho prepínača D aktuálna hodnota systémového id od partnera LACP - Aa na strane prepínača А — aktuálna hodnota systémového id od partnera LACP — D.
Ak potrebujeme prepnúť agregované rozhranie, môžeme to urobiť dvoma rôznymi spôsobmi:
Metóda 1 - jednoduchá
Vypnite obe prepojenia z prepínačov A. V tomto prípade agregovaný kanál nefunguje.
Pripojte obe prepojenia jeden po druhom k prepínačom N, potom sa opäť dohodnú prevádzkové parametre LACP a vytvorí sa rozhranie PoD na vypínačoch N a prenos hodnôt na linkách systémové číslo N.
Metóda 2 - Minimalizujte prerušenie
Odpojte Link 2 od spínača A2. Zároveň premávka medzi А и D budú naďalej prenášané jednoducho cez jeden z odkazov, ktorý zostane súčasťou agregovaného rozhrania.
Pripojte Link 2 k prepínaču N2. Na prepínači N agregované rozhranie je už nakonfigurované Po DNa prepnite N2 začne vysielať do LACPDU systémové číslo N. V tejto fáze už môžeme skontrolovať, či je prepínač N2 funguje správne s použitým transceiverom Odkaz 2, že port pripojenia vstúpil do stavu Upa že sa pri prenose LACPDU nevyskytujú žiadne chyby na pripájacom porte.
Ale skutočnosť, že prepínač D2 pre agregované rozhranie Po A zo strany Link 2 dostane hodnotu system-id N odlišnú od aktuálnej hodnoty ID A operačného systému, neumožňuje prepínače D vstúpiť Odkaz 2 súčasťou agregovaného rozhrania Po A. Prepínač N nemôže vstúpiť Odkaz 2 do prevádzky, keďže nedostane potvrdenie o prevádzkyschopnosti od LACP partnera prepínača D2. Výsledná návštevnosť je Odkaz 2 neprechádzať.
A teraz vypneme Link 1 z prepínača A1, čím sa zbavia prepínačov А и D pracovné agregované rozhranie. Takže na strane vypínača D aktuálna funkčná hodnota system-id pre rozhranie zmizne Po A.
To umožňuje prepínače D и N súhlasiť s výmenou systémového id AN na rozhraniach Po A и Po DN, takže prevádzka sa začne prenášať pozdĺž spojenia Odkaz 2. Prestávka je v tomto prípade v praxi do 2 sekúnd.
A teraz môžeme jednoducho prepnúť Link 1 na prepínač N1, obnovenie kapacity a úrovne redundancie rozhrania Po A и Po DN. Keďže po pripojení tohto prepojenia sa aktuálna hodnota systémového id nemení ani na jednej strane, nedochádza k prerušeniu.
Ďalšie odkazy
Ale prepnutie môže byť vykonané bez prítomnosti inžiniera v čase prepínania. Aby sme to dosiahli, budeme musieť vopred položiť ďalšie prepojenia medzi distribučnými prepínačmi D a nové agregačné prepínače N.
Kladieme nové prepojenia medzi agregačnými prepínačmi N a distribučné spínače pre všetky PODy. Vyžaduje si to objednanie a položenie ďalších prepojovacích káblov a inštaláciu ďalších vysielačov a prijímačov ako v Na v D. Môžeme to urobiť, pretože v našich prepínačoch D Každý POD má voľné porty (alebo ich vopred uvoľníme). Výsledkom je, že každý POD je fyzicky spojený dvoma linkami so starými prepínačmi A a s novými prepínačmi N.
Na vypínači D vytvorili sa dve agregované rozhrania - Po A s odkazmi Odkaz 1 и Odkaz 2A Po N - s odkazmi Odkaz N1 и Odkaz N2. V tejto fáze kontrolujeme správne pripojenie rozhraní a liniek, úrovne optických signálov na oboch koncoch liniek (prostredníctvom DDM informácií z prepínačov), môžeme dokonca kontrolovať výkon linky pri záťaži či monitorovať stavy linky. optických signálov a teploty transceivera na niekoľko dní.
Prevádzka sa stále odosiela cez rozhranie Po Aa rozhranie Po N nestojí žiadnu premávku. Nastavenia na rozhraniach sú asi takéto:
Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan nonePrepínače D spravidla podporujú zmeny konfigurácie založené na reláciách; používajú sa modely prepínačov, ktoré majú túto funkciu. Takže môžeme zmeniť nastavenia rozhraní Po A a Po N v jednom kroku:
Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
CommitPotom sa zmena konfigurácie uskutoční dostatočne rýchlo a prestávka v praxi nebude dlhšia ako 5 sekúnd.
Táto metóda nám umožňuje dokončiť všetky prípravné práce vopred, vykonať všetky potrebné kontroly, koordinovať prácu s účastníkmi procesu, podrobne predpovedať akcie na výrobu diela, bez úletov kreativity, keď sa „všetko pokazilo“. “ a majte po ruke plán návratu k predchádzajúcej konfigurácii. Práce podľa tohto plánu vykonáva sieťový inžinier bez prítomnosti inžiniera dátového centra na mieste, ktorý fyzicky vykonáva prepínanie.
Pri tomto spôsobe prepínania je dôležité aj to, že všetky nové prepojenia sú už vopred monitorované. Chyby, zaradenie odkazov do jednotky, načítanie odkazov – všetky potrebné informácie sú už v monitorovacom systéme, a to je už zakreslené na mapách.
D-Day
POD
Zvolili sme najmenej bolestivú cestu prepínania pre klientov a najmenej náchylnú na scenáre „niečo sa pokazilo“ s dodatočnými odkazmi. Takže sme za pár nocí prepli všetky PODy na nové agregačné prepínače.
Zostáva však len prepnúť zariadenie, ktoré poskytuje služby DCI.
L2
V prípade zariadení poskytujúcich L2 konektivitu sa nám podobné práce s ďalšími linkami nepodarilo zrealizovať. Sú na to minimálne dva dôvody:
- Nedostatok voľných portov požadovanej rýchlosti na prepínačoch VXLAN.
- Nedostatok funkcie zmeny konfigurácie relácie na prepínačoch VXLAN.
Neprepínali sme prepojenia „po jednom“ s prestávkou iba pri dohode o novom páre systém-id, pretože sme nemali 100% istotu, že postup prebehne správne a test v laboratóriu ukázal, že v v prípade, že sa „niečo pokazí“, stále dochádza k prerušeniu pripojenia, a čo je najhoršie, nie je to len pre klientov, ktorí majú L2 konektivitu s inými dátovými centrami, ale vo všeobecnosti pre všetkých klientov tohto dátového centra.
V predstihu sme vykonali propagandistické práce na prechode z L2 kanálov, takže počet klientov ovplyvnených prácami na VXLAN prepínačoch bol už niekoľkonásobne nižší ako pred rokom. V dôsledku toho sme sa rozhodli prerušiť komunikáciu cez službu L2 connection za predpokladu, že zachováme normálnu prevádzku lokálnych sieťových služieb v jednom dátovom centre. Okrem toho SLA pre túto službu poskytuje možnosť vykonávať plánovanú prácu s prerušeniami.
L3
Prečo sme všetkým odporučili, aby pri organizovaní služieb DCI prešli na L3VPN? Jedným z dôvodov je možnosť vykonávať prácu na jednom z routerov, ktoré túto službu poskytujú, jednoducho znížiť úroveň redundancie na N+0 bez prerušenia komunikácie.
Pozrime sa bližšie na schému poskytovania služieb. V tejto službe segment L2 prechádza z klientskych serverov iba do smerovačov L3VPN Selectel. Klientska sieť je ukončená na smerovačoch.
Každý klientsky server, napr. S2 и S3 vo vyššie uvedenom diagrame majú svoje vlastné súkromné adresy IP - 10.0.0.2/24 na serveri S2 и 10.0.0.3/24 na serveri S3. Adresy 10.0.0.252/24 и 10.0.0.253/24 pridelené spoločnosťou Selectel smerovačom L3VPN-1 и L3VPN-2, resp. IP adresa 10.0.0.254/24 je VIP adresa VRRP na smerovačoch Selectel.
Môžete sa dozvedieť viac o službe L3VPN v našom blogu.
Pred prepnutím všetko vyzeralo približne ako na obrázku:
Dva smerovače L3VPN-1 и L3VPN-2 boli pripojené k starému agregačnému prepínaču А. Master pre VRRP VIP adresu 10.0.0.254 je smerovač L3VPN-1. Pre túto adresu má vyššiu prioritu ako smerovač L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}Server S2 používa bránu 10.0.0.254 na komunikáciu so servermi na iných miestach. Odpojenie smerovača L3VPN-2 od siete (samozrejme, ak sa najskôr odpojí od domény MPLS) teda neovplyvní konektivitu serverov klienta. V tomto bode je úroveň redundancie obvodu jednoducho znížená.
Potom môžeme smerovač bezpečne znova pripojiť L3VPN-2 na dvojicu spínačov N. Položte linky, zmeňte transceivery. Logické rozhrania smerovača, od ktorých závisí fungovanie klientskych služieb, sú vypnuté, kým sa nepotvrdí, že všetko funguje ako má.
Po kontrole prepojení, transceiverov, úrovní signálu a chybovosti na rozhraniach sa router uvedie do prevádzky, ale už je pripojený k novej dvojici prepínačov.
Ďalej znížime prioritu VRRP smerovača L3VPN-1 a VIP adresa 10.0.0.254 sa presunie do smerovača L3VPN-2. Tieto práce sa tiež vykonávajú bez prerušenia komunikácie.
Prenos VIP adresy 10.0.0.254 do smerovača L3VPN-2 umožňuje deaktivovať smerovač L3VPN-1 bez prerušenia komunikácie pre klienta a pripojiť ho k novej dvojici agregačných prepínačov N.
Či vrátiť alebo nevrátiť VRRP VIP do smerovača L3VPN-1 je iná otázka a ak sa aj vráti, deje sa to bez prerušenia spojenia.
Celkom
Po všetkých týchto krokoch sme skutočne vymenili agregačné prepínače v jednom z našich dátových centier, pričom sme minimalizovali rušenie pre našich zákazníkov.
Zostáva už len demontáž. Demontáž starých prepínačov, demontáž starých prepojení medzi prepínačmi A a D, demontáž transceiverov z týchto prepojení, oprava monitoringu, oprava sieťových diagramov v dokumentácii a monitoringu.
Prepínače, transceivery, patch cordy, AOC, DAC, ktoré zostali po prepnutí, môžeme použiť v iných projektoch alebo na iné podobné prepínanie.
"Natasha, vymenili sme všetko!"
Zdroj: hab.com