W naszej agregacji sieci lokalnej znajdowało się sześć par przełączników Arista DCS-7050CX3-32S oraz jedna para przełączników Brocade VDX 6940-36Q. Nie to, żeby przełączniki Brocade sprawiały nam duże problemy w tej sieci, działają i spełniają swoje funkcje, ale przygotowywaliśmy pełną automatyzację niektórych działań, a tych możliwości na tych przełącznikach nie mieliśmy. Ponadto chcieliśmy przejść z interfejsów 40GE na możliwość korzystania z 100GE, aby mieć zapas na następne 2-3 lata. Tak zdecydowaliśmy się wymienić Brocade na Arista.
Te przełączniki są przełącznikami agregacyjnymi sieci lokalnej dla każdego centrum danych. Podłączają się do nich bezpośrednio przełączniki dystrybucyjne (drugi poziom agregacji), które już zbierają przełączniki Top-of-Rack sieci lokalnej w szafach z serwerami.
Każdy serwer jest podłączony do jednego lub dwóch przełączników dostępowych. Przełączniki dostępowe są podłączone do pary przełączników dystrybucyjnych (używane są dwa przełączniki dystrybucyjne i dwa fizyczne połączenia z przełącznika dostępowego do różnych przełączników dystrybucyjnych dla zapewnienia rezerwy).
Każdy serwer może być używany przez swojego klienta, więc dla klienta wydzielany jest osobny VLAN. Ten sam VLAN jest następnie konfigurowany na innym serwerze tego klienta w dowolnej szafie. Centrum danych składa się z kilku takich rzędów (POD-ów), dla każdego rzędu szaf są swoje przełączniki dystrybucyjne. Następnie te przełączniki dystrybucyjne są podłączane do przełączników agregacyjnych.
Klienci mogą zamówić serwer w dowolnym rzędzie, nie można z wyprzedzeniem przewidzieć, że serwer zostanie przydzielony lub zainstalowany w konkretnym rzędzie w konkretnej szafie, dlatego na przełącznikach agregacyjnych znajduje się około 2500 VLAN w każdym centrum danych.
Sprzęt do DCI (Data-Center Interconnect) jest podłączany do przełączników agregacyjnych. Może być przeznaczony do łączności L2 (para przełączników tworząca tunel VXLAN do innego centrum danych), jak również do łączności L3 (dwa routery MPLS).
Jak już wspomniałem, w celu unifikacji procesów automatyzacji konfiguracji usług na sprzęcie w jednym centrum danych konieczna była wymiana centralnych przełączników agregacyjnych. Zainstalowaliśmy nowe przełączniki obok istniejących, połączyliśmy je w parę MLAG i zaczęliśmy przygotowania do prac. Od razu połączyliśmy je z istniejącymi przełącznikami agregacyjnymi, dzięki czemu miały wspólną domenę L2 w wszystkich VLAN klienta.
Szczegóły schematu
Aby być bardziej precyzyjnym, nazwiemy stare przełączniki agregacyjne A1 i A2, nowe — N1 i N2. Załóżmy, że w POD 1 i POD 4 są serwery jednego klienta C1, VLAN klienta oznaczony jest kolorem niebieskim. Ten klient korzysta z usługi L2 zapewniającej łączność z innym centrum danych, dlatego jego VLAN został przesłany do pary przełączników VXLAN.
Klient C2 umieszcza serwery w POD 2 i POD 3, VLAN klienta oznaczamy ciemnozielonym kolorem. Ten klient również korzysta z usługi łączności z innym centrum danych, ale L3, więc jego VLAN został przesłany do pary routerów L3VPN.
VLAN-y klientów są nam potrzebne, aby zrozumieć, na jakich etapach prac związanych z wymianą co się dzieje, gdzie występują przerwy w komunikacji oraz jak długo mogą one trwać. Protokół STP w tym schemacie nie jest używany, ponieważ szerokość drzewa dla niego w takim przypadku jest duża, a czas zbieżności protokołu rośnie w geometrycznej progresji w zależności od liczby urządzeń i połączeń między nimi.
Wszystkie urządzenia połączone podwójnymi łączami tworzą stos, parę MLAG lub fabrykę Ethernet VCS. Dla pary routerów L3VPN takie technologie nie są używane, ponieważ nie ma potrzeby rezerwowania L2, wystarczy, aby miały L2 łączność ze sobą przez przełączniki agregacyjne.
Opcje realizacji
Podczas analizy opcji dalszych wydarzeń zrozumieliśmy, że istnieje kilka sposobów realizacji tych prac. Od globalnej przerwy w całej lokalnej sieci, do niewielkich dosłownie 1-2 sekundowych przerw w częściach sieci.
Sieć, stać! Przełączniki, zmieńcie się!
Najprostszym sposobem jest oczywiście ogłoszenie globalnej przerwy w komunikacji we wszystkich POD i we wszystkich usługach DCI oraz przełączenie wszystkich łączy z przełączników A do przełączników N.
Oprócz przerwy, której czasu nie możemy zapewnić (tak, znamy liczbę połączeń, ale nie wiemy, ile razy coś może pójść źle — od uszkodzonego kabla patchowego lub uszkodzonego złącza po awarię portu lub transceivera), nie możemy również przewidzieć z wyprzedzeniem, czy długości kabli patchowych, DAC, AOC połączonych ze starymi switchami A wystarczą, aby dostarczyć je do nowych switchów N, które, mimo że stoją blisko, są jednak nieco z boku, i czy te same transceivery/DAC/AOC z switchy Brocade będą działać w switchach Arista.
I wszystko to w warunkach silnej presji ze strony klientów i wsparcia technicznego („Natasha, wstawaj! Natasha, wszystko nie działa! Natasha, już napisaliśmy do wsparcia technicznego, szczerze, szczerze! Natasha, już wszystko upadło! Natasha, ile jeszcze nie będzie działać? Natasha, kiedy to zadziała?!”). Nawet pomimo z góry ogłoszonej przerwy i powiadomienia klientów, napływ zgłoszeń w takim czasie jest gwarantowany.
Stój, 1-2-3-4!
A jeśli nie ogłaszać globalnej przerwy, a ogłosić serię małych przerw w połączeniu dla POD i usług DCI. W pierwszej przerwie przełączyć na switche, N tylko POD 1, w drugiej — za kilka dni — POD 2, potem jeszcze po kilku dniach POD 3, dalej POD 4…[N], następnie switche VXLAN, a potem routery L3VPN.
Przy takiej organizacji prac przełączania zmniejszamy złożoność jednoczesnych prac i zwiększamy sobie czas na rozwiązanie problemów, jeśli coś nagle pójdzie źle. Łączność POD 1 po przełączeniu z innymi POD i DCI nie jest tracona. Ale same prace przeciągają się na długo, w czasie tych prac w centrum danych wymagana jest obecność inżyniera do fizycznego wykonania przełączeń, a w trakcie prac (a takie prace zwykle wykonywane są w nocy, od 2 do 5 rano) wymagana jest obecność online inżyniera sieciowego o dość wysokich kwalifikacjach. Ale w ten sposób uzyskujemy krótkie przerwy w połączeniach, zazwyczaj prace mogą być prowadzone w interwale pół godziny z przerwą do 2 minut (w praktyce często 20-30 sekund przy przewidywanym działaniu sprzętu).
W podanym przykładzie klienta C1 lub klienta C2 Będziemy musieli informować o pracach z przerwami w łączu co najmniej trzy razy — pierwszy raz w celu przeprowadzenia prac na jednym POD, w którym znajduje się jeden z jego serwerów, drugi raz — na drugim, a trzeci raz — przy przełączaniu sprzętu dla usług DCI.
Przełączanie zgrupowanych kanałów komunikacyjnych
Dlaczego mówimy o oczekiwanym zachowaniu sprzętu oraz jak można przełączać zgrupowane kanały przy minimalizacji przerw w łączu. Wyobraźmy sobie następującą sytuację:
Z jednej strony łącza — przełączniki dystrybucji POD — D1 i D2, tworzą parę MLAG (stos, fabryka VCS, para vPC), z drugiej strony dwa łącza — Link 1 i Link 2 — są włączone w starą parę MLAG przełączników agregacyjnych A. Po stronie przełączników D utworzono zgrupowany interfejs o nazwie Port-channel A, po stronie przełączników agregacyjnych A — zgrupowany interfejs o nazwie Port-channel D.
Zgrupowane interfejsy w swojej pracy wykorzystują LACP, co oznacza, że przełączniki po obu stronach regularnie wymieniają pakiety LACPDU przez oba łącza, aby upewnić się, że łącza są:
- sprawne;
- włączone w jedną parę urządzeń po stronie zdalnej.
W trakcie wymiany pakietów w pakiecie przesyłana jest wartość system-id, oznaczająca urządzenie, do którego te łącza są podłączone. Dla pary MLAG (stosu, fabryki itp.) wartość system-id dla urządzeń tworzących zgrupowany interfejs jest taka sama. Przełącznik D1 wysyła do Link 1 wartość system-id D, a przełącznik D2 wysyła do Link 2 wartość system-id D.
Przełączniki A1 i A2 analizują pakiety LACPDU otrzymane przez jeden interfejs Po D i sprawdzają zgodność system-id w nich. Jeśli otrzymany przez jakieś łącze system-id nagle różni się od obecnej wartości roboczej, to to łącze zostaje wyłączone z zgrupowanego interfejsu do czasu naprawienia sytuacji. Obecnie mamy po stronie przełączników D obecną wartość system-id od partnera LACP — A, a po stronie przełączników A — obecną wartość system-id od partnera LACP — D.
W razie potrzeby przełączenia zgrupowanego interfejsu możemy postąpić na dwa różne sposoby:
Sposób 1 — Prosty
Wyłączyć oba łącza w przełącznikach A. W tym przypadku zgrupowany kanał nie działa.
Włączyć oba łącza kolejno w przełączniki N, wtedy nastąpi ponowne uzgadnianie parametrów pracy LACP, utworzenie interfejsu Po D na przełącznikach N i przesyłanie wartości przez łącza system-id N.
Sposób 2 — Minimalizacja przerwy
Odłącz z przełącznika A2 link Link 2. W tym czasie ruch między A i D będzie przekazywany po jednym z linków, który pozostanie w składzie zgrupowanego interfejsu.
Podłącz Link 2 do przełącznika N2. Na przełączniku N jest już skonfigurowany zgrupowany interfejs Po DN, a przełącznik N2 rozpocznie przesyłanie w LACPDU system-id N. Na tym etapie możemy już sprawdzić, że przełącznik N2 prawidłowo działa z transceiverem używanym do Link 2, że port połączeniowy przeszedł w stan Up, i że podczas przesyłania LACPDU nie występują błędy na porcie połączeniowym.
Jednak fakt, że przełącznik D2 dla zgrupowanego interfejsu Po A ze strony Link 2 otrzymuje wartość system-id N, różniącą się od bieżącej wartości system-id A, nie pozwala przełącznikom D wprowadzić Link 2 do składu zgrupowanego interfejsu. Po APrzełącznik N nie może wdrożyć Link 2 do pracy, ponieważ nie otrzymuje potwierdzenia o gotowości od partnera LACP przełącznika. D2Ruch ostatecznie przez Link 2 nie jest przesyłany.
A teraz wyłączamy Link 1 z przełącznika A1, pozbawiając tym samym przełączniki A i D działającego zgrupowanego interfejsu. W ten sposób na stronie przełącznika D znika bieżąca wartość system-id dla interfejsu Po A.
To pozwala przełącznikom D i N uzgodnić wymianę system-id A-N na interfejsach Po A i Po DN, tak że ruch zaczyna być przesyłany po linku Link 2. Przerwa w tym przypadku trwa w praktyce do 2 sekund.
A teraz spokojnie przełączamy Link 1 do przełącznika N1, przywracając pojemność i poziom rezerwacji interfejsów. Po A i Po DN. Ponieważ przy podłączeniu tego linku nie zmienia się bieżąca wartość system-id z żadnej strony, przerwy nie ma.
Dodatkowe linki
Jednak przełączenia można dokonać bez obecności inżyniera w momencie przełączania. W tym celu musimy z góry ułożyć dodatkowe linki między przełącznikami dystrybucji D i nowymi przełącznikami agregacyjnymi. N.
Układamy nowe linki między przełącznikami agregacyjnymi N i przełącznikami dystrybucji wszystkich POD. Wymaga to zamówienia i ułożenia dodatkowych patch cordów oraz instalacji dodatkowych transceiverów zarówno w N, jak i w D. Możemy to zrobić, ponieważ mamy w przełącznikach D każdego POD wolne porty (lub je wcześniej zwalniamy). W efekcie każdy POD jest fizycznie podłączony dwiema linkami do starych przełączników A oraz do nowych przełączników N.
Na przełączniku D utworzono dwa zgrupowane interfejsy — Po A z linkami Link 1 i Link 2, i Po N — z linkami Link N1 i Link N2. Na tym etapie sprawdzamy poprawność podłączenia interfejsów i linków, poziomy sygnałów optycznych na obu końcach linków (przy użyciu informacji DDM z przełączników), możemy nawet sprawdzić działanie linku pod obciążeniem lub monitorować stany sygnałów optycznych i temperaturę transceiverów przez kilka dni.
Ruch nadal przechodzi przez interfejs Po A, a interfejs Po N jest bez ruchu. Ustawienia na interfejsach są mniej więcej takie:
Interfejs Port-channel A
Tryb portu przełącznika trunk
Dozwolone VLANy C1, C2
Interfejs Port-channel N
Tryb portu przełącznika trunk
Dozwolone VLANy brakPrzełączniki D zazwyczaj obsługują sesyjne zmiany konfiguracji, używane są modele przełączników, które mają tę funkcjonalność. Tak więc zmiany ustawień interfejsów Po A i Po N możemy wprowadzić w jednym kroku:
Skonfiguruj sesję
Interfejs Port-channel A
Dozwolone VLANy brak
Interfejs Port-channel N
Dozwolone VLANy C1, C2
ZatwierdźWtedy zmiana konfiguracji nastąpi dość szybko, a przerwa wyniesie w praktyce nie więcej niż 5 sekund.
Taki sposób pozwala nam wykonać wszystkie prace przygotowawcze z wyprzedzeniem, przeprowadzić wszystkie niezbędne kontrole, uzgodnić prace z uczestnikami procesu, szczegółowo zaplanować działania związane z realizacją prac, bez nieprzewidzianych okoliczności, gdy 'wszystko poszło nie tak', i mieć pod ręką plan powrotu do poprzedniej konfiguracji. Prace według tego planu są prowadzone przez inżyniera sieciowego bez obecności inżyniera centrum danych, który fizycznie dokonuje przełączeń.
Co jeszcze jest ważne w takim sposobie przełączeń — wszystkie nowe linki zostały już wcześniej włączone do monitorowania. Błędy, włączenie linków do agregacji, obciążenie linków — wszystkie niezbędne informacje są już w systemie monitorowania, a to zostało już zobrazowane na mapach.
D-Day
POD
Wybraliśmy najmniej bolesną dla klientów i najmniej podatną na warianty 'coś poszło nie tak' drogę przełączeń z dodatkowymi linkami. Dzięki temu w kilka nocy przełączyliśmy wszystkie POD na nowe przełączniki agregacyjne.
Jednak pozostało przełączyć sprzęt, który zapewnia usługi DCI.
L2
W przypadku sprzętu zapewniającego łączność L2, nie mogliśmy przeprowadzić podobnych prac z dodatkowymi łączami. Powodów jest co najmniej dwa:
- Brak wolnych portów o wymaganej prędkości na przełącznikach VXLAN.
- Brak funkcjonalności sesyjnej zmiany konfiguracji na przełącznikach VXLAN.
Nie zdecydowaliśmy się na przełączanie łącz «po jednym» z przerwą tylko na czas uzgodnienia nowej pary system-id, ponieważ nie mieliśmy 100% pewności, że procedura przebiegnie poprawnie, a test w laboratorium pokazał, że w przypadku, gdy «coś pójdzie nie tak», i tak otrzymujemy przerwę w łączności, a co najgorsze — nie tylko dla klientów mających łączność L2 z innymi centrami danych, ale i dla wszystkich klientów tego centrum danych.
Z wyprzedzeniem przeprowadziliśmy kampanię informacyjną na temat przejścia z kanałów L2, dlatego liczba klientów, których dotyczą prace na przełącznikach VXLAN, była już kilka razy mniejsza niż rok temu. Ostatecznie zdecydowaliśmy się na przerwę w świadczeniu usługi łączności L2, pod warunkiem, że zachowamy prawidłowe działanie usług sieci lokalnej w jednym centrum danych. Ponadto SLA na tę usługę przewiduje możliwość przeprowadzenia prac planowych bez przerwy.
L3
Dlaczego zalecaliśmy wszystkim przejście na korzystanie z L3VPN przy organizacji usług DCI? Jednym z powodów jest możliwość przeprowadzenia prac na jednym z routerów świadczących tę usługę, po prostu obniżając poziom rezerwacji do N+0, bez przerwy w łączności.
Przyjrzyjmy się uważniej schematowi świadczenia usługi. W tej usłudze segment L2 przechodzi od serwerów klientów tylko do routerów L3VPN Selectel. Na routerach działa sieć klienta.
Każdy serwer klienta, na przykład, S2 i S3 w przedstawionym schemacie ma swoje prywatne adresy IP — 10.0.0.2/24 dla serwera S2 i 10.0.0.3/24 dla serwera S3. Adresy 10.0.0.252/24 i 10.0.0.253/24 są przydzielane przez Selectel na routery L3VPN-1 i L3VPN-2, odpowiednio. Adres IP 10.0.0.254/24 jest adresem VRRP VIP na routerach Selectel.
Szczegóły dotyczące usługi L3VPN można w naszym blogu.
Do momentu przełączenia wszystko wyglądało mniej więcej jak na schemacie:
Dwa routery L3VPN-1 i L3VPN-2 były podłączone do starego przełącznika agregacyjnego A. Mistrzem dla adresu VIP VRRP 10.0.0.254 jest router L3VPN-1Ma priorytet na ten adres jest wyższy niż routera L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}Serwer S2 do komunikacji z serwerami w innych lokalizacjach używa bramy 10.0.0.254. W ten sposób odłączenie od sieci routera L3VPN-2 (naturalnie po jego wcześniejszym odłączeniu od domeny MPLS) nie wpływa na łączność serwerów klienta. W tym momencie po prostu zmniejsza się poziom redundancji schematu.
Po tym możemy spokojnie ponownie podłączyć router L3VPN-2 do pary switchy N. Przeciągnąć linki, wymienić transceivery. Logiczne interfejsy routera, od których zależy działanie usług klienta, do momentu potwierdzenia, że wszystko działa jak należy, są wyłączone.
Po sprawdzeniu linków, transceiverów, poziomów sygnałów i poziomów błędów na interfejsach, router wchodzi do pracy, ale już podłączony do nowej pary switchy.
Następnie zmniejszamy priorytet VRRP w routerze L3VPN-1, a adres VIP 10.0.0.254 przemieszcza się na router L3VPN-2. Te prace również są prowadzone bez przerwy w komunikacji.
Przeniesienie adresu VIP 10.0.0.254 na router L3VPN-2 pozwala na odłączenie routera L3VPN-1 bez przerwy w komunikacji dla klienta i podłączenie go do nowej pary switchy agregacyjnych N.
Czy przywracać VIP VRRP na router L3VPN-1, czy nie — to już inna kwestia, a jeśli przywracać, to również odbywa się bez przerwy w komunikacji.
Podsumowując
Po wszystkich tych działaniach rzeczywiście wymieniliśmy switche agregacyjne w jednym z naszych centrów danych, minimalizując przy tym przerwy dla naszych klientów.
Teraz pozostaje tylko demontaż. Demontaż starych switchy, demontaż starych linków między switchami A i D, demontaż transceiverów od tych linków, poprawa monitorowania, poprawa schematu sieci w dokumentacji i monitorowaniu.
Switche, transceivery, kable patchowe, AOC, DAC pozostałe po przełączeniach możemy wykorzystać w innych projektach lub przy innych podobnych przełączaniach.
„Natasha, wszystko przełączyliśmy!”
Źródło: habr.com
