Historia jednego przełącznika

W naszej agregacji sieci lokalnej mieliśmy sześć par przełączników Arista DCS-7050CX3-32S i jedną parę przełączników Brocade VDX 6940-36Q. To nie tak, że w tej sieci byliśmy nadmiernie obciążeni przełącznikami Brocade, działają i spełniają swoje funkcje, ale przygotowywaliśmy się do pełnej automatyzacji niektórych działań, a takich możliwości nie mieliśmy na tych przełącznikach. Chciałem też przejść z interfejsów 40GE na możliwość wykorzystania 100GE, żeby mieć rezerwę na kolejne 2-3 lata. Postanowiliśmy więc zmienić Brocade na Arista.

Przełączniki te są przełącznikami agregującymi sieć LAN dla każdego centrum danych. Bezpośrednio do nich podłączane są przełączniki dystrybucyjne (drugi poziom agregacji), które już montują przełączniki sieci lokalnej Top-of-Rack w szafach z serwerami.

Każdy serwer jest podłączony do jednego lub dwóch przełączników dostępowych. Przełączniki dostępowe są podłączone do pary przełączników dystrybucyjnych (w celu zapewnienia redundancji wykorzystywane są dwa przełączniki dystrybucyjne i dwa łącza fizyczne prowadzące od przełącznika dostępowego do różnych przełączników dystrybucyjnych).

Każdy serwer może być używany przez własnego klienta, dlatego klient ma przydzieloną oddzielną sieć VLAN. Ta sama sieć VLAN jest następnie rejestrowana na innym serwerze tego klienta w dowolnej szafie. Centrum danych składa się z kilku takich rzędów (POD), każdy rząd stojaków ma własne przełączniki dystrybucyjne. Następnie te przełączniki dystrybucyjne są podłączone do przełączników agregacyjnych.

Klienci mogą zamówić serwer w dowolnym rzędzie, nie da się z góry przewidzieć, czy serwer zostanie przydzielony lub zainstalowany w konkretnym rzędzie w konkretnej szafie, dlatego w każdym centrum danych na przełącznikach agregacyjnych znajduje się około 2500 sieci VLAN.

Sprzęt DCI (Data-Center Interconnect) jest podłączony do przełączników agregujących. Może być przeznaczony do łączności L2 (para przełączników tworzących tunel VXLAN do innego centrum danych) lub do łączności L3 (dwa routery MPLS).

Jak już pisałem, aby ujednolicić procesy automatyzacji konfiguracji usług na sprzęcie w jednym data center, konieczna była wymiana centralnych przełączników agregujących. Zamontowaliśmy nowe przełączniki obok istniejących, połączyliśmy je w parę MLAG i zaczęliśmy przygotowywać się do pracy. Zostały natychmiast podłączone do istniejących przełączników agregacyjnych, dzięki czemu miały wspólną domenę L2 we wszystkich klienckich sieciach VLAN.

Szczegóły obwodu

Aby uzyskać szczegółowe informacje, nazwijmy stare przełączniki agregacji A1 и A2, nowy - N1 и N2. Wyobraźmy sobie to w POD1 и POD4 hostowane są serwery jednego klienta С1,Klient VLAN jest oznaczony na niebiesko. Ten klient korzysta z usługi łączności L2 z innym centrum danych, więc jego sieć VLAN jest podawana do pary przełączników VXLAN.

Klient С2 hostuje serwery w POD2 и POD3,Klient VLAN jest oznaczony kolorem ciemnozielonym. Ten klient korzysta również z usługi łączności z innym centrum danych, ale z L3, więc jego sieć VLAN jest podawana do pary routerów L3VPN.

Potrzebujemy klienckich sieci VLAN, aby zrozumieć, na jakich etapach pracy związanej z wymianą co się dzieje, gdzie następuje przerwa w komunikacji i jaki może być czas jej trwania. Protokół STP nie jest używany w tym schemacie, ponieważ szerokość drzewa w tym przypadku jest duża, a zbieżność protokołu rośnie wykładniczo wraz z liczbą urządzeń i połączeń między nimi.

Wszystkie urządzenia połączone podwójnymi łączami tworzą stos, parę MLAG lub strukturę Ethernet VCS. W przypadku pary routerów L3VPN takie technologie nie są stosowane, ponieważ nie ma potrzeby stosowania redundancji L2, wystarczy, że mają one ze sobą łączność L2 poprzez przełączniki agregacyjne.

Opcje wdrożenia

Analizując opcje dalszych wydarzeń, zdaliśmy sobie sprawę, że istnieje kilka sposobów wykonania tej pracy. Od globalnej przerwy w całej sieci lokalnej, po małe dosłownie 1-2 sekundowe przerwy w fragmentach sieci.

Sieć, przestań! Przełączniki, wymień je!

Najprościej jest oczywiście zadeklarować globalną przerwę w komunikacji na wszystkich PODach i wszystkich usługach DCI i przełączyć wszystkie łącza ze switchy А do przełączników N.

Oprócz przerwy, której czasu nie jesteśmy w stanie wiarygodnie przewidzieć (tak, znamy liczbę łączy, ale nie wiemy, ile razy coś pójdzie nie tak - od zepsutego patchcordu lub uszkodzonego złącza po wadliwy port lub transiwer ), nadal nie jesteśmy w stanie z góry przewidzieć, czy długość patchcordów, DAC, AOC, podłączonych do starych przełączników A, wystarczy, aby dotrzeć do nich do nowych przełączników N, choć stoją obok nich, ale wciąż trochę do z boku i czy będą działać te same transceivery /DAC/AOC z przełączników Brocade na przełączniki Arista.

A wszystko to w warunkach ostrej presji ze strony klientów i wsparcia technicznego („Natasza, wstawaj! Natasza, wszystko tam nie działa! Natasza, szczerze, już pisaliśmy do wsparcia technicznego! Natasza, już wszystko rzucili ! Natasza, ilu jeszcze nie zadziała? Natasza, kiedy to się uda?!”). Nawet pomimo wcześniej ogłoszonej przerwy i powiadomienia klientów, napływ zapytań w takim momencie gwarantowany.

Przestań, 1-2-3-4!

A co jeśli nie ogłosimy globalnej przerwy, a raczej serię małych przerw w komunikacji dla usług POD i DCI. Podczas pierwszej przerwy przełącz się na przełączniki N tylko POD1, w drugim - za kilka dni - POD2, potem jeszcze kilka dni POD3Dalej POD 4…[N], następnie przełączniki VXLAN, a następnie routery L3VPN.

Dzięki takiej organizacji pracy zmianowej zmniejszamy złożoność jednorazowej pracy i zwiększamy nasz czas na rozwiązanie problemów, jeśli nagle coś pójdzie nie tak. POD 1 pozostaje podłączony do innych POD i DCI po przełączeniu. Ale sama praca ciągnie się długo, podczas tej pracy w centrum danych inżynier musi fizycznie wykonać przełączanie, a podczas pracy (a takie prace są z reguły wykonywane w nocy od 2 do 5:2) do 20 rano) wymagana jest obecność inżyniera sieci online o dość wysokich kwalifikacjach. Ale wtedy dostajemy krótkie przerwy w komunikacji, z reguły pracę można prowadzić w odstępie pół godziny z przerwą do 30 minut (w praktyce często XNUMX-XNUMX sekund przy oczekiwanym zachowaniu sprzętu).

W przykładowym kliencie С1 lub klienta С2 o pracy z przerwą w komunikacji będziesz musiał ostrzegać co najmniej trzy razy – za pierwszym razem, aby przeprowadzić pracę na jednym POD, w którym znajduje się jeden z jego serwerów, za drugim razem – za drugim i za trzecim razem, gdy sprzęt przełączający dla usług DCI.

Przełączanie zagregowanych kanałów komunikacji

Dlaczego mówimy o oczekiwanym zachowaniu sprzętu i jak można przełączać zagregowane kanały, minimalizując jednocześnie przerwy w komunikacji? Wyobraźmy sobie następujący obrazek:

Po jednej stronie łącza znajdują się przełączniki dystrybucji POD - D1 и D2, tworzą ze sobą parę MLAG (stos, fabryka VCS, para vPC), z drugiej strony są dwa łącza - Link 1 и Link 2 - wchodzi w skład pary starych przełączników agregacyjnych MLAG А. Po stronie przełącznika D zagregowany interfejs z nazwą Kanał portowy A, po stronie przełączników agregacyjnych А - zagregowany interfejs z nazwą Kanał portowy D.

Zagregowane interfejsy wykorzystują w swoim działaniu LACP, czyli przełączniki po obu stronach regularnie wymieniają pakiety LACPDU na obu łączach, aby mieć pewność, że łącza:

• pracownicy;
• zawarte w jednej parze urządzeń po stronie zdalnej.

Podczas wymiany pakietów pakiet przenosi wartość identyfikator systemu, wskazując urządzenie, na którym znajdują się te łącza. W przypadku pary MLAG (stos, fabryka itp.) wartość identyfikatora systemowego dla urządzeń tworzących zagregowany interfejs jest taka sama. Przełącznik D1 wysyła do Link 1 значение identyfikator systemowy Di przełącz D2 wysyła do Link 2 значение identyfikator systemowy D.

Przełączniki A1 и A2 analizuj pakiety LACPDU odebrane przez jeden interfejs Po D i sprawdzaj, czy zawarty w nich identyfikator systemu jest zgodny. Jeśli identyfikator systemowy otrzymany za pośrednictwem jakiegoś łącza nagle się różni od aktualnej wartości operacyjnej, wówczas link ten zostanie usunięty z zagregowanego interfejsu do czasu naprawienia sytuacji. Teraz po naszej stronie przełącznika D bieżąca wartość identyfikatora systemu od partnera LACP - Ai po stronie przełącznika А — bieżąca wartość identyfikatora systemowego od partnera LACP — D.

Jeśli zajdzie potrzeba przełączenia zagregowanego interfejsu, możemy to zrobić na dwa różne sposoby:

Metoda 1 - Prosta
Wyłącz oba łącza z przełączników A. W takim przypadku zagregowany kanał nie działa.

Podłącz oba łącza jeden po drugim do przełączników N, wówczas ponownie zostaną wynegocjowane parametry operacyjne LACP i zostanie utworzony interfejs Strąk na przełącznikach N i przesyłanie wartości na łączach identyfikator systemowy N.

Metoda 2 – Zminimalizuj zakłócenia
Odłącz łącze 2 od przełącznika A2. Jednocześnie ruch pomiędzy А и D będą nadal przesyłane po prostu przez jedno z łączy, które pozostanie częścią zagregowanego interfejsu.

Podłącz łącze 2, aby przełączyć N2. Na przełączniku N zagregowany interfejs jest już skonfigurowany Po DNi przełącz N2 rozpocznie nadawanie do LACPDU identyfikator systemowy N. Na tym etapie możemy już sprawdzić czy przełącznik N2 działa poprawnie z używanym transiwerem Link 2, że port połączenia osiągnął stan Upi że podczas przesyłania jednostek LACPDU na porcie połączenia nie występują żadne błędy.

Ale fakt, że przełącznik D2 dla zagregowanego interfejsu Po A z boku Łącze 2 odbiera wartość identyfikatora systemu N inną niż bieżąca wartość identyfikatora systemu operacyjnego A, nie pozwala na przełączanie D przedstawić Link 2 część zagregowanego interfejsu Po A. Przełącznik N nie mogę wejść Link 2 do eksploatacji, ponieważ nie otrzymuje potwierdzenia funkcjonalności od partnera LACP przełącznika D2. Wynikowy ruch to Link 2 nie przedostać się.

A teraz wyłączamy Link 1 z przełącznika A1, pozbawiając w ten sposób przełączniki А и D działający interfejs zbiorczy. A więc po stronie przełącznika D bieżąca działająca wartość identyfikatora systemu dla interfejsu zniknie Po A.

Umożliwia to przełączanie D и N zgodzić się na wymianę identyfikatora systemowego NA na interfejsach Po A и Po DN, aby ruch zaczął być przesyłany wzdłuż łącza Link 2. Przerwa w tym przypadku wynosi w praktyce do 2 sekund.

A teraz możemy łatwo przełączyć Link 1 na N1, przywracając pojemność i poziom redundancji interfejsu Po A и Po DN. Ponieważ po podłączeniu tego łącza bieżąca wartość identyfikatora systemowego nie zmienia się po żadnej stronie, nie ma żadnych zakłóceń.

Dodatkowe linki

Ale przełączenie może zostać wykonane bez obecności inżyniera w momencie przełączenia. Aby to zrobić, będziemy musieli wcześniej ułożyć dodatkowe połączenia między przełącznikami dystrybucji D oraz nowe przełączniki agregacyjne N.

Kładziemy nowe łącza pomiędzy przełącznikami agregacyjnymi N i przełączniki dystrybucyjne dla wszystkich modułów POD. Wymaga to zamówienia i ułożenia dodatkowych patchcordów oraz zainstalowania dodatkowych transceiverów zgodnie z pkt Na w D. Możemy to zrobić, ponieważ w naszych przełącznikach D Każdy POD ma wolne porty (lub wstępnie je zwalniamy). W rezultacie każdy POD jest fizycznie połączony dwoma łączami ze starymi przełącznikami A i nowymi przełącznikami N.

Na przełączniku D utworzono dwa zagregowane interfejsy - Po A z linkami Link 1 и Link 2i Po N - z linkami Połączenie N1 и Połączenie N2. Na tym etapie sprawdzamy poprawność podłączenia interfejsów i łączy, poziom sygnałów optycznych na obu końcach łączy (poprzez informacje DDM z przełączników), możemy nawet sprawdzić wydajność łącza pod obciążeniem czy monitorować stany sygnałów optycznych i temperatur transiwera przez kilka dni.

Ruch jest nadal przesyłany przez interfejs Po Ai interfejs Po N nie kosztuje ruchu. Ustawienia interfejsów są mniej więcej takie:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

Przełączniki D z reguły obsługują rekonfigurację sesji, stosowane są modele przełączników posiadające tę funkcjonalność. Możemy więc zmienić ustawienia interfejsów Po A i Po N w jednym kroku:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Wtedy zmiana konfiguracji nastąpi wystarczająco szybko, a przerwa w praktyce nie będzie dłuższa niż 5 sekund.

Ta metoda pozwala nam z wyprzedzeniem zakończyć wszystkie prace przygotowawcze, przeprowadzić wszystkie niezbędne kontrole, koordynować pracę z uczestnikami procesu, szczegółowo przewidzieć działania związane z produkcją pracy, bez lotów twórczych, gdy „wszystko poszło nie tak” ” i mieć pod ręką plan powrotu do poprzedniej konfiguracji. Prace według tego planu są wykonywane przez inżyniera sieci bez obecności na miejscu inżyniera centrum danych, który fizycznie przeprowadza przełączanie.

W przypadku tej metody przełączania ważne jest również to, że wszystkie nowe łącza są już z wyprzedzeniem monitorowane. Błędy, włączenie linków do jednostki, ładowanie linków – wszystkie niezbędne informacje są już w systemie monitoringu i to już jest narysowane na mapach.

D-Day

POD

Wybraliśmy najmniej bolesną dla klientów ścieżkę zmiany i najmniej podatną na scenariusze „coś poszło nie tak” z dodatkowymi linkami. Dlatego w ciągu kilku nocy wymieniliśmy wszystkie PODy na nowe przełączniki agregujące.

Pozostaje jednak tylko zmienić sprzęt świadczący usługi DCI.

L2

W przypadku sprzętu zapewniającego łączność L2 nie udało nam się przeprowadzić podobnej pracy z dodatkowymi łączami. Są ku temu co najmniej dwa powody:

• Brak wolnych portów o wymaganej prędkości na przełącznikach VXLAN.
• Brak możliwości zmiany konfiguracji sesji na przełącznikach VXLAN.

Nie przełączaliśmy łączy „pojedynczo” z przerwą tylko podczas uzgadniania nowej pary system-id, gdyż nie mieliśmy 100% pewności, że procedura przebiegnie prawidłowo, a test w laboratorium wykazał, że w w przypadku, gdy „coś pójdzie nie tak”, nadal mamy przerwę w połączeniu, a najgorsze jest nie tylko dla klientów, którzy mają łączność L2 z innymi centrami danych, ale w ogóle dla wszystkich klientów tego centrum danych.

Z wyprzedzeniem prowadziliśmy prace propagandowe nad przejściem z kanałów L2, dzięki czemu liczba klientów dotkniętych pracą na przełącznikach VXLAN była już kilkukrotnie mniejsza niż rok temu. W rezultacie zdecydowaliśmy się na przerwanie komunikacji poprzez usługę połączenia L2, pod warunkiem utrzymania normalnej pracy usług sieci lokalnej w jednym centrum danych. Dodatkowo umowa SLA na tę usługę przewiduje możliwość realizacji planowej pracy z przerwami.

L3

Dlaczego zalecamy, aby wszyscy przeszli na L3VPN podczas organizowania usług DCI? Jednym z powodów jest możliwość prowadzenia prac na jednym z routerów świadczących tę usługę, po prostu obniżając poziom redundancji do N+0, bez zakłócania komunikacji.

Przyjrzyjmy się bliżej schematowi świadczenia usług. W tej usłudze segment L2 przechodzi z serwerów klienckich wyłącznie do routerów L3VPN Selectel. Sieć kliencka jest zakończona na routerach.

Każdy serwer kliencki, np. S2 и S3 na powyższym schemacie mają własne prywatne adresy IP - 10.0.0.2/24 na serwerze S2 и 10.0.0.3/24 na serwerze S3. Adresy 10.0.0.252/24 и 10.0.0.253/24 przydzielane przez firmę Selectel routerom L3VPN-1 и L3VPN-2odpowiednio. adres IP 10.0.0.254/24 to adres VIP VRRP na routerach Selectel.

Możesz dowiedzieć się więcej o usłudze L3VPN czytać na naszym blogu.

Przed przełączeniem wszystko wyglądało mniej więcej tak jak na schemacie:

Dwa routery L3VPN-1 и L3VPN-2 zostały podłączone do starego przełącznika agregującego А. Masterem dla adresu VIP VRRP 10.0.0.254 jest router L3VPN-1. Ma wyższy priorytet dla tego adresu niż router L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Serwer S2 używa bramy 10.0.0.254 do komunikacji z serwerami w innych lokalizacjach. Zatem odłączenie routera L3VPN-2 od sieci (oczywiście jeśli najpierw zostanie on odłączony od domeny MPLS) nie wpływa na łączność serwerów klienta. W tym momencie poziom redundancji obwodu jest po prostu zmniejszony.

Następnie możemy bezpiecznie ponownie podłączyć router L3VPN-2 do pary przełączników N. Ułóż łącza, zmień transceivery. Interfejsy logiczne routera, od których zależy działanie usług klienta, są wyłączane do czasu potwierdzenia, że ​​wszystko działa tak, jak powinno.

Po sprawdzeniu łączy, transiwerów, poziomów sygnału i poziomów błędów na interfejsach router zostaje uruchomiony, ale jest już podłączony do nowej pary przełączników.

Następnie obniżamy priorytet VRRP routera L3VPN-1, a adres VIP 10.0.0.254 zostaje przeniesiony na router L3VPN-2. Prace te prowadzone są także bez zakłócania komunikacji.

Przesyłam adres VIP 10.0.0.254 do routera L3VPN-2 pozwala na wyłączenie routera L3VPN-1 bez przerywania komunikacji dla klienta i podłączyć go do nowej pary przełączników agregacyjnych N.

To, czy zwrócić VRRP VIP do routera L3VPN-1, to już inna kwestia, a nawet jeśli zostanie zwrócony, to odbywa się to bez przerywania połączenia.

Razem

Po wykonaniu wszystkich tych kroków faktycznie wymieniliśmy przełączniki agregacyjne w jednym z naszych centrów danych, minimalizując jednocześnie zakłócenia dla naszych klientów.

Pozostaje tylko demontaż. Demontaż starych przełączników, demontaż starych łączy pomiędzy przełącznikami A i D, demontaż transceiverów z tych łączy, korekta monitoringu, korekta schematów sieciowych w dokumentacji i monitoringu.

Możemy wykorzystać przełączniki, transceivery, patchcordy, AOC, DAC pozostałe po przełączeniu w innych projektach lub do innych podobnych przełączeń.

„Natasza, zamieniliśmy wszystko!”

Źródło: www.habr.com