Dziś opowiem Wam o tym jak narodził się i został zrealizowany pomysł stworzenia nowej sieci wewnętrznej dla naszej firmy. Stanowisko kierownictwa jest takie, że musisz wykonać ten sam pełnoprawny projekt dla siebie, co dla klienta. Jeśli zrobimy to dobrze dla siebie, możemy zaprosić klienta i pokazać, jak dobrze to, co mu oferujemy, działa i działa. Dlatego do opracowania koncepcji nowej sieci dla moskiewskiego biura podeszliśmy bardzo szczegółowo, wykorzystując pełny cykl produkcyjny: analiza potrzeb działu → wybór rozwiązania technicznego → projekt → wdrożenie → testowanie. Zacznijmy więc.
Wybór rozwiązania technicznego: Sanktuarium Mutantów
Procedurę pracy na złożonym systemie zautomatyzowanym najlepiej opisuje obecnie GOST 34.601-90 „Systemy zautomatyzowane. Etapy Stworzenia”, więc zgodnie z tym pracowaliśmy. I już na etapie tworzenia wymagań i opracowywania koncepcji napotkaliśmy pierwsze trudności. Organizacje o różnych profilach - banki, firmy ubezpieczeniowe, twórcy oprogramowania itp. - do swoich zadań i standardów potrzebują określonych typów sieci, których specyfika jest jasna i ujednolicona. U nas to jednak nie zadziała.
Dlaczego?
Jet Infosystems to duża, zdywersyfikowana firma informatyczna. Jednocześnie nasz wewnętrzny dział wsparcia jest niewielki (ale dumny), zapewnia funkcjonalność podstawowych usług i systemów. W firmie znajduje się wiele działów, które pełnią różne funkcje: jest to kilka potężnych zespołów outsourcingowych, wewnętrznych programistów systemów biznesowych i bezpieczeństwa informacji oraz architektów systemów komputerowych – ogólnie, kimkolwiek jest. W związku z tym różnią się także ich zadania, systemy i zasady bezpieczeństwa. Co zgodnie z oczekiwaniami spowodowało trudności w procesie analizy potrzeb i standaryzacji.
Tutaj na przykład jest dział rozwoju: jego pracownicy piszą i testują kod dla dużej liczby klientów. Często zachodzi potrzeba szybkiego zorganizowania środowisk testowych, a szczerze mówiąc, nie zawsze da się sformułować wymagania dla każdego projektu, poprosić o zasoby i zbudować osobne środowisko testowe zgodnie ze wszystkimi wewnętrznymi regulacjami. Prowadzi to do kuriozalnych sytuacji: pewnego dnia Twój skromny sługa zajrzał do pokoju programistów i znalazł pod stołem poprawnie działający klaster Hadoop składający się z 20 komputerów stacjonarnych, które w niewytłumaczalny sposób zostały podłączone do wspólnej sieci. Chyba nie warto wyjaśniać, że dział IT firmy nie wiedział o jej istnieniu. Ta okoliczność, podobnie jak wiele innych, spowodowała, że w trakcie realizacji projektu narodził się termin „rezerwa mutantów”, opisujący stan od dawna cierpiącej infrastruktury biurowej.
Albo oto inny przykład. Okresowo w wydziale tworzone jest stanowisko testowe. Tak było w przypadku Jira i Confluence, z których w niektórych projektach Centrum Rozwoju Oprogramowania korzystało w ograniczonym zakresie. Po pewnym czasie o tych przydatnych zasobach dowiedziały się inne działy, poddały je ocenie i pod koniec 2018 roku Jira i Confluence przeszły ze statusu „zabawki lokalnych programistów” do statusu „zasobów firmy”. Teraz do tych systemów należy przypisać właściciela, określić umowy SLA, zasady bezpieczeństwa dostępu/informacji, zasady tworzenia kopii zapasowych, monitorowanie, zasady kierowania żądań w celu rozwiązania problemów - ogólnie rzecz biorąc, muszą być obecne wszystkie atrybuty pełnoprawnego systemu informatycznego .
Każdy z naszych oddziałów jest jednocześnie inkubatorem rozwijającym własne produkty. Część z nich ginie na etapie rozwoju, część wykorzystujemy podczas pracy nad projektami, jeszcze inne zakorzeniają się i stają się replikowanymi rozwiązaniami, które sami zaczynamy wykorzystywać i sprzedawać klientom. Dla każdego takiego systemu pożądane jest posiadanie własnego środowiska sieciowego, w którym będzie się rozwijał bez ingerencji w inne systemy, a w pewnym momencie będzie mógł zostać zintegrowany z infrastrukturą firmy.
Oprócz rozwoju mamy bardzo duże z ponad 500 pracownikami, podzielonymi na zespoły dla każdego klienta. Zajmują się utrzymaniem sieci i innych systemów, zdalnym monitorowaniem, rozpatrywaniem roszczeń i tak dalej. Oznacza to, że infrastruktura SC jest w rzeczywistości infrastrukturą klienta, z którym obecnie współpracuje. Specyfika pracy z tą sekcją sieci polega na tym, że ich stacje robocze dla naszej firmy są częściowo zewnętrzne, a częściowo wewnętrzne. Dlatego dla SC wdrożyliśmy następujące podejście - firma zapewnia odpowiedniemu działowi zasoby sieciowe i inne, traktując stacje robocze tych działów jako połączenia zewnętrzne (analogicznie do oddziałów i użytkowników zdalnych).
Projekt autostrady: jesteśmy operatorem (niespodzianka)
Po ocenie wszystkich pułapek zdaliśmy sobie sprawę, że w jednym biurze otrzymujemy sieć operatora telekomunikacyjnego i zaczęliśmy odpowiednio działać.
Stworzyliśmy sieć szkieletową, za pomocą której każdy wewnętrzny, a w przyszłości także zewnętrzny konsument otrzymuje wymaganą usługę: L2 VPN, L3 VPN lub zwykły routing L3. Niektóre działy potrzebują bezpiecznego dostępu do Internetu, inne zaś czystego dostępu bez zapór ogniowych, ale jednocześnie chroniącego zasoby naszej firmy i sieć szkieletową przed ich ruchem.
Nieformalnie „zawarliśmy umowę SLA” z każdym oddziałem. Zgodnie z nią wszelkie powstałe awarie muszą zostać wyeliminowane w określonym, wcześniej ustalonym terminie. Wymagania firmy wobec swojej sieci okazały się rygorystyczne. Maksymalny czas reakcji na incydent w przypadku awarii telefonu i poczty elektronicznej wyniósł 5 minut. Czas przywrócenia funkcjonalności sieci podczas typowych awarii to nie więcej niż minuta.
Ponieważ dysponujemy siecią klasy operatorskiej, można się z nią połączyć wyłącznie przy zachowaniu ścisłej zgodności z zasadami. Jednostki usługowe ustalają zasady i świadczą usługi. Nie potrzebują nawet informacji o połączeniach konkretnych serwerów, maszyn wirtualnych i stacji roboczych. Ale jednocześnie potrzebne są mechanizmy ochrony, ponieważ ani jedno połączenie nie powinno wyłączać sieci. Jeśli przypadkowo utworzy się pętla, inni użytkownicy nie powinni tego zauważyć, oznacza to, że konieczna jest odpowiednia reakcja sieci. Każdy operator telekomunikacyjny stale rozwiązuje podobne, pozornie złożone problemy w swojej sieci szkieletowej. Obsługuje wielu klientów o różnych potrzebach i ruchu. Jednocześnie różni abonenci nie powinni odczuwać niedogodności związanych z ruchem innych osób.
W domu rozwiązaliśmy ten problem w następujący sposób: zbudowaliśmy sieć szkieletową L3 z pełną redundancją, wykorzystując protokół IS-IS. Sieć nakładkowa została zbudowana na rdzeniu w oparciu o technologię /, używając protokołu routingu . Aby przyspieszyć konwergencję protokołów routingu, wykorzystano technologię BFD.
Struktura sieci
W testach schemat ten okazał się doskonały - po odłączeniu dowolnego kanału lub przełącznika czas zbieżności nie przekracza 0.1-0.2 s, minimalna utrata pakietów (często żadna), sesje TCP nie są zrywane, rozmowy telefoniczne nie są przerywane.
Warstwa podkładowa - Trasowanie
Warstwa nakładki - Routing
Jako przełączniki dystrybucyjne zastosowano przełączniki Huawei CE6870 z licencjami VXLAN. Urządzenie to charakteryzuje się optymalnym stosunkiem ceny do jakości, pozwalającym na łączenie abonentów z prędkością 10 Gbit/s, a do sieci szkieletowej z szybkością 40–100 Gbit/s, w zależności od zastosowanych transceiverów.
Przełączniki Huawei CE6870
Jako przełączniki rdzenia zastosowano przełączniki Huawei CE8850. Celem jest szybkie i niezawodne przesyłanie ruchu. Żadne urządzenia nie są do nich podłączone poza przełącznikami dystrybucji, nie wiedzą nic o VXLAN, więc wybrano model z 32 portami 40/100 Gbps, z licencją podstawową, która zapewnia routing L3 i obsługę IS-IS i MP-BGP protokoły.
Dolny to przełącznik rdzeniowy Huawei CE8850
Już na etapie projektowania w zespole wybuchła dyskusja na temat technologii, które można by zastosować do wdrożenia odpornego na uszkodzenia połączenia z węzłami sieci szkieletowej. Nasze moskiewskie biuro mieści się w trzech budynkach, posiadamy 7 pomieszczeń dystrybucyjnych, w każdym z nich zainstalowano dwa przełączniki dystrybucyjne Huawei CE6870 (w kilku dystrybucjach zainstalowano jedynie przełączniki dostępowe). Opracowując koncepcję sieci, wzięto pod uwagę dwie opcje redundancji:
- Konsolidacja przełączników dystrybucyjnych w odporny na awarie stos w każdym pomieszczeniu połączeń krzyżowych. Plusy: prostota i łatwość konfiguracji. Wady: istnieje większe prawdopodobieństwo awarii całego stosu, gdy wystąpią błędy w oprogramowaniu sprzętowym urządzeń sieciowych („wycieki pamięci” i tym podobne).
- Zastosuj technologie bram M-LAG i Anycast, aby podłączyć urządzenia do przełączników dystrybucyjnych.
Ostatecznie zdecydowaliśmy się na drugą opcję. Jest nieco trudniejszy w konfiguracji, ale pokazał w praktyce swoją wydajność i wysoką niezawodność.
Rozważmy najpierw podłączenie urządzeń końcowych do przełączników dystrybucyjnych:
Przechodzić
Przełącznik dostępowy, serwer lub inne urządzenie wymagające połączenia odpornego na błędy jest zawarte w dwóch przełącznikach dystrybucji. Technologia M-LAG zapewnia redundancję na poziomie łącza danych. Zakłada się, że dwa przełączniki dystrybucyjne jawią się podłączonemu sprzętowi jako jedno urządzenie. Redundancja i równoważenie obciążenia realizowane są przy użyciu protokołu LACP.
Technologia bramy Anycast zapewnia redundancję na poziomie sieci. Na każdym z przełączników dystrybucji skonfigurowana jest dość duża liczba VRF (każdy VRF jest przeznaczony do własnych celów - osobno dla „zwykłych” użytkowników, osobno dla telefonii, osobno dla różnych środowisk testowych i programistycznych itp.), a w każdym VRF ma skonfigurowanych kilka sieci VLAN. W naszej sieci przełączniki dystrybucyjne są bramami domyślnymi dla wszystkich podłączonych do nich urządzeń. Adresy IP odpowiadające interfejsom VLAN są takie same dla obu przełączników dystrybucji. Ruch kierowany jest przez najbliższy rozjazd.
Przyjrzyjmy się teraz podłączeniu przełączników dystrybucji do jądra:
Odporność na awarie jest zapewniona na poziomie sieci przy użyciu protokołu IS-IS. Należy pamiętać, że pomiędzy przełącznikami dostępna jest osobna linia komunikacyjna L3 o szybkości 100G. Fizycznie ta linia komunikacyjna to kabel Direct Access; widać to po prawej stronie na zdjęciu przełączników Huawei CE6870.
Alternatywą byłoby zorganizowanie „uczciwej” w pełni połączonej topologii podwójnej gwiazdy, ale jak wspomniano powyżej, mamy 7 połączonych sal w trzech budynkach. W związku z tym, gdybyśmy wybrali topologię „podwójnej gwiazdy”, potrzebowalibyśmy dokładnie dwa razy więcej transceiverów 40G „dalekiego zasięgu”. Oszczędności są tutaj bardzo znaczące.
Należy powiedzieć kilka słów o współpracy technologii bramek VXLAN i Anycast. VXLAN, nie wchodząc w szczegóły, to tunel służący do transportu ramek Ethernet wewnątrz pakietów UDP. Interfejsy pętli zwrotnej przełączników dystrybucyjnych są używane jako docelowy adres IP tunelu VXLAN. Każda zwrotnica ma dwa przełączniki z tymi samymi adresami interfejsu pętli zwrotnej, więc pakiet może dotrzeć do dowolnego z nich i można z niego wyodrębnić ramkę Ethernet.
Jeżeli przełącznik zna docelowy adres MAC odebranej ramki, ramka zostanie poprawnie dostarczona do miejsca przeznaczenia. Aby oba przełączniki dystrybucyjne zainstalowane w tej samej sieci miały aktualne informacje o wszystkich adresach MAC „przychodzących” ze przełączników dostępowych, mechanizm M-LAG odpowiada za synchronizację tablic adresów MAC (a także ARP tabele) na obu parach przełączników M-LAG.
Równoważenie ruchu osiąga się dzięki obecności w sieci podkładowej kilku tras do interfejsów pętli zwrotnej przełączników dystrybucyjnych.
Zamiast zawierania
Jak wspomniano powyżej, podczas testów i eksploatacji sieć wykazała się dużą niezawodnością (czas naprawy typowych awarii nie przekracza setek milisekund) i dobrą wydajnością - każde połączenie skrośne jest połączone z rdzeniem dwoma kanałami 40 Gbit/s. Przełączniki dostępowe w naszej sieci są układane w stosy i podłączane do przełączników dystrybucyjnych za pośrednictwem LACP/M-LAG z dwoma kanałami 10 Gbit/s. Stos zwykle zawiera 5 przełączników po 48 portów każdy, a do dystrybucji w każdym połączeniu krzyżowym podłączonych jest do 10 stosów dostępowych. Zatem szkielet zapewnia około 30 Mbit/s na użytkownika nawet przy maksymalnym teoretycznym obciążeniu, które w chwili pisania tego tekstu jest wystarczające dla wszystkich naszych praktycznych zastosowań.
Sieć umożliwia bezproblemową organizację parowania dowolnych podłączonych urządzeń zarówno poprzez L2, jak i L3, zapewniając pełną izolację ruchu (co lubi usługa bezpieczeństwa informacji) i domen błędów (co lubi zespół operacyjny).
W kolejnej części opowiemy jak przeprowadziliśmy migrację do nowej sieci. Czekać na dalsze informacje!
Maksym Kloczkow
Starszy konsultant grupy ds. audytu sieci i projektów złożonych
Centrum rozwiązań sieciowych
„Systemy informacyjne odrzutowca”
Źródło: www.habr.com