3. Projekt sieci przedsiębiorstwa na przełącznikach Extreme

Dzień dobry, przyjaciele! Dzisiaj kontynuuję cykl poświęcony przełącznikom Extreme artykułowi na temat projektowania sieci Enterprise.

W artykule postaram się możliwie zwięźle:

• opisać modułowe podejście do projektowania sieci Enterprise
• rozważyć rodzaje budowy jednego z najważniejszych modułów sieci przedsiębiorstwa — sieci rdzennej (ip-campus)
• opisać zalety i wady opcji rezerwacji krytycznych węzłów sieci
• na abstrakcyjnym przykładzie zaprojektować/aktualizować małą sieć Enterprise
• wybrać przełączniki Extreme do realizacji zaprojektowanej sieci
• pracować z włóknami i adresacją IP

Ten artykuł będzie interesujący głównie dla inżynierów sieciowych i administratorów sieci przedsiębiorstw, którzy dopiero zaczynają swoją drogę jako 'sieciowcy', bardziej niż dla doświadczonych inżynierów, którzy pracowali przez wiele lat w operatorach telekomunikacyjnych lub w dużych korporacjach z geograficznie rozproszonymi sieciami.

W każdym razie, wszystkich zainteresowanych zapraszam pod kat.

Modułowe podejście do projektowania sieci

Swoją artykuł zacznę od dość popularnego modułowego podejścia przy projektowaniu sieci, które pozwala na złożenie układanki z kawałków sieci w jedną całość.

Najpierw trochę abstrakcji — bardzo często wyobrażam sobie to podejście jako zoom na mapach geograficznych, gdzie w pierwszym przybliżeniu widać kraj, w drugim regiony, w trzecim miasta itd.

Na przykład rozważmy taki przykład:

• 1. przybliżenie — cała sieć przedsiębiorstwa przedstawia zbór różnych poziomów:
  • sieć rdzenna lub campus
  • poziom brzegowy
  • poziom operatorów telekomunikacyjnych
  • strefy zdalne

• 2. przybliżenie — każdy z tych poziomów szczegółowo omawiany jest na osobne moduły
  • sieć rdzenna lub campus składa się z:
    • 3- lub 2-poziomowego modułu, opisującego sieć przedsiębiorstwa oraz jej poziomy — dostęp, dystrybucję i/lub jądro
    • modułu opisującego centrum danych (w zasadzie serwerową część infrastruktury)

  • poziom brzegowy składa się w zamian z:
    • modułu podłączenia do internetu
    • modułu WAN i MAN, który odpowiada za połączenie geograficznie rozproszonych obiektów przedsiębiorstwa
    • modułu do budowy tuneli VPN i dostępu zdalnego
    • często w wielu małych przedsiębiorstwach kilka z tych modułów, a nawet wszystkie, okazują się połączone w jednym

  • poziom dostawców:
    • Na ten poziom składają się połączenia z "zewnym światem" — ciemne światłowody (wynajem włókien od operatorów), kanały komunikacyjne (Ethernet, G.703 itd.), dostęp do Internetu.

  • poziom zdalny:
    • głównie są to oddziały firmy, które są rozlokowane w obrębie miasta, regionu, kraju lub nawet kontynentów.
    • do tej strefy może również należeć zapasowe centrum danych, które duplikuje pracę głównego
    • i oczywiście rosnąca ostatnio popularność telepracowników (zdalne miejsca pracy)

• 3. przybliżenie — każdy z modułów dzieli się na mniejsze moduły lub poziomy. Na przykład w sieci kampusowej:
  • 3-poziomowa sieć dzieli się na:
    • poziom dostępu
    • poziom dystrybucji
    • poziom rdzenia

  • W trudniejszych przypadkach centrum danych może dzielić się na:
    • 2- lub 3-poziomową część sieci
    • część serwerową

  Wszystko co powyżej postaram się zobrazować w następującym uproszczonym rysunku:

  
  
  Jak widać na powyższym rysunku — podejście modułowe pomaga szczegółowo i strukturalnie przedstawić ogólny obraz na składniki, z którymi następnie można pracować.

  W ramach tego artykułu skupię się na poziomie Campus Enterprise i opiszę go w szczegółach.

  Rodzaje sieci IP-CAMPUS

  W czasie pracy u dostawcy, a zwłaszcza później — w pracy integratora, spotykałem się z różną "dojrzałością" sieci klientów. Nie bez powodu używam terminu dojrzałość, ponieważ dość często zdarzają się przypadki, kiedy struktura sieci rośnie wraz ze wzrostem samej firmy, co jest w zasadzie naturalne.

  W małej firmie, mieszczącej się w obrębie jednego budynku, sieć przedsiębiorstwa może składać się jedynie z 1 brzegowego routera, pełniącego rolę zapory sieciowej, kilku przełączników dostępowych oraz dwóch lub trzech serwerów.

  Tę sieć nazywam "jednopoziomową" siecią — całkowicie brakuje w niej wyraźnego poziomu rdzenia sieci, poziom dystrybucji zostały przesunięty na brzegowy router (z funkcjami zapory, VPN i być może proxy), a przełączniki dostępu obsługują zarówno komputery pracowników, jak i serwery.

  
  
  W przypadku wzrostu przedsiębiorstwa — zwiększenia liczby pracowników, usług i serwerów, często trzeba:

  • zwiększać liczbę przełączników w sieci i portów dostępowych
  • zwiększać moc serwerów
  • walka z domenami rozgłoszeniowymi — wdrażanie segmentacji sieci i routingu między segmentami
  • walka z awariami w pracy sieci, które powodują przestoje u pracowników, ponieważ prowadzi to do dodatkowych wydatków finansowych dla kadry kierowniczej (pracownik ma przestój, wynagrodzenie jest wypłacane, a praca nie jest wykonywana)
  • w procesie walki z awariami, warto rozważyć rezerwację krytycznych węzłów sieci — routerów, switchów, serwerów i usług
  • zaostrzenie polityki bezpieczeństwa, ponieważ mogą wystąpić ryzyka komercyjne, a ponadto — dla bardziej stabilnej pracy sieci

  Wszystko to prowadzi do tego, że inżynier (administrator sieci) prędzej czy później zastanawia się nad prawidłowym zbudowaniem sieci i dochodzi do 2-poziomowego modelu.

  Ten model wyraźnie wyróżnia dwa poziomy — poziom dostępu i poziom dystrybucji, który jednocześnie jest poziomem rdzenia (collapsed-core).

  Połączony poziom dystrybucji i rdzenia pełni następujące funkcje:

  • agreguje linki z przełączników dostępowych
  • wprowadza routingu segmentów sieci — użytkowników i urządzeń jest tak wiele, że nie mieszczą się w jednej sieci /24, a jeśli się mieszczą, to burze rozgłoszeniowe powodują ciągłe awarie (szczególnie, gdy użytkownicy tworzą pętle)
  • zapewnia łączność między sąsiednimi segmentami switchy (za pośrednictwem szybszych łączy)
  • zapewnia łączność między użytkownikami a ich urządzeniami oraz farmą serwerów, która również zaczyna się wyróżniać jako osobny segment sieci — centrum danych.
  • zaczyna wspólnie z przełącznikami dostępowymi w tym czy innym zakresie wdrażać politykę bezpieczeństwa, która zaczyna pojawiać się w firmie w tym czasie. Firma rośnie, a ryzyko komercyjne również rośnie (mam tu na myśli nie tylko przepisy dotyczące tajemnicy handlowej, ograniczanie polityk dostępu itd., ale także podstawowe przestoje sieciowe i pracowników).

  Tak więc sieć prędzej czy później ewoluuje do 2-poziomowego modelu:

  
  
  W tym modelu pojawiają się szczególne wymagania zarówno dla switchy warstwy dostępu, które agregują łącza od użytkowników i urządzeń sieciowych (drukarki, punkty dostępu, urządzenia VoIP, telefony IP, kamery IP itp.), jak i dla switchy warstwy dystrybucji i rdzenia.

  Switche dostępu muszą być bardziej inteligentne i funkcjonalne, aby spełniać wymagania dotyczące wydajności, bezpieczeństwa i elastyczności sieci oraz powinny:

  • posiadać różne rodzaje portów dostępowych i portów magistralnych — najlepiej z możliwością zwiększenia zarówno przepustowości, jak i liczby portów.
  • posiadać odpowiednią zdolność switchingową i przepustowość.
  • posiadać niezbędne funkcje zabezpieczeń, które spełniają bieżące polityki bezpieczeństwa (a idealnie również przyszłe wymagania).
  • mieć możliwość zasilania trudno dostępnych urządzeń sieciowych z możliwością zdalnego restartu (PoE, PoE+).
  • mieć możliwość rezerwacji własnego zasilania, aby wykorzystać je w miejscach, gdzie jest to konieczne.
  • mieć (gdzie to możliwe) dalszy potencjał rozwoju funkcjonalności — częsty przykład to switch dostępu, który z czasem przekształca się w switch dystrybucji.

  Do switchy dystrybucji również stawiane są odpowiednie wymagania:

  • zarówno w zakresie portów magistralnych w kierunku switchy dostępu, jak i w kierunku interfejsów peer sąsiednich switchy dystrybucji (a w przyszłości także ewentualnych interfejsów uplink w kierunku rdzenia).
  • w zakresie funkcjonalności L2 i L3.
  • w zakresie funkcjonalności zabezpieczeń.
  • w zakresie zapewnienia odporności na awarie (rezerwacja, klasteryzacja i rezerwacja zasilania).
  • w zakresie zapewnienia elastyczności w balansowaniu ruchu.
  • mieć (gdzie to możliwe) dalszy potencjał rozwoju funkcjonalności (przemiana urządzenia agregacyjnego w rdzeń w czasie).
  • w niektórych przypadkach w switchach dystrybucji może być zasadne użycie portów PoE, PoE+.

  Kolejne kroki: w przypadku realizacji polityki aktywnego wzrostu i rozwoju przedsiębiorstwa, sieć będzie również dalej ewoluować — firma może zacząć wynajmować sąsiednie budynki, budować własne obiekty lub przejmować mniejszych konkurentów, zwiększając tym samym liczbę miejsc pracy dla pracowników. Równocześnie zachodzi również wzrost sieci, który wymaga:

  • zapewnienia pracownikom miejsc pracy — potrzebne są nowe przełączniki dostępu z portami dostępu
  • nowych przełączników rozdzielających do agregacji połączeń z przełączników dostępu
  • budowy nowych oraz modernizacji istniejących linii komunikacyjnych

  W konsekwencji rośnie ruch z następujących powodów:

  • ze względu na zwiększenie portów dostępu i odpowiednio użytkowników sieci
  • z powodu wzrostu ruchu z pokrewnych podsystemów, które wybierają sieć przedsiębiorstwa jako środek transportu — telefonia, bezpieczeństwo, systemy inżynieryjne itd.
  • w związku z wprowadzeniem dodatkowych usług — wraz ze wzrostem liczby pracowników pojawiają się nowe działy, które potrzebują określonego oprogramowania
  • zwiększają się moce obliczeniowe centrum danych, aby zaspokoić wymagania infrastruktury i aplikacji
  • rosną wymagania dotyczące bezpieczeństwa sieci i informacji — znana triada CIA (żart), a mówiąc poważnie, CIA — Poufność, Integralność i Dostępność:
    • w związku z tym, w przypadku krytycznych poziomów sieci — rozdzielających i centrum danych pojawiają się dodatkowe wymagania dotyczące odporności i rezerwacji
    • ponownie wzrasta ruch w związku z wprowadzaniem nowych systemów bezpieczeństwa — na przykład RKW i tym podobne.

  Prędzej czy później wzrost ruchu, usług i liczby użytkowników doprowadzi do konieczności wprowadzenia dodatkowego poziomu sieci — jądra, które będzie realizować szybką przełączanie/routing pakietów z wykorzystaniem wysokowydajnych połączeń.

  W tym momencie przedsiębiorstwo może przejść do modelu sieci o trzech poziomach:

  
  
  Jak widać na powyższym rysunku — w takiej sieci znajduje się poziom jądra, który agreguje szybkie połączenia z przełączników rozdzielających. W związku z tym na przełączniki jądra stawiane są również wymagania dotyczące:

  • przepustowości interfejsów — 1GE, 2.5GE, 10GE, 40GE, 100GE
  • wydajność przełącznika (pojemność przełączania i wydajność przesyłania)
  • typy interfejsów — 1000BASE-T, SFP, SFP+, QSFP, QSFP+
  • liczba i zestaw interfejsów
  • możliwości redundancji (stackowanie, klastrowanie, redundancja płyt kontrolnych (aktualne dla przełączników modułowych), redundancja zasilania itd.)
  • funkcjonalność

  Na tym poziomie sieci zdecydowanie potrzebna jest zarówno jej techniczna modyfikacja:

  • redundancja węzłów i łączy rdzenia (bardzo, bardzo, bardzo pożądana)
  • redundancja węzłów i łączy na poziomie dystrybucji (w zależności od krytyczności)
  • redundancja łączy pomiędzy przełącznikami dostępu a poziomem dystrybucji (w razie potrzeby)
  • wprowadzenie protokołów dynamicznego routingu
  • równoważenie ruchu zarówno w rdzeniu, jak i na poziomach dystrybucji i dostępu (w razie potrzeby)
  • wdrożenie dodatkowych usług — zarówno transportowych, jak i bezpieczeństwa (w razie potrzeby)

  jak i prawnych, określających politykę bezpieczeństwa sieci przedsiębiorstwa, która uzupełnia ogólną politykę bezpieczeństwa w zakresie:

  • wymagań dotyczących wdrożenia i konfiguracji różnych funkcji bezpieczeństwa na przełącznikach dostępu i dystrybucji
  • wymagań dotyczących dostępu, monitorowania i zarządzania sprzętem sieciowym (protokół zdalnego dostępu, dozwolone segmenty sieci do zarządzania, ustawienia logowania itd.)
  • wymagań dotyczących redundancji
  • wymagań dotyczących formowania minimalnego niezbędnego zestawu ZI

  W tej sekcji krótko opisałem ewolucję sieci i przedsiębiorstwa od kilku przełączników i paru dziesiątek pracowników do kilku dziesiątek (a może setek) przełączników oraz kilku setek (a nawet tysięcy) tylko tych pracowników, którzy bezpośrednio pracują w sieci przedsiębiorstwa (a przecież są też działy produkcyjne i sieci inżynieryjne).
  Jasne jest, że w rzeczywistości takie 'cudowne' i szybkie rozwój przedsiębiorstwa nie ma miejsca.
  Zwykle mija wiele lat, aby przedsiębiorstwo i sieć rozwinęły się od swojego początkowego 1 poziomu do 3. opisanego przeze mnie.

  Dlaczego piszę te wszystkie truizmy? Ponieważ chcę wspomnieć o takim terminie jak ROI — return-on-investment (zwrot/okupowanie inwestycji) i rozważyć tę jego stronę, która dotyczy bezpośrednio wyboru sprzętu sieciowego.

  Przy wyborze sprzętu inżynierowie sieciowi i ich kierownicy często podejmują decyzje w oparciu o dwa czynniki — aktualną cenę sprzętu oraz minimalne funkcjonalności techniczne, które są potrzebne w danym momencie do rozwiązania konkretnego zadania lub zadań (o zakupie sprzętu do rezerwacji opowiem później).

  Rzadko jednak brane są pod uwagę możliwości dalszego „rozwoju” sprzętu. W sytuacji, gdy sprzęt wyczerpuje swoje możliwości funkcjonalne lub wydajnościowe, zwykle kupuje się bardziej wydajne i funkcjonalne urządzenie, a stare trafia na magazyn lub gdzieś do sieci na zasadzie „żeby stało” (to zresztą również jest przyczyną powstawania rozmaitych zbiorów sprzętu i zakupów wielu systemów informacyjnych, które z nim współpracują).

  W ten sposób, zamiast zakupu części licencji na dodatkowe funkcjonalności i wydajność, które są znacznie tańsze niż nowy, bardziej wydajny sprzęt, trzeba kupić nowe urządzenie i przepłacić z następujących powodów:

  • sieć często rośnie powoli, a rozszerzenie funkcjonalności lub wydajności switcha w Twojej sieci może wystarczyć na jeszcze długi czas.
  • Nie jest tajemnicą, że urządzenia zagranicznych dostawców są powiązane z walutą obcą (dolarem lub euro). Mówiąc szczerze — wzrost dolara lub euro (lub okresowa minisukaracja rubla, jak kto woli) prowadzi do tego, że dolar sprzed 10 lat a dolar teraz to zupełnie różne rzeczy z perspektywy rubla.

  Podsumowując wszystko, co zostało powiedziane, chciałbym zauważyć, że zakup sprzętu sieciowego z szerszą funkcjonalnością teraz może prowadzić do oszczędności w przyszłości.
  Tutaj koszty zakupu sprzętu rozpatruję w kontekście inwestycji w własną sieć i infrastrukturę.

  W ten sposób wielu dostawców (nie tylko Extreme) stosuje zasadę pay-as-you-grow, zapewniając urządzenia z wieloma funkcjonalnościami i możliwościami zwiększenia wydajności interfejsów, które są aktywowane przez zakup poszczególnych licencji. Oferują również modułowe switchy z szerokim zakresem kart interfejsowych i procesorowych oraz możliwością stopniowego zwiększania zarówno ich liczby, jak i wydajności.

  Rezerwacja krytycznych węzłów

  W tej części artykułu chciałbym krótko omówić podstawowe zasady rezerwacji tak ważnych węzłów sieci, jak przełączniki rdzeniowe, centra danych czy dystrybucji. Zaczynając, chciałbym rozpatrzyć ogólne rodzaje rezerwacji — stakowanie i klastrowanie.

  Każda z metod ma swoje plusy i minusy, o których chciałbym porozmawiać.

  Poniżej znajduje się ogólna tabela porównawcza dwóch metod:

  
  

  • zarządzanie — jak widać w tabeli, w tym przypadku przewagę ma stakowanie, ponieważ z punktu widzenia zarządzania, stak kilku przełączników przedstawia się jako jeden przełącznik z większą liczbą portów. Zamiast zarządzać na przykład 8 różnymi przełącznikami w przypadku klastrowania, możesz zarządzać tylko jednym przy stakowaniu.
  • odległość — obecnie, mówiąc ściśle, przewaga klastrowania nie jest tak oczywista, gdyż pojawiły się technologie stakowania przełączników przez porty stakujące lub porty wielofunkcyjne (na przykład SummitStack-V od Extreme, VSS — od Cisco itd.), które również zależą od typów transceiverów. Tutaj przewaga jest przyznawana klastrowaniu w zasadzie, że w przypadku stakowania występują opcje, które wymagają użycia standardowych portów stakujących, które często łączą się specjalnymi przewodami o ograniczonej długości — 0,5, 1, 1,5, 3 lub 5 metrów.
  • aktualizacja oprogramowania — tutaj widzimy, że klastrowanie ma przewagę nad stakowaniem, ponieważ podczas aktualizacji wersji oprogramowania urządzeń w przypadku stakowania, aktualizujesz oprogramowanie na master-przełączniku, który następnie przejmuje rolę instalacji nowego oprogramowania na przełącznikach standby-member stakowania. Z jednej strony to ułatwia pracę, ale aktualizacja oprogramowania często wymaga sprzętowego ponownego uruchomienia urządzenia, co prowadzi do ponownego uruchomienia całego staku i tym samym do przerwy w jego działaniu oraz wszystkich powiązanych z nim usług przez czas = czas ponownego uruchomienia. Zwykle to bardzo krytyczne dla rdzenia i centrum danych. W przypadku klastrowania masz dwa niezależne od siebie urządzenia, na których możesz aktualizować oprogramowanie jeden po drugim. W ten sposób można uniknąć przerw w usługach.
  • konfiguracja ustawień — tutaj zdecydowanie korzystacie ze stackowania, ponieważ w przypadku zarządzania musisz zmieniać ustawienia tylko dla jednego urządzenia i jego pliku konfiguracyjnego. W przypadku klastrowania liczba plików konfiguracyjnych odpowiada liczbie węzłów klastra.
  • odporność na awarie — w tym przypadku obie technologie są mniej więcej równe, ale klastrowanie ma jednak pewną przewagę. Powód tkwi w następującym: jeśli spojrzymy na stos z perspektywy uruchomionych procesów i protokołów, to zobaczymy następujące elementy:
    • jest master-switch, na którym uruchomione są wszystkie główne procesy i protokoły (na przykład protokół dynamicznego routingu — OSPF)
    • są pozostałe switch'e slave, na których uruchomione są podstawowe procesy niezbędne do działania w stacku i obsługi ruchu przechodzącego przez nie
    • w przypadku awarii master-switch'a, następny w kolejności switch slave wykrywa awarię mastera
    • inicjuje się jako master i uruchamia wszystkie procesy, które działały na masterze (w tym również obserwowany przez nas protokół OSPF)
    • po pewnym czasie uruchamiania procesów (zwykle dość krótkim), protokół OSPF zaczyna działać
    • tak więc OSPF w przypadku awarii jednego z węzłów w klastrowaniu zadziała nieco szybciej niż w przypadku stackowania (na czas potrzebny do uruchomienia i inicjalizacji procesów oraz protokołów na switch'u slave stacku). Chociaż muszę zauważyć, że nowoczesne protokoły stackowania i switch'e działają bardzo szybko, często czas przerwy w ruchu podczas przełączania stacku trwa krócej niż jedną sekundę, ale nominalnie klastrowanie wygrywa w tym w zakresie.

  • skomplikowanie — jak widać z tabeli, w zakresie skomplikowania wygrywa stackowanie. To jest bezpośredni wynik punktów „zarządzania” i „konfiguracji ustawień”. Pojedynczy węzeł zajmuje znacznie mniej czasu na konfigurację i zarządzanie. Ponadto przy klastrowaniu często trzeba konfigurować dodatkowe protokoły routingu lub protokoły rezerwacji bramy — VRRP, HSRP i inne.
  • wymiana węzłów — tutaj z pewnością przewagę ma stosowanie stacków. Bardzo często, aby wymienić przełącznik w stacku, konieczne jest przeprowadzenie minimalnych konfiguracji sprzętowych, na przykład:
    • zaktualizować oprogramowanie nowego przełącznika do wersji oprogramowania stacka (a to można zrobić już po przyjęciu przełączników do ZIIP)
    • skonfigurować kilka podstawowych komend dla stackowania (a w przypadku niektórych rodzajów przełączników może to być nawet niepotrzebne)
    • wyjąć uszkodzony przełącznik z stacka i podłączyć nowy
    • podłączyć zasilanie i kable patchowe

  • elastyczność — uważam, że jest to jeden z podstawowych parametrów. Generalnie elastyczność to złożona cecha, która oznacza zdolność czegoś do zmiany pod wpływem obciążenia i powracania do pierwotnego stanu po jego zniknięciu. Jak się okazuje, w przypadku klasteryzacji, będzie ona wyższa, nawet biorąc pod uwagę stosunek 4:3 na korzyść stackowania. Wszystko sprowadza się do czynnika ludzkiego. Tak, tak, nie dziwcie się — w sile takich parametrów stackowania, jak jednolite zarządzanie, konfiguracja ustawień i uproszczona złożoność, kryje się słabość stackowania, kiedy do akcji wkracza ludzki czynnik.

  W swojej pracy w dziedzinie IT wielokrotnie spotykałem sytuacje (a co tu ukrywać, sam także na nie natrafiłem, zwłaszcza na początku), kiedy przy konfiguracji stacka inżynier popełniał błędy w wprowadzaniu poszczególnych komend lub włączaniu/wyłączaniu określonych funkcji na sprzęcie, co prowadziło do awarii całego stacka i konieczności ręcznego restartu. Osobno warto wspomnieć o miłośnikach aplikacji Putty dla systemu Windows (ach, to kopiowanie prawym przyciskiem myszy).

  W rzeczywistości obie technologie są dość dobre (zwłaszcza w porównaniu do braku rezerwacji) i każda ma swoje mocne i słabe strony, ale na poziomie rdzenia oraz w wysokoobciążonym centrum danych wolałbym jednak używać klasteryzacji.

  Chociaż to tylko moje zdanie. Wielu profesjonalnych inżynierów, którzy od wielu lat na profesjonalnym poziomie zajmują się wsparciem sieci, może równie dobrze korzystać z obu technologii — wszystko zależy od doświadczenia i kwalifikacji.

  Oprócz technologii stackowania i rezerwacji węzłów sieci, istnieją także ogólne zasady rezerwacji części samego węzła sieci oraz połączeń między węzłami:

  Przez rezerwację wewnątrz węzła sieci rozumiem:

  • rezerwacja zasilaczy — zainstalowanie dwóch zasilaczy, które się wzajemnie duplikują (a jeszcze lepiej, gdy są podłączone do pierwszej kategorii zasilania) może znacznie ułatwić życie.
  • rezerwacja kart kontrolnych — w większym stopniu odnosi się do modułowych przełączników, które mają możliwość podłączenia kilku wzajemnie się duplikujących kart kontrolnych.
  • rezerwacja kart interfejsowych — również w większej mierze dotyczy modułowych przełączników.

  Przez rezerwację połączeń/linii rozumiem przede wszystkim istnienie wzajemnie się duplikujących tras kablowych (lub łączy radiowych w przypadku przestrzeni otwartych) z:

  • rozmieszczeniem w różnych komorach kablowych i kanałach wewnątrz budynku
  • geograficznym rozmieszczeniem na poziomie dwóch lub więcej budynków, miasta, regionu czy kraju (tzw. objętościowe pierścienie)

  Przy tym, przy budowie rezerwowych linii komunikacyjnych należy przestrzegać szeregu rekomendacji dotyczących sprzętu:

  • w przypadku duplikacji kart interfejsowych modułowego przełącznika, lub w przypadku istnienia stacku, należy rozdzielać połączenia między jednostkami — kartami interfejsowymi w przypadku modułowych przełączników oraz przełącznikami w przypadku stacku.
  • zaleca się stosowanie protokołów agregacji połączeń (LACP, MLT, PAgP itp.) do łączenia połączeń w grupy i rozkładania obciążenia między nimi.
  • należy używać routerów wspierających protokoły ECMP (Equal-Cost-Multi-Path) — gdy podczas dostarczania kilku pakietów jedną trasą pakiety nie idą przez jedną najlepszą ścieżkę (i interfejs), ale są rozdzielane między kilka najlepszych ścieżek (i kilka interfejsów), które są określane na podstawie równych metryk protokołu routingu, który z kolei odpowiada za wypełnienie końcowej tabeli routingu.

  A teraz, jak obiecałem, opiszę rzeczywisty przypadek z mojej praktyki i zasady oszczędności przy rezerwacji krytycznych węzłów, które miały miejsce kilka lat temu:

  • w pewnej firmie, nazwę ją X, istniał standardowy model sieci o 3 poziomach:
    • z kilkoma rdzeniami
    • kilkudziesięciu agregacjach
    • kilka tysięcy przełączników dostępu
    • kilkadziesiąt tysięcy użytkowników

  • sieć była dość skomplikowana do zbudowania:
    • z mnóstwem dynamicznych protokołów routingu i protokołów — OSPF, MP-BGP, MPLS, PIM, IGMP, IPv6 itd.
    • z wieloma usługami — dostępem do internetu, L2 i L3 VPN, VoIP, IPTV, liniami dzierżawionymi itd.

  • ale było jedno wąskie miejsce w sieci — router brzegowy, który łączył w sobie funkcje BGP- bordera i terminował niektóre usługi dla użytkowników
  • tak, kosztował jak skrzydło samolotu (kilka milionów rubli)
  • tak, w tamtym czasie był jednym z najlepszych urządzeń w ofercie najbardziej renomowanego dostawcy sprzętu sieciowego
  • tak, musiał być bardzo niezawodny — z doskonałym wskaźnikiem MTBF
  • tak, miał 4 zasilacze skonfigurowane w układzie 2x2 i podłączone do różnych UPS i zasilania.

  Ale to wszystko nie zmieniało faktu, że był jedyną punktem awarii w sieci.

  I w pewnym, bynajmniej nie wspaniałym dniu dla mnie i moich kolegów, ten router powiedział do widzenia (później odkryliśmy, że nastąpiła jakaś awaria w linii zasilającej przez UPS, co doprowadziło do jednoczesnego awaryjnego wyłączenia 2 zasilaczy, a jedno z nich spaliło moduł RP routera oraz kartę interfejsową, które były podłączone do wspólnej magistrali danych urządzenia).

  Nie mieliśmy zapasowych płyt — RP i karty interfejsowej, ale mieliśmy umowę na wymianę sprzętu lub jego komponentów z jednym z partnerów w modelu NBD.

  Niestety, wówczas u partnerów na magazynie była tylko karta interfejsowa, a płyty RP nie było; ta dotarła dopiero po kilku dniach (po 3 dniach).

  W rezultacie, obecność jednego punktu awarii w sieci (nawet przy istniejącej umowie wsparcia i wymiany sprzętu) prowadziło do następujących kosztów finansowych:

  • udział usług firmy związany lub powiązany z tym routerem wynosił około 60-70%
  • jak później obliczono, dzienne zyski wynosiły około 900 tys. rubli (mniej więcej) w tamtym czasie
  • w ten sposób przez 3 dni przestoju teoretycznie stracono dochód w wysokości od 1 mln 620 tys. rubli do 1 mln 890 tys. rubli

  Oczywiście straty netto były mniejsze, ponieważ rekompensaty dla większości użytkowników były zwracane nie w formie pieniędzy, lecz usług, ale i tak były:

  • część rekompensat dla klientów korporacyjnych
  • zwiększone wydatki na pracowników przedsiębiorstwa, którzy pracowali przez te 3-4 dni w pełnym składzie — nadgodziny, nocne dyżury, zwiększenie zmian itp.
  • straty reputacyjne, co również jest istotne
  • i co najważniejsze — nerwy, zarówno kierownictwa, jak i pracowników oraz klientów

  W efekcie polityka firmy została zrewidowana:

  • zrezygnowano z kontraktu wymiany na warunku NBD
  • pozostawiono zwykły kontrakt serwisowy
  • zakupiono duplikujący router o wartości około 1 — 1,3 mln rubli w celu zarezerwowania 90% funkcjonalności głównego

  W przyszłości zakup dodatkowego sprzętu i rezerwowanie głównego umożliwiło zrównoważenie obciążenia między nimi w zakresie zewnętrznych linków, ruchu i użytkowników oraz zapewniło w kolejnych awariach zapas wytrzymałości dla firmy.

  Przykład projektowania sieci Enterprise

  W tej części artykułu postaram się przedstawić główne punkty przy obliczaniu sieci podstawowej przedsiębiorstwa. Nie zamierzam obciążać was całą metodologią PPDIOO (Prepare-Planning-Design-Implement-Operate-Optimize), a jedynie zaznaczę jej główne punkty:

  • Prepare/Pokonywanie — należy ustalić z kierownictwem cele modernizacji sieci, które chce się osiągnąć — zwiększenie odporności na awarie, wdrożenie nowych usług lub technologii. Pomijam tutaj określenie ograniczeń — technicznych i organizacyjnych, zakładając, że jesteś pracownikiem organizacji i masz dużą ilość czasu na ich pokonanie. Do tematu budżetu wrócę później.
  • Planning/Planowanie — tutaj należy sporządzić pełny opis swojej aktualnej sieci (jeśli jeszcze tego nie znasz), tzn. opisać sieć taką, jaka jest teraz:
    • liczba i typ sprzętu
    • liczba i typy portów
    • istniejące trasy kablowe i schematy łączenia wewnątrz budynków i między nimi
    • schematy zasilania
    • adresowanie L2 i L3
    • stworzyć mapy sieci Wi-Fi z oznaczeniem punktów dostępowych i kontrolerów
    • opisać swoją farmę serwerową
    • zaleca się opisanie wszystkich swoich usług i połączeń między nimi
    • jeżeli masz już wdrożoną w ten czy inny sposób politykę bezpieczeństwa sieci i podziału dostępu do sieci, koniecznie uwzględnij ją przy projektowaniu
    • Od razu zauważam, że drugi krok właściwie polega na pełnej inwentaryzacji sieci, zaczynając od infrastruktury kablowej i schematów zasilania, a kończąc na serwisach (aplikacjach i ich portach). Ten krok jest niezwykle czasochłonny i czasami nawet nużący. Jeśli ty lub twój poprzednik nie prowadzili dokumentacji ani nawet podstawowego systemu monitorowania, to nadszedł czas, aby o tym pomyśleć. Sieć ma tendencję do zmiany w czasie w różnym tempie, a jedynie prowadzenie aktualnej dokumentacji lub systemu monitorowania może pomóc ci śledzić jej stan i ułatwić zarządzanie nią. Ale to już dotyczy kroku operate.

  • Projektowanie — uzbrojony w pełną wiedzę o swojej sieci, zdobytą w poprzednim kroku, w końcu siadasz i myślisz, jak zmodernizować swoją sieć. Poniżej spróbuję pokazać mały przykład obliczeń sieciowych.

  Dla siebie stworzyłem małą listę z danymi wejściowymi, którymi będę się kierował przy obliczeniach i projektowaniu sieci szkieletowej.

  Wyobraźmy sobie krok Prepare w postaci listy tego, co mamy w posiadaniu i co planujemy zrobić:

  • jest dość duże przedsiębiorstwo z przybliżoną liczbą miejsc pracy, wynoszącą około 700-800 sztuk (chodzi mi tutaj o tych pracowników, którzy potrzebują dostępu do sieci przedsiębiorstwa)
  • istnieje kilka oddzielnych budynków na terenie przedsiębiorstwa:
  • Główne budynki:
    • liczba budynków — 2 sztuki
    • liczba pięter w budynku — 7 sztuk
    • liczba szaf telekomunikacyjnych na piętrze w jednym budynku — 3 (łącznie 21) sztuk
    • liczba pracowników w budynku =~ 250 osób

  • Dodatkowe budynki:
    • liczba budynków — 10 sztuk
    • liczba pięter w budynku/warsztacie — 2 sztuki
    • liczba szaf telekomunikacyjnych w budynku — 3 sztuki
    • liczba pracowników w budynku =~ 20 osób

  • Bieżący poziom rdzenia sieci (zresztą bardzo popularny układ, który spotykałem nie raz w tej czy innej formie i układzie portów) przedstawia się następująco:
    • 2 przełącznikami L2:
      • Porty 1Gb typu RJ-45 — 24 sztuki
      • Porty 1Gb SFP — 4 sztuki
    • 1 przełącznikiem L2:
      • Porty 1Gb SFP — 24 sztuki
    • topologia rdzenia — pierścień
    • połączenia peer-to-peer między przełącznikami są zrealizowane przy użyciu włókien optycznych
    • przełączniki znajdują się w małych pomieszczeniach serwerowych z szafami
  • Bieżący poziom dystrybucji:
    • zintegrowany z poziomem jądra sieci w zakresie agregacji łączy z przełączników dostępu
    • adresacja L3 jest przeniesiona na router brzegowy i/lub firewall
  • Aktualny poziom dostępu:
    • przełączniki L2 z 16 portami dostępu RJ-45 100 Mb oraz 2 gigabitowymi portami uplink combo RJ-45/SFP
    • przełączniki są umieszczone w szafach na piętrach
    • topologia przełączników dostępu:
      • gwiazda (hub-and-spoke — węzeł i promienie) z przełącznikiem jądra/rozproszonym w środku
      • promień/spoke to gałąź przełączników wzdłuż pięter — 3 sztuki w łańcuchu
    • są dostępne niezarządzane przełączniki dostępu
    • przełączniki w 9 dodatkowych obudowach są podłączone przez mediakonwertery (konwertery sygnału optycznego na elektryczny)
  • Aktualna infrastruktura kablowa:
    • System kablowy między budynkami:
      • jest dostępny światłowód między 2 głównymi budynkami o pojemności 8 włókien
      • jest dostępny po 1 światłowodzie między jednym z dodatkowych obiektów (gdzie znajduje się przełącznik jądra) a każdym z głównych budynków, każdy o pojemności 8 włókien
      • jest dostępny po 1 światłowodzie między dodatkowymi obiektami a obiektami z zainstalowanymi przełącznikami jądra o pojemności 4 włókien (ich rozmieszczenie pokazano na poniższym rysunku)
      • typ włókien w wszystkich kablach — jednomodowy/SMF
      • używane są 2-włókienne jednomodowe transceivery SFP
      • część kabli kończy się w przełącznicach optycznych (ODF) w osobnych pomieszczeniach (sale przełączające/serwerownie), a część kabli w szafach piętrowych

    • System kablowy wewnątrz budynków:
      • jest dostępna mieszana struktura kablowa między pomieszczeniami serwerowymi a pierwszymi szafami na piętrach:
      • kable miedziane Cat5e — 10 sztuk (lub kable parowe 100 parowe)
      • światłowodowy kabel multimodowy/MMF na 4 lub 8 włókien — 1 sztuka
      • światłowodowy kabel multimodowy/MMF na 4 włókna między szafami piętrowymi
      • kable miedziane Cat5e między szafami piętrowymi a gniazdami dostępu
    • aktualne centrum danych:
      • jest kilka serwerów, na przykład 6 sztuk
      • są włączone 1 Gb portami do przełącznika jądra w 1 głównym budynku
      • wszystkie aplikacje przedsiębiorstwa są przeniesione na serwery
    • adresacja L2, L3 i routowanie:
      • w sieci dostępnych jest kilka VLAN - 2,3 sztuki na budynek
      • serwery są wydzielone w osobną sieć /24
      • do użytku wewnętrznego używane są szare sieci klasy B, mieszczące się w zakresie - 172.16.0.0/16
      • Adresy L3 są terminowane na routerze brzegowym i/lub na zaporze sieciowej
      • stosowana jest statyczna trasowanie
    • dodatkowe informacje:
      • telefony:
        • w budynkach i niektórych obiektach wdrożono tradycyjną telefonię z wykorzystaniem cyfrowych centrali telefonicznych starego typu (nie IP-CENTRAL)
        • konieczne jest telefonizowanie nowych obiektów, bez kosztów na prowadzenie drogich miedzianych linii kablowych o określonej pojemności oraz budowanie zduplikowanej struktury okablowania dla telefonii wewnątrz budynków
        • z czasem planuje się wdrożenie telefonii IP na całym terenie przedsiębiorstwa, łączenie jej z systemami CRM i przeniesienie na nią wszystkich pracowników
      • pojemność portów:
        • należy przeanalizować obecną pojemność portów magistralnych i portów dostępowych oraz zarezerwować nie mniej niż 25-30% na przyszłe potrzeby
        • należy przeanalizować wystarczalność obecnej przepustowości portów dostępowych i łączy magistralnych
        • należy przewidzieć obecność portów PoE/PoE+ do urządzeń z sąsiadujących systemów — monitorowania wideo i telefonii
      • monitoring wideo:
        • planowane jest wykorzystanie sieci przedsiębiorstwa jako transportu dla sieci monitorowania wideo
        • konieczne jest przewidzenie obecności portów PoE dla kamer monitorujących
      • systemy bezprzewodowe:
        • w przyszłości planuje się wdrożenie infrastruktury bezprzewodowej dla mobilności pracowników
        • konieczne jest przewidzenie obecności portów PoE dla punktów dostępowych
      • budżet, terminy i wymagania dotyczące sprzętu:
        • wykorzystać istniejące wyposażenie maksymalnie
        • przy projektowaniu sieci należy uwzględnić możliwość zwiększenia przepustowości sieci na N lat do przodu
        • przy projektowaniu sieci należy uwzględnić wsparcie różnorodnych funkcji bezpieczeństwa — tutaj lista funkcji, od zabezpieczeń portowych po uwierzytelnianie i autoryzację użytkowników według 802.1x.
        • w miarę możliwości maksymalnie zarezerwować krytyczne węzły sieci o pierwszorzędnym znaczeniu — rdzeń i centrum danych, oraz przewidzieć możliwość rezerwacji węzłów drugorzędnego znaczenia — węzłów rozdzielczych
        • budżet projektu powinien przewidywać etapowe finansowanie w kilku fazach
        • kwota budżetu — tutaj każde przedsiębiorstwo określa samodzielnie, kierując się swoimi wskaźnikami finansowymi
        • Terminy — w idealnym przypadku nie będą tu jasno określone, ponieważ jest to wewnętrzny projekt firmy, realizowany przez jej pracowników, lub będą one stosunkowo komfortowe — na przykład 1 rok (i więcej). W gorszym przypadku — może to być od 3 miesięcy do pół roku.
      • Usunąć bieżące problemy w sieci:
        • Straty pakietów
        • Problemy z DHCP na bardziej lub mniej inteligentnych przełącznikach dostępowych, związane z używaniem rodziny protokołów STP w celu zapobiegania pętlom na portach dostępowych.
        • Pozbyć się obecności interfejsu serwera DHCP w każdym VLAN pracowników
        • Pojawienie się pętli przełączania, związanych z nieautoryzowanym podłączeniem zarządzanych/niezarządzanych przełączników w biurach i podłączeniem do nich różnych urządzeń
        • Listę można kontynuować w nieskończoność…

      Krok Planowania — charakterystyka stanu Twojej obecnej sieci, jak już pisałem, zależy od posiadania jakościowego systemu monitoringu i stopnia jego dokumentacji. Na tym etapie będziesz musiał:

      • przynajmniej naszkicować istniejącą sieć do dalszej analizy
      • zbierać dane z urządzeń:
        • ruch na portach magistralnych
        • błędy na portach
        • obciążenie CPU i zużycie pamięci na przełącznikach i routerach
        • rozrysować schematy L2-L3 według VLAN-ów i adresów IP
      • opracować schematy tras kablowych:
        • schematy światłowodowe i schematy rozdziału optycznych złączy
        • schematy miedzianych rozkładów kablowych między serwerami a piętrami
        • schematy miedzianych rozkładów kablowych między piętrami a biurami
        • sprawdzić obecność optycznych złączy i paneli krosowych w serwerowniach i szafkach
      • sprawdzić schematy zasilania w serwerowniach i szafkach piętrowych
      • sprawdzić obecność UPS-ów i akumulatorów na krytycznych węzłach
      • analizować wszystkie dane

      Kierując się danymi z etapu przygotowania, otrzymałem przybliżony schemat logiczny:

      
      
      Następnie, stosując podejście modułowe, należy wyodrębnić poziomy i moduły przedsiębiorstwa:

      
      
      Granice (Edge) w tym artykule postaram się pominąć, a jedynie przypomnę podstawowe tezy dotyczące każdego z modułów Campus:

      • Dostęp — na tym poziomie powinien zapewniać:
        • konieczną liczbę portów dla użytkowników dostępu do sieci
        • przestrzeganie polityk bezpieczeństwa — filtracja ruchu i protokołów
        • kompresję domen rozgłoszeniowych i segmentację sieci za pomocą VLAN
        • wdrożenie oddzielnych VLAN dla ruchu głosowego
        • wsparcie QoS
        • wsparcie portów dostępowych PoE
        • wsparcie IP multicast
        • odporność na awarie łączy uplink w połączeniu z warstwą dystrybucji (zalecane)
      • Dystrybucja — na tym poziomie powinny być zapewnione:
        • wystarczająca liczba portów do podłączenia przełączników dostępowych
        • agregacja i rezerwowanie łączy przełączników dostępowych
        • trasowania IP
        • filtrowanie pakietów
        • wsparcie QoS
        • odporność na awarie na poziomie łączy, sprzętu i zasilania (bardzo pożądane)
      • Rdzeń — powinien zapewniać:
        • wysoką prędkość przełączania i routingu pakietów
        • wystarczająca liczba portów do podłączenia przełączników dystrybucji
        • wsparcie dla routingu IP i dynamicznych protokołów routingu z szybkim zbiegiem sieci
        • wsparcie QoS
        • funkcjonalność bezpieczeństwa w celu ochrony dostępu do sprzętu oraz control plane
        • odporność na awarie na poziomie sprzętu i zasilania (obowiązkowe)
      • Centrum danych — poziom sieciowy tego modułu powinien zapewniać:
        • wysokowydajne łącza komunikacyjne
        • wystarczająca liczba portów do podłączenia serwerów
        • rezerwowanie łączy komunikacyjnych zarówno między serwerami a przełącznikami centrum danych, jak i między przełącznikami centrum danych a rdzeniem sieci (obowiązkowe)
        • rezerwowanie sprzętu i zasilania (obowiązkowe)
        • wsparcie QoS

      Następnie musimy obliczyć nasze porty i łącza komunikacyjne oraz określić wymagania.
      Poziom dostępu — tabela obliczeń portów

      Zatem otrzymaliśmy dane dotyczące rozkładu portów dostępowych w budynkach. Teraz należy przeanalizować wymagania dotyczące poziomu dostępu oraz uwagi i zaproponować rozwiązania.
      Poziom dostępu — wymagania i propozycje rozwiązań

      Następnie policzymy porty i łącza komunikacyjne dla kolejnych poziomów:

      Poziom dystrybucji

      Poziom rdzenia

      Poziom centrum danych

      Podczas obliczeń uzyskaliśmy następujące wyniki:

      • poziom dostępu — wymagane są 24- i 48-portowe przełączniki dostępu, najlepiej z portami 1Gb i optycznymi portami uplink SFP z wsparciem PoE oraz szerokim zakresem funkcji:
        • razem dadzą 504 porty dostępu, co w zasadzie pokryje wymagania zapasowych portów, jeśli zdecyduje się używać 2 portów na stanowisko pracy — telefon IP i port danych.
        • możliwe wykorzystanie jednego 48-portowego przełącznika z funkcjonalnością PoE na każdym piętrze, zapewniającego porty dostępu dla wymagań:
          • rezerwy — około 102 wolnych portów (22%) w głównych budynkach. Dla dodatkowych budynków nieco więcej — 25%.
          • monitoring wideo
          • sieci bezprzewodowej
      • poziom dystrybucji — wymagane przełączniki z zestawem portów SFP od 12 do 48 portów z co najmniej 2 portami SFP+, z możliwością stakowania i rozszerzoną funkcjonalnością, a także z redundancją zasilania.
      • poziom rdzenia — wymagane przełączniki o dużej prędkości od 12 do 24 portów SFP/SFP+ z obsługą zarówno stakowania, jak i klastrowania z obsługą MC-LAG. Należy zauważyć, że możliwe jest wykorzystanie także środków routingu do równoważenia ruchu. Najnowsze generacje przełączników L3 i routerów obsługują ECMP z równoważeniem ruchu po 4 i więcej trasach o tej samej metryce.
      • poziom centrum danych — wymagane przełączniki od 8 do 24 portów SFP/SFP+ z obsługą zarówno stakowania, jak i klastrowania z obsługą MC-LAG.

      Docelowa schemat sieci ostatecznie wyszła taki

      Wybór przełączników Extreme do realizacji projektu

      A więc doszliśmy do głównego punktu - momentu wyboru przełączników do realizacji naszego projektu. Do uzyskanej docelowej schemy nadają się następujące przełączniki Extreme:

      Poziom
      Model
      Porty
      Opis

      jądro
      x620-16x-Base *

      x670-G2-48x-4q-Base*
      16 x 10GE SFP+
       
       
       
      48x10GE SFP+ i 4×40 GE QSFP+
      Dla podstawowych potrzeb rdzenia:

      • linki o dużej prędkości
      • rozszerzona funkcjonalność routingu i bezpieczeństwa
      • redundancja zasilania z dodatkowych jednostek zasilających
      • wsparcie dla stakowania i klastrowania

      Z minimalnymi wymaganiami nadaje się przełącznik serii x620.
      W przypadku rozszerzonych wymagań dotyczących liczby portów i szerszej funkcjonalności warto rozważyć przełączniki serii x670-G2.

      Centrum Danych

      x620-16x-Base*

      x590-24x-1q-2c*

      x670-G2-48x-4q-Base*

      16 x 10GE SFP+
       
       
       
      24x10GE SFP, 1xQSFP+, 2xQSFP28
       
       
      48x10GE SFP+ i 4×40 GE QSFP+

      Dla podstawowych potrzeb centrum danych:

      • linki o dużej prędkości
      • redundancja zasilania z dodatkowych jednostek zasilających
      • wsparcie dla stakowania i klastrowania

      Z minimalnymi wymaganiami nadaje się przełącznik serii x620.
      W przypadku rozszerzonych wymagań dotyczących liczby portów i szerszej funkcjonalności warto rozważyć przełączniki serii x670-G2 i x590-24x-1q-2c.

      dystrybucja

      X460-G2-24x-10GE4-Base*

      X460-G2-48x-10GE4-Base*

      24x1GE SFP, 8×1000 RJ-45, 4x10GE SFP+
       
       
       
      48x1GE SFP, 4x10GE SFP+

      Dla podstawowych potrzeb dystrybucji:

      • wymagana liczba portów optycznych
      • redundancja zasilania z dodatkowych jednostek zasilających
      • wsparcie dla stakowania i klastrowania
      • wymagana funkcjonalność L3

      Idealne do zastosowania są switche z serii x460-G2. Obecność redundantnych zasilaczy z możliwością rozszerzenia oraz dodania portów 10G, CX (do stakowania) i QSFP+ czyni je idealnymi switchami dla poziomu dystrybucji z portami do 1 Gb.

      dostęp

      X440-G2-24p-10GE4*

      X440-G2-24t-10GE4*

      X440-G2-48t-10GE4*

      X440-G2-48p-10GE4*

      24x1000BASE-T(4 x SFP combo), 4x10GE SFP+ (budżet PoE 380 W)
       
      24x1000BASE-T(4 x SFP combo), 4x10GE SFP+
       
       
      24x1000BASE-T(4 x SFP combo), 4x10GE SFP+ porty combo
       
      48x1000BASE-T(4 x SFP combo), 4x10GE SFP+ porty combo (budżet PoE 740 W)

      Dla potrzeb dostępu:

      • niezbędna liczba portów dostępowych
      • wsparcie PoE/PoE+
      • funkcjonalność i możliwość rozszerzenia portów
      • dodatkowy bonus w postaci wsparcia stakowania portów 10Gb 'z pudełka'

      Zalecam zwrócenie uwagi na tę linię ze względu na jej elastyczność w zakresie portów, wydajności i funkcjonalności.

      *specyfikację wybranych switchy można sprawdzić w pierwszym artykule cyklu — przegląd switchy Extreme

      Na tym mógłbym zakończyć artykuł, ale chciałbym dodatkowo omówić 2 aspekty, z którymi zmierzy się każdy inżynier przy rozwijaniu lub modernizacji swojej sieci:

      • praca z trasami kablowymi — włóknami i liniami miedzianymi
      • adresacja IP

      Praca z włóknami

      Powyżej przedstawiłem docelowy schemat, do którego należy dążyć. Aby go zrealizować, wymagane jest następujące połączenie dla sprzętu:

      liczba połączeń

      Jak widać w tabeli, minimalna liczba włókien wymagana do zapewnienia odporności na awarie poziomów sieci (moduł jądra, centrum danych i dystrybucja w 2 budynkach) — 10 sztuk.

      Na etapie charakterystyki sieci ustaliliśmy, że w kablu między budynkami znajduje się tylko 8 włókien. Co w takiej sytuacji zrobić?

      Podam kilka rozwiązań:

      • Pierwszym oczywistym krokiem jest wykorzystanie dostępnych włókien w kablu między budynkiem 1 — budynkiem 1 a budynkiem 1 — budynkiem 2 (jak widać w tabeli — używane są tylko 2 z 8 włókien w każdym kablu). Wystarczy zainstalować przełączniki optyczne między przełącznikami w budynku 1 i, w razie potrzeby, wykorzystać moduły SFP z rezerwy budżetu optycznego.
      • Drugim krokiem może być wykorzystanie technologii CWDM – łączenie nośnych długości fal w obrębie jednego włóknem. Ta technologia jest znacznie tańsza od DWMD i dość prosta do wdrożenia. Główne wymagania dotyczą jakości włókien optycznych oraz transceiverów SFP/SFP+ o określonej długości i budżecie. Jak już wspominałem w poprzednim artykule – możliwość, że przełączniki rozpoznają transceivery innych producentów, może znacznie ułatwić nam życie i obniżyć koszty kapitałowe na budowę dodatkowych kabli optycznych.
      • Trzecim krokiem warto rozważyć możliwość zwiększenia liczby włókien poprzez kładzenie dodatkowych kabli optycznych.

      Następnie przyglądamy się liczbie włókien między budynkami z zainstalowanymi przełącznikami dystrybucji i dodatkowych obudowach 2-10. Tutaj również nie wszystko jest takie jednoznaczne:

      • Po pierwsze, brakuje włókien do realizacji naszej docelowej koncepcji – na każdy przełącznik po 2 włókna (jak pamiętamy, mamy kable z 4 włóknami na każdą obudowę).
      • Po drugie, nawet przy wystarczającej liczbie włókien między budynkami, wewnątrz obudów stosowane są włókna MMF, które nie pozwolą nam połączyć włókien SMF i MMF (mówię o odległościach między budynkami powyżej 300-400 metrów).

      W takich przypadkach można rozważyć następujące opcje:

      • zapewnienie każdemu przełącznikowi włókien SMF:
        • jeśli pozwala na to odległość – można przeciągnąć dodatkowe długie patchcordy między przełącznikami. Kiedyś używaliśmy patchcordów o długości 30-50 m.
        • położyć stosunkowo tani optyczny kabel SMF o małej pojemności między szafkami.
        • w ostateczności użyć różnych konwerterów SMF-MMF.
      • Aby zminimalizować wykorzystanie włókien między budynkami można:
        • wykorzystać funkcjonalność stosowania przełączników dostępowych x440-G2 – przy tym korzystając z 1 włókna SMF do każdego przełącznika na piętrze, co pozwoli zamiast 6 włókien i portów użyć 3 włókien i portów z każdej strony.
        • wykorzystać po 2 włókna do podłączenia pierwszego przełącznika w gałęzi i ostatniego. Agregować łącza na brzegowych przełącznikach dostępowych i używać protokołów STP w powstałym pierścieniu.

      Adresacja IP

      Tutaj przedstawię przybliżony rachunek adresacji dla naszej schemy.

      Obecnie mamy kilka sieci klasy B — 172.16.0.0/16. Podczas obliczania przestrzeni adresowej IP będę kierował się następującymi względami:

      • 4 bity drugiego oktetu będą oznaczać budynki — 172.16.0.0/12.
      • 3 oktet będzie oznaczać numer piętra w budynku.
      • 3 oktet = 255 zostanie przydzielony dla połączeń point-to-point sprzętu i sieci zarządzającej.
      • jeden VLAN zarządzający na piętro do zarządzania przełącznikami.
      • jeden VLAN użytkownika na switch (średnio 24 porty).
      • jeden VLAN Voice na switch (średnio 24 porty).
      • jeden VLAN dla systemu monitoringu wideo na piętro.
      • jeden VLAN dla urządzeń Wi-Fi na piętro.

      Uzyskałem mniej więcej takie tabele:
      sieć 172.16.0.0/14
      sieć 172.20.0.0/14

      W powyższej tabeli podaję orientacyjne rozmieszczenie sieci według budynków i pięter z jednej strony oraz sieci (użytkowników, zarządzającej i służbowej) z drugiej.

      W rzeczywistości wybór szarej sieci 172.16.0.0/12 nie jest najbardziej optymalny, ponieważ ogranicza nas w liczbie sieci (od 16 do 31) dla budynków, a są jeszcze zdalne biura, którym również trzeba przydzielić bloki sieci, być może bardziej optymalnym rozwiązaniem będzie wariant z użyciem sieci 10.0.0.0/8, lub współdzielenie sieci 172.16.0.0/12 (na przykład dla potrzeb służbowych i serwerów) oraz 10.0.0.0/8 (dla sieci użytkowników).

      Ogólnie podejście do przydzielania sieci IP również jest modułowe i warto przestrzegać zasad sumowania podsieci w jedną sieć summary na poziomach dystrybucji, a także na brzegowych routerach w zdalnych oddziałach. Dzieje się tak z kilku powodów:

      • aby zminimalizować tabele routingu na routerach
      • aby zminimalizować ruch zarządzający protokołami routingu (wszelkiego rodzaju komunikaty aktualizacji, w przypadku niedostępności zagnieżdżonych podsieci)
      • aby uprościć administrację i poprawić czytelność sieci L3

      Chociaż w pierwszych dwóch punktach należy zauważyć, że moc nowoczesnych routerów jest znacznie wyższa niż te sprzed 15-20 lat i pozwala na przechowywanie w pamięci operacyjnej dużych tabel routingu, a także stosunek ceny do przepustowości łączy komunikacyjnych obniżył się w porównaniu z cenami czasów masowego użycia strumieni E1/T1 (G.703).

      Podsumowanie

      Drodzy przyjaciele, w tym artykule postarałem się jak najkrócej opisać podstawowe zasady projektowania sieci kampusowych. Tak, materiału jest całkiem sporo, a to jeszcze bez poruszania takich tematów jak:

      • organizacja granicy przedsiębiorstwa (to osobna historia z własnymi przełącznikami, bramkami, zaporami, systemami IPS/IDS, DMZ, VPN i innymi rzeczami)
      • organizacja sieci Wi-Fi
      • organizacja sieci VoIP
      • organizacja centrów danych
      • bezpieczeństwo (to również osobny świat, który pod względem zakresu i wymagań nie ustępuje projektowaniu czystej infrastruktury sieciowej, a czasami je przewyższa)
      • energetyka
      • lista może być kontynuowana bez końca

      W rzeczywistości projektowanie i budowa sieci przedsiębiorstwa to dość pracochłonne zadanie, wymagające dużej ilości czasu i zasobów.

      Ale mam nadzieję, że mój artykuł pomoże Wam ocenić i na początkowym etapie zrozumieć, jak podejść do tego zadania.

      To z pewnością nie ostatni artykuł na temat Extreme Networks, więc śledźcie aktualizacje (Telegram, Facebook, VK, Blog TS Solution)!

Źródło: habr.com