Jestem pewien, że wszyscy czytelnicy Habr przynajmniej raz zamówili towary w sklepach internetowych za granicą, a następnie udali się po paczki na poczcie rosyjskiej. Wyobrażacie sobie skalę tego zadania pod względem organizacji logistyki? Pomnóż liczbę kupujących przez liczbę ich zakupów, wyobraź sobie mapę naszego rozległego kraju, a na niej ponad 40 tysięcy urzędów pocztowych ... Nawiasem mówiąc, w 2018 r. Poczta Rosyjska obsłużyła 345 milionów paczek międzynarodowych.
W tym artykule opowiemy z jakimi problemami borykał się Post i jak rozwiązał je zespół LANIT-Integration, tworząc nową infrastrukturę IT dla centrów danych.
Jedno z nowoczesnych centrów logistycznych Poczty Rosyjskiej
Przed projektem
Ze względu na gwałtowny wzrost liczby paczek z zagranicznych sklepów w Chinach, Europie Zachodniej i Ameryce Północnej wzrosło obciążenie obiektów logistycznych Poczty Rosyjskiej. Dlatego zbudowano centra logistyczne nowej generacji, które wykorzystują maszyny sortujące o dużej wydajności. Wymagają wsparcia ze strony infrastruktury obliczeniowej.
Infrastruktura centrum danych była przestarzała i nie zapewniała wymaganej wydajności i niezawodności w działaniu systemów informatycznych przedsiębiorstwa. Również Poczta Rosyjska doświadczyła braku mocy obliczeniowej do uruchomienia nowych usług.
Centra danych klientów i ich problemy
Centra danych Poczty Rosyjskiej obsługują ponad 40 000 obiektów, 85 oddziałów terytorialnych. W centrach danych działają dziesiątki całodobowych usług biznesowych, w tym usługi e-commerce.
Już dziś przedsiębiorstwo wykorzystuje systemy do przechowywania, analizowania i przetwarzania dużych zbiorów danych. W przypadku takich systemów istotną rolę odgrywa wykorzystanie sztucznej inteligencji i algorytmów uczenia maszynowego. Do tej pory jedną z najważniejszych spraw dla przedsiębiorstwa jest optymalizacja zarządzania przepływami logistycznymi oraz przyspieszenie obsługi klientów w placówkach pocztowych.
Przed rozpoczęciem projektu upgrade w głównym i zapasowym data center znajdowało się około 3000 maszyn wirtualnych, ilość przechowywanych informacji przekraczała 2 petabajty. Centra danych posiadały złożoną strukturę kierowania ruchu związaną z podziałem na różne segmenty według poziomów bezpieczeństwa.
Wraz z rozwojem aplikacji i wprowadzaniem nowych usług, dotychczasowa przepustowość urządzeń sieciowych w centrach danych stała się niewystarczająca. Wymagane było przejście na interfejsy o nowych prędkościach: 10 Gb/s zamiast 1 Gb/s dla dostępu i 40 Gb/s na poziomie rdzenia, przy pełnej redundancji sprzętu i kanałów komunikacyjnych.
Z działu bezpieczeństwa informacji wpłynęło żądanie podzielenia infrastruktury na segmenty o wysokim poziomie bezpieczeństwa informacji ruchu i aplikacji (PN - Sieć Prywatna i DMZ - Strefa Zdemilitaryzowana). Zapory ogniowe (ITU) przepuszczały ruch, który nie był konieczny do filtrowania. VRF nie był używany na przełącznikach dla takiego ruchu. Reguły w ITU były nieoptymalne (dziesiątki tysięcy reguł w każdym centrum danych).
Bezproblemowa migracja maszyn wirtualnych (VM) pomiędzy centrami danych przy zachowaniu adresu IP i optymalnej ścieżki ruchu pomiędzy segmentami, w tym korporacyjną siecią danych (CDTN), nie była możliwa.
Do redundancji użyto MSTP, niektóre porty zostały zablokowane (hot standby). Rdzeń i przełączniki dostępowe nie były klastrowane w trybie failover i nie zastosowano agregacji interfejsów (LAG).
Wraz z pojawieniem się trzeciego centrum danych wymagana była nowa architektura i konfiguracja sprzętu do obsługi pierścienia między centrami danych (zaproponowano EVPN).
Nie było jednej koncepcji rozwoju data center, udokumentowanej w formie projektu i uzgodnionej ze wszystkimi działami klienta. Aktualna dokumentacja ruchu sieci była niekompletna i nieaktualna.
Oczekiwania klienta
Zespół projektowy miał do wykonania następujące zadania:
- przygotowanie koncepcji architektonicznej i rozwojowej budowy infrastruktury sieciowej i serwerowej trzeciego data center;
- przeprowadzić audyt operacyjny istniejącej sieci klienta;
- zwiększyć pojemność rdzenia sieci o ponad 1500 portów Ethernet 10/40 Gb/s w każdym centrum danych (łącznie 4500 portów);
- zapewnić działanie pierścienia pomiędzy trzema data center z możliwością zwiększenia prędkości do 80 Gb/s w każdym z segmentów w celu połączenia zasobów obliczeniowych klienta z różnych data center w jeden system informatyczny;
- zapewnić 100% podwójną rezerwę wszystkich elementów sieci, aby osiągnąć docelowy Uptime na poziomie 99,995%;
- zminimalizować opóźnienia w ruchu między maszynami wirtualnymi, aby przyspieszyć aplikacje biznesowe;
- zbierać statystyki, analizować i dalej optymalizować reguły filtrowania ruchu w centrach danych (początkowo było ich ok. 80 000);
- opracować docelową architekturę zapewniającą bezproblemową migrację krytycznych aplikacji biznesowych klienta do dowolnego z trzech centrów danych.
Mieliśmy więc nad czym pracować.
Sprzęt
Przyjrzyjmy się bliżej, jakiego sprzętu użyliśmy w projekcie.
Zapora sieciowa (NGWF) USG9560:
- podział przez VSYS;
- do 720 Gb/s;
- do 720 milionów jednoczesnych sesji;
- 8 gniazd.
Router NE40E-X8:
- przepustowość przełączania do 7,08 Tbit/s;
- wydajność przekazywania do 2,880 Mpps;
- 8 miejsc na karty liniowe (LPU);
- do 10 mln tras BGP IPv4 na MPU;
- do 1500 4 tras OSPF IPvXNUMX na MPU;
- do 3000K - IPv4 FIB (w zależności od LPU).
Przełączniki serii CE12800:
- Wirtualizacja urządzeń: VS (wirtualizacja 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Wirtualizacja sieci: M-LAG, TRILL, mostkowanie VXLAN i VXLAN, QinQ w VXLAN, EVN (Ethernet Virtual Network);
- począwszy od VRP V2, włączona jest obsługa EVPN;
- M-LAG jest analogiem vPC (Virtual Port Channel) dla Cisco Nexus;
- Protokół Virtual Spanning Tree Protocol (VSTP) — zgodny z Cisco PVST.
CE12804
CE12808
Oprogramowanie
W projekcie wykorzystaliśmy:
- konwerter plików konfiguracyjnych dla firewalli innych producentów na format poleceń dla nowego sprzętu;
- skrypty własnego projektu optymalizujące i przekształcające konfigurację firewalli.
Wygląd konwertera do konwersji plików konfiguracyjnych
Schemat komunikacji pomiędzy data center (EVPN VXLAN)
Niuanse konfiguracji sprzętu
CE12808
- EVPN (standard) zamiast EVN (zastrzeżony przez Huawei) do komunikacji między centrami danych:
○ L2 przez L3 przy użyciu iBGP w płaszczyźnie kontrolnej;
○ szkolenie i ogłaszanie adresów MAC za pośrednictwem rodziny iBGP EVPN (trasy MAC, typ 2);
○ automatyczna budowa tuneli VXLAN dla ruchu rozgłoszeniowego/nieznanego unicast (Inclusive Multicast Routes, type 3). - Dwa tryby dzielenia na VS:
○ w oparciu o porty (port-mode port) lub w oparciu o ASIC (port-mode group, display device port-map);
○ interfejs podziału wymiarów portów 40GE działa TYLKO w Admin VS (niezależnie od trybu portu).
USG9560
- możliwość dzielenia przez VSYS,
- między dynamicznym routingiem VSYS a wyciekiem tras jest niemożliwe!
CE12804
All Active GW (VRRP Master/Master/Master) z filtrowaniem MAC VRRP między centrami danych
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schemat interakcji zasobów pomiędzy data center (VXLAN EVPN i All Active GW)
Złożoność projektu
Główną trudnością była konieczność tworzenia kopii zapasowych istniejących aplikacji przy użyciu infrastruktury obliczeniowej. Klient miał ponad 100 różnych aplikacji, z których część została napisana prawie 10 lat temu. Na przykład, jeśli Yandex może łatwo zamknąć kilkaset maszyn wirtualnych bez szkody dla użytkowników końcowych, to w Poczcie Rosyjskiej takie podejście wymagałoby opracowania od podstaw szeregu aplikacji i zmian w architekturze systemów informatycznych przedsiębiorstwa. Problemy powstałe w procesie migracji i optymalizacji rozwiązaliśmy na etapie wspólnego audytu infrastruktury obliczeniowej. Wszystkie technologie sieciowe nowe dla przedsiębiorstwa (takie jak EVPN) zostały wstępnie przetestowane w laboratorium.
Wyniki projektu
W skład zespołu projektowego weszli specjaliści , klienta i jego partnerów w eksploatacji infrastruktury informatycznej. Utworzono również dedykowane zespoły wsparcia ze strony dostawców (Check Point i Huawei). Projekt trwał dwa lata. Oto, co zostało zrobione w tym czasie.
- Opracowano i uzgodniono ze wszystkimi działami klienta strategię rozwoju sieci centrów danych, korporacyjnej sieci transmisji danych (CSTN) oraz pierścienia pomiędzy centrami danych.
- Zwiększona dostępność usług. Zostało to zauważone przez biznes klienta i doprowadziło do jeszcze większego wzrostu ruchu w związku z wprowadzeniem nowych usług.
- Ponad 40 000 reguł zostało przeniesionych i zoptymalizowanych z FWSM/ASA do USG 9560. Różne konteksty ASA w UGG 9560 zostały połączone w jedną politykę bezpieczeństwa.
- Przepustowość portów centrum danych została zwiększona z 1G do 10/40G dzięki zastosowaniu CE12800/CE6850. Pozwoliło to wyeliminować przeciążenia interfejsu i utratę pakietów.
- Routery klasy Carrier NE40E-X8 w pełni pokryły potrzeby centrum danych klienta oraz KSPD, uwzględniając przyszły rozwój biznesu.
- Zażądano ośmiu nowych żądań funkcji dla USG 9560. Siedem z nich zostało już wdrożonych i jest uwzględnionych w bieżącej wersji VRP. 1 FR jest wdrażany przez dział badawczo-rozwojowy Huawei. Jest to klaster na osiem obudów z możliwością konfiguracji niezbędnych funkcjonalności do synchronizacji konfiguracji bez synchronizacji sesji. Wymagane, jeśli opóźnienie ruchu do jednego z centrów danych jest zbyt duże (Adler - Moskwa 1300 km na trasie głównej i 2800 km na trasie zapasowej).
Projekt nie ma odpowiedników w porównaniu z innymi firmami pocztowymi w Rosji.
Modernizacja infrastruktury sieciowej data center otworzyła przed przedsiębiorstwem nowe możliwości rozwoju usług cyfrowych.
- Udostępnienie konta osobistego i aplikacji mobilnej dla osób fizycznych i prawnych.
- Integracje ze sklepami elektronicznymi w celu świadczenia usług dostawy towarów.
- Realizacja to przechowywanie towarów, tworzenie i dostarczanie zamówień ze sklepów elektronicznych.
- Rozbudowa punktów wydawania zleceń, w tym z wykorzystaniem sieci partnerskich.
- Prawnie istotny obieg dokumentów z kontrahentami. Wyeliminuje to powolne i kosztowne dostarczanie dokumentów papierowych.
- Przyjmowanie listów poleconych w formie elektronicznej z doręczeniem zarówno w formie elektronicznej, jak i papierowej (z drukowaniem przesyłek jak najbliżej ostatecznego odbiorcy). Obsługa elektronicznych listów poleconych na portalu usług publicznych.
- Platforma świadczenia usług telemedycznych.
- Uproszczone przyjmowanie i uproszczone doręczanie przesyłek rejestrowanych za pomocą prostego podpisu elektronicznego.
- Cyfryzacja sieci pocztowej.
- Obsługa usług samoobsługowych (terminale i paczkomaty).
- Stworzenie cyfrowej platformy do zarządzania usługą kurierską oraz nowej aplikacji mobilnej dla klientów usług kurierskich.
Przyjdź do nas do pracy!
Źródło: www.habr.com