Jak zaktualizować sprzęt sieciowy w dużym przedsiębiorstwie bez przerywania produkcji? O wielkim projekcie w trybie „operacji na otwartym sercu” opowiada menedżer ds. zarządzania projektami Linxdatacenter Oleg Fiedorow.
W ostatnich kilku latach zauważamy wzrost popytu klientów na usługi związane z sieciowym komponentem infrastruktury IT. Potrzeba łączności systemów IT, usług, aplikacji, zadania monitorowania i zarządzania operacyjnego w biznesie praktycznie w każdej dziedzinie zmuszają dziś firmy do zwracania większej uwagi na sieci.
Zakres zapytań – od zapewnienia odporności sieci po tworzenie i zarządzanie niezależnym systemem klienta z zakupem bloku adresów IP, konfiguracją protokołów routingu i zarządzaniem ruchem zgodnie z politykami organizacji.
Rośnie również zapotrzebowanie na kompleksowe rozwiązania w zakresie budowy i utrzymania infrastruktury sieciowej, przede wszystkim ze strony klientów, których infrastruktura sieciowa jest tworzona od podstaw lub moralnie przestarzała, wymagająca poważnej modyfikacji.
Ten trend zbiegł się w czasie z okresem rozwoju i komplikacji własnej infrastruktury sieciowej Linxdatacenter. Rozszerzyliśmy zakres naszej obecności w Europie, dzięki podłączeniu do zdalnych lokalizacji, co z kolei wymagało również doskonalenia infrastruktury sieci.
Firma uruchomiła nową usługę dla klientów, Network-as-a-Service: rozwiązanie wszystkich problemów sieciowych klientów bierzemy na siebie, pozwalając im skupić się na podstawowej działalności.
Latem 2020 roku zakończył się pierwszy duży projekt w tym kierunku, o którym chcielibyśmy opowiedzieć.
Na początku
Duży kompleks przemysłowy zwrócił się do nas z prośbą o modernizację części sieciowej infrastruktury w jednym z jego przedsiębiorstw. Wymagana była wymiana starego sprzętu na nowy, w tym rdzenia sieci.
Ostatnia modernizacja sprzętu w przedsiębiorstwie miała miejsce około 10 lat temu. Nowe kierownictwo przedsiębiorstwa postanowiło poprawić łączność, zaczynając od aktualizacji infrastruktury na najbardziej podstawowym, fizycznym poziomie.
Projekt został podzielony na dwie części: modernizację serwerów i sprzętu sieciowego. Odpowiadaliśmy za drugą część.
Podstawowe wymagania dotyczące prac obejmowały minimalizację przestojów linii produkcyjnych zakładu podczas realizacji zadań (a w niektórych obszarach całkowite wykluczenie przestojów). Każde zatrzymanie to bezpośrednie straty finansowe klienta, które nie powinny były wystąpić w żadnych okolicznościach. W związku z trybem pracy obiektu 24x7x365, a także brakiem okresów planowych przestojów w praktyce zakładu, postawiono przed nami zadanie, które w zasadzie było operacją na otwartym sercu. To stało się główną cechą wyróżniającą projekt.
Jedziemy
Prace planowano według zasady ruchu od węzłów sieci oddalonych od rdzenia do tych bliższych, a także od mniej wpływających na pracę linii produkcyjnych do tych bezpośrednio wpływających na tę pracę.
Na przykład, jeśli weźmiemy węzeł sieci w dziale sprzedaży, to zakłócenia w komunikacji w wyniku prac w tym dziale nie wpłyną w żaden sposób na produkcję. Jednocześnie taki incydent pomoże nam jako wykonawcy sprawdzić poprawność wybranego podejścia do pracy z takimi węzłami i, korygując działania, działać w następnych etapach projektu.
Należy nie tylko wymienić węzły i kable w sieci, ale także prawidłowo skonfigurować wszystkie komponenty dla prawidłowego funkcjonowania rozwiązania jako całości. To właśnie konfiguracje były w ten sposób sprawdzane: rozpoczynając prace z daleka od rdzenia, jakby dawało nam to 'prawo do błędu', nie narażając na ryzyko krytycznie ważnych dla funkcjonowania zakładu obszarów.
Określiliśmy obszary, które nie wpływają na proces produkcyjny, a także krytyczne miejsca – warsztaty, blok załadunku i rozładunku, magazyny itp. Na kluczowych miejscach z klientem uzgodniono dopuszczalny czas przestoju dla każdego węzła sieci z osobna: od 1 do 15 minut. Całkowite uniknięcie wyłączenia poszczególnych węzłów sieci było niemożliwe, ponieważ kabel musiał być fizycznie przełączony z starego sprzętu na nowy, a podczas przełączania należy również rozplątać 'grzywkę' kabli, która powstała w wyniku kilkuletniej eksploatacji bez odpowiedniej pielęgnacji (jedna z konsekwencji outsourcingu prac montażowych kabli).
Prace zostały podzielone na kilka etapów.
Etap 1 – Audyt. Przygotowanie i uzgodnienie podejścia do planowania prac oraz ocena gotowości zespołów: klienta, wykonawcy montażu oraz naszego zespołu.
Etap 2 – Opracowanie formatu do przeprowadzenia prac, z głęboką, szczegółową analizą i planowaniem. Wybrano format listy kontrolnej z dokładnym wskazaniem kolejności i sekwencji działań, aż do kolejności przełączania patch cordów w portach.
Etap 3 – Przeprowadzenie prac w szafach, które nie wpływają na produkcję. Ocena i korekta czasu przestoju dla kolejnych etapów prac.
Etap 4 – Przeprowadzenie prac w szafach, które bezpośrednio wpływają na produkcję. Ocena i korekta czasu przestoju dla finalnego etapu prac.
Etap 5 – Przeprowadzenie prac w serwerowni, polegających na przełączeniu pozostałego sprzętu. Uruchomienie na nowym rdzeniu.
Etap 6 – Sekwencyjne przełączanie rdzenia systemu ze starych konfiguracji sieciowych na nowe, aby zapewnić płynne przejście całego komplexu systemu (VLAN, routing itp.). Na tym etapie podłączono wszystkich użytkowników i przeniesiono wszystkie usługi na nowy sprzęt, sprawdzono poprawność połączeń, upewnili się, że żadne z usług przedsiębiorstwa nie zostały wstrzymane, zagwarantowano, że w przypadku wystąpienia jakichkolwiek problemów będą one bezpośrednio związane z rdzeniem, co ułatwiało usuwanie potencjalnych usterek i finalną konfigurację.
Fryzura kabli
Projekt okazał się niełatwy także ze względu na skomplikowane warunki wyjściowe.
Po pierwsze, to ogromna liczba węzłów i segmentów sieci, z zawiłą topologią oraz klasyfikacją kabli według ich przeznaczenia. Takie 'grzywy' trzeba było wydobywać z szaf i starannie 'układać', rozkładając na czynniki pierwsze, który kabel skąd i dokąd prowadzi.
Wyglądało to mniej więcej tak:
tak:
lub tak:
Po drugie, do każdego takiego zadania potrzebny był plik z opisem procesu. „Bierzemy kabel X z portu 1 starego sprzętu, wtykamy go do portu 18 nowego sprzętu”. Brzmi prosto, ale gdy w danych początkowych mamy 48 w pełni zajętych portów oraz brak opcji przestoju (pamiętamy o 24x7x365), jedynym rozwiązaniem jest praca w blokach. Im więcej kabli można wyjąć ze starego sprzętu za jednym razem, tym szybciej można je uporządkować i włożyć do nowego „żelaza” sieciowego, unikając awarii i przestojów w działaniu sieci.
Dlatego na etapie przygotowawczym przeprowadziliśmy podział sieci na bloki – każdy z nich odnosił się do określonego VLAN. Każdy port (lub ich podzbiór) na starym sprzęcie to jakiś VLAN w nowej topologii sieci. Zgrupowaliśmy je w ten sposób: w pierwszych portach przełącznika umieszczono sieci użytkowników, w środkowych – sieci produkcyjne, a w ostatnich – punkty dostępu i uplinki.
Takie podejście pozwoliło na jednym podejściu wyciąganie i porządkowanie ze starego sprzętu nie 1 kabla, a 10-15. To wielokrotnie przyspieszyło proces pracy.
A oto jak wyglądają kable w szafach po uporządkowaniu:
lub na przykład tak:
Po zakończeniu 2. etapu zrobiliśmy przerwę na analizę błędów i dynamiki projektu. Na przykład od razu pojawiły się drobne niedociągnięcia spowodowane nieścisłościami w dostarczonych nam schematach sieci (błędny konektor na schemacie – błędny zakupiony patch cord i konieczność jego wymiany).
Przerwa była niezbędna, ponieważ pracując z serwerownią, nawet niewielka awaria w procesie była niedopuszczalna. Jeśli celem było zapewnienie czasu przestoju na odcinku sieci nie większego niż 5 minut, to nie można go było przekroczyć. Każde możliwe odchylenie od harmonogramu musiało być uzgadniane z klientem.
Jednak wstępne planowanie i podział projektu na bloki pozwoliły na dotrzymanie zaplanowanego czasu przestoju na wszystkich odcinkach, a w większości przypadków udało się w ogóle z niego zrezygnować.
Wyzwanie czasów – projekt podczas COVID-a
Nie obyło się jednak bez dodatkowych komplikacji. Oczywiście, jednym z utrudnień był koronawirus.
Prace skomplikowały się z powodu pandemii, co uniemożliwiło obecność wszystkich specjalistów zaangażowanych w proces na placu budowy klienta. Na teren mogły wejść tylko osoby z firmy montażowej, a kontrola odbywała się przez pokój w Zoomie, w którym znajdował się inżynier sieciowy ze strony Linxdatacenter, ja jako kierownik projektu, inżynier sieciowy po stronie klienta odpowiedzialny za realizację prac oraz zespół wykonujący prace montażowe.
W trakcie prac pojawiały się nieprzewidziane problemy i trzeba było wprowadzać poprawki na bieżąco. Dzięki temu szybko udało się zminimalizować wpływ czynnika ludzkiego (błędy w schemacie, błędy w definiowaniu statusu aktywności interfejsu itd.).
Choć zdalny format pracy wydawał się na początku projektu nietypowy, dość szybko przystosowaliśmy się do nowych warunków i przeszliśmy do końcowego etapu prac.
Uruchomiliśmy tymczasową konfigurację ustawień sieci dla równoległej pracy dwóch rdzeni sieci – starego i nowego – aby zapewnić płynne przejście. Okazało się jednak, że z pliku konfiguracyjnego nowego rdzenia nie została usunięta jedna zbędna linia, co spowodowało brak przejścia. Zmuszeni byliśmy poświęcić czas na znalezienie problemu.
Okazało się, że główny ruch był przesyłany poprawnie, podczas gdy ruch zarządzający nie docierał do węzła przez nowy rdzeń. Dzięki wyraźnemu podziałowi projektu na etapy, udało się dość szybko zlokalizować odcinek sieci, na którym wystąpiły trudności, zidentyfikować problem i go rozwiązać.
A w rezultacie
Techniczne podsumowanie projektu
Przede wszystkim stworzono nowy rdzeń nowej sieci przedsiębiorstwa, do czego wybudowano fizyczne/logiczną pierścienie. Zrealizowano to w taki sposób, aby każdy przełącznik w sieci miał „drugą nogę”. W starej sieci wiele przełączników było podłączonych do rdzenia jedną trasą, jednym uplinkiem. Jeśli ten przerywał, przełącznik stawał się całkowicie niedostępny. A jeśli przez jeden uplink podłączano kilka przełączników, to awaria wyłączała cały dział lub linię produkcyjną w przedsiębiorstwie.
W nowej sieci nawet poważny incydent sieciowy w żadnym scenariuszu nie może „położyć” całej sieci lub jej istotnej części.
90% całego sprzętu sieciowego zostało zaktualizowane, a media konwertery zostały wycofane z eksploatacji. Zlikwidowano również potrzebę dedykowanych linii zasilających dla urządzeń dzięki podłączeniu do przełączników PoE, gdzie zasilanie odbywa się za pośrednictwem przewodów Ethernet.
Dodatkowo, wszystkie połączenia optyczne w serwerowni oraz w szafach na miejscach zostały oznakowane – na wszystkich kluczowych węzłach komunikacyjnych. Umożliwiło to przygotowanie topologii sprzętu i połączeń w sieci, odzwierciedlającej jej aktualny stan.
Schemat sieci
Najważniejszy wynik w aspekcie technicznym: dość obszerne prace infrastrukturalne zostały przeprowadzone szybko, nie zakłócając działalności firmy i praktycznie niezauważalnie dla jej personelu.
Biznesowe podsumowanie projektu
Moim zdaniem, ten projekt jest interesujący przede wszystkim z perspektywy organizacyjnej, a nie technicznej. Największym wyzwaniem było w pierwszej kolejności planowanie i przemyślenie kroków realizacji zadań projektowych.
Sukces projektu pozwala na stwierdzenie, że nasza inicjatywa rozwoju kierunku sieciowego w ramach portfela usług Linxdatacenter to właściwy wybór kierunku rozwoju firmy. Odpowiedzialne podejście do zarządzania projektami, przemyślana strategia oraz jasne planowanie pozwoliły nam wykonać prace na wysokim poziomie.
Potwierdzenie jakości pracy – zapytanie od klienta o kontynuację świadczenia usług modernizacji sieci w innych lokalizacjach w Rosji.
Źródło: habr.com
