Jak aktualizovat síťové zařízení ve velkém podniku bez přerušení výroby? O rozsáhlém projektu v režimu "operace na otevřeném srdci" vypráví projektový manažer Linxdatacenter Oleg Fedorov.
V posledních několika letech zaznamenáváme zvýšenou poptávku zákazníků po službách spojených se síťovými komponenty IT infrastruktury. Potřeba konektivity IT systémů, služeb, aplikací, úkolů monitorování a operativního řízení podnikání téměř v každém odvětví nutí dnes firmy věnovat sítím zvýšenou pozornost.
Rozsah požadavků – od zajištění odolnosti sítě po vytvoření a správu klientského autonomního systému včetně pořízení jednotky IP adress, nastavení směrovacích protokolů a řízení provozu podle politik organizací.
Roste také poptávka po komplexních řešeních pro budování a údržbu síťové infrastruktury, především ze strany zákazníků, jejichž síťová infrastruktura byla vybudována od nuly nebo je morálně zastaralá a vyžaduje významné úpravy.
Tento trend časově koresponduje s obdobím rozvoje a komplikace vlastní síťové infrastruktury Linxdatacenter. Rozšířili jsme geografii naší přítomnosti v Evropě napojením na vzdálené lokality, což vyžadovalo také zlepšení infrastruktury sítě.
Společnost spustila novou službu pro klienty, Network-as-a-Service: veškeré síťové úkoly přebíráme na sebe, což klientům umožňuje soustředit se na své hlavní podnikání.
V létě 2020 byl dokončen první velký projekt v tomto směru, o kterém bychom se rádi podělili.
Na začátku
Těžký průmyslový komplex se na nás obrátil s žádostí o modernizaci síťové části infrastruktury na jednom ze svých podniků. Bylo třeba vyměnit staré zařízení za nové, včetně srdce sítě.
Poslední modernizace zařízení v podniku probíhala před přibližně 10 lety. Nové vedení podniku se rozhodlo zlepšit konektivitu a začít aktualizací infrastruktury na nejzákladnější fyzické úrovni.
Projekt byl rozdělen na dvě části: upgrade serverového parku a síťového zařízení. Odpovídali jsme za druhou část.
Základní požadavky na práce zahrnovaly minimalizaci prostoje výrobních linek podniku během provádění prací (a na některých místech i úplné vyloučení prostojů). Jakékoli zastavení – přímé finanční ztráty klienta, k čemuž by za žádných okolností nemělo dojít. Vzhledem k režimu práce objektu 24/7/365 a také k plné absenci plánovaných prostojů v praxi podniku jsme měli úkol, v podstatě provést operaci na otevřeném srdci. To se stalo hlavním znakem projektu.
Jdeme na to
Práce byly plánovány na principu pohybu od uzlů sítě vzdálených od jádra k těm bližším a také od méně ovlivňujících výrobní linky k těm, které měly na tuto práci přímý vliv.
Například pokud vezmeme uzel sítě v oddělení prodeje, takto vzniklý problém s komunikací v důsledku prací v tomto oddělení nijak neovlivní výrobu. Tento incident nám jako dodavateli zároveň pomůže ověřit správnost vybraného přístupu k práci na takových uzlech a, po úpravě kroků, pracovat na následujících fázích projektu.
Není nutné pouze vyměnit uzly a kabely v síti, ale také správně nakonfigurovat všechny komponenty pro správnou funkci řešení jako celku. Právě konfigurace byly takto prověřovány: začínající práce od vzdálenosti od jádra, jsme si v podstatě dávali „právo na chybu“, aniž bychom vystavili riziku kriticky důležitá místa pro práci podniku.
Určili jsme zóny, které neovlivňují výrobní proces, a také kritická místa – dílny, nakládací a vykládací blok, sklady atd. Na klíčových místech bylo se zákazníkem dohodnuto přípustné časové okno prostojů pro každý uzel sítě jednotlivě: od 1 do 15 minut. Úplně se vyhnout vypnutí jednotlivých uzlů sítě nebylo možné, protože kabel musí být fyzicky přepojen ze starého zařízení na nové, a během přepínání je také nutné rozplést „vousy“ kabelů, které se vytvořily v průběhu několika let používání bez řádné údržby (jedna z následků outsourcingu prací na instalaci kabelových linií).
Práce byly rozděleny do několika fází.
Fáze 1 – Auditing. Příprava a schválení přístupu k plánování prací a hodnocení připravenosti týmů: klienta, dodavatele provádějícího montáž a našeho týmu.
Fáze 2 – Vypracování formátu pro provádění prací, s hlubokou podrobnou analýzou a plánováním. Zvolili jsme formát checklistu s přesným uvedením pořadí a sekvence úkonů, až po sekvenci přepínání patch cordů mezi porty.
Fáze 3 – Provádění prací ve skříních, které neovlivňují výrobu. Hodnocení a úprava doby prostojů pro následující fáze prací.
Fáze 4 – Provádění prací ve skříních, které přímo ovlivňují výrobu. Hodnocení a úprava doby prostojů pro závěrečnou fázi prací.
Fáze 5 – Provádění prací v serverovně na přepínání zbývajícího vybavení. Spuštění na směrování na novém jádru.
Fáze 6 – Sekvenční přepínání jádra systému ze starých síťových konfigurací na nové pro plynulý přechod celého komplexu systému (VLAN, směrování atd.). V této fázi jsme připojili všechny uživatele a převedli všechny služby na nové zařízení, zkontrolovali správnost připojení, ujistili se, že žádné z podnikových služeb nezastavily, a garantovali, že případné problémy budou přímo související s jádrem, což usnadnilo odstranění možných závad a finální nastavení.
Úprava kabelové 'vousaté' struktury
Projekt se ukázal jako náročný i kvůli složitým výchozím podmínkám.
Za prvé, je to obrovské množství uzlů a částí sítě, s komplikovanou topologií a klasifikací kabelů podle jejich určení. Takové 'vousaté' struktury bylo potřeba vyndat ze skříní a pečlivě 'naleštit', abychom se vyznali, který kabel odkud a kam vede.
Vypadalo to asi takto:
takto:
nebo takto:
Za druhé, pro každý takový úkol bylo nutné připravit soubor s popisem procesu. „Vezmeme kabel X z portu 1 starého zařízení, zasuneme ho do portu 18 nového zařízení.“ Zní to jednoduše, ale když máte v originálních datech 48 plně obsazených portů a také je nemožnost odstávky (pamatujeme na 24x7x365), jedinou možností je pracovat po blocích. Čím více kabelů lze vytáhnout ze starého zařízení najednou, tím rychleji je lze upravit a vložit do nového síťového „hardwaru“, čímž se vyhnete poruchám a výpadkům v provozu sítě.
Proto jsme v přípravném období provedli rozdělení sítě po blocích – každý z nich patřil k určitému VLAN. Každý port (nebo jejich podmnožina) na starém zařízení je nějakým z VLAN v nové topologii sítě. Seskupili jsme je takto: v prvních portech přepínače jsou uživatelské sítě, uprostřed jsou výrobní sítě a na posledních jsou přístupové body a uplinky.
Tento přístup umožnil vyjmout a upravit ze starého zařízení najednou ne 1 kabel, ale 10-15. To několikrát urychlilo pracovní proces.
Mimochodem, takto vypadají kabely v racku po úpravě:
nebo například takto:
Po dokončení 2. etapy jsme si vzali pauzu na analýzu chyb a dynamiky projektu. Například se ihned objevily drobné nedostatky z důvodu nepřesností v nám poskytnutých schématech sítě (špatný konektor na schématu – špatně zakoupený patch cord a nutnost jeho výměny).
Pauza byla nezbytná, neboť při práci se serverovou infrastrukturou byl i malý výpadek v procesu nepřijatelný. Pokud je stanoven cíl zajistit dobu odstávky na části sítě max. 5 minut, nesmělo se to překročit. Jakékoli možné odchylky od harmonogramu musely být konzultovány se zákazníkem.
Nicméně předběžné plánování a rozdělení projektu na bloky umožnily dodržet plánovanou dobu odstávky na všech úsecích, a v mnoha případech se dokonce obejít bez ní.
Výzva doby – projekt během COVIDu
Bez dalších komplikací se ovšem neobešlo. Samozřejmě, jedním z překážek byl koronavirus.
Práce se zkomplikovaly, když začala pandemie, a nebylo možné, aby na místě zákazníka byli přítomní všichni specialisté zapojení do procesu. Na místo byli přípustní pouze zaměstnanci montážní organizace, a kontrola probíhala pomocí Zoomu – v něm byl síťový inženýr ze strany Linxdatacenter, já jako vedoucí projektu, síťový inženýr ze strany zákazníka, odpovědný za realizaci prací, a tým provádějící montážní práce.
Během prací se objevily neočekávané problémy, a bylo nutné provádět úpravy za pochodu. Díky tomu se nám podařilo rychle předcházet vlivu lidského faktoru (chyby v schématu, chyby při určování stavu aktivity rozhraní atd.).
I když se zdál distanční formát práce na začátku projektu nezvyklý, docela rychle jsme si zvykli na nové podmínky a dostali se k finální fázi prací.
Spustili jsme dočasnou konfiguraci sítových nastavení pro paralelní provoz dvou síťových jader – starého a nového – za účelem zajištění plynulého přechodu. Nicméně se ukázalo, že nebyl odstraněn jeden zbytečný řádek z konfiguračního souboru nového jádra, takže přechod se neuskutečnil. To nás donutilo strávit nějaký čas hledáním problému.
Zjistilo se, že hlavní provoz byl přenášen správně, zatímco řídicí provoz nedosahoval uzlu přes nové jádro. Díky jasnému rozdělení projektu na etapy jsme dovedli celkem rychle určit část sítě, kde došlo k potížím, identifikovat problém a vyřešit ho.
A jako výsledek
Technické výsledky projektu
Především bylo vytvořeno nové jádro nové sítě podniku, pro které jsme vybudovali fyzické/logické kruhy. Bylo to provedeno tak, aby každý přepínač v síti měl „druhý redundantní kanál“. Ve staré síti byly mnohé přepínače připojeny k jádru přes jednu trasu, jedním kanálem (uplinkem). Pokud došlo k jeho přerušení, přepínač se stal zcela nedostupným. A pokud bylo k jednomu uplinku připojeno několik přepínačů, katastrofa vyřadila celý oddělení nebo výrobní linku podniku.
V nové síti ani při poměrně závažné síťové události v žádném scénáři nebude možné „zhroucení“ celé sítě nebo její významné části.
90 % veškerého síťového vybavení bylo aktualizováno, mediakonvertory (převodníky médií) byly vyřazeny z provozu a potřeba dedikovaných napájecích linek pro napájení zařízení byla zrušena díky připojení k PoE switchům, kde je napájení zajišťováno přes ethernetové kabely.
Všechna optická připojení v serverovně a v rozvaděčích na místě byla také označena – na všech klíčových uzlech sítě. To umožnilo připravit topologickou schéma zařízení a připojení v síti, jež odráží její aktuální stav.
Síťová schéma
Nejdůležitější závěr z technického hlediska: Poměrně rozsáhlé infrastrukturní práce byly provedeny rychle, bez jakýchkoli rušení činnosti podniku a prakticky nepozorovaně pro jeho personál.
Obchodní výsledky projektu
Z mého pohledu je tento projekt zajímavý především z organizačního hlediska, nikoli technického. Složitost spočívala především v plánování a promýšlení kroků k realizaci projektových úkolů.
Úspěch projektu naznačuje, že naše iniciativa na rozvoj síťového směru v rámci portfolia služeb Linxdatacenter je správnou volbou pro směr rozvoje společnosti. Odpovědný přístup k projektovému řízení, dobře promyšlená strategie a jasné plánování nám umožnily provést práci na požadované úrovni.
Potvrzení kvality práce – žádost od klienta o pokračování poskytování služeb modernizace sítě na jeho dalších lokalitách v Rusku.
Zdroj: habr.com
