Ako aktualizovať sieťové zariadenia na veľkom podniku bez zastavenia výroby? O rozsiahlej akcii v režime „operácie na otvorenom srdci“ hovorí projektový manažér Linxdatacenter Oleg Fedorov.
V posledných rokoch zaznamenávame zvýšený dopyt od zákazníkov po službách súvisiacich so sieťovými komponentmi IT infraštruktúry. Potreba konektivity IT systémov, služieb, aplikácií, úloh monitorovania a operatívneho riadenia biznisu takmer v každej oblasti núti dnes firmy venovať sieťam vyššiu pozornosť.
Rozsah dopytu – od zabezpečenia odolnosti siete po vytvorenie a správu zákazníckych autonómnych systémov s obstaraním blokov IP adresy, nastavením protokolov smerovania a riadením dopravy v súlade s politikami organizácií.
Rastie aj dopyt po komplexných riešeniach na budovanie a údržbu sieťovej infraštruktúry, predovšetkým zo strany zákazníkov, ktorých sieťová infraštruktúra sa buduje od základov alebo je moraálne zastaraná, vyžadujúca vážne modifikácie.
Tento trend časovo zcoincidoval s obdobím rozvoja a zložitosti vlastnej sieťovej infraštruktúry Linxdatacenter. Rozšírili sme geografiu našej prítomnosti v Európe prostredníctvom pripojenia k vzdialeným lokalitám, čo si zase vyžiadalo aj zlepšenie infraštruktúry siete.
Spoločnosť spustila novú službu pre klientov, Network-as-a-Service: riešime všetky sieťové úlohy klientov, čo im umožňuje sústrediť sa na hlavný biznis.
V lete 2020 sa dokončil prvý veľký projekt v tomto smere, o ktorom by sme chceli hovoriť.
Na začiatku
Veľký priemyselný komplex nás oslovil s požiadavkou na modernizáciu sieťovej časti infraštruktúry v jednom z jeho podnikov. Bolo potrebné vymeniť staré zariadenia za nové, vrátane jadra siete.
Posledná modernizácia zariadení na podniku prebehla pred približne 10 rokmi. Nové vedenie podniku sa rozhodlo zlepšiť konektivitu, začínajúc aktualizáciou infraštruktúry na najzákladnejšej, fyzickej úrovni.
Projekt bol rozdelený na dve časti: upgrade serverového parku a sieťových zariadení. My sme sa zodpovedali za druhú časť.
Základné požiadavky na práce zahŕňali minimalizáciu prestojov výrobných liniek podniku počas vykonávania prác (a na niektorých úsekoch aj úplné vylúčenie prestojov). Akékoľvek zastavenie znamená priamu finančnú stratu pre klienta, čo sa za žiadnych okolností nesmelo stať. V súvislosti s prevádzkovým režimom objektu 24x7x365, ako aj s úplným nedostatkom plánovaných prestojov v praxi podniku, pred nami bola daná úloha, v podstate vykonať operáciu na otvorenom srdci. To sa stalo hlavným rozlišovacím znakom projektu.
Ideme
Práce boli naplánované na princípe pohybu od uzlov siete vzdialených od jadra k tým bližším, ako aj od menej ovplyvňujúcich výrobné línie k tým, ktoré ovplyvňujú túto prácu priamo.
Napríklad, ak vezmeme uzol siete v oddelení predaja, tak výpadok spojenia v dôsledku prác v tomto oddelení nijako neovplyvní výrobu. Tento incident nám ako dodávateľovi pomôže overiť správnosť zvoleného prístupu k práci s takýmito uzlami a po jeho korekcii pokračovať v ďalších fázach projektu.
Je potrebné nielen vymeniť uzly a káble v sieti, ale aj správne nakonfigurovať všetky komponenty pre správnu funkciu riešenia ako celku. Presne konfigurácie sa takto overovali: začínajúc s prácami v odstupe od jadra, sme si akoby dávali „právo na chybu“, čím sme neohrozovali kriticky dôležité oblasti práce podniku.
Určili sme zóny, ktoré neovplyvňujú výrobný proces, ako aj kritické úseky – dielne, blok nakladania a vykladania, sklady atď. Na kľúčových úsekoch bolo s klientom dohodnuté prípustné prestoje pre každý uzol siete osobitne: od 1 do 15 minút. Úplne sa vyhnúť odpojeniu jednotlivých uzlov siete nebolo možné, pretože kábel musí byť fyzicky prepnutý z pôvodného zariadenia na nové, a počas prepínania je tiež potrebné rozuzliť "bradu" káblov, ktorá sa vytvorila počas niekoľkých rokov prevádzky bez riadneho úsilia (jedna z následkov outsourcovania prác na montáž káblových liniek).
Práce boli rozdelené do niekoľkých fáz.
Fáza 1 – Audit. Príprava a schválenie prístupu k plánovaniu prác a posúdenie pripravenosti tímov: klienta, dodávateľa, ktorý vykonáva montáž, a nášho tímu.
Fáza 2 – Vypracovanie formátu pre vykonávanie prác s podrobnou analýzou a plánovaním. Zvolili sme formát kontrolného zoznamu s presným uvedením poradia a postupnosti opatrení, až po poradie prepínania patch-káblov medzi portami.
Fáza 3 – Vykonávanie prác v skrinkách, ktoré neovplyvňujú výrobu. Hodnotenie a korekcia doby prestojov pre nasledujúce fázy prác.
Fáza 4 – Vykonávanie prác v skrinkách, ktoré priamo ovplyvňujú výrobu. Hodnotenie a korekcia doby prestojov pre finálnu fázu prác.
Fáza 5 – Vykonávanie prác v serverovni pri prepínaní zostávajúceho vybavenia. Spustenie na smerovaní na novom jadre.
Fáza 6 – Postupné prepínanie jadra systému zo starých sieťových konfigurácií na nové pre hladký prechod celého komplexu systému (VLAN, smerovanie a pod.). V tejto fáze sme pripojili všetkých používateľov a preniesli všetky služby na nové vybavenie, skontrolovali správnosť pripojenia, uistili sa, že žiadne z firemných služieb neboli prerušené, a garantovali, že v prípade akýchkoľvek problémov budú priamo súvisieť s jadrom, čo uľahčilo odstraňovanie možných porúch a finálne nastavenie.
Úprava kabeláže
Projekt sa ukázal byť náročným aj kvôli zložitým pôvodným podmienkam.
Po prvé, je to obrovské množstvo uzlov a častí siete, so zložitou topológiou a klasifikáciou káblov podľa ich účelu. Takéto "borové" sa museli vyťahovať zo skríň a s precíznosťou "upravovať", aby sme sa zorientovali, ktorý kábel kam vedie.
Vyzeralo to približne takto:
takto:
alebo takto:
Po druhé, pre každú podobnú úlohu bolo potrebné pripraviť súbor s popisom procesu. „Zoberieme kábel X z portu 1 starého zariadenia, zapojíme ho do portu 18 nového zariadenia.“ Znie to jednoducho, ale keď máš v zdrojových údajoch 48 plne obsadených portov a taktiež chýba možnosť odstávky (pamätáme si na 24x7x365), jediným východiskom je pracovať po blokoch. Čím viac káblov sa dá vytiahnuť zo starého zariadenia naraz, tým rýchlejšie ich možno upraviť a zasunúť do nového sieťového „železa“, čím sa vyhne prerušeniam a odstávkam v práci siete.
Preto sme v prípravnej fáze vykonali rozdelenie siete do blokov – každý z nich sa týkal určitého VLAN. Každý port (alebo ich podmnožina) na starom zariadení predstavoval niektorý z VLAN v novej topológii siete. Skupinovali sme ich takto: na prvých portoch prepínača sa nachádzali používateľské siete, v strede – výrobné siete, a na posledných – prístupové body a uplinky.
Taký prístup umožnil vyťahovať a upravovať zo starého zariadenia naraz nie 1 kábel, ale 10-15. To niekoľkokrát urýchlilo pracovný proces.
Mimochodom, takto vyzerajú káble v skriniach po úprave:
alebo napríklad takto:
Po dokončení 2. etapy sme si urobili prestávku na analýzu chýb a dynamiky projektu. Napríklad sa hneď ukázali drobné nedostatky z dôvodu nepresností v poskytnutých schémach siete (nepresný konektor na schéme – nesprávne zakúpený patch cord a potreba jeho výmeny).
Prestávka bola nevyhnutná, pretože pri práci so serverom bola aj malá chyba v procese neprípustná. Ak je cieľom zabezpečiť čas odstávky na úseku siete nie viac ako 5 minút, nemalo sa to prekročiť. Akékoľvek možné odchýlky od plánu mali byť schvaľované s klientom.
Avšak predbežné plánovanie a rozdelenie projektu do blokov umožnili dodržať plánovaný čas odstávky na všetkých úsekoch, a v mnohých prípadoch sa dokonca obišlo bez neho.
Výzva doby – projekt pod COVID-om
Bez ďalších komplikácií sa však neobišlo. Samozrejme, jedným z prekážok bol koronavírus.
Práce se zkomplikovaly, když začala pandemie, a nebylo možné, aby se na místě prací na pozemku klienta zúčastnili všichni specialisté zapojení do procesu. Na místo byli připuštěni pouze zaměstnanci montážní organizace, a kontrola probíhala přes místnost v Zoomu – byli tam síťový inženýr ze strany Linxdatacenter, já jako projektový vedoucí, síťový inženýr ze strany klienta, odpovědný za realizaci prací, a tým provádějící montážní práce.
Během prací vznikaly neočekávané problémy, a museli jsme provádět úpravy za chodu. Díky tomu se nám podařilo rychle předcházet vlivu lidského faktoru (chyby v schématu, chyby v určení stavu aktivity rozhraní atd.).
Ačkoliv se na začátku projektu zdál vzdálený formát práce nezvyklý, relativně rychle jsme se přizpůsobili novým podmínkám a dostali se na finální fázi prací.
Spustili jsme dočasnou konfiguraci nastavení sítě pro paralelní práci dvou síťových jader – starého a nového – za účelem zajištění plynulého přechodu. Ukázalo se však, že jedna zbytečná řádka nebyla odstraněna z konfiguračního souboru nového jádra, a přechod se tudíž neuskutečnil. To nás donutilo strávit určité časové období hledáním problému.
Zjistilo se, že hlavní provoz byl přenášen správně, a řídící provoz nedosahoval uzlu přes nové jádro. Díky jasnému rozdělení projektu na fáze se nám podařilo poměrně rychle identifikovat část sítě, kde došlo k potížím, zjistit příčinu a odstranit ji.
A výsledkem
Technické závěry projektu
Především bylo vytvořeno nové jádro nové sítě podniku, pro což jsme postavili fyzická/logická kruhová zapojení. Učinili jsme to tak, aby každý switch v síti měl „druhé rameno“. Ve staré síti bylo mnoho switchů připojeno k jádru jednou trasou, jedním ramenem (uplinkem). Pokud došlo k jeho přerušení, switch se stal zcela nedostupným. A pokud bylo přes jeden uplink připojeno několik switchů, havárie vyřadila z provozu celý oddělení nebo výrobní linku podniku.
V nové síti dokonce ani poměrně závažný síťový incident nemůže za žádného scénáře „položit“ celou síť nebo významnou část její.
90% všetkých sieťových zariadení bolo aktualizovaných, mediakonvertory (prevodníky signálu) boli vyradené z prevádzky a zrušená potreba samostatných napájacích liniek pre napájanie zariadení pripojením k PoE prepínačom, kde napájanie sa realizuje prostredníctvom Ethernetových káblov.
Taktiež boli označené všetky optické spojenia v serverovni a v skriniach na miestach – na všetkých kľúčových uzloch zloženia. To umožnilo pripraviť topologickú schému zariadení a pripojení v sieti, ktorá odráža jej aktuálny stav.
Schéma siete
Najdôležitejší výsledok z technického hľadiska: dostatočne rozsiahle infrastrukturálne práce boli vykonané rýchlo, bez narušenia činnosti podniku a takmer nepostrehnuteľne pre jeho zamestnancov.
Obchodné výsledky projektu
Podľa môjho názoru, tento projekt je zaujímavý predovšetkým nie z technického, ale organizačného hľadiska. Zložitosti spočívali najmä v plánovaní a premyslení krokov na realizáciu projektových úloh.
Úspech projektu umožňuje hovoriť o tom, že naša iniciatíva na rozvoj sieťového smerovania v rámci portfólia služieb Linxdatacenter je správny smer rozvoja spoločnosti. Odpovedný prístup k riadeniu projektov, správna stratégia a jasné plánovanie nám umožnili vykonať prácu na požadovanej úrovni.
Potvrdenie kvality práce – žiadosť od klienta na pokračovanie poskytovania služieb v modernizácii siete na jeho ďalších miestach v Rusku.
Zdroj: habr.com
