Kako posodobiti omrežno opremo v velikem podjetju brez ustavitve proizvodnje? Govori o obsežnem projektu v načinu "operacije na odprtem srcu". Vodja projektnega vodenja Linxdatacentra Oleg Fedorov.
V zadnjih nekaj letih opažamo povečano povpraševanje strank po storitvah, povezanih z omrežno komponento IT infrastrukture. Potreba po povezljivosti IT-sistemov, storitev, aplikacij, spremljanja in nalog operativnega vodenja poslovanja na skoraj vseh področjih silijo podjetja v današnjo večjo pozornost omrežjem.
Razpon zahtev sega od zagotavljanja tolerance na napake v omrežju do ustvarjanja in upravljanja odjemalskega avtonomnega sistema z nakupom bloka IP naslovov, nastavitvijo usmerjevalnih protokolov in upravljanjem prometa v skladu z organizacijskimi politikami.
Vse več je tudi povpraševanja po celovitih rešitvah za izgradnjo in vzdrževanje omrežne infrastrukture predvsem s strani strank, katerih omrežna infrastruktura nastaja na novo ali je zastarela in zahteva resne spremembe.
Ta trend je sovpadel z obdobjem razvoja in kompleksnosti Linxdatacentrove lastne omrežne infrastrukture. Geografijo prisotnosti v Evropi smo razširili s povezovanjem na oddaljene lokacije, kar je zahtevalo izboljšavo omrežne infrastrukture.
Podjetje je uvedlo novo storitev za stranke Network-as-a-Service: poskrbimo za vse omrežne težave strank in jim omogočimo, da se osredotočijo na svojo osnovno dejavnost.
Poleti 2020 je bil zaključen prvi večji projekt v tej smeri, o katerem bi rad spregovoril.
Na začetku
Velik industrijski kompleks se je obrnil na nas za posodobitev omrežnega dela infrastrukture v enem od njegovih podjetij. Treba je bilo zamenjati staro opremo z novo, vključno z jedrom omrežja.
Zadnja posodobitev opreme v podjetju je potekala pred približno 10 leti. Novo vodstvo podjetja se je odločilo izboljšati povezljivost, začenši s posodobitvijo infrastrukture na najbolj osnovni, fizični ravni.
Projekt je bil razdeljen na dva dela: nadgradnjo strežniškega parka in omrežne opreme. Za drugi del smo bili odgovorni mi.
Osnovne zahteve za delo so vključevale čim manjše izpade proizvodnih linij podjetja med izvajanjem dela (in na nekaterih področjih popolno odpravo izpadov). Vsaka zaustavitev pomeni neposredno finančno izgubo za stranko, do česar v nobenem primeru ne bi smelo priti. Zaradi načina delovanja ustanove 24x7x365, pa tudi ob upoštevanju popolne odsotnosti obdobij načrtovanih izpadov v praksi podjetja, smo dobili nalogo, da v bistvu izvajamo operacije na odprtem srcu. To je postalo glavna značilnost projekta.
Pojdi
Delo je bilo načrtovano po principu gibanja od omrežnih vozlišč, ki so oddaljena od jedra, k bližjim, pa tudi od tistih, ki manj vplivajo na delovanje proizvodnih linij, do tistih, ki na to delo neposredno vplivajo.
Če na primer vzamemo omrežno vozlišče v prodajnem oddelku, potem prekinitev komunikacije zaradi dela v tem oddelku nikakor ne bo vplivala na proizvodnjo. Hkrati nam bo tak incident pomagal kot izvajalcu preveriti pravilnost izbranega pristopa k delu na takšnih enotah in po prilagoditvi ukrepov delati na naslednjih fazah projekta.
Potrebno je ne le zamenjati vozlišča in žice v omrežju, temveč tudi pravilno konfigurirati vse komponente za pravilno delovanje rešitve kot celote. Konfiguracije so bile preizkušene na ta način: z začetkom dela stran od jedra se je zdelo, da smo si dali »pravico do napak«, ne da bi ogrozili področja, ki so kritična za delovanje podjetja.
Identificirali smo področja, ki ne vplivajo na proizvodni proces, ter kritična področja - delavnice, nakladalno-razkladalna enota, skladišča itd. Na ključnih področjih je bil z naročnikom dogovorjen sprejemljiv čas izpadov za vsako omrežno vozlišče posebej: od 1 do 15 minut. Popolnoma se je bilo nemogoče izogniti odklopu posameznih omrežnih vozlišč, saj je treba kabel fizično preklopiti s stare opreme na novo, med postopkom preklopa pa je treba tudi razvozlati »brado« žic, ki je nastala v večletnem delovanju brez ustreznega oskrba (ena od posledic zunanjega izvajanja dela za namestitev kablovodov).
Delo je bilo razdeljeno na več faz.
Stopnja 1 – Revizija. Priprava in koordinacija pristopa k načrtovanju dela in oceni pripravljenosti ekip: naročnika, izvajalca montaže in naše ekipe.
Stopnja 2 – Razvoj formata za izvajanje dela z globoko podrobno analizo in načrtovanjem. Izbrali smo obliko kontrolnega seznama z natančno navedbo vrstnega reda in zaporedja dejanj, vse do zaporedja preklapljanja povezovalnih kablov po vratih.
Stopnja 3 – Izvajanje dela v kabinetih, ki ne vpliva na proizvodnjo. Ocena in prilagoditev izpadov za naslednje faze dela.
Stopnja 4 – Izvajanje del v kabinetih, ki neposredno vplivajo na proizvodnjo. Ocena in prilagoditev izpadov za končno fazo dela.
Stopnja 5 – Izvedba del v strežniški sobi za zamenjavo preostale opreme. Zagon ob usmerjanju v novem jedru.
Stopnja 6 – Zaporedno preklapljanje sistemskega jedra iz starih omrežnih konfiguracij v nove za gladek prehod celotnega sistemskega kompleksa (VLAN, usmerjanje itd.). Na tej stopnji smo povezali vse uporabnike in prenesli vse storitve na novo strojno opremo, preverili, ali je povezava pravilna, zagotovili, da nobena od storitev podjetja ni bila ustavljena, zagotovili, da bodo v primeru težav povezani neposredno z jedrom, kar je olajšalo odpravljanje morebitnih težav in končno nastavitev.
Pričeska z žično brado
Projekt se je izkazal za zahtevnega tudi zaradi težkih začetnih pogojev.
Prvič, obstaja ogromno število vozlišč in odsekov omrežja z zapleteno topologijo in razvrstitvijo žic glede na njihov namen. Takšne »brade« je bilo treba vzeti iz omaric in jih skrbno »česati« ter ugotoviti, od kod prihaja katera žica in kam vodi.
Izgledalo je nekako takole:
takole:
ali tako:
Drugič, za vsako takšno nalogo je bilo treba pripraviti datoteko z opisom procesa. "Žico X vzamemo iz vrat 1 stare opreme in jo priključimo na vrata 18 nove opreme." Sliši se preprosto, toda ko imate v izvornih podatkih 48 popolnoma zamašenih vrat in ni možnosti izpadov (spomnimo se 24x7x365), je edini izhod delo v blokih. Več žic kot lahko izvlečete iz stare opreme naenkrat, hitreje jih lahko prečešete in vstavite v novo omrežno strojno opremo, s čimer se izognete okvaram in izpadom omrežja.
Zato smo v pripravljalni fazi omrežje razdelili na bloke - vsak od njih je pripadal določenemu VLAN-u. Vsaka vrata (ali njihova podmnožica) na stari opremi so eden od omrežij VLAN v novi topologiji omrežja. Združili smo jih takole: prva vrata stikala so bila uporabniška omrežja, srednja produkcijska omrežja, zadnja pa dostopne točke in povezave navzgor.
Ta pristop je omogočil izvleči in prečesati iz stare opreme ne samo 1 žico, ampak 10-15, naenkrat. To je večkrat pospešilo proces dela.
Mimogrede, tako izgledajo žice v omarah po česanju:
ali na primer takole:
Po zaključku 2. faze smo si vzeli odmor za analizo napak in dinamike projekta. Manjše okvare so se na primer takoj pojavile zaradi netočnosti v omrežnih diagramih, ki so nam bili posredovani (napačen konektor na diagramu pomeni napačen kupljen patch kabel in njegovo zamenjavo).
Premor je bil nujen, saj je bila pri delu s strani strežnika že majhna napaka v procesu nesprejemljiva. Če je bil cilj zagotoviti izpade na odseku omrežja največ 5 minut, potem ga ni bilo mogoče preseči. Morebitna odstopanja od urnika je bilo treba dogovoriti z naročnikom.
Predhodno načrtovanje in razdelitev projekta na bloke pa je omogočila izpolniti načrtovane zastoje na vseh področjih, v večini primerov pa se jim v celoti izogniti.
Izziv časa - projekt pod COVID
Ni pa šlo brez dodatnih težav. Ena od ovir je bil seveda tudi koronavirus.
Delo je oteževalo dejstvo, da se je začela pandemija in ni bilo mogoče, da bi bili vsi strokovnjaki, ki so sodelovali v procesu, prisotni med delom na lokaciji naročnika. Na lokacijo so smeli vstopiti le zaposleni v inštalacijski organizaciji, nadzor pa je potekal preko Zoom sobe - v njej smo bili mrežni inženir iz Linxdatacentra, jaz kot vodja projekta, mrežni inženir naročnika, odgovoren za delo, in ekipa, ki izvaja inštalacijska dela.
Med delom so se pojavljale neupoštevane težave, prilagajanje je bilo treba izvajati sproti. Na ta način je bilo mogoče hitro preprečiti vpliv človeškega faktorja (napake v vezju, napake pri določanju statusa aktivnosti vmesnika itd.).
Čeprav se je oblika dela na daljavo na začetku projekta zdela nenavadna, smo se hitro prilagodili novim razmeram in prišli do zaključne faze dela.
Uvedli smo začasno konfiguracijo omrežnih nastavitev, da omogočimo vzporedno delovanje dveh omrežnih jeder – starega in novega – ter tako dosežemo gladek prehod. Vendar se je izkazalo, da ena dodatna vrstica ni bila odstranjena iz konfiguracijske datoteke novega jedra in do prehoda ni prišlo. Zaradi tega smo morali porabiti nekaj časa za iskanje težave.
Izkazalo se je, da je bil glavni promet prenesen pravilno, kontrolni promet pa ni dosegel vozlišča skozi novo jedro. Zahvaljujoč jasni razdelitvi projekta na faze je bilo mogoče hitro identificirati odsek omrežja, kjer je prišlo do težave, prepoznati težavo in jo odpraviti.
In posledično
Tehnični rezultati projekta
Najprej je bilo ustvarjeno novo jedro novega podjetniškega omrežja, za katerega smo zgradili fizične/logične obroče. To je narejeno tako, da ima vsako stikalo v omrežju »drugo roko«. V starem omrežju je bilo veliko stikal povezanih z jedrom po eni poti, enem kraku (uplink). Če se je pokvarilo, je stikalo postalo popolnoma nedostopno. In če bi bilo več stikal povezanih prek ene navzgornje povezave, bi nesreča onesposobila celoten oddelek ali proizvodno linijo v podjetju.
V novem omrežju niti dokaj resen omrežni incident v nobenem primeru ne bo mogel uničiti celotnega omrežja ali njegovega pomembnega dela.
90 % vse omrežne opreme je bilo posodobljeno, medijski pretvorniki (medijski pretvorniki za širjenje signala) so bili razgrajeni, potreba po namenskih daljnovodih za napajanje opreme pa je bila odpravljena s povezavo na PoE stikala, kjer se napajanje napaja preko ethernet žic.
Prav tako so označene vse optične povezave v strežniški sobi in v terenskih omarah - na vseh ključnih komunikacijskih vozliščih. To je omogočilo pripravo topološkega diagrama opreme in povezav v omrežju, ki odraža njegovo današnje stanje.
Omrežni diagram
Najpomembnejši rezultat v tehničnem smislu: razmeroma obsežna infrastrukturna dela so bila izvedena hitro, brez kakršnih koli posegov v delo podjetja in skoraj neopaženo s strani osebja.
Poslovni rezultati projekta
Po mojem mnenju je ta projekt zanimiv predvsem ne s tehničnega, temveč z organizacijskega vidika. Težava je bila predvsem v načrtovanju in razmišljanju o korakih za izvedbo projektnih nalog.
Uspeh projekta nam omogoča, da rečemo, da je naša pobuda za razvoj omrežnega področja v portfelju storitev Linxdatacenter prava izbira za razvojni vektor podjetja. Odgovoren pristop k vodenju projekta, kompetentna strategija in jasno načrtovanje so nam omogočili dokončanje dela na ustrezni ravni.
Potrditev kakovosti dela je zahteva naročnika, da nadaljuje z zagotavljanjem storitev za posodobitev omrežja na svojih preostalih lokacijah v Rusiji.
Vir: www.habr.com