Kuidas uuendada võrguseadmeid suurettevõttes ilma tootmist peatamata? Ta räägib suuremahulisest projektist “avatud südameoperatsiooni” režiimis Linxdatacenter projektijuhtimise juht Oleg Fedorov.
Oleme viimastel aastatel täheldanud klientide suurenenud nõudlust IT-infrastruktuuri võrgukomponendiga seotud teenuste järele. IT-süsteemide, teenuste, rakenduste ühenduvuse vajadus peaaegu igas valdkonnas sunnib ettevõtteid pöörama suuremat tähelepanu võrkudele.
Taotluste hulk ulatub võrgu tõrketaluvuse tagamisest kuni kliendi autonoomse süsteemi loomise ja haldamiseni koos IP-aadresside ploki ostmise, marsruutimisprotokollide seadistamise ja liikluse haldamisega vastavalt organisatsiooni poliitikatele.
Samuti kasvab nõudlus võrgutaristu ehitamise ja hooldamise terviklahenduste järele eelkõige klientidelt, kelle võrgutaristu luuakse nullist või on vananenud, vajades tõsist ümberehitust.
See suundumus langes kokku Linxdatacenteri enda võrguinfrastruktuuri arendamise ja keerukuse perioodiga. Laiendasime oma kohaloleku geograafiat Euroopas, luues ühenduse kaugemate saitidega, mis omakorda nõudis võrgu infrastruktuuri täiustamist.
Ettevõte tõi klientidele turule uue teenuse Network-as-a-Service: hoolitseme kõigi klientide võrguprobleemide eest, võimaldades neil keskenduda oma põhitegevusele.
2020. aasta suvel sai valmis esimene sellesuunaline suurprojekt, millest tahakski rääkida.
Alguses
Meie poole pöördus suur tööstuskompleks, et kaasajastada ühe oma ettevõtte infrastruktuuri võrguosa. Oli vaja asendada vanad seadmed uutega, sealhulgas võrgu tuum.
Viimane seadmete moderniseerimine toimus ettevõttes umbes 10 aastat tagasi. Ettevõtte uus juhtkond otsustas ühenduvust parandada, alustades infrastruktuuri värskendamisest kõige elementaarsemal, füüsilisel tasemel.
Projekt jagunes kaheks osaks: serveripargi ja võrguseadmete uuendamine. Teise osa eest vastutasime meie.
Töö põhinõuete hulka kuulus ettevõtte tootmisliinide seisakuaja minimeerimine tööde teostamise ajal (ja mõnes valdkonnas seisakute täielik kõrvaldamine). Igasugune seisak tähendab kliendile otsest rahalist kahju, mida ei oleks tohtinud mingil juhul juhtuda. Tulenevalt rajatise töörežiimist 24x7x365, samuti arvestades planeeritud seisakuperioodide täielikku puudumist ettevõtte praktikas, saime ülesandeks teha sisuliselt avatud südameoperatsioon. Sellest sai projekti peamine eristav tunnus.
Mine
Tööd planeeriti lähtudes liikumise põhimõttest tuumast kaugematest võrgusõlmedest lähematesse, samuti tootmisliinide tööd vähem mõjutavatelt seda tööd otseselt mõjutavatele.
Näiteks kui võtame müügiosakonnas võrgusõlme, siis selles osakonnas tööst tulenev sidekatkestus tootmist kuidagi ei mõjuta. Samal ajal aitab selline juhtum meil töövõtjana kontrollida selliste üksustega töötamiseks valitud lähenemisviisi õigsust ja pärast toimingute kohandamist projekti järgmistes etappides.
Lahenduse kui terviku õigeks tööks on vaja mitte ainult vahetada võrgusõlmi ja juhtmeid, vaid ka õigesti konfigureerida kõik komponendid. Just konfiguratsioone testiti nii: alustades tööd tuumast eemal, tundus, et andsime endale „õiguse teha vigu”, seadmata ohtu ettevõtte toimimise seisukohalt olulisi valdkondi.
Selgitasime välja piirkonnad, mis tootmisprotsessi ei mõjuta, aga ka kriitilised alad - töökojad, peale- ja mahalaadimissõlm, laod jne. Võtmevaldkondades lepiti kliendiga kokku iga võrgusõlme jaoks eraldi vastuvõetav seisakuaeg: alates 1. 15 minutit. Üksikute võrgusõlmede lahtiühendamist ei olnud võimalik täielikult vältida, kuna kaabel tuleb füüsiliselt vanadelt seadmetelt uue vastu vahetada, samuti tuleb lülitusprotsessi käigus lahti harutada juhtmete “habe”, mis tekkis ilma korraliku mitmeaastase töötamise käigus. hooldus (üks kaabelliinide paigaldustööde allhanke tagajärgi).
Töö oli jagatud mitmeks etapiks.
1 etapp – Audit. Tööde planeerimise lähenemise ettevalmistamine ja koordineerimine ning meeskondade valmisoleku hindamine: tellija, paigaldustööde teostaja ja meie meeskond.
2 etapp – Tööde teostamise formaadi väljatöötamine koos põhjaliku üksikasjaliku analüüsi ja planeerimisega. Valisime kontrollnimekirja vormingu, mis näitab täpselt toimingute järjekorda ja järjestust, kuni plaastrijuhtmete vahetamise jadani pordi kaupa.
3 etapp – Kappides tööde tegemine, mis tootmist ei mõjuta. Järgmiste tööetappide seisakuaegade hindamine ja kohandamine.
4 etapp – Kappides tööde tegemine, mis otseselt mõjutavad tootmist. Seisakute hindamine ja kohandamine töö viimase etapi jaoks.
5 etapp – Tööde teostamine serveriruumis allesjäänud seadmete vahetamiseks. Käivitage uue kerneli marsruutimine.
6 etapp – Süsteemi tuuma järjestikune ümberlülitamine vanadelt võrgukonfiguratsioonidelt uutele kogu süsteemikompleksi (VLAN, marsruutimine jne) sujuvaks üleminekuks. Selles etapis ühendasime kõik kasutajad ja viisime kõik teenused üle uuele riistvarale, kontrollisime ühenduse õigsust, veendusime, et ükski ettevõtte teenus ei oleks peatatud, tagasime, et probleemide ilmnemisel ühendatakse need otse kerneliga, mis hõlbustas võimalike probleemide tõrkeotsingut ja lõplikku seadistamist.
Traathabeme soeng
Projekt osutus keeruliseks ka keeruliste algtingimuste tõttu.
Esiteks on tohutul hulgal võrgusõlmi ja sektsioone, millel on keerukas topoloogia ja juhtmete liigitus vastavalt nende otstarbele. Sellised “habemed” tuli kappidest välja võtta ja hoolega “kammida”, nuputades, mis traat kust tuleb ja kuhu see viib.
See nägi välja umbes selline:
nii:
või nii:
Teiseks oli iga sellise ülesande jaoks vaja koostada protsessi kirjeldav fail. "Võtame juhtme X vana seadme pordist 1, ühendame selle uue seadme pordiga 18." See kõlab lihtsalt, kuid kui teie lähteandmetes on 48 täielikult ummistunud porti ja seisakuvõimalust pole (mäletame umbes 24x7x365), on ainus väljapääs plokkidena töötamine. Mida rohkem juhtmeid saate vanadest seadmetest korraga välja tõmmata, seda kiiremini saate need läbi kammida ja uude võrguriistvarasse sisestada, vältides võrgu rikkeid ja seisakuid.
Seetõttu jagasime ettevalmistavas etapis võrgu plokkideks - igaüks neist kuulus konkreetsesse VLAN-i. Vanade seadmete iga port (või nende alamhulk) on üks VLAN-idest uues võrgutopoloogias. Rühmitasime need järgmiselt: lüliti esimestes pordides olid kasutajavõrgud, keskmises tootmisvõrgud ja viimases pääsupunktid ja üleslingid.
Selline lähenemine võimaldas vanadest seadmetest korraga välja tõmmata ja kammida mitte ainult 1, vaid 10-15 traati. See kiirendas tööprotsessi mitu korda.
Muide, sellised näevad kappide juhtmed pärast kammimist välja:
või näiteks nii:
Pärast 2. etapi läbimist tegime pausi, et analüüsida vigu ja projekti dünaamikat. Näiteks ilmnesid koheselt väiksemad vead meile esitatud võrguskeemide ebatäpsuste tõttu (vale pistik skeemil tähendab valesti ostetud patch-juhet ja selle väljavahetamise vajadust).
Paus oli vajalik, kuna serveri poolelt töötades oli isegi väike tõrge protsessis vastuvõetamatu. Kui eesmärgiks oli tagada võrgulõigul mitte rohkem kui 5 minutit seisakuid, siis seda ületada ei saanud. Kõik võimalikud graafikust kõrvalekalded tuli kliendiga kokku leppida.
Projekti eelplaneerimine ja plokkideks jagamine võimaldas aga planeeritud seisakuid kõigis valdkondades täita ning enamasti ka üldse vältida.
Aja väljakutse – COVID-i all olev projekt
Siiski ei läinud see ilma lisaraskusteta. Muidugi oli üheks takistuseks koroonaviirus.
Töö tegi keeruliseks asjaolu, et algas pandeemia ning kõigil protsessis osalevatel spetsialistidel ei olnud võimalik kliendi objektil töö ajal viibida. Objektile lubati ainult paigaldusorganisatsiooni töötajaid ja kontroll viidi läbi Zoomi ruumi kaudu - selles oli Linxdatacenteri võrguinsener, mina projektijuhina, võrguinsener töö eest vastutavast kliendist ja paigaldustöid tegev meeskond.
Töö käigus tekkisid teadmata probleemid ja kohendusi tuli teha käigu pealt. Nii oli võimalik kiiresti ära hoida inimfaktori mõju (vead vooluringis, vead liidese tegevuse oleku määramisel jne).
Kuigi kaugtöö formaat tundus projekti alguses ebatavaline, kohanesime uute tingimustega kiiresti ja jõudsime töö lõppfaasi.
Oleme käivitanud võrgusätete ajutise konfiguratsiooni, mis võimaldab sujuva ülemineku saavutamiseks paralleelselt töötada kahel võrgutuuma – vana ja uue. Selgus aga, et uue kerneli konfiguratsioonifailist jäi üks lisarida eemaldamata ja üleminek ei toimunud. See sundis meid kulutama mõnda aega probleemi otsimisele.
Selgus, et põhiliiklus edastati õigesti ning juhtliiklus uue tuuma kaudu sõlme ei jõudnud. Tänu projekti selgele jaotamisele etappideks oli võimalik kiiresti tuvastada võrgulõik, kus probleem tekkis, probleem tuvastada ja see parandada.
Ja selle tulemusena
Projekti tehnilised tulemused
Kõigepealt loodi uue ettevõtete võrgu uus tuum, mille jaoks ehitasime füüsilised/loogilised ringid. Seda tehakse nii, et igal võrgulülitil on "teine käsi". Vanas võrgus ühendati palju lüliteid südamikuga ühte marsruuti, ühte haru (uplink). Kui see katki läks, muutus lüliti täiesti kättesaamatuks. Ja kui ühe üleslingi kaudu oleks ühendatud mitu lülitit, blokeeriks õnnetus ettevõttes terve osakonna või tootmisliini.
Uues võrgus ei suuda isegi üsna tõsine võrguintsident ühegi stsenaariumi korral kogu võrku või selle olulist osa alla viia.
90% kõigist võrguseadmetest on uuendatud, meediumimuundurid (signaali levimeediumi muundurid) on kasutusest kõrvaldatud ning vajadus spetsiaalsete elektriliinide järele seadmete toiteks on kõrvaldatud ühendades PoE-lülititega, kus toide antakse Etherneti juhtmete kaudu.
Samuti on märgistatud kõik optilised ühendused serveriruumis ja välikappides – kõigis võtmesidesõlmedes. See võimaldas koostada võrgus olevate seadmete ja ühenduste topoloogilist diagrammi, mis kajastab selle tänast tegelikku seisu.
Võrguskeem
Tehnilises mõttes olulisim tulemus: üsna suuremahulised infrastruktuuritööd tehti kiiresti, ettevõtte tööd segamata ja personalile peaaegu märkamatult.
Projekti äritulemused
Minu arvates on see projekt huvitav eelkõige mitte tehnilise, vaid korraldusliku poole pealt. Raskus seisnes eelkõige planeerimises ja projektiülesannete elluviimise sammude läbimõtlemises.
Projekti edu lubab väita, et meie initsiatiiv arendada Linxdatacenteri teenuseportfelli raames võrgupiirkonda on õige valik ettevõtte arenguvektoriks. Vastutustundlik lähenemine projektijuhtimisele, pädev strateegia ja selge planeerimine võimaldasid meil tööd õigel tasemel lõpule viia.
Töö kvaliteedi kinnitamine on kliendi taotlus jätkata võrgu moderniseerimise teenuste osutamist oma ülejäänud Venemaal asuvates objektides.
Allikas: www.habr.com