Kaip atnaujinti tinklo įrangą didelėje įmonėje nenutraukiant gamybos? Jis pasakoja apie didelio masto projektą „atviros širdies operacijos“ režimu Linxdatacenter projektų valdymo vadovas Olegas Fedorovas.
Per pastaruosius kelerius metus pastebėjome išaugusį klientų paslaugų, susijusių su IT infrastruktūros tinklo komponentu, paklausą. IT sistemų, paslaugų, taikomųjų programų jungiamumo, stebėjimo ir operatyvaus verslo valdymo užduočių poreikis beveik bet kurioje srityje šiandien verčia įmones daugiau dėmesio skirti tinklams.
Užklausų diapazonas svyruoja nuo tinklo gedimų tolerancijos užtikrinimo iki autonominės kliento sistemos sukūrimo ir valdymo perkant IP adresų bloką, maršruto parinkimo protokolų nustatymą ir srauto valdymą pagal organizacijos politiką.
Taip pat auga kompleksinių tinklo infrastruktūros kūrimo ir priežiūros sprendimų poreikis, visų pirma iš klientų, kurių tinklo infrastruktūra kuriama nuo nulio arba yra pasenusi, reikalaujanti rimtų modifikacijų.
Ši tendencija sutapo su Linxdatacenter tinklo infrastruktūros plėtros ir sudėtingumo laikotarpiu. Išplėtėme savo buvimo Europoje geografiją prisijungdami prie nutolusių vietų, o tam savo ruožtu reikėjo tobulinti tinklo infrastruktūrą.
Bendrovė klientams pristatė naują paslaugą „Network-as-a-Service“: mes pasirūpiname visomis klientų tinklo problemomis, leidžiančiomis sutelkti dėmesį į savo pagrindinę veiklą.
2020 metų vasarą buvo baigtas pirmasis didelis šios krypties projektas, apie kurį norėčiau pakalbėti.
Pradžioje
Į mus kreipėsi stambus pramonės kompleksas, siekdamas modernizuoti tinklinę infrastruktūros dalį vienoje iš savo įmonių. Seną įrangą reikėjo pakeisti nauja įranga, įskaitant tinklo šerdį.
Paskutinis įrangos modernizavimas įmonėje vyko maždaug prieš 10 metų. Naujoji įmonės vadovybė nusprendė pagerinti ryšį, pradedant nuo infrastruktūros atnaujinimo pačiu elementariausiu, fiziniu lygmeniu.
Projektas buvo padalintas į dvi dalis: serverių parko ir tinklo įrangos atnaujinimą. Mes buvome atsakingi už antrąją dalį.
Pagrindiniai darbo reikalavimai buvo įmonės gamybinių linijų prastovų sumažinimas atliekant darbus (o kai kuriose srityse visiškai panaikintas prastovos). Bet koks sustabdymas reiškia tiesioginius finansinius klientui nuostolius, kurių neturėjo įvykti jokiomis aplinkybėmis. Dėl objekto darbo režimo 24x7x365, taip pat į tai, kad įmonės praktikoje visiškai nėra planuojamų prastovų laikotarpių, mums buvo pavesta iš esmės atlikti atviros širdies operaciją. Tai tapo pagrindiniu projekto skiriamuoju bruožu.
Eik
Darbai buvo planuojami pagal judėjimo iš tinklo mazgų, nutolusių nuo šerdies, į artimesnius, taip pat nuo mažiau įtakojančių gamybos linijų darbą į tiesiogiai šiam darbui įtakojančių mazgų principu.
Pavyzdžiui, jei pardavimų skyriuje paimsime tinklo mazgą, tai ryšio nutraukimas dėl darbo šiame skyriuje niekaip neturės įtakos gamybai. Kartu toks incidentas padės mums, kaip rangovui, patikrinti pasirinkto požiūrio į tokius mazgus teisingumą ir, pakoregavus veiksmus, dirbti su kitais projekto etapais.
Būtina ne tik pakeisti tinklo mazgus ir laidus, bet ir teisingai sukonfigūruoti visus komponentus, kad sprendimas veiktų kaip visuma. Būtent konfigūracijos buvo išbandytos tokiu būdu: pradėdami dirbti toliau nuo branduolio, atrodė, kad suteikėme sau „teisę daryti klaidas“, nekeldami pavojaus įmonės veiklai svarbioms sritims.
Nustatėme sritis, kurios neturi įtakos gamybos procesui, taip pat kritines zonas – cechus, pakrovimo ir iškrovimo bloką, sandėlius ir kt.. Pagrindinėse srityse su klientu buvo susitarta dėl priimtinos prastovos kiekvienam tinklo mazgui atskirai: nuo 1 iki 15 minučių . Visiškai išvengti atskirų tinklo mazgų atjungimo nepavyko, nes kabelis turi būti fiziškai perjungiamas iš senos įrangos į naują, o perjungimo metu taip pat reikia išpainioti laidų „barzdą“, susidariusią per kelerius metus netinkamai eksploatuojant. priežiūra (viena iš kabelių linijų įrengimo darbų iš išorės pasekmių).
Darbas buvo suskirstytas į kelis etapus.
1 stadija – Auditas. Požiūrio į darbų planavimą parengimas ir derinimas bei komandų: užsakovo, montavimo rangovo ir mūsų komandos pasirengimo įvertinimas.
2 stadija – Darbo atlikimo formato sukūrimas su gilia detalia analize ir planavimu. Pasirinkome kontrolinio sąrašo formatą, kuriame tiksliai nurodoma veiksmų tvarka ir seka, iki pat pataisos laidų perjungimo pagal prievadą sekos.
3 stadija – Gamybai įtakos neturinčių darbų atlikimas spintose. Prastovos vėlesniems darbo etapams įvertinimas ir derinimas.
4 stadija – Darbų atlikimas spintose, kurie tiesiogiai įtakoja gamybą. Prastovų galutiniam darbų etapui įvertinimas ir derinimas.
5 stadija – Darbų atlikimas serverių patalpoje, perjungiant likusią įrangą. Paleiskite maršruto parinkimą naujame branduolyje.
6 stadija – Nuoseklus sistemos branduolio perjungimas iš senų tinklo konfigūracijų į naujas, kad sklandžiai pereitų visas sistemos kompleksas (VLAN, maršruto parinkimas ir kt.). Šiame etape sujungėme visus vartotojus ir perkėlėme visas paslaugas į naują aparatinę įrangą, patikrinome, ar ryšys teisingas, įsitikinome, kad nė viena įmonės paslauga nebuvo sustabdyta, užtikrinome, kad iškilus problemoms jos būtų tiesiogiai prijungtos prie branduolio, tai palengvino galimų problemų šalinimą ir galutinę sąranką.
Vielinės barzdos šukuosena
Projektas pasirodė sudėtingas ir dėl sunkių pradinių sąlygų.
Pirma, yra daugybė tinklo mazgų ir sekcijų, turinčių sudėtingą topologiją ir laidų klasifikaciją pagal jų paskirtį. Tokias „barzdas“ reikėjo išimti iš spintelių ir kruopščiai „šukuoti“, išsiaiškinti, iš kur ir kur veda viela.
Tai atrodė maždaug taip:
taip:
ar taip:
Antra, kiekvienai tokiai užduočiai reikėjo paruošti procesą aprašantį failą. „Paimame laidą X iš senos įrangos 1 prievado, įkišame jį į naujos įrangos 18 prievadą. Skamba paprastai, bet kai šaltinio duomenyse yra 48 visiškai užsikimšę prievadai, o prastovos parinkties nėra (atsimename apie 24x7x365), vienintelė išeitis yra dirbti blokais. Kuo daugiau laidų vienu metu galėsite ištraukti iš senos įrangos, tuo greičiau galėsite juos sušukuoti ir įkišti į naują tinklo įrangą, išvengdami gedimų ir prastovų tinkle.
Todėl parengiamajame etape tinklą suskirstėme į blokus – kiekvienas iš jų priklausė konkrečiam VLAN. Kiekvienas senos įrangos prievadas (arba jų poaibis) yra vienas iš VLAN naujojoje tinklo topologijoje. Juos sugrupavome taip: pirmuosiuose jungiklio prievaduose buvo vartotojų tinklai, viduriniuose – gamybos tinklai, o paskutiniuose – prieigos taškai ir aukštyn nukreiptos nuorodos.
Toks požiūris leido iš senos įrangos ištraukti ir iššukuoti ne tik 1 laidą, bet 10-15, vienu ypu. Tai kelis kartus paspartino darbo procesą.
Beje, taip atrodo laidai spintelėse po sušukavimo:
arba, pavyzdžiui, taip:
Baigę II etapą padarėme pertraukėlę klaidų analizei ir projekto dinamikai. Pavyzdžiui, iš karto atsirado smulkūs defektai dėl mums pateiktų tinklo schemų netikslumų (neteisinga jungtis schemoje reiškia neteisingai įsigytą pataisos laidą ir būtinybę jį keisti).
Pauzė buvo būtina, nes dirbant iš serverio pusės net nedidelis proceso sutrikimas buvo nepriimtinas. Jei tikslas buvo užtikrinti, kad tinklo ruože prastovos būtų ne ilgesnės nei 5 minutės, tai jo negalima viršyti. Bet koks galimas nukrypimas nuo grafiko turėjo būti suderintas su klientu.
Tačiau iš anksto suplanavus ir padalinus projektą į blokus buvo įmanoma visose srityse laikytis suplanuotų prastovų, o dažniausiai ir jų išvengti.
Laiko iššūkis – projektas pagal COVID
Tačiau tai neapsiėjo be papildomų sunkumų. Žinoma, koronavirusas buvo viena iš kliūčių.
Darbą apsunkino tai, kad prasidėjo pandemija, o visiems procese dalyvaujantiems specialistams nebuvo įmanoma dalyvauti atliekant darbus kliento vietoje. Į aikštelę buvo įleisti tik montavimo organizacijos darbuotojai, o kontrolė buvo vykdoma per Zoom kambarį - jame buvo tinklo inžinierius iš Linxdatacenter, aš kaip projektų vadovas, tinklo inžinierius iš kliento, atsakingo už darbą, ir montavimo darbus atliekanti komanda.
Darbo metu iškilo nepastebėtų problemų, o koregavimus teko atlikti sklandžiai. Tokiu būdu buvo galima greitai užkirsti kelią žmogiškojo faktoriaus įtakai (klaidoms grandinėje, klaidoms nustatant sąsajos veiklos būseną ir pan.).
Nors projekto pradžioje nuotolinio darbo formatas atrodė neįprastas, greitai prisitaikėme prie naujų sąlygų ir pasiekėme galutinį darbo etapą.
Pradėjome laikiną tinklo nustatymų konfigūraciją, kad du tinklo branduoliai – senas ir naujas – veiktų lygiagrečiai, kad būtų užtikrintas sklandus perėjimas. Tačiau paaiškėjo, kad iš naujojo branduolio konfigūracijos failo nebuvo pašalinta viena papildoma eilutė, o perėjimas neįvyko. Tai privertė mus praleisti šiek tiek laiko ieškant problemos.
Paaiškėjo, kad pagrindinis srautas buvo perduodamas teisingai, o kontrolinis srautas mazgo per naują branduolį nepasiekė. Dėl aiškaus projekto suskirstymo į etapus buvo galima greitai nustatyti tinklo atkarpą, kurioje iškilo problema, nustatyti problemą ir ją pašalinti.
Ir dėl to
Techniniai projekto rezultatai
Visų pirma, buvo sukurtas naujas naujojo įmonių tinklo branduolys, kuriam pastatėme fizinius/loginius žiedus. Tai daroma taip, kad kiekvienas tinklo jungiklis turėtų „antrąją ranką“. Senajame tinkle daug jungiklių buvo prijungta prie šerdies vienu maršrutu, viena ranka (uplink). Jei jis sugedo, jungiklis tapo visiškai nepasiekiamas. Ir jei keli jungikliai būtų prijungti per vieną aukštyn, nelaimingas atsitikimas išjungs visą įmonės skyrių ar gamybos liniją.
Naujame tinkle net ir gana rimtas tinklo incidentas jokiu atveju negalės sugriauti viso tinklo ar reikšmingos jo dalies.
Atnaujinta 90% visos tinklo įrangos, nutraukta medijų keitiklių (signalo sklidimo medijų keitiklių) eksploatacija, o prijungus prie PoE jungiklių, kur maitinimas tiekiamas Ethernet laidais, nebereikia specialių elektros linijų, skirtų įrangai maitinti.
Taip pat pažymėtos visos optinės jungtys serverių patalpoje ir lauko spintose – visuose pagrindiniuose komunikacijos mazguose. Tai leido parengti tinklo įrangos ir jungčių topologinę schemą, atspindinčią jo esamą būklę šiandien.
Tinklo schema
Svarbiausias rezultatas technine prasme: gana didelio masto infrastruktūros darbai buvo atlikti greitai, nesikišant į įmonės darbą ir beveik nepastebimai jos personalo.
Projekto verslo rezultatai
Mano nuomone, šis projektas įdomus pirmiausia ne iš techninės, o iš organizacinės pusės. Sunkumai pirmiausia kilo planuojant ir apgalvojant projekto užduočių įgyvendinimo žingsnius.
Projekto sėkmė leidžia teigti, kad mūsų iniciatyva plėtoti tinklų sritį Linxdatacenter paslaugų portfelyje yra tinkamas pasirinkimas įmonės plėtros vektoriui. Atsakingas požiūris į projektų valdymą, kompetentinga strategija ir aiškus planavimas leido mums atlikti darbus tinkamu lygiu.
Darbo kokybės patvirtinimas yra kliento prašymas ir toliau teikti tinklo modernizavimo paslaugas likusiose Rusijos vietose.
Šaltinis: www.habr.com