Kako ažurirati mrežnu opremu u velikom poduzeću bez zaustavljanja proizvodnje? O velikom projektu u načinu "operacije na otvorenom srcu" govori Voditelj projektnog menadžmenta Linxdatacentra Oleg Fedorov.
Posljednjih nekoliko godina bilježimo povećanu potražnju korisnika za uslugama vezanim uz mrežnu komponentu IT infrastrukture. Potreba za povezivanjem IT sustava, servisa, aplikacija, zadaća nadzora i operativnog upravljanja poslovanjem u gotovo svakom području prisiljavaju današnje tvrtke na povećanu pozornost na mreže.
Zahtjevi se kreću od pružanja tolerancije mrežnih grešaka do stvaranja i upravljanja klijentskim autonomnim sustavom s akvizicijom bloka IP adresa, konfiguriranjem protokola usmjeravanja i upravljanjem prometom u skladu s politikama organizacije.
Također raste potražnja za integriranim rješenjima za izgradnju i održavanje mrežne infrastrukture, prvenstveno od strane kupaca čija je mrežna infrastruktura napravljena od nule ili je zastarjela i zahtijeva ozbiljne izmjene.
Taj se trend vremenski poklopio s razdobljem razvoja i kompliciranja vlastite mrežne infrastrukture Linxdatacentra. Proširili smo geografiju svoje prisutnosti u Europi povezivanjem na udaljene lokacije, što je pak zahtijevalo poboljšanje mrežne infrastrukture.
Tvrtka je lansirala novu uslugu za korisnike, Network-as-a-Service: mi preuzimamo brigu o svim mrežnim zadacima za korisnike, omogućujući im da se usredotoče na svoju osnovnu djelatnost.
U ljeto 2020. završen je prvi veliki projekt u tom smjeru, o kojem bih želio govoriti.
Na početku
Veliki industrijski kompleks obratio nam se za modernizaciju mrežnog dijela infrastrukture u jednom od svojih poduzeća. Bilo je potrebno zamijeniti staru opremu novom, uključujući i jezgru mreže.
Posljednja modernizacija opreme u poduzeću dogodila se prije otprilike 10 godina. Nova uprava poduzeća odlučila je poboljšati povezanost, počevši s nadogradnjom infrastrukture na najosnovnijoj, fizičkoj razini.
Projekt je podijeljen u dva dijela: nadogradnja serverskog parka i mrežne opreme. Mi smo bili zaslužni za drugi dio.
Osnovni zahtjevi za rad uključivali su smanjenje zastoja proizvodnih linija poduzeća tijekom izvođenja radova (au nekim područjima i potpuno uklanjanje zastoja). Svako zaustavljanje je izravni novčani gubitak klijenta, što se ni pod kojim okolnostima nije smjelo dogoditi. U vezi s načinom rada ustanove 24x7x365, kao i uzimajući u obzir potpunu odsutnost razdoblja planiranog zastoja u praksi poduzeća, dobili smo zadatak, zapravo, izvesti operaciju na otvorenom srcu. To je postalo glavno obilježje projekta.
Ići
Radovi su planirani po principu kretanja od čvorišta mreže udaljenih od jezgre prema bližim, kao i od proizvodnih linija koje manje utječu na rad prema onima koje izravno utječu na rad.
Na primjer, ako uzmete mrežni čvor u odjelu prodaje, tada kvar komunikacije kao rezultat rada u ovom odjelu neće ni na koji način utjecati na proizvodnju. Istodobno, takav incident pomoći će nam kao izvođaču da provjerimo ispravnost odabranog pristupa radu na takvim čvorovima i, nakon što ispravimo radnje, radimo na sljedećim fazama projekta.
Potrebno je ne samo zamijeniti čvorove i žice u mreži, već i pravilno konfigurirati sve komponente za ispravan rad rješenja u cjelini. Konfiguracije su bile provjerene na ovaj način: počevši s radom daleko od jezgre, na neki način smo si dali “pravo na pogrešku”, bez izlaganja kritičnih područja za rad poduzeća riziku.
Identificirali smo područja koja ne utječu na proizvodni proces, kao i kritična područja - radionice, utovarno-istovarna jedinica, skladišta itd. Na ključnim područjima dogovorili smo s naručiteljem dopušteno vrijeme zastoja za svaki mrežni čvor zasebno: od 1 do 15 minuta. Nije bilo moguće u potpunosti izbjeći odspajanje pojedinih mrežnih čvorova, budući da se kabel mora fizički prebaciti sa stare opreme na novu, au procesu prebacivanja također je potrebno razmrsiti “bradu” žica, koja je nastala tijekom nekoliko godina rada bez odgovarajuće njege (jedna od posljedica vanjskih poslova instalacije kabelskih vodova).
Rad je bio podijeljen u nekoliko faza.
Stad 1 - Revizija. Priprema i koordinacija pristupa planiranju radova i procjena spremnosti timova: naručitelja, izvođača montaže i našeg tima.
Stad 2 – Razvoj formata za izvođenje posla, s dubokom detaljnom analizom i planiranjem. Odabrali smo format kontrolne liste s točnim naznakom redoslijeda i slijeda radnji, sve do slijeda prebacivanja patch kabela po portu.
Stad 3 – Obavljanje poslova u ormarima koji ne utječu na proizvodnju. Procjena i prilagodba vremena zastoja za sljedeće faze rada.
Stad 4 – Obavljanje poslova u ormarima koji izravno utječu na proizvodnju. Procjena i prilagodba vremena zastoja za završnu fazu rada.
Stad 5 – Izvođenje radova u poslužiteljskoj sobi za prebacivanje preostale opreme. Pokretanje na usmjeravanju na novom kernelu.
Stad 6 – Sekvencijalno prebacivanje jezgre sustava sa starih mrežnih konfiguracija na nove za glatki prijelaz cijelog kompleksa sustava (VLAN, usmjeravanje, itd.). U ovoj smo fazi povezali sve korisnike i prenijeli sve usluge na novi hardver, provjerili ispravnu vezu, uvjerili se da nijedna od usluga poduzeća nije prestala, jamčili da će u slučaju bilo kakvih problema biti povezani izravno na kernel, što je omogućilo lakše eliminirati moguće rješavanje problema i konačno postavljanje.
Frizura sa žičanom bradom
Projekt se pokazao teškim i zbog teških početnih uvjeta.
Prvo, ovo je ogroman broj čvorova i dijelova mreže, sa zamršenom topologijom i klasifikacijom žica prema njihovoj namjeni. Takve "brade" trebalo je vaditi iz ormara i mukotrpno "češljati", shvaćajući koja žica odakle i kamo vodi.
Izgledalo je otprilike ovako:
ovako:
ili tako:
Drugo, za svaki takav zadatak bilo je potrebno pripremiti datoteku s opisom procesa. "Uzmemo žicu X iz priključka 1 stare opreme, uključimo je u priključak 18 nove opreme." Zvuči jednostavno, ali kada u početnim podacima imate 48 potpuno začepljenih portova, a ne postoji idle opcija (sjećamo se 24x7x365), jedini izlaz je rad u blokovima. Što više žica odjednom možete izvući iz stare opreme, brže ih možete očistiti i uključiti u novi mrežni hardver, izbjegavajući kvarove mreže i zastoje.
Stoga smo u pripremnoj fazi podijelili mrežu u blokove - svaki od njih je pripadao određenom VLAN-u. Svaki priključak (ili njihov podskup) na staroj opremi jedan je od VLAN-ova u novoj topologiji mreže. Grupirali smo ih na sljedeći način: u prvim portovima preklopnika smještene su korisničke mreže, u sredini proizvodne mreže, au zadnjima pristupne točke i uplinkovi.
Ovaj pristup omogućio je izvlačenje i češljanje iz stare opreme ne 1 žice, već 10-15 odjednom. To je nekoliko puta ubrzalo tijek rada.
Usput, ovako izgledaju žice u ormarićima nakon češljanja:
ili, na primjer, ovako:
Nakon završetka 2. faze, napravili smo pauzu za analizu grešaka i dinamike projekta. Na primjer, odmah su se pojavili manji nedostaci zbog netočnosti u mrežnim dijagramima koji su nam dostavljeni (pogrešan konektor na dijagramu je pogrešno kupljen patch kabel i potreba za njegovom zamjenom).
Pauza je bila nužna jer je pri radu s pravima poslužitelja čak i mali kvar u procesu bio neprihvatljiv. Ako je cilj bio osigurati zastoje na dionici mreže od najviše 5 minuta, tada se to nije moglo premašiti. Eventualno odstupanje od rasporeda trebalo je dogovoriti s naručiteljem.
Međutim, unaprijed planiranje i blokiranje projekta omogućilo je ispunjavanje planiranog zastoja na svim lokacijama, au većini slučajeva i bez njega.
Izazov vremena - projekt pod COVID-om
No, nije prošlo bez dodatnih poteškoća. Naravno, jedna od prepreka bio je i koronavirus.
Rad je bio kompliciran činjenicom da je počela pandemija, te je bilo nemoguće biti prisutni tijekom rada na lokaciji klijenta za sve stručnjake uključene u proces. Samo je instalateru bilo dopušten pristup stranici, a kontrola je bila kroz Zoom sobu koja je uključivala mrežnog inženjera sa strane Linxdatacentra, mene kao voditelja projekta, mrežnog inženjera sa strane klijenta koji je bio zadužen za posao i tim koji je radio instalacijski radovi.
Tijekom rada pojavili su se neobjašnjeni problemi, pa su se podešavanja morala raditi u hodu. Tako je bilo moguće brzo spriječiti utjecaj ljudskog faktora (greške u shemi, greške u određivanju statusa aktivnosti sučelja itd.).
Iako nam se daljinski format rada u početku projekta činio neobičnim, brzo smo se prilagodili novim uvjetima i ušli u završnu fazu rada.
Pokrenuli smo privremenu konfiguraciju mrežnih postavki za paralelno pokretanje dviju mrežnih jezgri, stare i nove, kako bismo postigli glatki prijelaz. Međutim, pokazalo se da jedan dodatni redak nije uklonjen iz konfiguracijske datoteke novog kernela i prijelaz se nije dogodio. To nas je prisililo da provedemo neko vrijeme tražeći problem.
Ispostavilo se da je glavni promet ispravno prenesen, a kontrolni promet nije stigao do čvora kroz novu jezgru. Zbog jasne podjele projekta na faze, bilo je moguće brzo identificirati dio mreže na kojem je došlo do poteškoća, identificirati problem i otkloniti ga.
I kao rezultat
Tehnički rezultati projekta
Prije svega, stvorena je nova jezgra nove poslovne mreže za koju smo izgradili fizičke/logičke prstenove. To se radi na način da svaki preklopnik u mreži ima "drugo rame". U staroj mreži mnogi preklopnici bili su povezani s jezgrom duž jedne rute, jednog ramena (uplink). Ako je bio potrgan, prekidač je postao potpuno nedostupan. A ako je nekoliko prekidača bilo spojeno kroz jedan uplink, tada je nesreća onesposobila cijeli odjel ili proizvodnu liniju u poduzeću.
U novoj mreži, čak i prilično ozbiljan mrežni incident ni pod kojim uvjetima neće moći "srušiti" cijelu mrežu ili njezin značajan dio.
Ažurirano je 90% cjelokupne mrežne opreme, medijski pretvarači (pretvarači medija za širenje signala) su povučeni iz upotrebe, a potreba za namjenskim električnim vodovima za napajanje opreme spajanjem na PoE preklopnike, gdje se napajanje napaja preko Ethernet žica, je prestala. eliminiran.
Također, označeni su svi optički priključci u server sobi iu terenskim ormarima - na svim ključnim komunikacijskim čvorovima. To je omogućilo izradu topološkog dijagrama opreme i veza u mreži, koji odražava njeno današnje stanje.
Dijagram mreže
Najvažniji rezultat u tehničkom smislu: prilično veliki infrastrukturni radovi izvedeni su brzo, bez ikakvih smetnji u radu poduzeća i gotovo neprimjetno za njegovo osoblje.
Poslovni rezultati projekta
Po meni je ovaj projekt zanimljiv prije svega ne s tehničke strane, nego s organizacijske. Poteškoća je prvenstveno bila u planiranju i promišljanju koraka za provedbu projektnih zadataka.
Uspjeh projekta omogućuje nam da kažemo da je naša inicijativa za razvoj mrežnog smjera unutar portfelja usluga Linxdatacenter pravi izbor za razvojni vektor tvrtke. Odgovoran pristup upravljanju projektima, kompetentna strategija i jasno planiranje omogućili su nam da posao obavimo na odgovarajućoj razini.
Potvrda kvalitete rada - zahtjev klijenta za nastavak pružanja usluga za modernizaciju mreže na drugim mjestima u Rusiji.
Izvor: www.habr.com