Kako ažurirati mrežnu opremu u velikom preduzeću bez zaustavljanja proizvodnje? On govori o velikom projektu u modu „operacije na otvorenom srcu“. Linxdatacenter menadžer za upravljanje projektima Oleg Fedorov.
Proteklih nekoliko godina bilježimo povećanu potražnju kupaca za uslugama koje se odnose na mrežnu komponentu IT infrastrukture. Potreba za povezivanjem IT sistema, usluga, aplikacija, nadzora i operativnih zadataka upravljanja poslovanjem u gotovo svim oblastima prisiljavaju kompanije danas da posvete povećanu pažnju mrežama.
Raspon zahtjeva kreće se od osiguravanja tolerancije na greške mreže do kreiranja i upravljanja autonomnim sistemom klijenta uz kupovinu bloka IP adresa, postavljanje protokola za rutiranje i upravljanje prometom u skladu sa organizacijskim politikama.
Također raste potražnja za sveobuhvatnim rješenjima za izgradnju i održavanje mrežne infrastrukture, prvenstveno od kupaca čija se mrežna infrastruktura stvara od nule ili je zastarjela i zahtijeva ozbiljne modifikacije.
Ovaj trend se poklopio sa periodom razvoja i složenosti sopstvene mrežne infrastrukture Linxdatacenter-a. Proširili smo geografiju našeg prisustva u Europi povezivanjem na udaljene lokacije, što je zauzvrat zahtijevalo poboljšanje mrežne infrastrukture.
Kompanija je lansirala novu uslugu za klijente, Mreža kao usluga: brinemo o svim mrežnim problemima klijenata, omogućavajući im da se fokusiraju na svoj osnovni posao.
U ljeto 2020. godine završen je prvi veliki projekat u ovom pravcu, o čemu bih želio govoriti.
Na početku
Veliki industrijski kompleks obratio nam se za modernizaciju mrežnog dijela infrastrukture u jednom od svojih preduzeća. Bilo je potrebno zamijeniti staru opremu novom opremom, uključujući i jezgro mreže.
Poslednja modernizacija opreme u preduzeću obavljena je pre oko 10 godina. Novo rukovodstvo preduzeća odlučilo je da poboljša povezanost, počevši od ažuriranja infrastrukture na najosnovnijem, fizičkom nivou.
Projekat je podijeljen u dva dijela: nadogradnja serverskog parka i mrežne opreme. Mi smo bili odgovorni za drugi dio.
Osnovni zahtevi za rad uključivali su minimiziranje zastoja proizvodnih linija preduzeća tokom izvođenja radova (a u nekim oblastima i potpuno eliminisanje zastoja). Svaki zastoj znači direktne finansijske gubitke za klijenta, što ni pod kojim okolnostima nije trebalo da se desi. Zbog režima rada ustanove 24x7x365, kao i uzimajući u obzir potpuno odsustvo perioda planiranih zastoja u praksi preduzeća, dobili smo zadatak da suštinski izvršimo operaciju na otvorenom srcu. Ovo je postalo glavna karakteristika projekta.
Idi
Rad je planiran po principu kretanja od čvorova mreže udaljenih od jezgre ka bližim, kao i od onih koji manje utiču na rad proizvodnih linija do onih koji direktno utiču na ovaj rad.
Na primjer, ako uzmemo mrežni čvor u odjelu prodaje, onda prekid komunikacije kao rezultat rada u ovom odjelu neće ni na koji način utjecati na proizvodnju. Istovremeno, ovakav incident će nam kao izvođaču pomoći da provjerimo ispravnost odabranog pristupa u radu na ovakvim jedinicama i, nakon prilagođavanja akcija, radimo na narednim fazama projekta.
Potrebno je ne samo zamijeniti čvorove i žice u mreži, već i pravilno konfigurirati sve komponente za ispravan rad rješenja u cjelini. Upravo su konfiguracije testirane na ovaj način: počevši od rada od jezgre, činilo se da smo sebi dali „pravo na greške“ bez stavljanja u opasnost područja koja su kritična za rad preduzeća.
Identifikovali smo područja koja ne utiču na proizvodni proces, kao i kritična područja - radionice, utovarno-istovarna jedinica, skladišta itd. U ključnim oblastima sa klijentom je dogovoreno prihvatljivo vreme zastoja za svaki mrežni čvor posebno: od 1 do 15 minuta. Nemoguće je bilo potpuno izbjeći isključenje pojedinih mrežnih čvorova, budući da se kabel mora fizički prebaciti sa stare opreme na novu, a tokom procesa prebacivanja potrebno je i razmrsiti „bradu“ žica koja je nastala tokom nekoliko godina rada bez odgovarajućeg briga (jedna od posljedica vanjskih poslova za postavljanje kablovskih vodova).
Rad je bio podijeljen u nekoliko faza.
Faza 1 – Revizija. Priprema i koordinacija pristupa planiranju rada i procena spremnosti timova: naručioca, izvođača montaže i našeg tima.
Faza 2 – Razvoj formata za obavljanje poslova, sa dubokom detaljnom analizom i planiranjem. Izabrali smo format kontrolne liste sa preciznom naznakom redosleda i redosleda radnji, sve do redosleda prebacivanja patch kablova po portu.
Faza 3 – Izvođenje radova u ormanima koji ne utiču na proizvodnju. Procjena i prilagođavanje zastoja za naredne faze rada.
Faza 4 – Izvođenje radova u ormanima koji direktno utiču na proizvodnju. Procjena i prilagođavanje zastoja za završnu fazu rada.
Faza 5 – Izvođenje radova u serverskoj sobi radi prebacivanja preostale opreme. Pokrenite pri rutiranju na novom kernelu.
Faza 6 – Uzastopno prebacivanje jezgra sistema sa starih mrežnih konfiguracija na nove za nesmetanu tranziciju čitavog sistemskog kompleksa (VLAN, rutiranje, itd.). U ovoj fazi smo povezali sve korisnike i prebacili sve usluge na novi hardver, provjerili da li je veza ispravna, osigurali da nijedan od servisa preduzeća nije zaustavljen, osigurali da će u slučaju bilo kakvih problema biti povezani direktno na kernel, što je olakšalo otklanjanje mogućih problema i konačno podešavanje.
Frizura sa žičanom bradom
Projekat se pokazao teškim i zbog teških početnih uslova.
Prvo, postoji ogroman broj čvorova i sekcija mreže, sa zamršenom topologijom i klasifikacijom žica prema njihovoj namjeni. Takve "brade" je trebalo vaditi iz ormarića i mukotrpno ih "češljati", otkrivajući koja žica odakle dolazi i kuda vodi.
Izgledalo je otprilike ovako:
tako:
ili tako:
Drugo, za svaki takav zadatak bilo je potrebno pripremiti fajl koji opisuje proces. “Uzmimo žicu X sa priključka 1 stare opreme, priključimo je u port 18 nove opreme.” Zvuči jednostavno, ali kada imate 48 potpuno začepljenih portova u izvornim podacima, a ne postoji opcija zastoja (sjećamo se 24x7x365), jedini izlaz je rad u blokovima. Što više žica možete izvući iz stare opreme odjednom, brže ih možete pročešljati i umetnuti u novi mrežni hardver, izbjegavajući kvarove i zastoje u mreži.
Stoga smo u pripremnoj fazi podijelili mrežu na blokove - svaki od njih pripadao je određenom VLAN-u. Svaki port (ili njihov podskup) na staroj opremi je jedan od VLAN-ova u novoj mrežnoj topologiji. Grupirali smo ih ovako: prvi portovi komutatora su sadržavali korisničke mreže, srednji – proizvodne mreže, a posljednji – pristupne točke i uplinkove.
Ovaj pristup je omogućio da se iz stare opreme izvuče i češlja ne samo 1 žica, već 10-15, u jednom potezu. To je nekoliko puta ubrzalo proces rada.
Inače, ovako izgledaju žice u ormarićima nakon češljanja:
ili, na primjer, ovako:
Nakon završetka 2. faze, napravili smo pauzu da analiziramo greške i dinamiku projekta. Na primjer, odmah su se pojavili manji kvarovi zbog netočnosti u mrežnim dijagramima koji su nam dostavljeni (neispravan konektor na dijagramu znači pogrešno kupljen patch cord i potrebu za njegovom zamjenom).
Pauza je bila neophodna, jer je pri radu sa serverske strane čak i mali kvar u procesu bio neprihvatljiv. Ako je cilj bio osigurati vrijeme zastoja na mrežnoj dionici ne duže od 5 minuta, onda se ne bi moglo prekoračiti. Svako eventualno odstupanje od rasporeda moralo se dogovoriti sa klijentom.
Međutim, unaprijed planiranje i podjela projekta na blokove omogućilo je da se ispune planirani zastoji u svim oblastima, a u većini slučajeva i potpuno izbjegnu.
Izazov vremena - projekat pod COVID-om
Međutim, nije prošlo bez dodatnih poteškoća. Naravno, korona virus je bio jedna od prepreka.
Posao je bio komplikovan činjenicom da je pandemija počela, te je bilo nemoguće da svi stručnjaci uključeni u proces budu prisutni tokom rada na lokaciji klijenta. Na gradilište su bili dozvoljeni samo zaposleni u instalacijskoj organizaciji, a kontrola se vršila kroz Zoom sobu - u njoj je bio mrežni inženjer iz Linxdatacenter-a, ja kao projektni menadžer, mrežni inženjer od klijenta odgovoran za rad i tim koji izvodi instalacijske radove.
Tokom rada pojavili su se neotkriveni problemi, a prilagođavanja su se morala vršiti u hodu. Na ovaj način je bilo moguće brzo spriječiti utjecaj ljudskog faktora (greške u kolu, greške u određivanju statusa aktivnosti interfejsa, itd.).
Iako se format rada na daljinu na početku projekta činio neobičnim, brzo smo se prilagodili novim uslovima i došli do završne faze rada.
Pokrenuli smo privremenu konfiguraciju mrežnih postavki kako bismo omogućili da dvije mrežne jezgre - staro i novo - rade paralelno kako bi se postigla glatka tranzicija. Međutim, ispostavilo se da jedna dodatna linija nije uklonjena iz konfiguracijske datoteke novog kernela i nije došlo do tranzicije. To nas je natjeralo da provedemo neko vrijeme tražeći problem.
Ispostavilo se da je glavni saobraćaj prenet ispravno, a kontrolni saobraćaj nije stigao do čvora kroz novo jezgro. Zahvaljujući jasnoj podjeli projekta na faze, bilo je moguće brzo identificirati dio mreže gdje se pojavio problem, identificirati problem i otkloniti ga.
I kao rezultat
Tehnički rezultati projekta
Prije svega, kreirano je novo jezgro nove poslovne mreže za koje smo izgradili fizičke/logičke prstenove. To se radi na način da svaki prekidač u mreži ima „drugu ruku“. U staroj mreži, mnogi svičevi su bili povezani sa jezgrom duž jedne rute, sa jednim krakom (uplink). Ako se pokvari, prekidač je postao potpuno nedostupan. A ako bi nekoliko prekidača bilo povezano preko jedne uzlazne veze, onda bi nesreća onemogućila čitav odjel ili proizvodnu liniju u poduzeću.
U novoj mreži, čak ni prilično ozbiljan mrežni incident neće, ni pod kojim scenarijem, moći srušiti cijelu mrežu ili njen značajan dio.
Ažurirano je 90% sve mrežne opreme, medijski pretvarači (medijski pretvarači za širenje signala) su stavljeni iz upotrebe, a potreba za namjenskim vodovima za napajanje opreme eliminirana je povezivanjem na PoE prekidače, gdje se napajanje napaja preko Ethernet žica.
Takođe, označene su sve optičke veze u serverskoj prostoriji iu terenskim ormanima - na svim ključnim komunikacionim čvorovima. To je omogućilo izradu topološkog dijagrama opreme i veza u mreži, koji odražava njeno današnje stanje.
Mrežni dijagram
Najvažniji rezultat u tehničkom smislu: prilično veliki infrastrukturni radovi obavljeni su brzo, bez ikakvog uplitanja u rad preduzeća i gotovo neprimjećeni od strane osoblja.
Poslovni rezultati projekta
Po mom mišljenju, ovaj projekat je interesantan prvenstveno ne sa tehničke, već sa organizacione strane. Poteškoća je prvenstveno bila u planiranju i promišljanju koraka za implementaciju projektnih zadataka.
Uspjeh projekta nam omogućava da kažemo da je naša inicijativa za razvoj područja umrežavanja u okviru portfelja usluga Linxdatacenter pravi izbor za razvojni vektor kompanije. Odgovoran pristup upravljanju projektima, kompetentna strategija i jasno planiranje omogućili su nam da posao završimo na odgovarajućem nivou.
Potvrda kvaliteta rada je zahtjev klijenta da nastavi pružati usluge modernizacije mreže na svojim preostalim lokacijama u Rusiji.
izvor: www.habr.com