Hogyan frissítsük a hálózati berendezéseket egy nagyvállalatnál a termelés leállítása nélkül? Egy nagyszabású projektről beszél, „nyílt szívműtét” módban A Linxdatacenter projektmenedzsment menedzsere, Oleg Fedorov.
Az elmúlt néhány évben megnövekedett ügyféligényt tapasztaltunk az informatikai infrastruktúra hálózati összetevőihez kapcsolódó szolgáltatások iránt. Az informatikai rendszerek, szolgáltatások, alkalmazások összekapcsolhatóságának igénye, felügyeleti és operatív üzletvezetési feladatok szinte minden területen arra kényszerítik a vállalatokat, hogy fokozott figyelmet fordítsanak a hálózatokra.
A kérések a hálózati hibatűrés biztosításától a kliens autonóm rendszer létrehozásáig és kezeléséig, IP-címblokk megvásárlásával, útválasztási protokollok beállításával és a forgalom szervezeti szabályzatokkal összhangban történő kezeléséig terjednek.
Egyre nagyobb igény mutatkozik a hálózati infrastruktúra kiépítésére és karbantartására szolgáló átfogó megoldásokra is, elsősorban azon ügyfelek részéről, akiknek hálózati infrastruktúrája a nulláról készül, vagy elavult, komoly átalakítást igényel.
Ez a tendencia egybeesett a Linxdatacenter saját hálózati infrastruktúrájának fejlesztésének és összetettségének időszakával. Távoli telephelyekhez való csatlakozással bővítettük európai jelenlétünk földrajzi területét, ami viszont a hálózati infrastruktúra fejlesztését tette szükségessé.
A cég új szolgáltatást indított az ügyfelek számára, a Network-as-a-Service: minden ügyfelünk hálózati problémáját megoldjuk, lehetővé téve számukra, hogy az alaptevékenységükre összpontosíthassanak.
2020 nyarán befejeződött az első ilyen irányú nagy projekt, amelyről szeretnék beszélni.
Kezdetben, eleinte
Egy nagy ipari komplexum fordult hozzánk, hogy az egyik vállalkozásánál korszerűsítsük az infrastruktúra hálózati részét. A régi berendezéseket új berendezésekre kellett cserélni, beleértve a hálózati magot is.
A vállalatnál az utolsó berendezés-korszerűsítés körülbelül 10 éve történt. A vállalat új vezetése úgy döntött, hogy javítja az összeköttetést, kezdve az infrastruktúra legalapvetőbb, fizikai szinten történő frissítésével.
A projekt két részre oszlott: a szerverpark és a hálózati berendezések korszerűsítésére. A második részért mi voltunk a felelősek.
A munkával szemben támasztott alapvető követelmények közé tartozott a vállalati gyártósorok állásidejének minimalizálása a munkavégzés során (és egyes területeken az állásidő teljes kiküszöbölése). Bármilyen leállás közvetlen anyagi veszteséget jelent az ügyfél számára, aminek semmilyen körülmények között nem lett volna szabad megtörténnie. A létesítmény 24x7x365-ös működési módjából adódóan, valamint a tervezett üzemszünet időszakok teljes hiányát figyelembe véve a vállalkozás gyakorlatában lényegében nyitott szívműtét elvégzését kaptuk. Ez lett a projekt fő megkülönböztető jegye.
Megy
A munkát a magtól távolabbi hálózati csomópontoktól a közelebbi, valamint a gyártósorok munkáját kevésbé befolyásoló csomópontoktól a közvetlenül ezt a munkát közvetlenül befolyásolók felé történő mozgás elve szerint terveztük.
Például, ha egy hálózati csomópontot veszünk az értékesítési részlegben, akkor az ezen az osztályon végzett munka következtében fellépő kommunikációs megszakítás semmilyen módon nem befolyásolja a termelést. Ugyanakkor egy ilyen esemény segít nekünk, mint vállalkozónak, hogy ellenőrizzük az ilyen egységeken végzett munkához választott megközelítés helyességét, és a műveletek módosítása után a projekt következő szakaszain dolgozzunk.
Nemcsak a csomópontok és vezetékek cseréje szükséges a hálózatban, hanem az összes összetevő helyes konfigurálása is a megoldás egészének megfelelő működéséhez. Éppen a konfigurációkat tesztelték így: a munkát a magtól távol kezdve úgy tűnt, megadtuk magunknak a „hibázás jogát”, anélkül, hogy a vállalkozás működése szempontjából kritikus területeket kockáztatnánk.
Meghatároztuk a gyártási folyamatot nem befolyásoló területeket, valamint a kritikus területeket - műhelyek, be- és kirakodó egység, raktárak stb. A kulcsfontosságú területeken az egyes hálózati csomópontok elfogadható állásidejét külön egyeztettük az ügyféllel: 1-től 15 perc. Nem lehetett teljesen elkerülni az egyes hálózati csomópontok leválasztását, mivel a kábelt fizikailag át kell kapcsolni a régi berendezésről az újra, és a kapcsolási folyamat során a több éves, megfelelő működés nélkül kialakult vezetékek „szakállát” is ki kell bontani. gondoskodás (a kábelvonalak szerelési munkáinak kiszervezésének egyik következménye).
A munka több szakaszra oszlott.
1 színpad – Audit. Munkatervezési megközelítés előkészítése, koordinálása, a csapatok felkészültségének felmérése: a megrendelő, a beépítési vállalkozó és csapatunk.
2 színpad – A munkavégzés formátumának kidolgozása, mélyreható részletes elemzéssel és tervezéssel. Olyan ellenőrzőlista formátumot választottunk, amely pontosan jelzi a műveletek sorrendjét és sorrendjét, egészen a patch kábelek portonkénti váltási sorrendjéig.
3 színpad – A termelést nem befolyásoló szekrényekben végzett munkavégzés. Az állásidő becslése és beállítása a következő munkaszakaszokhoz.
4 színpad – A termelést közvetlenül érintő szekrényekben végzett munkák elvégzése. Az állásidő becslése és beállítása a munka utolsó szakaszához.
5 színpad – Szerverteremben a megmaradt berendezések cseréje. Indítsa el az útválasztást az új kernelen.
6 színpad – A rendszermag egymást követő váltása a régi hálózati konfigurációkról az újakra a teljes rendszerkomplexum (VLAN, útválasztás stb.) zökkenőmentes átmenete érdekében. Ebben a szakaszban minden felhasználót csatlakoztattunk és az összes szolgáltatást átvittük az új hardverre, ellenőriztük a kapcsolat megfelelőségét, megbizonyosodtunk arról, hogy egyik vállalati szolgáltatás sem állt le, gondoskodtunk arról, hogy probléma esetén közvetlenül a kernelhez csatlakozzanak, ami megkönnyítette az esetleges problémák hibaelhárítását és a végső beállítást.
Drótszakáll frizura
A projekt a nehéz kezdeti feltételek miatt is nehéznek bizonyult.
Először is, a hálózatnak rengeteg csomópontja és szakasza van, bonyolult topológiával és a vezetékek céljuk szerinti osztályozásával. Az ilyen „szakállakat” ki kellett venni a szekrényekből, és gondosan „fésülködni”, kitalálni, melyik vezeték honnan és hová vezet.
Valahogy így nézett ki:
így:
vagy úgy:
Másodszor, minden ilyen feladathoz el kellett készíteni a folyamatot leíró fájlt. „A régi berendezés 1-es portjáról vesszük az X vezetéket, és bedugjuk az új berendezés 18-as portjába.” Egyszerűen hangzik, de ha 48 teljesen eltömődött port van a forrásadatokban, és nincs leállási lehetőség (kb. 24x7x365-re emlékszünk), akkor az egyetlen kiút a blokkokban való munka. Minél több vezetéket húzhat ki egyszerre a régi berendezésből, annál gyorsabban fésülheti át és helyezheti be őket az új hálózati hardverbe, elkerülve ezzel a hálózat meghibásodását és leállását.
Ezért az előkészítő szakaszban a hálózatot blokkokra osztottuk - mindegyik egy adott VLAN-hoz tartozott. A régi berendezések minden portja (vagy azok egy része) az új hálózati topológia egyik VLAN-ja. Ezeket a következőképpen csoportosítottuk: a switch első portjai a felhasználói hálózatokat, a középső – az éles hálózatokat, az utolsó – a hozzáférési pontokat és az uplinkeket tartalmazták.
Ez a megközelítés lehetővé tette, hogy a régi berendezésekből ne csak 1, hanem 10-15 vezetéket húzzanak ki és fésüljenek ki egyszerre. Ez többszörösen felgyorsította a munkafolyamatot.
Egyébként így néznek ki a vezetékek a szekrényekben fésülés után:
vagy például így:
A 2. szakasz befejezése után szünetet tartottunk a hibák elemzésére és a projektdinamikára. Például azonnal megjelentek az apróbb hibák a nekünk átadott hálózati diagramok pontatlansága miatt (a hibás csatlakozó a diagramon helytelenül vásárolt patch kábelt és annak cseréjének szükségességét jelenti).
A szünetre azért volt szükség, mert szerveroldali munkavégzés során még egy kis hiba is elfogadhatatlan volt a folyamatban. Ha az volt a cél, hogy egy hálózati szakaszon legfeljebb 5 perc leállást biztosítsanak, akkor azt nem lehetett túllépni. Az ütemtervtől való esetleges eltérést az ügyféllel kellett egyeztetni.
A projekt előzetes tervezése és blokkokra bontása azonban lehetővé tette a tervezett leállások minden területen való teljesítését, és a legtöbb esetben teljesen elkerülhetővé tette.
Az idők kihívása – egy projekt a COVID alatt
Ez azonban nem ment további nehézségek nélkül. Természetesen a koronavírus volt az egyik akadály.
A munkát nehezítette, hogy elkezdődött a járvány, és lehetetlen volt, hogy a folyamatban résztvevő összes szakember jelen legyen a munkavégzés során az ügyfél telephelyén. A helyszínre csak a telepítő szervezet munkatársai léphettek be, az irányítás pedig egy Zoom szobán keresztül történt - benne volt a Linxdatacenter hálózatmérnöke, projektvezetőként jómagam, a munkavégzésért felelős ügyféltől hálózatmérnök, ill. szerelési munkákat végző csapat.
A munka során feltáratlan problémák merültek fel, a kiigazításokat menet közben kellett elvégezni. Így gyorsan ki lehetett küszöbölni az emberi tényező befolyását (áramköri hibák, interfésztevékenység állapotmeghatározási hibák stb.).
Bár a projekt elején szokatlannak tűnt a távmunka formátuma, gyorsan alkalmazkodtunk az új körülményekhez, és elérkeztünk a munka végső szakaszához.
A zökkenőmentes átállás érdekében elindítottuk a hálózati beállítások ideiglenes konfigurálását, hogy két hálózati mag – régi és új – párhuzamosan működhessen. Kiderült azonban, hogy az új kernel konfigurációs fájljából egy plusz sort nem távolítottak el, és az átállás sem történt meg. Ez kénytelen volt eltölteni egy kis időt a probléma keresésével.
Kiderült, hogy a fő forgalmat megfelelően továbbították, és a vezérlőforgalom nem az új magon keresztül érte el a csomópontot. A projekt szakaszokra való egyértelmű felosztásának köszönhetően gyorsan azonosítani lehetett a hálózat azon szakaszát, ahol a probléma felmerült, azonosítani és kijavítani.
És ennek eredményeként
A projekt technikai eredményei
Mindenekelőtt az új vállalati hálózat új magja jött létre, amelyhez fizikai/logikai gyűrűket építettünk. Ez úgy történik, hogy a hálózatban minden kapcsolónak van „második karja”. A régi hálózatban sok kapcsoló egy útvonalon, egy karon (uplink) csatlakozott a maghoz. Ha eltört, a kapcsoló teljesen elérhetetlenné vált. Ha pedig több kapcsolót csatlakoztattak egy uplinken keresztül, akkor a baleset egy teljes részleget vagy gyártósort letilt a vállalatnál.
Egy új hálózatban még egy meglehetősen komoly hálózati incidens sem képes a teljes hálózatot vagy annak egy jelentős részét lerombolni.
Az összes hálózati berendezés 90%-át frissítették, a médiakonvertereket (jelterjedési médiakonvertereket) leállították, és a PoE kapcsolókhoz való csatlakozással megszűnt a dedikált tápvezetékek szükségessége a berendezések táplálásához, ahol az áramellátás Ethernet vezetékeken keresztül történik.
Ezenkívül a szerverteremben és a terepi szekrényekben minden optikai kapcsolat meg van jelölve - minden kulcsfontosságú kommunikációs csomóponton. Ez lehetővé tette a hálózatban lévő berendezések és csatlakozások topológiai diagramjának elkészítését, amely tükrözi a jelenlegi jelenlegi állapotot.
Hálózati diagram
Technikailag a legfontosabb eredmény: a meglehetősen nagyszabású infrastrukturális munkákat gyorsan, a vállalkozás munkájába való beavatkozás nélkül, a személyzet szinte észrevétlenül végezték el.
A projekt üzleti eredményei
Véleményem szerint ez a projekt elsősorban nem technikai, hanem szervezési oldalról érdekes. A nehézség elsősorban a tervezésben és a projektfeladatok megvalósításának lépéseinek végiggondolásában rejlett.
A projekt sikere alapján elmondhatjuk, hogy a Linxdatacenter szolgáltatási portfólión belüli hálózati terület fejlesztésére irányuló kezdeményezésünk a megfelelő választás a vállalat fejlesztési vektora számára. A projektmenedzsment felelős megközelítése, a hozzáértő stratégia és az egyértelmű tervezés lehetővé tette számunkra, hogy a munkát megfelelő szinten végezzük.
A munka minőségének megerősítése az ügyfél kérése, hogy továbbra is nyújtson szolgáltatásokat a hálózat korszerűsítéséhez fennmaradó oroszországi telephelyein.
Forrás: will.com