Hogyan frissítsük a hálózati berendezéseket egy nagyvállalatnál anélkül, hogy leállítanánk a termelést? A nagyszabású projektről a "nyitott szívű műtét" üzemmódban mesél a Linxdatacenter projektmenedzsere, Oleg Fedorov.
Az utóbbi években növekvő keresletet tapasztalunk az ügyfelek részéről az IT-infrastruktúra hálózati komponenseivel kapcsolatos szolgáltatások iránt. Az IT rendszerek, szolgáltatások és alkalmazások összekapcsolására, az üzleti tevékenységek monitoringjára és operatív kezelésére való igény szinte minden területen arra kényszeríti a vállalatokat, hogy fokozott figyelmet fordítsanak a hálózatokra.
A kérések spektruma a hálózat redundanciájának biztosításától kezdve a kliensek autonóm rendszerének létrehozásán és kezelésén át a IP-címek, a routing protokollok beállításáig és a forgalom irányításáig terjed a szervezetek politikái szerint.
Növekvő kereslet mutatkozik az összetett hálózati infrastruktúra létrehozására és karbantartására vonatkozó megoldások iránt, elsődlegesen az olyan ügyfelek részéről, akiknek a hálózati infrastruktúrája a nulláról épül fel, vagy elavult, komoly módosítást igényel.
Ez a tendencia időben egybeesett a Linxdatacenter saját hálózati infrastruktúrájának fejlődésével és bonyolultabbá válásával. Bővítettük jelenlétünket Európában távoli helyszínek csatlakoztatásával, ami viszont a hálózati infrastruktúra tökéletesítését igényelte.
A cég elindította új szolgáltatását az ügyfelek számára, Network-as-a-Service: átvegyük az ügyfelek összes hálózati feladatát, lehetővé téve számukra, hogy a fő üzletágra összpontosítsanak.
2020 nyarán befejeződött az első jelentős projekt ebben az irányban, amelyről szeretnénk beszámolni.
Kezdésként
Egy nagy ipari komplexum megkeresett minket a hálózati infrastruktúra modernizálásával egyes vállalataiknál. Az öreg berendezések cseréje szükséges volt újra, beleértve a hálózat gerincét is.
Az utolsó berendezésmodernizálás körülbelül 10 évvel ezelőtt zajlott le a vállalatnál. Az új vezetés úgy döntött, hogy javítja a kapcsolódást, kezdve az infrastruktúra frissítésével a legalapvetőbb, fizikai szinten.
A projektet két részre osztották: a szerverpark és a hálózati berendezések frissítése. A második részért mi voltunk felelősek.
A munkák alapvető követelményei közé tartozott a termelési vonalak leállásának minimalizálása a munkálatok elvégzése során (bizonyos területeken pedig a teljes leállás elkerülése). Bármilyen leállás a kliens közvetlen pénzügyi vesztesége, amit semmilyen körülmények között nem szabadott volna megengedni. Az objektum 24/7/365-ös működése, valamint a vállalat gyakorlatában a tervezett leállások teljes hiánya miatt feladatunk volt gyakorlatilag egy nyitott szív műtétjének végrehajtása. Ez lett a projekt fő megkülönböztető jellemzője.
Induljunk!
A munkák a hálózat távoli csomópontjaitól a közeliek felé, valamint a termelési vonalak működésére kevésbé hatással lévő területektől a közvetlen hatással lévőek feé haladtak.
Például, ha a sales részleg csomópontját nézzük, akkor a szakaszban végzett munkák miatti kommunikációs zavar nem érinti a termelést. Ez az incidens a beszállító számára lehetőséget ad arra, hogy ellenőrizze a kiválasztott megközelítés helyességét az ilyen csomópontok esetében, és a tevékenységek kiigazításával a projekt következő szakaszaiban jobb munkát végezzen.
Nemcsak a csomópontokat és a vezetékeket kell kicserélni a hálózatban, hanem minden komponens megfelelő konfigurálása is szükséges a megoldás teljes működéséhez. A konfigurációk éppen ezért kerültek ellenőrzésre: a magtól távolabb kezdve, gyakorlatilag "jogot adtunk magunknak a hibázásra", anélkül hogy kritikus szempontokra kockázatot jelentsünk a vállalat munkája szempontjából.
Megjelöltük azokat a területeket, amelyek nem befolyásolják a termelési folyamatot, valamint a kritikus pontokat – műhelyek, rakodó- és kirakodó blokkok, raktárak stb. A kulcsfontosságú pontokon a klienssel egyeztettük a megengedett leállási időt minden csomópont esetében: 1-15 percig. Teljesen elkerülni a hálózati csomópontok kiiktatását nem lehetett, mivel a kábelt fizikailag át kellett kapcsolni a régi berendezésekről az újra, és a kapcsolás során a vezetékek "borzadályát" is meg kellett oldani, ami évek óta ellenőrizetlen állapot következménye (az egyik következmény a kábelvezetékek telepítési munkáinak kiszervezése).
A munkákat több szakaszra osztották.
1. lépés – Audit. A megközelítés előkészítése és egyeztetése a munkaterv tervezéséhez és a csapatok, az ügyfél, a kivitelező, valamint a mi csapatunk felkészültségének értékelése.
2. lépés – A munkálatok lebonyolításának formátumának kidolgozása, mélyreható részletes elemzéssel és tervezéssel. A csekklistás formátumot választottuk, amely pontosan tartalmazza a lépések sorrendjét és folyamatát, egészen a patch kábelek portok szerinti kapcsolásának sorrendjéig.
3. lépés – Munka végzése a gyártásra nem ható szekrényekben. A leállás idejének értékelése és korrekciója a következő munkafázisokhoz.
4. lépés – Munka végzése a gyártásra közvetlen hatással lévő szekrényekben. A leállás idejének értékelése és korrekciója a végső munkafázishoz.
5. lépés – Munka végzése az adatközpontban a fennmaradó berendezések átkapcsolására. Új magra történő irányítás indítása.
6. lépés – A rendszer magjának fokozatos átkapcsolása a régi hálózati konfigurációkról az újokra a rendszer egészének zökkenőmentes átalakítása érdekében (VLAN, irányítás stb.). Ebben a fázisban csatlakoztattuk az összes felhasználót és átállítottuk az összes szolgáltatást az új berendezésre, ellenőriztük a csatlakozások helyességét, és biztosítottuk, hogy egyetlen vállalati szolgáltatás se állt le, garantáltuk, hogy bármilyen probléma a maggal legyen kapcsolatos, ami megkönnyítette a lehetséges hibák elhárítását és a végső beállítást.
Drótok paróka
A projekt nem volt egyszerű a kezdeti bonyolult körülmények miatt sem.
Először is, hatalmas számú csomópont és hálózati szakasz van, összetett topológiával és a vezetékek rendeltetése szerinti osztályozásával. Az ilyen "parókákat" ki kellett emelni a szekrényből, és gondosan "meg kellett fésülni", kiderítve, hogy melyik vezeték honnan és hova vezet.
Ez körülbelül így nézett ki:
így nézett ki:
vagy így:
Másodszor, minden ilyen feladathoz elő kellett készíteni egy fájlt, amely leírja a folyamatot. "Fogjuk a régi berendezés 1-es portjából a X kábelt, és bedugjuk az új berendezés 18-as portjába." Egyszerűen hangzik, de amikor az alapadatokban 48 teljesen megtöltött port van, és a leállás lehetősége nélkül (emlékezzünk: 24/7/365), az egyetlen megoldás a blokkok szerinti munka. Minél több vezetéket tudunk egyszerre kivonni a régi berendezésből, annál gyorsabban rendezhetjük el, és illeszthetjük be az új hálózati „vasba”, elkerülve a hálózati leállásokat és zavarokat.
Ezért az előkészítési szakaszban a hálózat blokkokra osztását végeztük – mindegyik a megfelelő VLAN-hoz tartozott. Minden port (vagy azok egy része) a régi berendezésen egy VLAN a új hálózati topológiában. Úgy csoportosítottuk őket, hogy a kapcsolók első portjaiban felhasználói hálózatok, a középső részben gyártási hálózatok, míg az utolsó részen hozzáférési pontok és uplinkek helyezkedtek el.
Ez a megközelítés lehetővé tette, hogy egyszerre ne 1 kábelt, hanem 10-15 kábelt emeljünk ki és rendezzenek el a régi berendezésből. Ez megsokszorozta a munkafolyamat hatékonyságát.
Egyébként, így néznek ki a kábelek a szekrényekben a rendezés után:
vagy például így:
A második szakasz befejezése után rövid szünetet tartottunk a hibák és a projekt dinamikájának elemzésére. Például azonnal előjöttek apró hibák a nekünk megadott hálózati rajzokban (hibás csatlakozó a rajzon – hibásan vásárolt patch kábel és annak cseréje).
A szünet szükséges volt, mivel a szerverekkel való munka során még a legkisebb hiba is elfogadhatatlan volt. Ha a cél az volt, hogy a hálózat egy szakaszában a leállás ideje ne haladja meg az 5 percet, azt nem lehetett túllépni. Bármely időbeli eltérés a menetrendtől ügyféllel kellett egyeztetni.
Azonban a projekt előzetes tervezése és blokkokra osztása lehetővé tette, hogy minden szakaszra előre meghatározott leállásidőn belül végezzük el a feladatokat, és a legtöbb esetben egyáltalán elkerüljük a leállást.
Az idő kihívása – projekt COVID idején
További nehézségek nélkül azonban nem úsztuk meg. Természetesen a koronavírus az egyik akadályként jelentkezett.
A COVID-19 pandemic has complicated work, making it impossible for all specialists involved in the process to be present at the client's site during the work. Only employees from the installation organization were allowed on site, while control was conducted through a Zoom room, which included a network engineer from Linxdatacenter, myself as the project manager, the client's network engineer responsible for the work, and the team carrying out the installation.
During the work, unforeseen problems arose, requiring adjustments to be made on the fly. This allowed us to quickly mitigate the impact of human error (errors in the schematic, errors in determining the activity status of the interface, etc.).
Although the remote format of work seemed unusual at the beginning of the project, we adapted fairly quickly to the new conditions and reached the final stage of work.
We launched a temporary network configuration to run two network cores - the old and the new - in parallel for a smooth transition. However, it turned out that one unnecessary line was not removed from the configuration file of the new core, preventing the transition. This forced us to spend some time finding the issue.
It became clear that the main traffic was being transmitted correctly, while the management traffic was not reaching the node through the new core. Due to effective project phase separation, we quickly identified the part of the network where the difficulty arose, pinpointed the problem, and resolved it.
As a result,
Technical outcomes of the project
First of all, a new core of the enterprise's new network was created, for which we constructed physical/logical rings. This was done in such a way that each switch in the network had a 'second arm'. In the old network, many switches connected to the core via a single route, one arm (uplink). If it broke, the switch would become completely inaccessible. Furthermore, if multiple switches were connected via one uplink, failure would cripple an entire department or production line in the enterprise.
In the new network, even a significant network incident cannot 'take down' the entire network or a significant part of it under any scenario.
A hálózati berendezések 90%-át frissítették, a médiakonvertereket (jelátviteli közeg átalakítók) kivonták a forgalomból, továbbá megszűnt a szükség a dedikált tápkábelekre a berendezések táplálásához, mivel a PoE switch-ekhez való csatlakozás lehetővé teszi az elektromos energia Ethernet vezetékeken keresztüli átadását.
Az összes optikai kapcsolatot megjelöltük a szerverhelyiségben és a helyi szekrényekben - az összes kulcsfontosságú kapcsolatnál. Ez lehetővé tette a berendezések és a hálózat kapcsolatait ábrázoló topológiai terv elkészítését, amely a tényleges állapotot tükrözi ma.
A hálózat ábrázolása
A legfontosabb technikai eredmény: a jelentős infrastrukturális munka gyorsan lezajlott, anélkül, hogy bármilyen zavart okozott volna a vállalat működésében és szinte észrevétlen maradt a munkavállalók számára.
A projekt üzleti összegzése
Véleményem szerint ez a projekt elsősorban nem technikai, hanem szervezési szempontból érdekes. A nehézségek elsősorban a tervezésben és a projektfeladatok megvalósításának lépéseinek átgondolásában rejlettek.
A projekt sikere azt mutatja, hogy a Linxdatacenter szolgáltatásportfólió keretében tett kezdeményezésünk a hálózati irányvonal fejlesztésére helyes választás a vállalat fejlődési irányában. A projektek felelősségteljes kezelése, a jól megtervezett stratégia és a pontos tervezés lehetővé tette a munka megfelelő színvonalon történő elvégzését.
A munka minőségének megerősítése - a kliens kérvénye a hálózat modernizálásának folytatására más telephelyein Oroszországban.
Forrás: habr.com
