Wie man Netzwerkgeräte in einem großen Unternehmen ohne Produktionsunterbrechung aktualisiert? Über ein großangelegtes Projekt im Modus "Operation am offenen Herzen" berichtet Projektmanagement-Manager von Linxdatacenter, Oleg Fedorov.
In den letzten Jahren stellen wir einen zunehmenden Nachfrage von Kunden nach Dienstleistungen im Zusammenhang mit Netzwerkkomponenten der IT-Infrastruktur fest. Der Bedarf an Konnektivität von IT-Systemen, Diensten und Anwendungen sowie die Herausforderungen im Bereich Überwachung und operatives Management von Unternehmen in nahezu jedem Sektor zwingen die Unternehmen heute dazu, ihren Netzwerken mehr Aufmerksamkeit zu schenken.
Die Bandbreite der Anfragen reicht von der Gewährleistung der Netzwerk-Redundanz bis hin zur Schaffung und Verwaltung eines kundenautonomen Systems mit der Anschaffung eines Blocks IP-Adressen, der Konfiguration von Routing-Protokollen und der Verwaltung des Verkehrs gemäß den Richtlinien der Organisationen.
Auch die Nachfrage nach integrierten Lösungen zum Aufbau und zur Wartung von Netzwerkinfrastrukturen steigt, insbesondere seitens der Kunden, deren Netzwerkinfrastrukturen von Grund auf neu erstellt oder moralisch veraltet sind und eine erhebliche Modifizierung erfordern.
Dieser Trend fiel zeitlich mit der Entwicklung und Komplexität der eigenen Netzwerkinfrastruktur von Linxdatacenter zusammen. Wir haben unsere geografische Präsenz in Europa durch den Anschluss an entfernte Standorte erweitert, was wiederum Verbesserungen der Netzwerkinfrastruktur erforderte.
Das Unternehmen hat einen neuen Service für Kunden eingeführt, Network-as-a-Service: Wir übernehmen alle netzwerkbezogenen Aufgaben der Kunden und ermöglichen es ihnen, sich auf ihr Kerngeschäft zu konzentrieren.
Im Sommer 2020 wurde das erste große Projekt in diesem Bereich abgeschlossen, über das wir gerne berichten möchten.
Zu Beginn
Wanderholt ein großes Industrieunternehmen an uns heran, um die Netzwerkstruktur in einem seiner Werke zu modernisieren. Es war notwendig, die alte Hardware gegen neue auszutauschen, einschließlich des Kernnetzwerks.
Die letzte Modernisierung der Hardware im Unternehmen fand vor etwa 10 Jahren statt. Die neue Unternehmensführung beschloss, die Konnektivität zu verbessern, beginnend mit der Aktualisierung der Infrastruktur auf der grundlegendsten, physischen Ebene.
Das Projekt wurde in zwei Teile unterteilt: das Upgrade des Serverparks und der Netzwerkgeräte. Wir waren für den zweiten Teil verantwortlich.
Die grundlegenden Anforderungen an die Arbeiten umfassten die Minimierung von Ausfallzeiten der Produktionslinien des Unternehmens während der Arbeiten (in einigen Bereichen sogar das völlige Vermeiden von Ausfällen). Jede Unterbrechung ist ein direkter finanzieller Verlust für den Kunden, was unter keinen Umständen geschehen durfte. Angesichts des Betriebsmodus des Objekts 24/7/365 sowie des vollständigen Fehlens geplanter Ausfallzeiten in der Praxis des Unternehmens wurde uns die Aufgabe gestellt, im Grunde genommen eine Operation am offenen Herzen durchzuführen. Dies wurde das Hauptunterscheidungsmerkmal des Projekts.
Los geht's
Die Arbeiten waren nach dem Prinzip geplant, von den vom Kern des Netzwerks entfernt liegenden Knoten zu den näheren sowie von den weniger beeinflussenden Produktionslinien zu den direkt beeinflussten.
Wenn wir beispielsweise den Knoten im Verkaufsbereich betrachten, wird eine Kommunikationsunterbrechung aufgrund von Arbeiten in diesem Bereich die Produktion nicht beeinflussen. Gleichzeitig hilft uns ein solcher Vorfall als Auftragnehmer, die Richtigkeit der gewählten Vorgehensweise bei der Arbeit an solchen Knoten zu überprüfen und durch Anpassung der Maßnahmen in den folgenden Projektphasen zu arbeiten.
Es ist notwendig, nicht nur die Knoten und Kabel im Netzwerk zu ersetzen, sondern auch alle Komponenten korrekt zu konfigurieren, um die ordnungsgemäße Funktion der Gesamtösung sicherzustellen. Genau so wurden die Konfigurationen überprüft: Begonnen wurde mit den Arbeiten in Entfernung vom Kern, wodurch wir uns sozusagen das "Recht auf Fehler" einräumten, ohne kritische Bereiche des Unternehmens zu gefährden.
Wir haben Zonen identifiziert, die den Produktionsprozess nicht beeinflussen, sowie kritische Bereiche – Werkstätten, Lade- und Entladeblöcke, Lager usw. Für die wichtigsten Knoten wurde mit dem Kunden eine akzeptable Ausfallzeit für jeden Knoten des Netzwerks einzeln vereinbart: von 1 bis 15 Minuten. Eine vollständige Vermeidung der Abschaltung einzelner Knoten im Netzwerk war nicht möglich, da das Kabel physisch von der alten Ausrüstung auf die neue umgeschaltet werden musste, und beim Umschalten war es auch notwendig, das "Kabelgewirr" zu entwirren, das sich über mehrere Jahre Betrieb ohne angemessene Pflege gebildet hatte (eine der Folgen der Auslagerung von Arbeiten zur Installation von Kabelverbindungen).
Die Arbeiten wurden in mehrere Phasen unterteilt.
Etappe 1 – Audit. Vorbereitung und Abstimmung des Ansatzes zur Planung der Arbeiten und Bewertung der Einsatzbereitschaft der Teams: des Kunden, des Auftragnehmers, der die Montage durchführt, und unseres Teams.
Etappe 2 – Entwicklung eines Formats für die Durchführung von Arbeiten, mit tiefgehender detaillierter Analyse und Planung. Wir haben ein Checklistenformat gewählt, das die Reihenfolge und Abfolge der Aktionen bis zur genauen Reihenfolge des Umsteckens der Patchkabel an den Ports angibt.
Schritt 3 – Durchführung von Arbeiten in Schränken, die die Produktion nicht beeinträchtigen. Bewertung und Anpassung der Ausfallzeiten für die nachfolgenden Arbeitsschritte.
Phase 4 – Durchführung von Arbeiten in Schränken, die die Produktion direkt beeinträchtigen. Bewertung und Anpassung der Ausfallzeiten für die finale Phase der Arbeiten.
Phase 5 – Durchführung von Arbeiten im Serverraum zum Umschalten der restlichen Geräte. Start der Routing auf dem neuen Kern.
Phase 6 – Schrittweises Umschalten des Systems von alten Netzwerkkonfigurationen auf neue für einen reibungslosen Übergang des gesamten Systems (VLAN, Routing usw.). In diesem Schritt haben wir alle Benutzer verbunden und alle Dienste auf die neue Hardware übertragen, die Anschlusskorrektheit überprüft, sichergestellt, dass keiner der Unternehmensdienste unterbrochen wurde und garantiert, dass im Falle von Problemen diese direkt mit dem Kern in Verbindung stehen würden, was die Fehlersuche und die finale Anpassung erleichterte.
Haare der Kabelbäume
Das Projekt erwies sich als herausfordernd auch aufgrund der komplexen Ausgangsbedingungen.
Erstens handelt es sich um eine riesige Anzahl von Knoten und Netzwerkbereichen mit einer verworrenen Topologie und Klassifizierung der Kabel entsprechend ihrer Verwendung. Solche „Bärte“ mussten aus den Schränken herausgeholt und mühselig „frisiert“ werden, um zu klären, welches Kabel woher kommt und wohin führt.
So sah es ungefähr aus:
so:
oder so:
Zweitens musste für jede solche Aufgabe eine Datei mit einer Beschreibung des Prozesses vorbereitet werden. «Wir nehmen das Kabel X aus Port 1 der alten Ausrüstung und stecken es in Port 18 der neuen Ausrüstung». Es klingt einfach, aber wenn Sie in den Ausgangsdaten 48 vollständig belegte Ports haben und keine Möglichkeit eines Stillstands besteht (wir denken an 24x7x365), bleibt nur die Möglichkeit, in Blöcken zu arbeiten. Je mehr Kabel man auf einmal aus der alten Ausrüstung ziehen kann, desto schneller kann man sie ordnen und in die neue Netzwerkausstattung einsetzen, um Ausfälle und Stillstände im Netzwerkbetrieb zu vermeiden.
Daher haben wir in der Vorbereitungsphase das Netzwerk in Blöcke unterteilt - jeder von ihnen gehörte zu einem bestimmten VLAN. Jeder Port (oder eine Teilmenge davon) an der alten Ausrüstung stellt eines der VLANs in der neuen Netzwerktopologie dar. Wir haben sie wie folgt gruppiert: In den ersten Ports des Switches befinden sich Benutzer-Netzwerke, in der Mitte – Produktionsnetzwerke, und in den letzten – Zugangspunkte und Uplinks.
Dieser Ansatz ermöglichte es, bei einem Vorgang nicht 1 Kabel, sondern 10-15 Kabel aus der alten Ausrüstung zu ziehen und zu ordnen. Das beschleunigte den Arbeitsprozess erheblich.
Übrigens, so sehen die Kabel in den Schränken nach dem Ordnen aus:
oder zum Beispiel so:
Nach Abschluss der zweiten Phase haben wir eine Pause eingelegt, um Fehler und die Dynamik des Projekts zu analysieren. Zum Beispiel tauchten sofort kleine Unstimmigkeiten aufgrund von Ungenauigkeiten in den uns zur Verfügung gestellten Netzwerkplänen auf (falscher Stecker im Plan – falsches gekauftes Patchkabel und die Notwendigkeit eines Austauschs).
Die Pause war notwendig, denn bei der Arbeit mit Servern war sogar ein kleiner Fehler im Prozess nicht akzeptabel. Wenn das Ziel gesetzt ist, die Ausfallzeit im Netzwerkbereich auf maximal 5 Minuten zu beschränken, durfte dies nicht überschritten werden. Jede mögliche Abweichung vom Zeitplan musste mit dem Kunden abgestimmt werden.
Die vorherige Planung und die Aufteilung des Projekts in Blöcke ermöglichten es jedoch, die geplante Ausfallzeit in allen Bereichen einzuhalten, und in den meisten Fällen sogar ganz ohne auszukommen.
Zeitliche Herausforderungen – das Projekt unter COVID-19
Ohne zusätzliche Komplikationen kam es dennoch nicht aus. Natürlich stellte das Coronavirus eines der Hindernisse dar.
Die Arbeiten wurden dadurch erschwert, dass die Pandemie begann und es allen am Prozess beteiligten Spezialisten unmöglich war, während der Arbeiten auf dem Gelände des Kunden anwesend zu sein. Zutritt zum Gelände hatten nur die Mitarbeiter des Montageunternehmens, und die Kontrolle erfolgte über ein Zimmer in Zoom – dort befanden sich der Netzwerkingenieur von Linxdatacenter, ich als Projektleiter, der Netzwerkingenieur des Kunden, der für die Durchführung der Arbeiten verantwortlich war, und das Team, das die Montagearbeiten durchführte.
Im Verlauf der Arbeiten traten unvorhergesehene Probleme auf, die es erforderten, Anpassungen im laufenden Betrieb vorzunehmen. So konnten wir schnell die Auswirkungen menschlicher Faktoren (Fehler im Schema, Fehler bei der Bestimmung des Aktivitätsstatus der Schnittstelle usw.) abwenden.
Obwohl das Remote-Arbeitsformat zu Beginn des Projekts ungewohnt schien, haben wir uns recht schnell an die neuen Bedingungen angepasst und die finale Arbeitsphase erreicht.
Wir haben eine temporäre Netzwerk-Konfiguration für den parallelen Betrieb von zwei Netzwerkkernen – dem alten und dem neuen – eingerichtet, um einen reibungslosen Übergang zu gewährleisten. Allerdings stellte sich heraus, dass eine überflüssige Zeile aus der Konfigurationsdatei des neuen Kerns nicht entfernt worden war, und der Übergang fand nicht statt. Das führte dazu, dass wir gewisse Zeit mit der Fehlersuche verbringen mussten.
Es stellte sich heraus, dass der Hauptdatenverkehr korrekt übertragen wurde, während der Steuerverkehr das Knotenpunkten über den neuen Kern nicht erreichte. Dank der klaren Aufteilung des Projekts in Phasen konnten wir recht schnell den Abschnitt des Netzwerks identifizieren, in dem das Problem aufgetreten war, das Problem herausfinden und beheben.
Und in der Folge
Technische Ergebnisse des Projekts
Vor allem wurde ein neuer Kern für das neue Unternehmensnetzwerk geschaffen, wozu wir physische/logische Ringe aufgebaut haben. Dies geschah so, dass jeder Switch im Netzwerk ein "zweites Bein" bekommt. Im alten Netzwerk waren viele Switches über eine einzige Strecke, ein Bein (Uplink), mit dem Kern verbunden. Wenn dieses riss, war der Switch vollständig unerreichbar. Und wenn mehrere Switches über einen Uplink angeschlossen waren, führte ein Ausfall dazu, dass eine ganze Abteilung oder Produktionslinie im Unternehmen ausfiel.
Im neuen Netzwerk kann selbst ein ernsthafter Netzwerkvorfall unter keinem Szenario das gesamte Netzwerk oder einen bedeutenden Teil davon "lahmlegen".
90 % der gesamten Netzwerkhardware wurde aktualisiert, Medienkonverter (Signalübertragungsumwandler) wurden außer Betrieb genommen und die Notwendigkeit für dedizierte Stromleitungen zur Versorgung der Geräte durch den Anschluss an PoE-Switches, bei denen die Stromversorgung über Ethernet-Kabel erfolgt, wurde abgeschafft.
Außerdem wurden alle optischen Verbindungen im Serverraum und in den Schränken vor Ort gekennzeichnet – an allen wichtigen Kommunikationsknoten. Dies ermöglichte die Erstellung eines topologischen Schemas der Hardware und der Verbindungen im Netzwerk, das ihren aktuellen Zustand widerspiegelt.
Netzwerkdiagramm
Das wichtigste technische Ergebnis: Ziemlich umfangreiche Infrastrukturarbeiten wurden zügig durchgeführt, ohne die Betriebsabläufe des Unternehmens zu stören und für das Personal praktisch unsichtbar.
Wirtschaftliche Ergebnisse des Projekts
Meiner Ansicht nach ist dieses Projekt in erster Linie nicht aus technischer, sondern aus organisatorischer Sicht interessant. Die Komplexität bestand vor allem in der Planung und dem Durchdenken der Schritte zur Umsetzung der Projektziele.
Der Erfolg des Projekts zeigt, dass unsere Initiative zur Entwicklung des Netzwerkbereichs im Rahmen des Dienstleistungsportfolios von Linxdatacenter – die richtige Entwicklungsrichtung für das Unternehmen ist. Ein verantwortungsbewusster Ansatz im Projektmanagement, eine durchdachte Strategie und klare Planung ermöglichten es uns, die Arbeit auf hohem Niveau zu erledigen.
Die Bestätigung der Arbeitsqualität – eine Anfrage des Kunden zur Fortsetzung der Dienstleistungen zur Netzmodernisierung an seinen anderen Standorten in Russland.
Quelle: habr.com
