Wie man die Netzwerkausrüstung in einem großen Unternehmen ohne Produktionsstopp aktualisiert? Über ein umfangreiches Projekt im Modus "Herzoperation" berichtet Projektmanager bei Linxdatacenter, Oleg Fedorov.
In den letzten Jahren haben wir eine steigende Nachfrage von Kunden nach Dienstleistungen im Zusammenhang mit dem Netzwerkbereich der IT-Infrastruktur festgestellt. Der Bedarf an Konnektivität von IT-Systemen, Diensten und Anwendungen sowie an Monitoring- und Betriebsmanagementaufgaben in nahezu allen Branchen zwingt Unternehmen heute dazu, Netzwerken erhöhte Aufmerksamkeit zu schenken.
Die Bandbreite der Anfragen reicht von der Sicherstellung der Netzwerkresilienz bis zur Schaffung und Verwaltung von kundenspezifischen autonomen Systemen, einschließlich der Beschaffung von Hardware, IP-Adressender Konfiguration von Routing-Protokollen und der Verwaltung des Datenverkehrs gemäß den Richtlinien der Organisationen.
Auch die Nachfrage nach integrierten Lösungen für den Aufbau und die Wartung von Netzwerk-Infrastrukturen steigt, insbesondere vonseiten der Kunden, deren Netzwerk-Infrastruktur von Grund auf neu erstellt wird oder moralisch veraltet ist und eine ernsthafte Modifikation erfordert.
Dieser Trend fiel mit der Entwicklung und Komplexität unserer eigenen Netzwerkinfrastruktur bei Linxdatacenter zusammen. Wir haben unsere Präsenz in Europa durch den Anschluss an entfernte Standorte erweitert, was wiederum die Verbesserung der Netzwerkarchitektur erforderte.
Das Unternehmen hat einen neuen Service für Kunden eingeführt, Network-as-a-Service: Wir übernehmen die Lösung aller Netzwerkaufgaben unserer Kunden, damit sie sich auf ihr Kerngeschäft konzentrieren können.
Im Sommer 2020 wurde das erste große Projekt in diesem Bereich abgeschlossen, über das wir gerne berichten möchten.
Zu Beginn
Ein großes Industrieunternehmen wandte sich an uns zur Modernisierung des Netzwerkteils der Infrastruktur an einem seiner Standorte. Es war notwendig, die alte Ausrüstung durch neue zu ersetzen, einschließlich des Core-Netzwerks.
Die letzte Modernisierung der Ausrüstung im Unternehmen fand vor etwa 10 Jahren statt. Die neue Unternehmensleitung entschied sich, die Konnektivität zu verbessern, beginnend mit einer Aktualisierung der Infrastruktur auf der grundlegendsten, physischen Ebene.
Das Projekt wurde in zwei Teile unterteilt: das Upgrade des Serverparks und der Netzwerkausrüstung. Wir übernahmen die Verantwortung für den zweiten Teil.
Die grundlegenden Anforderungen an die Arbeiten umfassten die Minimierung von Ausfallzeiten der Produktionslinien des Unternehmens während der Arbeiten (und in einigen Bereichen sogar die vollständige Ausschaltung von Ausfällen). Jede Stillstandzeit bedeutet direkte finanzielle Verluste für den Kunden, die unter keinen Umständen auftreten durften. Angesichts des Betriebssystems des Standorts 24/7/365 und der völligen Abwesenheit geplanter Stillstandszeiten in der Praktik des Unternehmens stand vor uns die Aufgabe, im Grunde genommen eine Herzoperation durchzuführen. Dies wurde zum Hauptmerkmal des Projekts.
Loslegen
Die Arbeiten wurden nach dem Prinzip geplant, von den weiter vom Kern entfernten Knoten des Netzwerks zu den näheren, sowie von den weniger beeinflussenden produktiven Linien zu jenen, die direkt Einfluss auf die Arbeit haben.
Zum Beispiel, wenn wir einen Netzwerknoten in der Verkaufsabteilung betrachten, würde eine Kommunikationsunterbrechung aufgrund der Arbeiten in dieser Abteilung die Produktion nicht beeinträchtigen. Gleichzeitig würde ein solches Ereignis uns als Auftragnehmer helfen, die Richtigkeit des gewählten Ansatzes für die Arbeit an solchen Knoten zu überprüfen und durch Korrektur unserer Maßnahmen in den folgenden Projektphasen zu arbeiten.
Es ist notwendig, nicht nur die Knoten und Kabel im Netz auszutauschen, sondern auch alle Komponenten richtig zu konfigurieren, damit die Lösung insgesamt korrekt funktioniert. Die Konfigurationen wurden folglich überprüft: Indem wir die Arbeiten von einem Bereich entfernt vom Kern begannen, gewährten wir uns gewissermaßen ein "Recht auf Fehler", ohne kritisch wichtige Teile des Unternehmens zu gefährden.
Wir haben Zonen identifiziert, die keinen Einfluss auf den Produktionsprozess haben, sowie kritische Bereiche – Werkstätten, Lade- und Entladebereiche, Lager usw. In den Schlüsselbereichen wurde mit dem Kunden die zulässige Ausfallzeit für jeden Knoten im Netzwerk einzeln vereinbart: von 1 bis 15 Minuten. Es war unmöglich, die Abschaltung einzelner Knoten im Netzwerk vollständig zu vermeiden, da das Kabel physisch von der alten auf die neue Ausrüstung umgeschaltet werden muss, und während des Umschaltens war es ebenfalls notwendig, das "Büschel" von Kabeln zu entwirren, das sich über mehrere Jahre ohne die entsprechende Pflege gebildet hatte (eine der Folgen der Auslagerung der Arbeiten zur Montage der Kabelverbindungen).
Die Arbeiten wurden in mehrere Phasen unterteilt.
Phase 1 – Audit. Vorbereitung und Abstimmung des Ansatzes zur Arbeitsplanung sowie Bewertung der Einsatzbereitschaft der Teams: des Kunden, des Auftragnehmers, der Installation durchführt, und unseres Teams.
Phase 2 – Entwicklung des Formats zur Durchführung der Arbeiten mit einer gründlichen Analyse und Planung. Wir haben ein Checklistenformat gewählt, das die genaue Reihenfolge und Sequenz der Schritte angibt, bis hin zur Reihenfolge der Patchkabelumschaltung über die Ports.
Phase 3 – Durchführung von Arbeiten in den Schränken, die die Produktion nicht beeinträchtigen. Bewertung und Anpassung der Ausfallzeiten für die folgenden Arbeitsphasen.
Phase 4 – Durchführung von Arbeiten in den Schränken, die direkt die Produktion beeinflussen. Bewertung und Anpassung der Ausfallzeiten für die finale Arbeitsphase.
Phase 5 – Durchführung von Arbeiten im Serverraum zur Umschaltung der verbleibenden Ausrüstung. Aktivierung der Routing auf dem neuen Core.
Phase 6 – Der schrittweise Wechsel des Systemkerns von alten Netzwerkkonfigurationen zu neuen sorgt für einen reibungslosen Übergang des gesamten Systems (VLAN, Routing usw.). In dieser Phase haben wir alle Benutzer verbunden und alle Dienste auf die neue Hardware umgestellt, die Verbindungskorrektheit überprüft und sichergestellt, dass keiner der Unternehmensdienste unterbrochen wurde. Wir haben garantiert, dass im Falle von Problemen diese direkt mit dem Kern zusammenhängen, was die Fehlersuche und die abschließende Konfiguration erleichterte.
Kabelbaum-Frisur
Das Projekt stellte sich aufgrund der schwierigen Ausgangsbedingungen als herausfordernd heraus.
Erstens handelt es sich um eine große Anzahl von Knoten und Abschnitten des Netzwerks mit einer komplexen Topologie und einer Klassifizierung der Kabel nach ihrem Zweck. Solche „Bärte“ mussten aus den Schränken herausgeholt und sorgfältig „frisiert“ werden, um zu klären, welches Kabel woher kommt und wohin es führt.
Das sah etwa so aus:
so aus:
oder so:
Zweitens war es notwendig, für jede dieser Aufgaben eine Datei mit einer Prozessbeschreibung vorzubereiten. „Wir nehmen das Kabel X von Port 1 der alten Hardware und stecken es in Port 18 der neuen Hardware.“ Klingt einfach, aber wenn man 48 vollständig belegte Ports in den Ausgangsdaten hat und zudem keine Ausfalloption vorhanden ist (denken wir daran, dass es rund um die Uhr, 365 Tage im Jahr läuft), bleibt nur die Möglichkeit, in Blöcken zu arbeiten. Je mehr Kabel man auf einmal aus der alten Hardware herausziehen kann, desto schneller kann man sie wieder ordnen und in die neue Netzwerktechnik einsetzen, um Ausfälle und Stillstandszeiten im Netzwerk zu vermeiden.
Daher haben wir in der Vorbereitung das Netzwerk in Blöcke unterteilt – jeder gehörte zu einem bestimmten VLAN. Jeder Port (oder eine Teilmenge davon) auf der alten Hardware entspricht einem der VLANs in der neuen Netzwerktopologie. Wir haben sie wie folgt gruppiert: In den ersten Ports des Switches befinden sich die Benutzernetzwerke, in der Mitte die Produktionsnetzwerke, und in den letzten die Zugangspunkte und Uplinks.
Dieser Ansatz ermöglichte es, nicht nur 1 Kabel, sondern 10-15 Kabel gleichzeitig aus der alten Hardware zu ziehen und zu ordnen. Das beschleunigte den Arbeitsablauf erheblich.
Übrigens, so sehen die Kabel in den Schränken nach der Ordnung aus:
oder zum Beispiel so:
Nach Abschluss der zweiten Phase haben wir eine Pause eingelegt, um Fehler und die Dynamik des Projekts zu analysieren. Zum Beispiel traten sofort kleinere Mängel aufgrund von Ungenauigkeiten in den uns zur Verfügung gestellten Netzplänen auf (falscher Stecker im Plan – falsches gekaufter Patchkabel und die Notwendigkeit, ihn zu ersetzen).
Die Pause war notwendig, da bei der Arbeit mit Servern selbst ein kleiner Fehler im Prozess inakzeptabel war. Wenn das Ziel gesetzt wurde, die Ausfallzeit im Netzwerkbereich auf maximal 5 Minuten zu beschränken, durfte dieser Wert nicht überschritten werden. Jedes mögliche Abweichen vom Zeitplan musste mit dem Kunden abgestimmt werden.
Dank einer sorgfältigen Vorplanung und der Aufteilung des Projekts in Abschnitte konnten wir die planmäßige Ausfallzeit in allen Bereichen einhalten und in den meisten Fällen sogar ganz ohne diese auskommen.
Die Herausforderung der Zeit – das Projekt unter COVID.
Allerdings gab es auch ohne zusätzliche Komplikationen keine Schwierigkeiten. Natürlich war das Coronavirus eines der Hindernisse.
Die Arbeiten gestalteten sich schwieriger, da die Pandemie begann und es nicht möglich war, dass alle an dem Prozess beteiligten Spezialisten während der Arbeiten vor Ort beim Kunden anwesend waren. Zutritt zur Baustelle hatten nur die Mitarbeiter der Montagefirma, während die Kontrolle über einen Zoom-Raum vorgenommen wurde – darin befanden sich der Netzwerktechniker von Linxdatacenter, ich als Projektleiter, der Netzwerktechniker des Kunden, der für die Durchführung der Arbeiten zuständig war, und das Team, das die Montagearbeiten durchführte.
Während der Arbeiten traten unvorhergesehene Probleme auf, die Anpassungen vor Ort erforderlich machten. So konnten wir schnell die Auswirkungen menschlichen Versagens (Fehler im Schema, Fehler bei der Bestimmung des Aktivitätsstatus der Schnittstelle usw.) abwenden.
Obwohl das Remote-Arbeitsformat zu Beginn des Projekts ungewohnt schien, haben wir uns recht schnell an die neuen Bedingungen angepasst und sind in die finale Phase der Arbeiten übergegangen.
Wir haben eine vorübergehende Netzwerkkonfiguration eingerichtet, um einen reibungslosen Übergang zwischen den beiden Netzwerk-Kernen – dem alten und dem neuen – zu ermöglichen. Es stellte sich jedoch heraus, dass eine überflüssige Zeile in der Konfigurationsdatei des neuen Kerns nicht entfernt wurde, was den Übergang verhinderte. Dies führte dazu, dass wir einige Zeit mit der Fehlersuche verbringen mussten.
Es zeigte sich, dass der Hauptdatenverkehr korrekt übertragen wurde, jedoch der Steuerungsdatenverkehr den Knoten über den neuen Kern nicht erreichte. Dank der klaren Gliederung des Projekts in Phasen konnten wir relativ schnell den Bereich des Netzwerks identifizieren, in dem das Problem auftrat, die Ursache feststellen und es beheben.
Und das Ergebnis
Technische Ergebnisse des Projekts
Zunächst wurde ein neues Kernnetzwerk des Unternehmens erstellt, für das wir physische und logische Ringe gebaut haben. Dies wurde so umgesetzt, dass jeder Switch im Netzwerk ein „zweites Bein“ hat. Im alten Netzwerk waren viele Switches über eine einzige Verbindung, einen Uplink, mit dem Kern verbunden. Brach dieser, war der Switch vollständig unerreichbar. Wenn mehrere Switches über einen Uplink verbunden waren, führte ein Ausfall dazu, dass eine gesamte Abteilung oder Produktionslinie im Unternehmen betroffen war.
Im neuen Netzwerk kann selbst ein schwerwiegender Netzwerkvorfall unter keinen Umständen das gesamte Netzwerk oder einen wesentlichen Teil davon lahmlegen.
90% der gesamten Netzwerkausrüstung wurden aktualisiert, Medienkonverter (Signalverbreitungsumwandler) wurden außer Betrieb genommen, und die Notwendigkeit für dedizierte Stromleitungen zur Stromversorgung der Geräte entfällt dank des Anschlusses an PoE-Switches, die Strom über Ethernet-Kabel liefern.
Alle optischen Verbindungen im Rechenzentrum sowie in den Schränken vor Ort sind entsprechend gekennzeichnet – an allen wichtigen Kommunikationsknoten. Dies ermöglichte die Erstellung eines topologischen Schemas der Geräte und Verbindungen im Netzwerk, das den aktuellen Zustand widerspiegelt.
Netzwerkdiagramm
Das wichtigste Ergebnis aus technischer Sicht: Umfassende infrastrukturelle Arbeiten wurden zügig durchgeführt, ohne den Betrieb des Unternehmens zu stören und praktisch unbemerkt von den Mitarbeitern.
Projektbusiness-Ergebnisse
Meiner Meinung nach ist dieses Projekt in erster Linie aus organisatorischer Sicht interessant, nicht aus technischer. Die Herausforderung lag in erster Linie in der Planung und der detaillierten Überlegung der Schritte zur Umsetzung der Projektaufgaben.
Der Erfolg des Projekts lässt darauf schließen, dass unsere Initiative zur Entwicklung des Netzwerks innerhalb des Serviceportfolios von Linxdatacenter der richtige Entwicklungsvektor für das Unternehmen ist. Ein verantwortungsbewusster Ansatz im Projektmanagement, eine fundierte Strategie und klare Planung ermöglichten es uns, die Arbeiten auf einem angemessenen Niveau abzuschließen.
Bestätigung der Arbeitsqualität – Anfrage des Kunden zur Fortsetzung der Bereitstellung von Netzwerkmodernisierungsdiensten an seinen weiteren Standorten in Russland.
Quelle: habr.com
