AERODISK Engine: Katastrophenschutz. Teil 1

AERODISK Engine: Katastrophenschutz. Teil 1

Hallo, liebe Leser von Habr! In diesem Artikel geht es um die Implementierung von Katastrophenschutz-Maßnahmen in den Speichersystemen des AERODISK Engines. UrsprĂŒnglich wollten wir in einem Beitrag sowohl ĂŒber die Replikation als auch ĂŒber Metro-Cluster berichten, jedoch wurde der Artikel zu umfangreich, weshalb wir ihn in zwei Teile aufgeteilt haben. Lassen Sie uns von einfachen zu komplexen Themen ĂŒbergehen. In diesem Artikel werden wir die synchrone Replikation einrichten und testen – wir werden ein Rechenzentrum (RZ) ausfallen lassen und die Verbindung zwischen den RZ unterbrechen, um zu sehen, was passiert.

Unsere Kunden stellen uns hÀufig verschiedene Fragen zur Replikation. Daher möchten wir, bevor wir mit der Einrichtung und dem Test der Replikationsimplementierungen beginnen, kurz erlÀutern, was Replikation in Speichersystemen bedeutet.

Ein wenig Theorie

Die Replikation in Speichersystemen ist ein kontinuierlicher Prozess, der sicherstellt, dass die Daten gleichzeitig auf mehreren Speichersystemen identisch sind. Technisch gesehen wird die Replikation auf zwei Arten durchgefĂŒhrt.

Synchrone Replikation – dies ist die Datenkopie von der primĂ€ren Speichereinheit auf die Sicherungseinheit, gefolgt von der verbindlichen BestĂ€tigung beider Speichereinheiten, dass die Daten geschrieben und bestĂ€tigt wurden. Erst nach der BestĂ€tigung von beiden Seiten (von beiden Speichereinheiten) gelten die Daten als geschrieben und können bearbeitet werden. Damit wird die garantierte IdentitĂ€t der Daten auf allen an der Replikation beteiligten Speichereinheiten sichergestellt.

Vorteile dieser Methode:

  • Daten sind immer identisch auf allen Speichereinheiten

Nachteile:

  • Hohe Kosten der Lösung (schnelle KommunikationskanĂ€le, teure Glasfaser, Langwellen-Transceiver usw.)
  • EntfernungseinschrĂ€nkungen (innerhalb von einigen Dutzend Kilometern)
  • Kein Schutz vor logischer DatenbeschĂ€digung (wenn die Daten absichtlich oder versehentlich auf der primĂ€ren Speichereinheit beschĂ€digt werden, werden sie automatisch und sofort auch auf der Sicherungseinheit beschĂ€digt, da die Daten immer identisch sind (so ein Paradoxon))

Asynchrone Replikation – dies ist ebenfalls eine Datenkopie von der primĂ€ren zum sekundĂ€ren Speicher, jedoch mit einer bestimmten Verzögerung und ohne die Notwendigkeit einer BestĂ€tigung der Speicherung auf der anderen Seite. Mit den Daten kann sofort nach der Speicherung auf dem primĂ€ren Speicher gearbeitet werden, wĂ€hrend die Daten auf dem sekundĂ€ren Speicher nach einiger Zeit verfĂŒgbar sind. In diesem Fall wird die IdentitĂ€t der Daten natĂŒrlich nicht vollstĂ€ndig gewĂ€hrleistet. Die Daten auf dem sekundĂ€ren Speicher befinden sich immer ein wenig "in der Vergangenheit".

Vorteile der asynchronen Replikation:

  • Niedrige Kosten der Lösung (beliebige KommunikationskanĂ€le, Glasfaser optional)
  • Keine EinschrĂ€nkungen hinsichtlich der Entfernung
  • Auf dem sekundĂ€ren Speicher werden die Daten nicht beschĂ€digt, falls sie auf dem primĂ€ren beschĂ€digt werden (zumindest fĂŒr eine gewisse Zeit). Wenn die Daten beschĂ€digt sind, kann die Replikation jederzeit gestoppt werden, um eine BeschĂ€digung der Daten auf dem sekundĂ€ren Speicher zu vermeiden.

Nachteile:

  • Die Daten in verschiedenen Rechenzentren sind immer unidentisch.

Die Wahl des Replikationsmodus hĂ€ngt von den geschĂ€ftlichen Anforderungen ab. Wenn es fĂŒr Sie entscheidend ist, dass die Daten im Backup-Rechenzentrum identisch mit denen im Hauptrechenzentrum sind (d.h. das GeschĂ€ft fordert RPO=0), mĂŒssen Sie bereit sein, in eine synchrone Replikation zu investieren und deren EinschrĂ€nkungen in Kauf zu nehmen. Ist eine gewisse Datenverzögerung akzeptabel oder einfach das Budget begrenzt, sollten Sie definitiv die asynchrone Methode wĂ€hlen.

Ein spezieller Modus, den wir hervorheben möchten (genauer gesagt, eine Topologie), ist der Metro-Cluster. Im Metro-Cluster wird eine synchronisierte Replikation eingesetzt, jedoch ermöglicht der Metro-Cluster im Gegensatz zu einer herkömmlichen Replikation, dass beide Storage-Systeme aktiv betrieben werden. Es gibt also keine Unterscheidung zwischen aktiven und passiven Rechenzentren. Die Anwendungen arbeiten gleichzeitig mit zwei Storage-Systemen, die physisch in unterschiedlichen Rechenzentren untergebracht sind. Ausfallzeiten bei Störungen in dieser Topologie sind sehr gering (RTO liegt in der Regel bei Minuten). In diesem Artikel werden wir unsere Umsetzung des Metro-Clusters nicht behandeln, da dies ein sehr umfangreiches und tiefgehendes Thema ist, dem wir einen separaten, nÀchsten Artikel widmen werden.

Ganz oft, wenn wir ĂŒber Replikation mittels Storage-Systemen sprechen, stellt sich vielen die berechtigte Frage: > „Viele Anwendungen verfĂŒgen ĂŒber eigene Replikationsmethoden, warum also Replikation auf dem Storage-System nutzen? Ist das besser oder schlechter?“

Hier gibt es keine eindeutige Antwort, deshalb nennen wir die Argumente FÜR und GEGEN:

Argumente FÜR die Replikation auf dem Storage-System:

  • Einfachheit der Lösung. Mit einem einzigen Tool können Sie das gesamte Datenvolumen replizieren, unabhĂ€ngig von der Art der Last und den Anwendungen. Wenn die Replikation durch Anwendungen erfolgt, mĂŒssen Sie jede Anwendung einzeln einrichten. Bei mehr als zwei Anwendungen wird dies sehr mĂŒhsam und teuer (die Replikation von Anwendungen erfordert in der Regel eine separate und kostenpflichtige Lizenz fĂŒr jede Anwendung. Aber dazu spĂ€ter mehr).
  • Es können beliebige Dinge repliziert werden – beliebige Anwendungen, beliebige Daten – und sie sind immer konsistent. Viele (die meisten) Anwendungen haben keine eigenen Replikationsmethoden, und die Replikation vom Storage-System ist das einzige Mittel, um einen Katastrophenschutz zu gewĂ€hrleisten.
  • Zahlen Sie nicht zu viel fĂŒr die FunktionalitĂ€t der Anwendungsreplikation. In der Regel ist sie nicht gĂŒnstig, ebenso wie die Lizenzen fĂŒr die Replikation von Storage-Systemen. Aber fĂŒr die Lizenz zur Replikation des Storage-Systems mĂŒssen Sie einmalig zahlen, wĂ€hrend die Lizenz fĂŒr die Anwendungsreplikation fĂŒr jede Anwendung separat erworben werden muss. Wenn es viele solcher Anwendungen gibt, summieren sich die Kosten und die Lizenzkosten fĂŒr die Replikation des Storage-Systems werden zur Nebensache.

Argumente GEGEN die Replikation von Storage-Systemen:

  • Die Replikation mithilfe von Anwendungen bietet mehr FunktionalitĂ€t aus Sicht der Anwendungen selbst, da die Anwendung ihre Daten besser kennt (was offensichtlich ist), gibt es daher mehr Optionen im Umgang mit den Daten.
  • Hersteller bestimmter Anwendungen garantieren keine Konsistenz ihrer Daten, wenn die Replikation mit Drittanbieter-Tools erfolgt.*

* - umstrittener Punkt. Zum Beispiel hat ein bekannter Datenbankhersteller lange Zeit offiziell behauptet, dass ihre Datenbank nur mit ihren eigenen Mitteln ordnungsgemĂ€ĂŸ repliziert werden kann, und jede andere Replikation (einschließlich der von Storage-Systemen) sei „nicht wahr“. Aber die RealitĂ€t hat gezeigt, dass das nicht stimmt. Höchstwahrscheinlich (aber das ist nicht sicher) handelt es sich hierbei einfach um einen nicht ganz fairen Versuch, Kunden weitere Lizenzen zu verkaufen.

In den meisten FĂ€llen ist die Replikation von Storage-Systemen besser, da sie eine einfachere und kostengĂŒnstigere Lösung darstellt. Es gibt jedoch komplexe Szenarien, in denen spezifische Anwendungsfunktionen erforderlich sind und direkt auf die Anwendungsebene der Replikation eingegangen werden muss.

Theorie abgeschlossen, nun zur Praxis.

Wir werden die Replikation in unserem Labor einrichten. Unter Laborbedingungen haben wir zwei Rechenzentren emuliert (in Wirklichkeit sind es zwei nebeneinander stehende Racks, die so aussehen, als befĂ€nden sie sich in verschiedenen GebĂ€uden). Der Stand besteht aus zwei Engine N2 Storage-Systemen, die durch optische Kabel miteinander verbunden sind. An beide Storage-Systeme ist ein physischer Server mit Windows Server 2016 ĂŒber 10Gb Ethernet angeschlossen. Der Stand ist ziemlich einfach, aber das Ă€ndert nichts an der Bedeutung.

Schematically, it looks like this:

AERODISK Engine: Katastrophenschutz. Teil 1

Logisch ist die Replikation wie folgt organisiert:

AERODISK Engine: Katastrophenschutz. Teil 1

Nun betrachten wir die funktionalen Möglichkeiten der Replikation, die uns derzeit zur VerfĂŒgung stehen.
Es werden zwei Modi unterstĂŒtzt: asynchron und synchron. Es ist logisch, dass der synchrone Modus durch die Distanz und die VerbindungskanĂ€le begrenzt ist. Insbesondere fĂŒr den synchronen Modus ist es erforderlich, Glasfaser als physische Grundlage und 10-Gigabit-Ethernet (oder schneller) zu verwenden.

Die unterstĂŒtzte Entfernung fĂŒr die synchronen Replikation betrĂ€gt 40 Kilometer, mit einer maximalen Verzögerung von 2 Millisekunden zwischen den Rechenzentren. Obwohl auch grĂ¶ĂŸere Verzögerungen funktionieren, wird es dabei zu erheblichen Schreibverzögerungen kommen, was nachvollziehbar ist. Daher sollten Sie, wenn Sie eine synchrone Replikation zwischen Rechenzentren planen, die QualitĂ€t der optischen Verbindung und die Verzögerungen ĂŒberprĂŒfen.

FĂŒr die asynchrone Replikation sind die Anforderungen nicht so streng. Genauer gesagt, es gibt ĂŒberhaupt keine. Jede funktionierende Ethernet-Verbindung ist ausreichend.

Aktuell unterstĂŒtzt das AERODISK ENGINE SAN die Replikation fĂŒr blockbasierte GerĂ€te (LUNs) ĂŒber Ethernet (entweder ĂŒber Kupfer oder Glasfaser). FĂŒr Projekte, bei denen eine Replikation ĂŒber eine SAN-Switch-Architektur mit Fibre Channel erforderlich ist, arbeiten wir derzeit an einer entsprechenden Lösung, die jedoch noch nicht bereit ist. Daher bieten wir in diesem Fall nur Ethernet an.

Die Replikation kann zwischen beliebigen SANs der ENGINE-Serie (N1, N2, N4) von Àlteren auf neuere Systeme und umgekehrt funktionieren.

Die FunktionalitÀt beider Replikationsmodi ist vollstÀndig identisch. Im Folgenden finden Sie detaillierte Informationen dazu:

  • Die Replikation erfolgt im „one-to-one“-Modus, also klassisch mit zwei Rechenzentren, einem primĂ€ren und einem sekundĂ€ren.
  • Die „One-to-Many“-Replikation ermöglicht es, einen LUN gleichzeitig auf mehrere Storage-Systeme zu replizieren.
  • Aktivierung, Deaktivierung und „Umdrehung“ der Replikation, entsprechend zum Ein- oder Ausschalten oder zur Änderung der Replikationsrichtung.
  • Replikation ist sowohl fĂŒr RDG-Pools (Raid Distributed Group) als auch fĂŒr DDP (Dynamic Disk Pool) verfĂŒgbar. Hierbei kann ein LUN eines RDG-Pools nur in einen anderen RDG repliziert werden, bei DDP funktioniert es analog.

Es gibt noch viele weitere kleine Besonderheiten, jedoch macht es wenig Sinn, sie alle aufzuzÀhlen; wir werden sie im Verlauf der Einrichtung erwÀhnen.

Einrichtung der Replikation

Der Einrichtungsprozess ist relativ einfach und besteht aus drei Phasen.

  1. Netzwerkkonfiguration
  2. Speicherkonfiguration
  3. Einrichtung der Regeln (Beziehungen) und des Mappings

Ein wichtiger Punkt bei der Einrichtung der Replikation ist, dass die ersten beiden Phasen auf dem entfernten Storage-System wiederholt werden sollten, die dritte Phase jedoch nur auf dem Hauptsystem.

Einrichtung der Netzwerkressourcen

Zuerst mĂŒssen die Netzwerkports konfiguriert werden, ĂŒber die der Replikationstraffic ĂŒbertragen wird. Dazu mĂŒssen die Ports aktiviert und konfiguriert werden. IP-Adressen im Abschnitt Front-End-Adapter.

Anschließend mĂŒssen wir einen Pool (in unserem Fall RDG) und eine virtuelle IP-Adresse fĂŒr die Replikation (VIP) erstellen. VIP ist eine schwebende IP-Adresse, die an zwei 'physische' Adressen der Storage-Controller (Ports, die wir gerade konfiguriert haben) gebunden ist. Sie wird die primĂ€re Schnittstelle fĂŒr die Replikation sein. Alternativ kann auch mit VLANs gearbeitet werden, wenn getaggter Verkehr erforderlich ist.

AERODISK Engine: Katastrophenschutz. Teil 1

Der Prozess zur Erstellung einer VIP fĂŒr die Replikation unterscheidet sich kaum von der Erstellung einer VIP fĂŒr Ein- und Ausgaben (NFS, SMB, iSCSI). In diesem Fall erstellen wir die VIP gewöhnlich (ohne VLAN), geben jedoch zwingend an, dass sie fĂŒr die Replikation gedacht ist (ohne diesen Verweis können wir die VIP im nĂ€chsten Schritt nicht zu den Regeln hinzufĂŒgen).

AERODISK Engine: Katastrophenschutz. Teil 1

Die VIP muss sich im selben Subnetz wie die IP-Adressen der Ports befinden, zwischen denen sie 'schwebt'.

AERODISK Engine: Katastrophenschutz. Teil 1

Wir wiederholen diese Einstellungen auf dem entfernten Storage-System mit einer anderen IP-Adresse, selbstverstÀndlich.
VIPs von verschiedenen Storage-Systemen können sich in unterschiedlichen Subnetzen befinden, Hauptsache, zwischen ihnen gibt es Routing. In unserem Fall ist genau dieses Beispiel gezeigt (192.168.3.XX und 192.168.2.XX).

AERODISK Engine: Katastrophenschutz. Teil 1

Damit ist die Vorbereitung des Netzwerkteils abgeschlossen.

Wir konfigurieren die Speicher.

Die Einrichtung des Speichers fĂŒr die Replikation unterscheidet sich nur darin, dass die Zuordnung ĂŒber das spezielle MenĂŒ „Replikationszuordnung“ erfolgt. Ansonsten bleibt alles wie bei der normalen Einrichtung.

Im zuvor erstellten Pool R02 muss ein LUN erstellt werden. Wir erstellen ihn und nennen ihn LUN1.

AERODISK Engine: Katastrophenschutz. Teil 1

Außerdem mĂŒssen wir ein identisches LUN auf dem entfernten Speichersystem mit demselben Volumen erstellen. Wir tun dies. Um Verwirrungen zu vermeiden, nennen wir das entfernte LUN LUN1R.

AERODISK Engine: Katastrophenschutz. Teil 1

Falls wir ein bereits existentes LUN verwenden mĂŒssten, mĂŒsste wĂ€hrend der Einrichtung der Replikation dieses produktive LUN vorĂŒbergehend vom Host abgemeldet werden, und auf dem entfernten Speichersystem mĂŒsste einfach ein leeres LUN mit demselben Volumen erstellt werden.

Die Einrichtung des Speichers ist abgeschlossen, jetzt gehen wir zur Erstellung der Replikationsregel ĂŒber.

Einrichtung von Replikationsregeln oder Replikationsbeziehungen

Nachdem die LUNs auf dem derzeit primÀren Speichersystem (Primary) erstellt wurden, richten wir die Replikationsregel von LUN1 auf LUN1R auf Speichersystem 2 ein.

Die Einrichtung erfolgt im MenĂŒ „Remote-Replikation“

Wir erstellen eine Regel. Dazu mĂŒssen wir den EmpfĂ€nger der Replikation angeben. Dort geben wir auch den Namen der Beziehung und den Replikationstyp (synchron oder asynchron) an.

AERODISK Engine: Katastrophenschutz. Teil 1

Im Feld „entfernte Systeme“ fĂŒgen wir unser SAN2 hinzu. FĂŒr die HinzufĂŒgung mĂŒssen die Verwaltungs-IP des SAN (MGR) und der Name des entfernten LUN verwendet werden, auf dem wir die Replikation durchfĂŒhren werden (in unserem Fall LUN1R). Die Verwaltungs-IP wird nur wĂ€hrend der Verbindungserstellung benötigt, der Replikationsverkehr wird darĂŒber nicht ĂŒbertragen; dafĂŒr wird die zuvor konfigurierte VIP verwendet.

Bereits auf dieser Stufe können wir mehr als ein entferntes System fĂŒr die „one to many“-Topologie hinzufĂŒgen: Klicken Sie auf die SchaltflĂ€che „Knoten hinzufĂŒgen“, wie im Bild unten gezeigt.

AERODISK Engine: Katastrophenschutz. Teil 1

In unserem Fall gibt es nur ein entferntes System, daher beschrÀnken wir uns darauf.

Die Regel ist bereit. Beachten Sie, dass sie automatisch auf allen Replikationsbeteiligten hinzugefĂŒgt wird (in unserem Fall sind das zwei). So viele Regeln können erstellt werden, wie gewĂŒnscht, fĂŒr beliebig viele LUNs und in beide Richtungen. Zum Beispiel können wir zur Lastverteilung einige LUNs von SAN1 auf SAN2 replizieren und andere hingegen von SAN2 auf SAN1.

SAN1. Unmittelbar nach der Erstellung begann die Synchronisierung.

AERODISK Engine: Katastrophenschutz. Teil 1

SAN2. Wir sehen dieselbe Regel, aber die Synchronisierung ist bereits abgeschlossen.

AERODISK Engine: Katastrophenschutz. Teil 1

LUN1 auf SCD1 ist als PrimĂ€r konfiguriert, das heißt, er ist aktiv. LUN1R auf SCD2 wird als SekundĂ€r bezeichnet, was bedeutet, dass er im Bereitschaftsmodus ist, falls SCD1 ausfĂ€llt.
Jetzt können wir unser LUN mit dem Host verbinden.

Wir werden die Verbindung ĂŒber iSCSI herstellen, obwohl auch FC möglich ist. Die Konfiguration des Mappings fĂŒr das iSCSI-LUN in der Replikation unterscheidet sich praktisch nicht von einem gewöhnlichen Szenario, daher werden wir dies hier nicht im Detail betrachten. Falls erforderlich, wird dieser Prozess im Artikel „Schnelle Einrichtung».

Der einzige Unterschied – das Mapping erfolgt im MenĂŒ „Replikationsmapping“

AERODISK Engine: Katastrophenschutz. Teil 1

Wir haben das Mapping konfiguriert und das LUN dem Host zugewiesen. Der Host hat das LUN erkannt.

AERODISK Engine: Katastrophenschutz. Teil 1

Wir formatieren es im lokalen Dateisystem.

AERODISK Engine: Katastrophenschutz. Teil 1

Das war's, die Einrichtung ist abgeschlossen. Jetzt folgen die Tests.

Testen

Wir werden drei Hauptszenarien testen.

  1. RegulĂ€rer Rollenwechsel von SekundĂ€r > PrimĂ€r. Der regulĂ€re Rollenwechsel ist notwendig, falls wir im Hauptrechenzentrum prĂ€ventive Wartungsarbeiten durchfĂŒhren mĂŒssen und diese Zeit, um Daten verfĂŒgbar zu halten, die Last in das Backup-Rechenzentrum ĂŒbertragen wird.
  2. Failover von Secondary zu Primary (Ausfall des Rechenzentrums). Dies ist das Hauptszenario, fĂŒr das die Replikation existiert, und es hilft, einen vollstĂ€ndigen Ausfall des Rechenzentrums zu ĂŒberstehen, ohne den GeschĂ€ftsbetrieb ĂŒber lĂ€ngere ZeitrĂ€ume zu unterbrechen.
  3. Unterbrechungen der KommunikationskanĂ€le zwischen den Rechenzentren. ÜberprĂŒfung des korrekten Verhaltens beider SANs unter Bedingungen, unter denen aus bestimmten GrĂŒnden der Kommunikationskanal zwischen den Rechenzentren nicht verfĂŒgbar ist (z. B. wenn ein Bagger versehentlich das dunkle Glasfaserkabel beschĂ€digt hat).

ZunĂ€chst beginnen wir, Daten auf unser LUN zu schreiben (wir schreiben Dateien mit zufĂ€lligen Daten). Sofort beobachten wir, dass die Verbindung zwischen den SANs ausgelastet ist. Das lĂ€sst sich leicht erkennen, wenn man die Überwachung der Portlasten öffnet, die fĂŒr die Replikation verantwortlich sind.

AERODISK Engine: Katastrophenschutz. Teil 1

Auf beiden SANs befinden sich jetzt „nĂŒtzliche“ Daten, wir können mit dem Test beginnen.

AERODISK Engine: Katastrophenschutz. Teil 1

Zur Sicherheit schauen wir uns die Hash-Werte einer der Dateien an und notieren sie.

AERODISK Engine: Katastrophenschutz. Teil 1

RegulÀrer Rollenwechsel

Die Rollenwechseloperation (Änderung der Replikationsrichtung) kann von jedem SAN durchgefĂŒhrt werden, aber es muss dennoch auf beide zugegriffen werden, da das Mapping auf dem Primary deaktiviert und auf dem Secondary (das zum Primary wird) aktiviert werden muss.

Es stellt sich vielleicht die berechtigte Frage: Warum sollte man das nicht automatisieren? Die Antwort ist einfach: Replikation ist ein einfaches Mittel zur Katastrophensicherung, das nur auf manuellen VorgĂ€ngen beruht. Um diese VorgĂ€nge zu automatisieren, gibt es den Metro-Clustermodus, der vollstĂ€ndig automatisiert ist, jedoch ist seine Einrichtung deutlich komplizierter. In einem zukĂŒnftigen Artikel werden wir ĂŒber die Konfiguration des Metro-Clusters berichten.

Auf dem primÀren Speichersystem deaktivieren wir das Mapping, um sicherzustellen, dass keine Aufzeichnungen mehr erfolgen.

AERODISK Engine: Katastrophenschutz. Teil 1

Dann wĂ€hlen wir auf einem der Speichersysteme (ob primĂ€r oder sekundĂ€r ist unwichtig) im MenĂŒ „Remote-Replikation“ unsere Verbindung REPL1 aus und klicken auf „Rolle Ă€ndern“.

AERODISK Engine: Katastrophenschutz. Teil 1

Nach ein paar Sekunden wird LUN1R (das sekundÀre Speichersystem) zum Primary.

AERODISK Engine: Katastrophenschutz. Teil 1

Wir machen das Mapping von LUN1R mit Speichersystem 2.

AERODISK Engine: Katastrophenschutz. Teil 1

Daraufhin wird automatisch unser Laufwerk E: auf dem Host angebunden, und diesmal ist es „herangekommen“ von LUN1R.

Zur Sicherheit vergleichen wir die Hash-Werte.

AERODISK Engine: Katastrophenschutz. Teil 1

Identisch. Test bestanden.

Notfallumschaltung. Ausfall des Rechenzentrums.

Im Moment ist das primÀre Speichersystem nach der regulÀren Umschaltung Speichersystem 2 und LUN1R, entsprechend. Um einen Ausfall zu simulieren, schalten wir die Stromversorgung beider Controller von Speichersystem 2 ab.
Der Zugriff darauf ist nicht mehr möglich.

Wir beobachten, was mit dem SAN 1 (aktuell im Standby) passiert.

AERODISK Engine: Katastrophenschutz. Teil 1

Wir sehen, dass das Primary LUN (LUN1R) nicht verfĂŒgbar ist. Es gab eine Fehlermeldung in den Protokollen, im Info-Dashboard sowie in der Replikationsregel. Daher sind die Daten vom Host derzeit nicht verfĂŒgbar.

Wir Àndern die Rolle von LUN1 auf Primary.

AERODISK Engine: Katastrophenschutz. Teil 1

Wir nehmen das Mapping zum Host vor.

AERODISK Engine: Katastrophenschutz. Teil 1

Wir stellen sicher, dass die Festplatte E auf dem Host erscheint.

AERODISK Engine: Katastrophenschutz. Teil 1

Wir ĂŒberprĂŒfen den Hash.

AERODISK Engine: Katastrophenschutz. Teil 1

Alles in Ordnung. Der Ausfall des aktiven Rechenzentrums hat das SAN erfolgreich ĂŒberstanden. Die ungefĂ€hre Zeit, die wir fĂŒr die Konfiguration der Replikationsumstellung und die Anbindung des LUN aus dem Standby-Rechenzentrum benötigt haben, betrug etwa 3 Minuten. Es ist klar, dass es in einer realen Produktionsumgebung viel komplizierter ist und neben den Maßnahmen am SAN noch viele weitere Operationen im Netzwerk, auf den Hosts und in den Anwendungen durchgefĂŒhrt werden mĂŒssen. In der RealitĂ€t wird dieser Zeitraum deutlich lĂ€nger sein.

Hier möchte ich schreiben, dass alles gut ist, der Test wurde erfolgreich abgeschlossen, aber wir wollen uns nicht zu frĂŒh freuen. Das Haupt-SAN ist 'down' und wir wissen, dass es in der Rolle 'Primary' war, als es ausgefallen ist. Was passiert, wenn es plötzlich wieder einschaltet? Es wĂ€ren zwei Primary-Rollen vorhanden, was zu Datenverlust fĂŒhren wĂŒrde. Das ĂŒberprĂŒfen wir jetzt.
Wir gehen jetzt dazu ĂŒber, das ausgefallene SAN wieder zu aktivieren.

Es startet einige Minuten und kehrt dann nach kurzer Synchronisation wieder in Betrieb, allerdings in der Rolle Secondary.

AERODISK Engine: Katastrophenschutz. Teil 1

Alles in Ordnung. Es gab keinen Split-Brain. Wir haben daran gedacht, dass nach einem Ausfall des Speichersystems immer in der Rolle Secondary gestartet wird, unabhĂ€ngig davon, in welcher Rolle es zuvor aktiv war. Nun können wir definitiv sagen, dass der Test fĂŒr den Ausfall des Rechenzentrums erfolgreich war.

Ausfall der KommunikationskanÀle zwischen den Rechenzentren

Die Hauptaufgabe dieses Tests besteht darin, sicherzustellen, dass das Speichersystem nichts Ungewöhnliches macht, wenn es temporÀr den Kontakt zwischen zwei Speichersystemen verliert, der dann wiederhergestellt wird.
Also, wir trennen die Kabel zwischen den Speichersystemen (nehmen wir an, ein Bagger hat sie durchtrennt).

Auf dem Primary sehen wir, dass keine Verbindung zum Secondary besteht.

AERODISK Engine: Katastrophenschutz. Teil 1

Auf dem Secondary sehen wir, dass keine Verbindung zum Primary besteht.

AERODISK Engine: Katastrophenschutz. Teil 1

Alles funktioniert normal, und wir fahren fort, Daten auf das primĂ€re Speichersystem zu schreiben, das heißt, sie unterscheiden sich jetzt garantiert von der Backup-Version, also sind sie 'auseinandergegangen'.

Nach ein paar Minuten 'reparieren' wir den Kommunikationskanal. Sobald sich die Speichersysteme wieder sehen, wird die Datensynchronisation automatisch aktiviert. HierfĂŒr sind keine Eingriffe des Administrators erforderlich.

AERODISK Engine: Katastrophenschutz. Teil 1

Nach einiger Zeit ist die Synchronisation abgeschlossen.

AERODISK Engine: Katastrophenschutz. Teil 1

Die Verbindung wurde wiederhergestellt, es gab keine außergewöhnlichen Situationen, die zu einem Ausfall der KommunikationskanĂ€le gefĂŒhrt hĂ€tten, und nach dem Aktivieren fand automatisch eine Synchronisation statt.

Fazit

Wir haben die Theorie durchgenommen – was und warum es benötigt wird, wo die Vorteile und wo die Nachteile liegen. Danach haben wir die synchronisierte Replikation zwischen zwei Speichersystemen eingerichtet.

Anschließend wurden die Haupttests fĂŒr den normalen Umschaltvorgang, den Ausfall des Rechenzentrums und den Ausfall der KommunikationskanĂ€le durchgefĂŒhrt. In allen FĂ€llen hat das Speichersystem gut funktioniert. Es gab keinen Datenverlust, die administrativen Operationen wurden auf ein Minimum fĂŒr manuelle Szenarien reduziert.

Beim nĂ€chsten Mal werden wir die Situation komplizierter gestalten und zeigen, wie diese gesamte Logik in einem automatisierten Metrocluster im Active-Active-Betrieb funktioniert, das heißt, wenn beide Speichersysteme aktiv sind und das Verhalten im Falle eines Ausfalls vollstĂ€ndig automatisiert ist.

Bitte schreiben Sie Kommentare, wir freuen uns ĂŒber konstruktive Kritik und nĂŒtzliche RatschlĂ€ge.

Bis zum nÀchsten Mal.

Quelle: habr.com

Kaufen Sie zuverlĂ€ssiges Hosting fĂŒr Websites mit DDoS-Schutz, VPS VDS-Server đŸ”„ Kaufen Sie zuverlĂ€ssiges Hosting fĂŒr Websites mit DDoS-Schutz, VPS VDS-Server | ProHoster