Fehlertoleranz in der SAN Qsan

In der heutigen IT-Infrastruktur sind Datenspeichersysteme, die durch Virtualisierung weit verbreitet sind, das Herzstück, das alle virtuellen Maschinen speichert. Ein Ausfall dieses Knotens kann den Betrieb eines Rechenzentrums vollständig stoppen. Obwohl ein erheblicher Teil der Serverhardware in irgendeiner Form von Haus aus ausfallsicher ist, werden aufgrund der besonderen Rolle des Speichersystems in einem Rechenzentrum höhere Anforderungen an seine 'Lebensfähigkeit' gestellt.

Die effektivste Methode zur Sicherstellung der Ausfallsicherheit in der IT ist die Verwendung mehrerer Exemplare von Hardware und Software (im einfachsten Fall – Duplizierung). Natürlich kann das Speichersystem vollständig dupliziert werden. Für das Disaster Recovery wird genau dieser Ansatz gewählt. Aber nicht alle Unternehmen können sich eine solche Lösung leisten. Dabei geht es nicht nur um die doppelte Kostenstruktur für die Hardware, sondern auch um andere Kosten für die Organisation und die spätere Wartung einer solchen Lösung.

Die Möglichkeit, Hardware zu duplizieren, hebt jedoch nicht die Notwendigkeit auf, die Ausfallsicherheit auf Komponentenebene sicherzustellen. Insbesondere im Speichersystem werden Redundanzen bei Netzteilen, Kühleinheiten, Speicherlaufwerken und natürlich den Controllern eingesetzt. All dies ist schon lange zur Norm geworden. Es ist schwierig, ein Speichersystem zu finden, das nicht auf einem solchen Design basiert. Qsan Hier ist das keine Ausnahme. Doch in diesem Artikel möchten wir über das sprechen, was nicht sofort ins Auge fällt, und das gleichzeitig darauf abzielt, die Ausfallsicherheit des gesamten Systems zu erhöhen.

Kühlmodule

Sehr häufig werden in Speichersystem 2U-3U-Gehäusen kombinierte Module verwendet, die Netzteile und Ventilatoren in einem vereinen. Einerseits ist das praktisch, da nur ein Block gewartet werden muss. Andererseits kann, wenn das Kühlsystem ausfällt, das Netzteil aus Sicherheitsgründen abgeschaltet werden, um eine Überhitzung zu vermeiden. Und es könnte eine nicht extrem kritische Situation entstehen, aber es lohnt sich offenbar nicht, dem Speichersystem zusätzliche Schwachstellen hinzuzufügen.

Die Kühlung im SAN Qsan ist in Form von separaten Modulen mit „Hot-Swap“ organisiert, die unabhängig von den Stromversorgungsblöcken sind. Tatsächlich verfügen die Stromversorgungsblöcke über eigene Ventilatoren, die zur Belüftung der Stromversorgungsblöcke dienen. Das Kühlmodul enthält zwei unabhängige Ventilatoren, die sich gegenseitig absichern. Es gibt zwei solcher Module im SAN: rechts und links – für eine effiziente Belüftung aller Komponenten. Wenn einer der Ventilatoren ausfällt, erhöhen alle anderen automatisch ihre Drehzahlen, um den entstandenen Mangel an Luftstrom auszugleichen. Aus diesem Grund hat ein Ventilatorausfall keine Gefahr einer Überhitzung des gesamten Geräts zur Folge.

Topologie der Verbindung von Erweiterungsregalen

Klassisches Anschlussdiagramm Erweiterungsregalen zu SAN bedeutet eine Topologie, die als Kaskade bezeichnet wird. In diesem Fall werden die entsprechenden Controller des Regals und des SAN über ein einzelnes SAS-Kabel miteinander verbunden. Insgesamt ergibt sich so 2 Kabel für ein Zweicontroller-System. Wenn ein zweites angeschlossen werden soll, wird es auf die gleiche Weise an das erste Regal angeschlossen. Und so weiter. Der Vorteil dieser Topologie ist die einfache Umsetzung in der Hardware. Der Nachteil ist eine gewisse Anfälligkeit für plötzliche Unterbrechungen der SAS-Verbindung aufgrund des Ausfalls nicht verbundener Controller von SAN und Regal oder aufgrund der Abschaltung eines der Erweiterungsregale in der Mitte der Kette. Infolgedessen wird der Zugriff auf einen Teil der Speichergeräte verloren gehen und eine mögliche Unterbrechung der RAID-Gruppe kann entstehen, wenn sie auf mehrere Gehäuse „verteilt“ ist.

Qsan verfügt über einen Schutz gegen den Ausfall von Controllern in Form einer internen logischen Verbindung der Controller über das Backplane des SAN. Das bedeutet, dass der SAN-Controller nicht nur den direkt an ihn angeschlossenen JBOD-Controller sieht, sondern auch den „Nachbar“-Controller über einen speziellen Link im Backplane. Infolgedessen wird, wenn ein solches Szenario eintritt und niemand physisch die SAS-Kabel zwischen SAN und Regal zieht, der Zugriff auf alle Speichergeräte erhalten bleiben.

Um zu verhindern, dass die SAS-Kette aufgrund eines Stromausfalls im Erweiterungsregal unterbrochen wird, wird normalerweise eine andere Anschluss-Topologie verwendet – ein umgekehrter Kaskadenanschluss. In diesem Fall wird das Speichersystem direkt an das erste und letzte Regal in der Kette angeschlossen, sodass auf die Laufwerke von beiden Seiten zugegriffen werden kann.

Wenn eine stärkere Absicherung gewünscht ist, können größere Konfigurationen erstellt werden, zum Beispiel mit einer Baumtopologie. Alternativ kann auch eine Kombination der erwähnten Topologien verwendet werden. Dies ist dank der Vielzahl von SAS-Anschlüssen an den Geräten möglich (2 an jedem Speichercontroller und 5 an jedem JBOD-Controller) mit automatischer Erkennung der Betriebsmodi für Ein- und Ausgabe. Das Wichtigste ist, dass der Administrator nicht durcheinanderkommt. Das Speichersystem wird in der Lage sein, die Konfiguration korrekt einzustellen.

Schneller Wiederaufbau

Die Verfügbarkeit von Ersatzfestplatten mit "Hot Swap"-Funktion in dem System erhöht die Zuverlässigkeit der Informationsspeicherung erheblich. Allerdings bedeutet die bloße Bereitstellung solcher Festplatten noch nicht einen absoluten Schutz. Der Grund ist, dass der Wiederherstellungsprozess (Rebuild) recht zeitaufwendig und oft langwierig ist. Die Arbeitsintensität entsteht durch den fortlaufenden Zugriff auf die Hauptdaten. Das heißt, das System muss zusätzlich zu der aktuellen Arbeit auch Daten auf die neue Festplatte kopieren. Die Dauer des Rebuilds hängt direkt von der Kapazität des Speichermediums und seinen Geschwindigkeitsmerkmalen ab. Da das System keine Kenntnis über den tatsächlich belegten Speicherplatz auf den Festplatten hat, kopiert es während des Rebuild-Prozesses einfach alles: Block für Block.

Infolgedessen kann der Wiederaufbau einer modernen Festplatte mit einer großen Kapazität von über 10 TB bei erheblicher Last auf dem Speichersystem leicht eine Woche oder länger in Anspruch nehmen. Zudem muss berücksichtigt werden, dass während des Rebuilds die Wahrscheinlichkeit eines Ausfalls anderer Laufwerke aufgrund der erhöhten Belastung deutlich steigt. Dies kann bereits eine ernsthafte Gefahr darstellen, wenn beispielsweise RAID5 verwendet wird.

Um dieses Problem zu lösen, haben viele Entwickler von Speichersystemen daran gearbeitet, den Wiederherstellungsprozess zu beschleunigen. Hierfür können unterschiedliche Ansätze verwendet werden, aber der Kern ist derselbe – nur die tatsächlich belegten Blöcke werden beim Rebuild kopiert. Auch Qsan hat sich dieses Problems angenommen. Bei den Speichersystemen dieses Anbieters wird mit aktivierter Option Schneller Wiederaufbau Das System verfolgt die verwendeten Blöcke für die Aufzeichnung, sodass es im Falle eines Festplattenausfalls nur diese auf ein neues Speichergerät kopieren kann.

Die Option Fast Rebuild ist standardmäßig bei der Erstellung neuer Volumes nicht aktiviert, da ihre Nutzung die Leistung beeinträchtigen kann, insbesondere bei zufälligen Schreibvorgängen, weil:

1. Es ist notwendig, die Aufzeichnung in Blöcken zu verfolgen;
2. Beim Rebuild erfolgt keine Neuberechnung der Prüfziffern für nicht belegten Speicher, daher muss dieser Bereich vor einer neuen Aufzeichnung zunächst „initialisiert“ werden.

Deshalb wird empfohlen, Fast Rebuild nicht für Volumes zu verwenden, die beispielsweise stark belastete Datenbanken oder Überwachungssysteme enthalten, wo das Volume letztlich ohnehin zu 100 % gefüllt wird. Für Datei- oder Mailserver hingegen ist diese Option äußerst nützlich.

Zum Abschluss

Jeder Hersteller von Speicherarrays geht davon aus, dass seine Geräte zuverlässig sind. Wenn es keine gravierenden Fehler bei der Entwicklung der Geräte gibt und kein übermäßiger Sparwahn bei der Herstellung und Prüfung vorhanden ist, kann man insgesamt dem Anbieter zustimmen. Jedoch muss man verstehen:

• Die grundlegende Fehlertoleranz von Speicherarrays bedeutet in erster Linie, dass man weiterhin Zugriff auf die Daten hat, falls eine oder mehrere Komponenten ausfallen;
• Zusätzliche Optionen zur Fehlertoleranz (wie die oben beschriebenen) reduzieren einige Fehlerfallmöglichkeiten und erhöhen Ihre Chancen, Zugang zu den Daten zu haben;
• Eine 100 %ige Zuverlässigkeit gibt es leider nicht. Um ihr jedoch so nahe wie möglich zu kommen, setzen die meisten seriösen Anbieter von Speicherarrays (und Qsan darunter) alles daran, ihre Produkte sowohl in der Hardware- als auch in der Softwarekomponente kontinuierlich zu verbessern.

Dabei sollte man auch nicht vergessen, dass keine absolute Zuverlässigkeit von Speicherarrays die Notwendigkeit von Sicherungskopien, klaren und einstudierten Notfallwiederherstellungsplänen und eine zeitnahe technische Unterstützung des Anbieters ersetzt.

Quelle: habr.com