Implementierung von SSD-Caching in der QSAN XCubeSAN-Speicherlösung

Technologien zur Steigerung der Produktivität, die auf der Verwendung von SSDs basieren und in SANs weit verbreitet sind, wurden schon lange erfunden. Zunächst einmal ist dies die Verwendung von SSDs als Speicherplatz, was zu 100 % effektiv, jedoch teuer ist. Daher kommen Technologien wie Tiering und Caching zum Einsatz, bei denen SSDs nur für die am häufigsten benötigten („heißen“) Daten verwendet werden. Tiering ist gut für langfristige (Tage-Wochen) Nutzung „heißer“ Daten. Caching hingegen eignet sich für kurzfristige (Minuten-Stunden) Nutzung. Beide Optionen sind in SANs implementiert. QSAN XCubeSAN. In diesem Artikel werden wir die Implementierung des zweiten Algorithmus – SSD-Caching.

Die Essenz der SSD-Caching-Technologie besteht darin, SSDs als Zwischenpuffer zwischen Festplatten und dem Arbeitsspeicher des Controllers zu nutzen. Die Leistung von SSDs liegt natürlich unter der des internen Caches des Controllers, bietet jedoch ein um ein Vielfaches höheres Volumen. Daher erhalten wir einen gewissen Kompromiss zwischen Geschwindigkeit und Kapazität.

Indikationen für die Verwendung von SSD-Caching zum Lesen:

• Übergewicht von Lesevorgängen gegenüber Schreibvorgängen (häufig charakteristisch für Datenbanken und Webanwendungen);
• Vorhandensein eines Engpasses in Form der Leistung des Festplattenarrays;
• Das Volumen der benötigten Daten ist geringer als das Volumen des SSD-Caches.

Indikationen für die Verwendung von SSD-Caching für Lese- und Schreibvorgänge sind dieselben Gründe, mit Ausnahme der Art der Operationen – gemischter Typ (z. B. Dateiserver).

Die meisten SAN-Anbieter verwenden in ihren Produkten SSD-Caching nur für Leseoperationen. Ein wesentliches Unterscheidungsmerkmal QSAN von ihnen ist die Möglichkeit, den Cache auch für Schreibvorgänge zu nutzen. Für die Aktivierung der SSD-Caching-Funktionalität in QSAN-SANs ist der Erwerb einer separaten Lizenz erforderlich (wird in elektronischer Form bereitgestellt).

Der SSD-Cache im XCubeSAN ist physisch in Form separater SSD-Cache-Pools realisiert. Im System können bis zu vier vorhanden sein. Jeder Pool nutzt selbstverständlich sein eigenes SSD-Set. In den Eigenschaften des virtuellen Laufwerks legen wir fest, ob es den Cache-Pool verwenden wird und welcher genau. Das Aktivieren und Deaktivieren der Cache-Nutzung für Volumes kann online ohne Unterbrechung des Ein-/Ausgabeverkehrs erfolgen. Auch das Hinzufügen und Entfernen von SSDs aus dem Pool kann „live“ erfolgen. Bei der Erstellung eines SSD-Cache-Pools muss ausgewählt werden, in welchem Modus er arbeiten soll: Nur Lesen oder Lesen + Schreiben. Diese Entscheidung beeinflusst seine physische Organisation. Da es mehrere Cache-Pools geben kann, kann deren Funktionalität unterschiedlich sein (das heißt, im System können gleichzeitig Cache-Pools für Lesen und für Lesen + Schreiben vorhanden sein).

Wenn der Cache-Pool nur für das Lesen verwendet wird, kann er aus 1-8 SSDs bestehen. Die Laufwerke müssen nicht unbedingt das gleiche Volumen und den gleichen Anbieter haben, da sie in einer NRAID+-Struktur zusammengefasst werden. Alle SSDs im Pool werden gemeinsam genutzt. Das System versucht eigenständig, die eingehenden Anfragen zwischen allen SSDs zu parallelisieren, um die maximale Leistung zu erzielen. Im Falle eines Ausfalls einer der SSDs geschieht nichts Schlimmes: Der Cache enthält nur eine Kopie der Daten, die auf dem Array von Festplatten gespeichert sind. Das verfügbare Volumen des SSD-Caches verringert sich einfach (oder wird null, wenn der ursprüngliche SSD-Cache aus einem einzigen Speichergerät besteht).

Wenn der Cache jedoch für Lese- und Schreibvorgänge verwendet wird, muss die Anzahl der SSDs im Pool gerade sein, da der Inhalt auf Paaren von Speichermedien gespiegelt wird (es wird eine NRAID 1+-Struktur verwendet). Die Duplizierung des Caches ist notwendig, da darin möglicherweise Daten enthalten sind, die noch nicht auf die Festplatten geschrieben wurden. In diesem Fall würde der Ausfall einer SSD im Cache-Pool zu einem Datenverlust führen. Im Falle von NRAID 1+ würde der Ausfall einer SSD einfach dazu führen, dass der Cache in den Zustand „Nur Lesen“ mit einem Zurücksetzen der nicht geschriebenen Daten auf das Array der Festplatten wechselt. Nach dem Austausch der defekten SSD kehrt der Cache in seinen ursprünglichen Betriebsmodus zurück. Übrigens kann für einen Cache, der im Lese- und Schreibmodus arbeitet, zur Erhöhung der Sicherheit ein dedizierter Hot Spare zugewiesen werden.

Bei der Nutzung der SSD-Cachefunktion in XCubeSAN gibt es eine Reihe von Anforderungen an den Arbeitsspeicher der Speichercontroller: Je mehr Systemspeicher vorhanden ist, desto größer ist das verfügbare Cache-Poolvolumen.

Im Gegensatz zu den meisten anderen Speicherherstellern, die lediglich die Option zum Ein- oder Ausschalten des SSD-Caches anbieten, bietet QSAN erweiterte Möglichkeiten. Insbesondere kann der Cache-Modus je nach Art der Belastung gewählt werden. Es gibt drei vordefinierte Vorlagen, die in ihrer Arbeitsweise den entsprechenden Diensten am nächsten kommen: Datenbank, Dateisystem, Webdienst. Darüber hinaus kann der Administrator sein eigenes Profil erstellen, indem er die gewünschten Parameterwerte festlegt:

• Blockgröße (Cache Block Size) – 1/2/4 MB
• Anzahl der Leseanforderungen für einen Block, um ihn in den Cache zu kopieren (Populate-on-Read Threshold) – 1..4
• Anzahl der Schreibanforderungen für einen Block, um ihn in den Cache zu kopieren (Populate-on-Write Threshold) – 0..4

Profile können „on the fly“ geändert werden, allerdings mit dem Verlust des Cache-Inhalts und einer neuen „Aufwärmphase“.

Betrachtet man das Prinzip des SSD-Caches, so lassen sich die grundlegenden Operationen bei seiner Nutzung hervorheben:

• Daten lesen, wenn sie nicht im Cache vorhanden sind;
• Daten lesen, wenn sie im Cache vorhanden sind;
• Daten schreiben unter Verwendung des Cache zum Lesen;
• Daten schreiben unter Verwendung des Cache zum Lesen + Schreiben.

Daten lesen, wenn sie nicht im Cache vorhanden sind

1. Die Anfrage vom Host gelangt zum Controller;
2. Da die angeforderten Daten nicht im SSD-Cache vorhanden sind, werden sie von den Festplatten gelesen;
3. Die gelesenen Daten werden an den Host gesendet. Gleichzeitig wird überprüft, ob diese Blöcke „hot“ sind;
4. Falls ja, werden sie in den SSD-Cache für die weitere Nutzung kopiert.

Daten lesen, wenn sie im Cache vorhanden sind

1. Die Anfrage vom Host gelangt zum Controller;
2. Da die angeforderten Daten im SSD-Cache vorhanden sind, werden sie von dort gelesen;
3. Die gelesenen Daten werden an den Host gesendet.

Daten schreiben unter Verwendung des Cache zum Lesen

1. Die Schreibanforderung vom Host gelangt zum Controller;
2. Die Daten werden auf die Festplatten geschrieben;
3. Der Host erhält eine Bestätigung über die erfolgreiche Speicherung;
4. Gleichzeitig wird überprüft, ob der Block „hot“ ist (der Parameter Populate-on-Write Threshold wird verglichen). Falls ja, wird er in den SSD-Cache für die zukünftige Nutzung kopiert.

Daten schreiben unter Verwendung des Cache zum Lesen+Schreiben

1. Die Schreibanforderung vom Host gelangt zum Controller;
2. Die Daten werden in den SSD-Cache geschrieben;
3. Der Host erhält eine Bestätigung über die erfolgreiche Speicherung;
4. Daten aus dem SSD-Cache werden im Hintergrund auf Festplatten geschrieben;

Prüfung im Vorgang

Teststand

2 Server (CPU: 2 x Xeon E5-2620v3 2,4 Hz / RAM: 32 GB) sind über zwei Ports direkt über Fibre Channel 16G mit dem Speichersystem XCubeSAN XS5224D (16 GB RAM / Controller) verbunden.

Es wurden 16 x Seagate Constellation ES, ST500NM0001, 500 GB, SAS 6 Gb/s, in RAID5 (15+1) für das Daten-Array und 8 x HGST Ultrastar SSD800MH.B, HUSMH8010BSS200, 100 GB, SAS 12 Gb/s als Cache verwendet.

Es wurden 2 Volumes erstellt: jeweils eines für jeden Server.

Test 1. SSD-Cache nur im Lese-Modus mit 1-8 SSDs

SSD Cache

• I/O-Typ: Anpassung
• Cache-Blockgröße: 4 MB
• Populate-on-read-Schwellenwert: 1
• Populate-on-write-Schwellenwert: 0

I/O-Muster

• Tool: IOmeter V1.1.0
• Arbeiter: 1
• Outstanding (Warteschlangen-Tiefe): 128
• Zugriffs-Spezifikationen: 4 KB, 100% lesen, 100% zufällig

Theoretisch führt eine höhere Anzahl an SSDs im Cache-Pool zu einer höheren Leistung. In der Praxis hat sich dies bestätigt. Ein signifikantes Wachstum der Anzahl an SSDs bei wenigen Volumes führt jedoch nicht zu einem explosionsartigen Effekt.

Test 2. SSD-Cache im Lese- + Schreibmodus mit 2-8 SSDs

SSD Cache

• I/O-Typ: Anpassung
• Cache-Blockgröße: 4 MB
• Populate-on-read-Schwellenwert: 1
• Populate-on-write-Schwellenwert: 1

I/O-Muster

• Tool: IOmeter V1.1.0
• Arbeiter: 1
• Outstanding (Warteschlangen-Tiefe): 128
• Zugriffs-Spezifikationen: 4 KB, 100% schreiben, 100% zufällig

Das gleiche Ergebnis: explosionsartiges Wachstum der Leistung und Skalierung mit zunehmender Anzahl an SSDs.

In beiden Tests war das Volumen der Arbeitsdaten kleiner als das Gesamte Volumen des Caches. Daher wurden im Laufe der Zeit alle Blöcke in den Cache kopiert. Die Arbeit erfolgte somit im Wesentlichen mit SSDs, wobei die Festplatten nahezu unberührt blieben. Ziel dieser Tests war es, die Effektivität des Cache-Wärmens und die Skalierbarkeit der Leistung in Abhängigkeit von der Anzahl der SSDs anschaulich zu zeigen.

Kehren wir nun von den abstrakten Gedanken zur Realität zurück und prüfen wir eine lebensnahe Situation, in der das Datenvolumen größer ist als die Cache-Größe. Damit der Test in einer akzeptablen Zeit durchgeführt werden kann (die „Wärmezeit“ des Caches erhöht sich stark mit der Volumengröße), beschränken wir uns auf eine Volumengröße von 120 GB.

Test 3. Emulation des Datenbankbetriebs

SSD Cache

• I/O-Typ: Datenbank
• Cache-Blockgröße: 1 MB
• Populate-on-read-Schwellenwert: 2
• Populate-on-write-Schwellenwert: 1

I/O-Muster

• Tool: IOmeter V1.1.0
• Arbeiter: 1
• Outstanding (Warteschlangen-Tiefe): 128
• Zugriffs-Spezifikationen: 8 KB, 67% lesen, 100% zufällig

Urteil

Eine offensichtliche Schlussfolgerung ist die beeindruckende Effizienz der Nutzung von SSD-Caches zur Leistungssteigerung eines Speichersystems. QSAN XCubeSAN Diese Aussage gilt uneingeschränkt: Die SSD-Cache-Funktion ist hervorragend umgesetzt. Dies betrifft die Unterstützung von Lese- sowie Lese+Schreibmodi, die flexible Anpassung der Arbeitsweise für alle Nutzungsszenarien und die Gesamtergebnisse der Systemleistung. Daher kann man zu einem sehr fairen Preis (die Lizenzkosten sind mit den Kosten von 1-2 SSD vergleichbar) die Gesamtleistung erheblich steigern.

Quelle: habr.com