Die weitere Betrachtung von Technologien zur Beschleunigung von E/A-Vorgängen für die Anwendung auf Speichersysteme begann im Jahr , kommt man nicht umhin, bei einer so beliebten Option wie Auto Tiering zu verweilen. Obwohl die Ideologie dieser Funktion bei verschiedenen Speichersystemherstellern sehr ähnlich ist, betrachten wir die Besonderheiten der Umsetzung von Tiering anhand eines Beispiels .
Trotz der Vielfalt der auf Speichersystemen gespeicherten Daten können diese Daten je nach Bedarf (Nutzungshäufigkeit) in mehrere Gruppen eingeteilt werden. Auf die beliebtesten („heißen“) Daten muss so schnell wie möglich zugegriffen werden, während weniger genutzte („kalte“) Daten mit einer niedrigeren Priorität verarbeitet werden können.
Um ein solches Schema zu organisieren, wird die Tiering-Funktionalität verwendet. Das Datenarray besteht in diesem Fall nicht aus Platten des gleichen Typs, sondern aus mehreren Gruppen von Laufwerken, die unterschiedliche Speicherebenen bilden. Mithilfe eines speziellen Algorithmus werden Daten automatisch zwischen den Ebenen verschoben, um eine maximale Gesamtleistung sicherzustellen.
SHD unterstützt bis zu drei Speicherebenen:
- Tier 1: SSD, maximale Leistung
- Tier 2: HDD SAS 10K/15K, hohe Leistung
- Tier 3: HDD NL-SAS 7.2K, maximale Kapazität
Ein Auto-Tiering-Pool kann alle drei Ebenen oder nur zwei in beliebiger Kombination enthalten. Innerhalb jeder Ebene werden Laufwerke zu bekannten RAID-Gruppen zusammengefasst. Für maximale Flexibilität kann der RAID-Level in jeder Ebene unterschiedlich sein. Das bedeutet zum Beispiel, dass nichts Sie daran hindert, eine Struktur wie 4x SSD RAID10 + 6x HDD 10K RAID5 + 12 HDD 7.2K RAID6 zu organisieren
Nach dem Erstellen von Volumes (virtuellen Festplatten) auf Der darauf befindliche Pool beginnt mit der Hintergrunderfassung von Statistiken über alle E/A-Vorgänge. Dazu wird der Speicherplatz in 1-GB-Blöcke „zerschnitten“ (das sogenannte Sub-LUN). Bei jedem Zugriff auf einen solchen Block wird ihm ein Koeffizient von 1 zugewiesen. Mit der Zeit nimmt dieser Koeffizient dann ab. Wenn nach 24 Stunden keine E/A-Anforderungen an diesen Block vorliegen, beträgt der Wert bereits 0.5 und sinkt jede weitere Stunde weiter.
Zu einem bestimmten Zeitpunkt (standardmäßig jeden Tag um Mitternacht) werden die gesammelten Ergebnisse anhand ihrer Koeffizienten nach Sub-LUN-Aktivität geordnet. Auf dieser Grundlage wird entschieden, welche Blöcke in welche Richtung bewegt werden sollen. Danach erfolgt tatsächlich die Verlagerung der Daten zwischen den Ebenen.
Das Qsan-Speichersystem implementiert die Verwaltung des Tiering-Prozesses mithilfe vieler Parameter perfekt, sodass Sie die endgültige Leistung des Arrays sehr flexibel konfigurieren können.
Um den ursprünglichen Speicherort der Daten und die Prioritätsrichtung ihrer Bewegung zu bestimmen, werden Richtlinien verwendet, die für jedes Volume separat festgelegt werden:
- Automatisches Tiering – Standardrichtlinie, anfängliche Platzierung und Bewegungsrichtung werden automatisch bestimmt, d. h. „heiße“ Daten tendieren zur obersten Ebene und „kalte“ Daten bewegen sich nach unten. Die anfängliche Platzierung wird basierend auf dem verfügbaren Platz auf jeder Ebene ausgewählt. Sie müssen jedoch verstehen, dass das System in erster Linie darauf abzielt, die schnellsten Laufwerke maximal zu nutzen. Wenn also freier Speicherplatz vorhanden ist, werden die Daten auf den oberen Ebenen platziert. Diese Richtlinie eignet sich für die meisten Szenarien, in denen der Datenbedarf nicht im Voraus vorhergesagt werden kann.
- Beginnen Sie mit „Hoch“ und dann mit „Automatisches Tiering“. – Der Unterschied zum vorherigen besteht nur im anfänglichen Speicherort der Daten (auf der schnellsten Ebene)
- Höchstes Level – Daten streben immer danach, das schnellste Niveau zu erreichen. Wenn sie während des Betriebs nach unten bewegt werden, werden sie so schnell wie möglich wieder zurück bewegt. Diese Richtlinie eignet sich für Daten, die einen schnellstmöglichen Zugriff erfordern.
- Mindestniveau – Daten belegen tendenziell immer die unterste Ebene. Diese Richtlinie eignet sich hervorragend für selten verwendete Daten (z. B. Archive).
- Keine Bewegung – Das System ermittelt automatisch den ursprünglichen Speicherort der Daten und verschiebt sie nicht. Für den Fall, dass eine spätere Verlagerung erforderlich ist, werden die Statistiken jedoch weiterhin erhoben.
Es ist erwähnenswert, dass Richtlinien zwar bei der Erstellung jedes Volumes definiert werden, diese aber während des gesamten Lebenszyklus des Systems immer wieder geändert werden können.
Zusätzlich zu den Richtlinien für den Tiering-Mechanismus werden auch die Häufigkeit und das Tempo der Datenbewegung zwischen den Ebenen konfiguriert. Sie können eine bestimmte Reisezeit festlegen: täglich oder an bestimmten Wochentagen, und auch das Statistikerfassungsintervall auf mehrere Stunden reduzieren (Mindesthäufigkeit - 2 Stunden). Wenn Sie die Zeit begrenzen müssen, die zum Abschließen einer Datenverschiebungsoperation benötigt wird, können Sie einen Zeitrahmen (Fenster für die Verschiebung) festlegen. Darüber hinaus wird auch die Umzugsgeschwindigkeit angezeigt – 3 Modi: schnell, mittel, langsam.
Sollte eine sofortige Datenverlagerung erforderlich sein, ist es jederzeit möglich, diese manuell auf Befehl des Administrators durchzuführen.
Es ist klar, dass das Speichersystem umso flexibler ist, um sich an aktuelle Betriebsbedingungen anzupassen, je häufiger und schneller Daten zwischen Ebenen verschoben werden. Gleichzeitig ist jedoch zu bedenken, dass das Verschieben eine zusätzliche Belastung darstellt (hauptsächlich auf Datenträgern), sodass Sie Daten nicht „fahren“ sollten, es sei denn, dies ist unbedingt erforderlich. Es ist besser, die Bewegung in Zeiten geringer Belastung zu planen. Wenn der Betrieb des Speichersystems rund um die Uhr eine hohe Leistung erfordert, lohnt es sich, die Umlagerungsrate auf ein Minimum zu reduzieren.
Die Fülle an Aufnahmeeinstellungen wird zweifellos fortgeschrittenen Benutzern gefallen. Wer jedoch zum ersten Mal mit einer solchen Technologie in Berührung kommt, muss sich keine Sorgen machen. Es ist durchaus möglich, den Standardeinstellungen (Auto-Tiering-Richtlinie, Bewegung mit maximaler Geschwindigkeit einmal am Tag in der Nacht) zu vertrauen und bestimmte Parameter anzupassen, wenn sich die Statistiken ansammeln, um das gewünschte Ergebnis zu erzielen.
Vergleich des Reißens mit einer ebenso beliebten Technologie zur Steigerung der Produktivität wie , sollten Sie sich an die unterschiedlichen Funktionsprinzipien ihrer Algorithmen erinnern.
SSD-Caching
Automatisches Tiering
Wirkungseintrittsgeschwindigkeit
Fast sofort. Der spürbare Effekt stellt sich jedoch erst ein, nachdem der Cache „aufgewärmt“ wurde (Minuten bis Stunden).
Nach dem Sammeln von Statistiken (ab 2 Stunden, idealerweise pro Tag) plus Zeit zum Verschieben der Daten
Effektdauer
Bis die Daten durch einen neuen Teil (Minuten-Stunden) ersetzt werden
Während die Daten gefragt sind (XNUMX Stunden oder länger)
Gebrauchsanweisung
Sofortige kurzfristige Leistungssteigerungen (Datenbanken, Virtualisierungsumgebungen)
Erhöhte Produktivität über einen langen Zeitraum (Datei-, Web-, Mailserver)
Eines der Features des Tierings ist außerdem die Möglichkeit, es nicht nur für Szenarien wie „SSD + HDD“, sondern auch „schnelle HDD + langsame HDD“ oder sogar alle drei Ebenen zu nutzen, was bei Verwendung von SSD-Caching grundsätzlich unmöglich ist.
Testing
Um die Leistung der Tiering-Algorithmen zu testen, haben wir einen einfachen Test durchgeführt. Es wurde ein Pool aus zwei Ebenen SSD (RAID 1) + HDD 7.2K (RAID1) erstellt, auf dem ein Volume mit einer „Mindestebene“-Richtlinie platziert wurde. Diese. Daten sollten sich immer auf langsamen Festplatten befinden.
Die Verwaltungsoberfläche zeigt deutlich die Platzierung der Daten zwischen den Ebenen
Nachdem wir das Volume mit Daten gefüllt hatten, änderten wir die Platzierungsrichtlinie auf Auto Tiering und führten den IOmeter-Test durch.
Nach mehreren Teststunden, als das System Statistiken sammeln konnte, begann der Umzugsprozess.
Nachdem die Datenverschiebung abgeschlossen war, „kriecht“ unser Testvolumen vollständig auf die oberste Ebene (SSD).
Urteil
Auto Tiering ist eine wunderbare Technologie, die es Ihnen ermöglicht, die Leistung eines Speichersystems mit minimalem Material- und Zeitaufwand durch intensivere Nutzung von Hochgeschwindigkeitslaufwerken zu steigern. Angewendet Die einzige Investition ist eine Lizenz, die ein für alle Mal erworben wird, ohne Einschränkungen hinsichtlich des Volumens/der Anzahl der Festplatten/Shelfs usw. Diese Funktionalität ist mit so umfangreichen Einstellungen ausgestattet, dass sie nahezu jede Geschäftsaufgabe erfüllen kann. Durch die Visualisierung der Prozesse in der Benutzeroberfläche können Sie das Gerät effektiv verwalten.
Source: habr.com