Bitte ziehen Sie aus der Überschrift keine voreiligen Schlüsse! Wir haben gewichtige Argumente zu deren Unterstützung, die wir so kompakt wie möglich verpackt haben. Hier präsentieren wir Ihnen einen Beitrag über das Konzept und die Funktionsweise unseres neuen Datenspeichersystems, dessen Markteinführung im Januar 2020 stattfand.
Wir sind der Überzeugung, dass die Hauptwettbewerbsvorteile der Dorado V6 Speicherlösungen genau die im Titel genannten Leistungsfähigkeit und Zuverlässigkeit sind. Ja, so einfach ist das! Und heute werden wir darüber sprechen, welche cleveren und weniger cleveren Lösungen es uns ermöglicht haben, dieses "einfache" Ziel zu erreichen.
Um das Potenzial der neuen Generation von Systemen besser zu erschließen, werden wir die Spitzenmodelle der Reihe (Modelle 8000, 18000) vorstellen. Sofern nicht anders angegeben, beziehen wir uns genau auf diese.
Ein paar Worte zum Markt
Um die Position der Lösungen von Huawei auf dem Markt besser zu verstehen, wenden wir uns einer bewährten Messgröße zu — den „» Gartner. Vor zwei Jahren gehörte unser Unternehmen im Bereich der allgemeinen Speicherlösungen sicher zu den führenden Anbietern, nur hinter NetApp und Hewlett Packard Enterprise. Im Jahr 2018 hatte Huawei im Markt für SSD-Speicher den Status eines „Herausforderers“, doch um eine Führungsposition zu erreichen, fehlte etwas.
Im Jahr 2019 fasste Gartner in seiner Studie beide oben genannten Sektoren unter dem Begriff „Primärspeicher“ zusammen. So fand sich Huawei erneut im Leader-Quadranten, neben Anbietern wie IBM, Hitachi Vantara und Infinidat.
Für ein umfassendes Bild sei angemerkt, dass 80 % der Daten für die Gartner-Analyse auf dem amerikanischen Markt gesammelt werden, was zu einer erheblichen Verzerrung zugunsten der Unternehmen führt, die dort gut vertreten sind. In der Zwischenzeit stehen Anbieter, die auf den europäischen und asiatischen Märkten fokussiert sind, in einer nachweislich ungünstigeren Position. Trotz alledem erreichten die Produkte von Huawei im vergangenen Jahr einen respektablen Platz im oberen rechten Quadranten, und laut Gartner „sind sie zur Nutzung empfohlen“.
Was gibt es Neues bei Dorado V6
Die Produktreihe Dorado V6 wird insbesondere durch die Einstiegssysteme der Serie 3000 repräsentiert. Ursprünglich mit zwei Controllern ausgestattet, kann sie horizontal auf bis zu 16 Controller, 1200 Festplatten und 192 GB Cache erweitert werden. Darüber hinaus wird das System mit externen Fibre Channel-Ports (8 / 16 / 32 Gbit/s) und Ethernet-Ports (1 / 10 / 25 / 40 / 100 Gbit/s) ausgestattet.
Es sei darauf hingewiesen, dass die Nutzung von Protokollen, die keinen kommerziellen Erfolg haben, derzeit eingestellt wird. Daher haben wir beschlossen, zu Beginn auf die Unterstützung von Fibre Channel over Ethernet (FCoE) und Infiniband (IB) zu verzichten. Diese werden in späteren Firmware-Versionen hinzugefügt. Die Unterstützung von NVMe over Fabric (NVMe-oF) ist „out of the box“ über Fibre Channel verfügbar. In der nächsten Firmware, deren Veröffentlichung für Juni geplant ist, wird die Unterstützung für den Modus NVMe over Ethernet eingeführt. Unserer Meinung nach deckt die oben genannte Palette die Bedürfnisse der meisten Huawei-Kunden mehr als ausreichend ab.
Der Dateizugriff ist in der aktuellen Firmware-Version nicht verfügbar und wird in einem der kommenden Updates gegen Ende des Jahres verfügbar sein. Die Implementierung ist auf nativer Ebene durch die Controller mit Ethernet-Ports vorgesehen, ohne zusätzliches Equipment.
Der Hauptunterschied zwischen dem Dorado V6 Modell der Serie 3000 und den höherwertigen Modellen besteht darin, dass im Backend nur ein Protokoll — SAS 3.0 — unterstützt wird. Dementsprechend können dort auch nur Speicher mit der genannten Schnittstelle verwendet werden. Aus unserer Sicht reicht die damit gewährleistete Leistungsfähigkeit für ein Gerät dieser Art vollkommen aus.
Die Systeme Dorado der Serien V6 5000 und 6000 zählen zu den Mittelkklasse-Lösungen. Sie sind ebenfalls im 2U-Formfaktor ausgeführt und mit zwei Controllern ausgestattet. Sie unterscheiden sich hinsichtlich der Leistung, der Anzahl der Prozessoren, der maximalen Festplattengröße und des Cache-Volumens. Architektonisch und ingenieurtechnisch sind Dorado V6 5000 und 6000 jedoch identisch und sehen gleich aus.
Zu den High-End-Klasse-Systemen gehören die Dorado V6 Serien 8000 und 18000. Mit einem Formfaktor von 4U verfügen sie standardmäßig über eine getrennte Architektur, bei der die Controller und Speicher physisch voneinander getrennt sind. In der Grundausstattung können sie ebenfalls nur mit zwei Controllern ausgestattet sein, wobei Kunden in der Regel die Installation von vier oder mehr anfordern.
Der Dorado V6 8000 kann horizontal auf bis zu 16 Controller skaliert werden, während der Dorado V6 18000 bis zu 32 unterstützt. In diesen Systemen sind unterschiedliche Prozessoren mit variierender Kernanzahl und Cache-Größe installiert. Dennoch bleibt die Ingenieursidentität, wie bei den Mid-End-Modellen, erhalten.
Die 2U-Regale mit den Speichermedien sind über RDMA mit einer Bandbreite von 100 Gbit/s verbunden. Der Backend des Dorado V6 der höheren Serien unterstützt ebenfalls SAS 3.0, allerdings eher für den Fall, dass SSDs mit diesem Interface deutlich im Preis fallen. Dann könnte dies wirtschaftlich sinnvoll sein, selbst wenn die Leistung geringer ist. Aktuell ist der Preisunterschied zwischen SSDs mit SAS- und NVMe-Interfaces jedoch so gering, dass wir ein solches Lösung nicht empfehlen können.
Innerhalb des Controllers
Die Dorado V6 Controller basieren auf unserer eigenen Komponentenplattform. Keine Intel-Prozessoren, keine ASICs von Broadcom. Somit sind alle Komponenten des Motherboards, einschließlich des Motherboards selbst, vollständig frei von Risiken, die mit den Sanktionen amerikanischer Unternehmen verbunden sind. Wer irgendeine unserer Geräte gesehen hat, hat sicherlich die Schilder mit dem roten Streifen unter dem Logo bemerkt. Dieser Streifen zeigt an, dass das Produkt keine amerikanischen Komponenten enthält. Dies ist die offizielle Strategie von Huawei — der Wechsel zu selbst produzierten Komponenten oder zumindest zu solchen, die in Ländern hergestellt werden, die nicht die Politik der USA unterstützen.
Das ist zu sehen auf der eigentlichen Controller-Platine.
- Universelles Netzwerkinterface (Hisilicon 1822 Chip), verantwortlich für die Verbindung zu Fibre Channel oder Ethernet.
- Der BMC-Chip Hisilicon 1710, der den Fernzugriff auf das System ermöglicht, sorgt für eine voll funktionsfähige Remote-Steuerung und Überwachung des Systems. Solche Chips kommen auch in unseren Servern und anderen Lösungen zum Einsatz.
- Der zentrale Prozessor basiert auf dem ARM-Architektur-Chip Kunpeng 920 von Huawei, der oben in der Abbildung dargestellt ist. In anderen Controllern können jedoch Modelle mit unterschiedlichen Kernzahlen, Taktraten usw. installiert sein. Die Anzahl der Prozessoren variiert je nach Modell in einem Controller. Beispielsweise haben die älteren Serien Dorado V6 vier Prozessoren auf einer Karte.
- Der SSD-Controller (Chip Hisilicon 1812e) unterstützt sowohl SAS- als auch NVMe-Speicher. Es ist erwähnenswert, dass Huawei selbst SSDs produziert, jedoch keine NAND-Zellen herstellt. Stattdessen bezieht das Unternehmen diese von den vier größten weltweit tätigen Herstellern als ungeteilte Siliziumplatten. Die Zerteilung, Testung und Verpackung in Chips erfolgt durch Huawei selbst, die diese dann unter ihrer eigenen Marke vertreibt.
- Der KI-Chip – Ascend 310. Standardmäßig ist er nicht auf dem Controller installiert und wird über eine separate Karte montiert, die einen der für Netzwerkkarten vorgesehenen Slots belegt. Der Chip wird verwendet, um intelligentes Cache-Verhalten zu gewährleisten, die Leistung zu steuern oder Prozesse wie Deduplizierung und Kompression zu verwalten. All diese Aufgaben können auch von der CPU übernommen werden, aber der KI-Chip ermöglicht es, dies wesentlich effizienter zu tun.
Über die Kunpeng-Prozessoren
Der Kunpeng-Prozessor ist ein System on Chip (SoC), das neben einem Rechenblock auch Hardwaremodule enthält, die verschiedene Prozesse beschleunigen, wie z.B. die Berechnung von Prüfziffern oder die Ausführung von Erasure Coding. Zudem bietet er Hardwareunterstützung für SAS, Ethernet, DDR4 (von sechs bis acht Kanälen) u.a. All dies ermöglicht es Huawei, Speichercontroller zu entwickeln, die in der Leistung mit klassischen Intel-Lösungen konkurrieren.
Darüber hinaus geben eigene Lösungen auf der Basis der ARM-Architektur Huawei die Möglichkeit, vollständige Serverlösungen zu schaffen und diese seinen Kunden als Alternative zu x86 anzubieten.
Die neue Architektur Dorado V6…
Die interne Architektur des Dorado V6 Speicher-Systems der oberen Serie besteht aus vier Hauptsubdomen (Fabriken).
Die erste Fabrik fungiert als gemeinsames Frontend, bestehend aus Netzwerk-Schnittstellen, die für die Kommunikation mit der SAN-Fabrik oder den Hosts zuständig sind.
Die zweite Fabrik umfasst eine Reihe von Controllern, von denen jeder über das RDMA-Protokoll sowohl auf jede Netzwerk-Karte des Frontends zugreifen als auch den benachbarten „Engine“ erreichen kann, der eine Box mit vier Controllern sowie gemeinsamen Strom- und Kühlsystemen darstellt. Aktuell können die Hi-End-Modelle der Dorado V6-Serie mit zwei solchen „Engines“ ausgestattet werden (insgesamt also acht Controller).
Die dritte Fabrik ist für das Backend verantwortlich und besteht aus RDMA 100G Netzwerk-Karten.
Schließlich wird die vierte Fabrik im Hardware-Bereich durch anschlussfähige intelligente Shelves mit Speichermedien repräsentiert.
Eine solche symmetrische Struktur entfaltet das volle Potenzial der NVMe-Technologie und garantiert hohe Leistung und Zuverlässigkeit. Der Eingabe-/Ausgabe-Prozess wird maximal über die Prozessoren und Kerne parallelisiert, was ein gleichzeitiges Lesen und Schreiben in zahlreichen Streams ermöglicht.
…und was es uns gebracht hat
Die maximale Leistung der Dorado V6 Lösungen übertrifft die Werte von Systemen der vorherigen Generation (in derselben Klasse) um das Dreifache und kann 20 Millionen IOPS erreichen.
Dies liegt daran, dass in der vorherigen Generation von Geräten die NVMe-Unterstützung nur auf Erweiterungsgehäuse mit Speicherlaufwerken beschränkt war. Jetzt ist sie jedoch in allen Phasen vorhanden, vom Host bis zu den SSDs. Das Backend-Netzwerk hat ebenfalls Veränderungen durchgemacht: SAS/PCIe wurden durch RoCEv2 mit einer Bandbreite von 100 Gbit/s ersetzt.
Auch der Formfaktor der SSDs hat sich geändert. Früher waren in einem 2U-Gehäuse 25 Laufwerke untergebracht, jetzt können es bis zu 36 physische Laufwerke im Palmformat sein. Darüber hinaus sind die Gehäuse jetzt intelligenter. Jedes von ihnen verfügt nun über ein ausfallgesichertes System mit zwei Controllern auf Basis von ARM-Chips, ähnlich denjenigen, die in den zentralen Controllern installiert sind.
Während sie sich derzeit nur mit der Reorganisation von Daten befassen, werden mit den neuen Firmware-Versionen auch Kompression und Erasure Coding hinzugefügt. Dies wird die Belastung der Hauptcontroller von 15 % auf 5 % reduzieren. Die Auslagerung einiger Aufgaben auf die Shelf sorgt gleichzeitig für eine Freisetzung der Bandbreite im internen Netzwerk. All dies erhöht das Skalierungspotenzial des Systems erheblich.
In der früheren Generation von Speicherlösungen wurde Kompression und Deduplizierung mit Blöcken fester Länge durchgeführt. Jetzt gibt es einen Modus für variable Blocklängen, der zunächst manuell aktiviert werden muss. Zukünftige Firmware-Versionen könnten dies jedoch ändern.
Kurze Anmerkung zur Fehlertoleranz: Dorado V3 blieb funktionsfähig, wenn ein Controller von zwei ausfiel. Dorado V6 gewährleistet die Datenverfügbarkeit, selbst wenn nacheinander sieben von acht Controllern oder gleichzeitig vier aus einem einzigen 'Cluster' ausfallen.
Zuverlässigkeit aus wirtschaftlicher Sicht
Vor kurzem wurde unter den Kunden von Huawei eine Umfrage durchgeführt, welche einzelnen Elemente der IT-Infrastruktur als akzeptabel erachtet werden. Im Großen und Ganzen zeigten sich die Befragten toleranter gegenüber der hypothetischen Situation, dass eine Anwendung für mehrere Hundert Sekunden nicht reagiert. Für ein Betriebssystem oder einen Host-Adapter der Busstruktur stellte die kritische Ausfallzeit jedoch mehrere Dutzend Sekunden dar (praktisch die Zeit für einen Neustart). Noch höhere Anforderungen stellen die Kunden an das Netzwerk: Die Bandbreite darf nicht länger als 10–20 Sekunden ausfallen. Wie zu erwarten, erachteten die Befragten Systemausfälle von Datenspeichern als besonders kritisch. Aus der Sicht von Geschäftsvertretern darf die Ausfallzeit eines Speichersystems nicht mehr als... wenige Sekunden pro Jahr betragen!
Mit anderen Worten: Wenn die Kundenanwendung einer Bank 100 Sekunden nicht reagiert, hat das wahrscheinlich keine katastrophalen Folgen. Fällt jedoch dasselbe für das Speichersystem aus, sind Betriebsunterbrechungen und erhebliche finanzielle Verluste wahrscheinlich.
In der obigen Grafik sehen Sie die Kosten pro Arbeitsstunde für die zehn größten Banken (Daten von Forbes aus dem Jahr 2017). Wenn Ihre Firma ungefähr die Größe der chinesischen Banken erreicht, wird es nicht allzu schwierig sein, den Kauf eines mehrere Millionen Dollar teuren Speicher-Systems zu rechtfertigen. Umgekehrt gilt allerdings auch: Wenn das Unternehmen keine nennenswerten Verluste während Stillstandszeiten hat, wird es sich wahrscheinlich kein High-End-Speichersystem zulegen. In jedem Fall ist es wichtig, eine Vorstellung davon zu haben, wie groß das Loch in Ihrer Brieftasche werden könnte, während der Systemadministrator sich mit einem ausgefallenen Speichersystem auseinandersetzt.
Eine Sekunde für den Notumschaltung
In Lösung A auf der obigen Illustration sehen Sie unser Vorgängermodell Dorado V3. Vier ihrer Controller arbeiten paarweise, und die Cache-Kopien sind nur in zwei Controllern gespeichert. Die Controller innerhalb eines Paares können die Last umverteilen. Gleichzeitig sehen Sie, dass es hier keine "Fabriken" für Frontend und Backend gibt, sodass jedes Modul mit Speichermedien an ein bestimmtes Controller-Paar angeschlossen ist.
In der Lösungsskizze B sehen Sie die derzeit auf dem Markt verfügbare Lösung eines anderen Anbieters (haben Sie die erkannt?). Hier gibt es sowohl Frontend- als auch Backend-Fabriken, und die Speicher sind direkt mit vier Controllern verbunden. Allerdings gibt es bei den internen Algorithmen des Systems einige subtile Nuancen, die beim ersten Hinsehen nicht offensichtlich sind.
Rechts sehen Sie unsere aktuelle Dorado V6 Speicherarchitektur mit allen internen Komponenten. Lassen Sie uns betrachten, wie diese Systeme mit einer typischen Situation umgehen — dem Ausfall eines Controllers.
In klassischen Systemen, zu denen auch Dorado V3 zählt, kann der Zeitraum für die Lastverteilung im Falle eines Ausfalls bis zu vier Sekunden betragen. In dieser Zeit steht der Input-Output vollständig still. In der Lösung B unserer Kollegen beträgt die Ausfallzeit trotz einer moderneren Architektur sogar sechs Sekunden.
Das SAN Dorado V6 stellt seinen Betrieb innerhalb von nur einer Sekunde nach einem Ausfall wieder her. Dieses Ergebnis wird durch eine einheitliche interne RDMA-Umgebung erzielt, die dem Controller den Zugriff auf 'fremden' Speicher ermöglicht. Ein weiterer wichtiger Punkt ist das Vorhandensein einer Frontend-Fabrik, die sicherstellt, dass der Weg für den Host unverändert bleibt. Der Port bleibt gleich, und die Last wird einfach an die funktionierenden Controller über Multipassing-Treiber weitergeleitet.
Der Ausfall des zweiten Controllers im Dorado V6 wird ebenfalls innerhalb von einer Sekunde nach dem gleichen Prinzip verarbeitet. Im Dorado V3 dauert dies etwa sechs Sekunden, während es bei einer Lösung eines anderen Anbieters neun Sekunden in Anspruch nimmt. Für viele DBMS sind solche Zeitintervalle nicht mehr akzeptabel, da das System in dieser Zeit in den Standby-Modus wechselt und nicht mehr funktioniert. Dies betrifft insbesondere DBMS, die aus vielen Teilen bestehen.
Den Ausfall des dritten Controllers kann Lösung A nicht überstehen. Einfach, weil der Zugriff auf einen Teil der Datenträger verloren geht. Im Gegensatz dazu stellt Lösung B in solch einer Situation die Funktionsfähigkeit wieder her, was wiederum, wie im vorherigen Fall, neun Sekunden benötigt.
Was bietet das Dorado V6? Eine Sekunde.
Was kann man in einer Sekunde erreichen?
Fast nichts, aber das brauchen wir auch nicht. Lassen Sie uns noch einmal betonen, dass in Dorado V6 der hochmodernen Klasse die Frontend-Fabrik unabhängig von der Controller-Fabrik ist. Das bedeutet, dass es keine fest zugeordneten Ports gibt, die zu einem bestimmten Controller gehören. Eine Umstrukturierung im Falle eines Ausfalls erfordert keine Suche nach alternativen Wegen oder eine erneute Initialisierung des Multipassings. Das System läuft weiterhin wie gewohnt.
Robustheit gegenüber zahlreichen Ausfällen
Die größeren Modelle von Dorado V6 überstehen problemlos den gleichzeitigen Ausfall von zwei beliebigen (!) Controllern aus jedem der "Engines". Dies ist möglich, weil die Lösung nun drei Kopien des Caches speichert. Daher gibt es selbst bei einem doppelten Ausfall immer eine vollständige Kopie.
Ein synchroner Ausfall aller vier Controller in einem der "Engines" wird ebenfalls keine fatalen Folgen haben, da alle drei Kopien des Caches zu jedem Zeitpunkt zwischen den "Engines" verteilt sind. Das System selbst überwacht die Einhaltung dieser Betriebslogik.
Ein äußerst unwahrscheinliches Szenario ist der gleichzeitige Ausfall von sieben von acht Controllern. Der minimale Zeitabstand zwischen den einzelnen Ausfällen, um die Betriebsfähigkeit aufrechtzuerhalten, beträgt 15 Minuten. In dieser Zeit kann das Speicherzentrum die erforderlichen Operationen zur Migration des Caches durchführen.
Der letzte verbleibende Controller sorgt dafür, dass das Datenspeicher weiterhin aktiv bleibt und den Cache für bis zu fünf Tage unterstützt (dieser Wert ist standardmäßig eingestellt und kann leicht in den Einstellungen geändert werden). Danach wird der Cache deaktiviert, jedoch bleibt das Speicherzentrum betriebsbereit.
Unbedeutende Updates
Das neue Betriebssystem Dorado V6 ermöglicht das Aktualisieren der Firmware des Speicherzentrums ohne Neustart der Controller.
Das Betriebssystem basiert, wie bei den vorherigen Lösungen, auf Linux. Viele Betriebsabläufe wurden jedoch vom Kernel in den Benutzermodus verlagert. Die meisten Funktionen, wie die für Deduplizierung und Kompression, arbeiten nun als reguläre Daemons im Hintergrund. Dadurch ist für die Aktualisierung einzelner Module kein vollständiger Wechsel des Betriebssystems erforderlich. Wenn zum Beispiel die Unterstützung eines neuen Protokolls hinzugefügt werden soll, muss lediglich das entsprechende Softwaremodul deaktiviert und das neue gestartet werden.
Es ist klar, dass die Fragen zur vollständigen Systemaktualisierung weiterhin bestehen, da auch im Kernel Elemente vorhanden sein können, die ein Update benötigen. Nach unseren Beobachtungen sind diese jedoch weniger als 6 % der Gesamtzahl. Dies ermöglicht es, die Controller deutlich seltener neu zu starten als zuvor.
Katastrophenschutzlösungen und Hochverfügbarkeitslösungen (HA/DR)
Dorado V6 ist "out of the box" bereit für die Integration in geografisch verteilte Lösungen, städtische Cluster (Metro) und "Triple" Rechenzentren.
Links in der obigen Abbildung sehen wir den bereits vielen bekannten Metro-Cluster. Zwei Speicherlösungen arbeiten im Active/Active-Modus in einem Abstand von bis zu 100 km zueinander. Eine solche Infrastruktur mit einem oder mehreren Quorum-Servern kann von verschiedenen Anbietern unterstützt werden, einschließlich unserem Cloud-Betriebssystem FusionSphere. In solchen Projekten sind die Eigenschaften der Verbindung zwischen den Standorten besonders wichtig. Alle anderen Aufgaben werden in unserem Fall von der Funktion HyperMetro übernommen, die ebenfalls „out of the box“ verfügbar ist. Eine Integration über Fibre Channel sowie über iSCSI in IP-Netzwerken ist möglich, falls dies erforderlich wird. Es besteht kein Bedarf mehr an dedizierten „dark fiber“-Verbindungen, da das System in der Lage ist, über vorhandene Kanäle zu kommunizieren.
Beim Aufbau solcher Systeme ist die einzige Hardware-Anforderung an die Speichereinheiten die Zuweisung von Ports für die Replikation. Es genügt, eine Lizenz zu erwerben, die Quorum-Server – physisch oder virtuell – zu starten und eine IP-Konnektivität zu den Controllern (10 Mbit/s, 50 ms) sicherzustellen.
Diese Architektur lässt sich einfach auf ein System mit drei Rechenzentren übertragen (siehe rechter Teil der Abbildung). Beispielsweise arbeiten zwei Rechenzentren im Metro-Cluster-Modus, während der dritte Standort, der mehr als 100 km entfernt liegt, eine asynchrone Replikation verwendet.
Das System unterstützt technologisch verschiedene Geschäftsszenarien, die im Falle eines großflächigen Vorfalls umgesetzt werden.
Überlebensfähigkeit des Metro-Clustering bei mehreren Ausfällen
Oben und unten ist auch ein klassisches Metro-Cluster dargestellt, das aus zwei Speicher-Subsystemen und einem Quorum-Server besteht. Wie Sie sehen können, wird unsere Infrastruktur in sechs von neun möglichen Ausfallszenarien funktionsfähig bleiben.
Im zweiten Szenario, bei einem Ausfall des Quorum-Servers und der Synchronisation zwischen den Standorten, bleibt das System produktiv, da der zweite Standort den Betrieb einstellt. Ein solches Verhalten ist bereits in die eingebauten Algorithmen integriert.
Sogar nach drei Ausfällen kann der Zugang zu Informationen erhalten bleiben, wenn der Zeitraum zwischen ihnen mindestens 15 Sekunden beträgt.
Der gewohnte Trumpf im Ärmel
Wir erinnern Sie daran, dass Huawei nicht nur Speicherlösungen, sondern auch eine vollständige Palette an Netzwerktechnologien herstellt. Egal welchen Speicheranbieter Sie wählen, wenn die Standorte über ein WDM-Netzwerk verbunden sind, basiert es in 90 % der Fälle auf Lösungen unseres Unternehmens. Es stellt sich die berechtigte Frage: Warum ein Systemzoo aufbauen, wenn Sie alles, was garantiert miteinander kompatibel ist, von einem einzigen Anbieter erhalten können?
Zur Leistungsfrage
Es braucht vermutlich niemanden mehr zu überzeugen, dass der Umstieg auf All-Flash-Speicherlösungen die Infrastrukturkosten erheblich reduziert, da alle Routineoperationen um ein Vielfaches schneller ablaufen. Alle Lieferanten solcher Geräte bestätigen dies. Dennoch beginnen viele Anbieter zu tricksen, wenn es um die Leistungseinbußen beim Einsatz verschiedener Betriebsarten von Speicherlösungen geht.
In unserer Branche ist es üblich, Storage-Systeme für ein bis zwei Tage zur Testnutzung bereitzustellen. Der Anbieter startet einen 20-minütigen Test auf einem leeren System und erzielt beeindruckende Leistungswerte. In der realen Nutzung treten jedoch schnell die "unterirdischen Hürden" auf. Bereits nach einem Tag fallen die IOPS-Werte um die Hälfte bis zu einem Drittel, und wenn das System zu 80 % gefüllt ist, sind die Werte noch geringer. Bei Aktivierung von RAID 5 anstelle von RAID 10 geht zusätzlich 10-15 % Leistung verloren, und im Metro-Cluster-Modus halbiert sich die Performance zusätzlich.
All das oben Genannte gilt nicht für Dorado V6. Unsere Kunden haben die Möglichkeit, einen Leistungstest über das Wochenende oder zumindest über Nacht durchzuführen. Dann zeigt sich, wie die Garbage Collection arbeitet, und es wird deutlich, wie sich die Aktivierung verschiedener Optionen — wie Snapshots und Replikation — auf die erzielten IOPS auswirkt.
Bei Dorado V6 haben Snapshots und RAID mit Parität kaum Auswirkungen auf die Leistung (3–5% statt 10–15%). Garbage Collection (das Füllen von Speicherzellen mit Nullen), Kompression und Deduplizierung bei einem SAN, das zu 80% gefüllt ist, wirken sich immer auf die Gesamtspeed der Anfragenbearbeitung aus. Das Besondere am Dorado V6 ist, dass die endgültige Leistung des SAN, egal welche Kombination aus Funktionen und Schutzmechanismen aktiviert wird, nicht unter 80% des Wertes fällt, der ohne Belastung erreicht wurde.
Lastenausgleich
Die hohe Leistung von Dorado V6 wird durch eine Balance in jedem Schritt erreicht, nämlich:
- Multipassing;
- Einsatz mehrerer Verbindungen von einem Host;
- Vorhandensein einer Frontend-Fabrik;
- Paralleles Arbeiten der SAN-Controller;
- Lastverteilung über alle Speichermedien auf RAID-Ebene 2.0+.
Im Allgemeinen ist dies eine gängige Praxis. Heutzutage hält kaum jemand alle Daten auf einem einzigen LUN: Die meisten streben danach, acht, vierzig oder sogar noch mehr zu haben. Dies ist ein offensichtlicher und korrekter Ansatz, den wir unterstützen. Sollte Ihre Aufgabe jedoch die Nutzung eines einzelnen LUN erfordern, das einfacher zu verwalten ist, ermöglichen unsere architektonischen Lösungen eine Leistung von 80 % von dem, was bei der Verwendung mehrerer LUNs verfügbar ist.
Dynamische Lastplanung für Prozessoren
Die Lastverteilung auf Prozessoren bei der Nutzung eines einzelnen LUN erfolgt bei uns folgendermaßen: Aufgaben werden bereits auf LUN-Ebene in kleine, separate 'Shards' aufgeteilt, von denen jeder fest einem bestimmten Controller im 'Engine'-System zugewiesen wird. Dies gewährleistet, dass das System keine Leistung verliert, während es mit diesem Datenstück über verschiedene Controller wechselt.
Ein weiterer Mechanismus zur Sicherstellung hoher Leistung ist das dynamische Scheduling, bei dem bestimmte CPU-Kerne verschiedenen Aufgabengruppen zugewiesen werden können. Wenn beispielsweise die Systeme derzeit im Bereich der Deduplizierung und Kompression inaktiv sind, können einige Kerne die E/A-Verarbeitung übernehmen. Umgekehrt gilt dasselbe. All dies geschieht automatisch und ist für den Benutzer transparent.
Die Daten zur aktuellen Auslastung jeder Dorado V6-Kerne werden nicht im grafischen Interface angezeigt, aber über die Befehlszeile kann auf das Betriebssystem des Controllers zugegriffen werden, um die gängige Linux-Befehlszeile zu verwenden. top.
Unterstützung für NVMe und RoCE
Wie bereits erwähnt, unterstützt Dorado V6 derzeit vollständig NVMe over Fibre Channel «out of the box» und benötigt keine Lizenzen. Mitte des Jahres wird die Unterstützung für den Betrieb von NVMe over Ethernet eingeführt. Für die vollständige Nutzung ist eine Ethernet-Unterstützung mit Direct Memory Access (DMA) der Version v2.0 erforderlich, sowohl von der Speichereinheit als auch von den Switches und Netzwerkadaptern. Beispielsweise von Mellanox ConnectX-4 oder ConnectX-5. Auch Netzwerkadapter, die auf unseren Chips basieren, können verwendet werden. Zudem sollte die Unterstützung von RoCE auf Betriebssystemebene umgesetzt werden.
Insgesamt betrachten wir Dorado V6 als ein NVMe-orientiertes System. Trotz der vorhandenen Unterstützung für Fibre Channel und iSCSI planen wir in Zukunft den Übergang zu schnellem Ethernet mit RDMA.
Eine Prise Marketing
Die Dorado V6-Systemarchitektur zeichnet sich durch hohe Fehlertoleranz aus, lässt sich gut horizontal skalieren und unterstützt verschiedene Migrationstechnologien. Der wirtschaftliche Vorteil, der mit ihrer Anschaffung verbunden ist, zeigt sich bereits mit Beginn der intensiven Nutzung des Speichersystems. Wir werden weiterhin bestrebt sein, den Besitz des Systems so vorteilhaft wie möglich zu gestalten, selbst wenn dies in der Anfangsphase nicht sofort sichtbar ist.
Insbesondere haben wir das FLASH EVER-Programm ins Leben gerufen, das mit der Verlängerung des Lebenszyklus des Speichersystems verbunden ist und darauf abzielt, den Kunden bei Upgrade-Prozessen so weit wie möglich zu entlasten.
Dieses Programm umfasst eine Reihe von Maßnahmen:
- die schrittweise Erneuerung von Controllern und Laufwerken auf neue Versionen, ohne die gesamte Hardware ersetzen zu müssen (für Dorado V6 Systeme der High-End-Klasse);
- die Möglichkeit eines föderativen Speichers (Integration verschiedener Dorado-Versionen in einem hybriden Speichersystem);
- intelligente Virtualisierung (die Möglichkeit, Drittanbieter-Hardware als Teil der Dorado-Lösung zu nutzen).
Es bleibt festzustellen, dass die schwierige weltweite Situation die kommerziellen Perspektiven des neuen Systems nur geringfügig beeinflusst hat. Trotz des offiziellen Releases von Dorado V6 erst im Januar sehen wir eine erhebliche Nachfrage aus China sowie großes Interesse von russischen und internationalen Partnern aus dem Finanzsektor und aus Regierungsstrukturen.
Neben anderen Aspekten ist im Zusammenhang mit der Pandemie, wie lange sie auch dauern mag, besonders wichtig, wie man remote arbeitende Mitarbeiter mit virtuellen Arbeitsplätzen versorgt. Auch hier könnte Dorado V6 viele Fragen klären. Dafür setzen wir alles daran, einschließlich nahezu der Vereinbarung zur Integration des neuen Systems in die VMware-Kompatibilitätsliste.
***
Übrigens, vergessen Sie nicht unsere zahlreichen Webinare, die nicht nur im russischsprachigen Raum, sondern auch auf globaler Ebene stattfinden. Die Liste der Webinare für April finden Sie unter .
Quelle: habr.com
