Heute sprechen wir darüber, wie man Daten in einer Welt speichert, in der 5G-Netzwerke, Genomscanner und autonome Fahrzeuge täglich mehr Daten erzeugen, als die gesamte Menschheit bis zur industriellen Revolution hervorgebracht hat.
Unsere Welt generiert immer mehr Informationen. Ein Teil davon ist vorübergehend und verschwindet ebenso schnell, wie er gesammelt wird. Ein anderer Teil muss länger aufbewahrt werden, während wieder ein anderer für 'Jahrhunderte' gedacht ist – zumindest sehen wir das aus der aktuellen Perspektive. Informationsströme landen mit so hoher Geschwindigkeit in Rechenzentren, dass jeder neue Ansatz, jede Technologie, die darauf abzielt, diese unendliche 'Nachfrage' zu befriedigen, schnell veraltet.
40 Jahre Entwicklung verteilter Speichertechnologien
Die ersten Netzwerkspeicher in der Form, die uns vertraut ist, tauchten in den 1980er Jahren auf. Viele von Ihnen sind mit NFS (Network File System), AFS (Andrew File System) oder Coda in Berührung gekommen. Nach einem Jahrzehnt änderten sich Mode und Technologien, und verteilte Dateisysteme wichen Cluster-Speicherlösungen auf Basis von GPFS (General Parallel File System), CFS (Clustered File Systems) und StorNext. Als Basis dienten Blockspeicher klassischer Architektur, über die mithilfe einer Software-Schicht ein einheitliches Dateisystem geschaffen wurde. Diese und ähnliche Lösungen werden bis heute verwendet, haben ihre Nische und sind nach wie vor gefragt.
Wende des Jahrtausends, änderte sich die Paradigmen der verteilten Speichersysteme, und Systeme mit der Architektur SN (Shared-Nothing) traten in den Vordergrund. Der Übergang von Cluster-Speicherung zur Speicherung auf einzelnen Knoten fand statt, wobei in der Regel klassische Server zum Einsatz kamen, die eine zuverlässige Speicherung sicherstellten; auf diesen Prinzipien basieren beispielsweise HDFS (Hadoop Distributed File System) und GFS (Global File System).
Gegen 2010 begannen die in den Grundlagen verteilten Speichersysteme angelegten Konzepte zunehmend in vollwertigen kommerziellen Produkten wie VMware vSAN, Dell EMC Isilon und unsere . Hinter den genannten Plattformen stehen nicht mehr nur Gemeinschaften von Enthusiasten, sondern konkrete Anbieter, die für die Funktionalität, den Support, die Wartung des Produkts verantwortlich sind und dessen weitere Entwicklung garantieren. Solche Lösungen sind in mehreren Bereichen besonders gefragt.
Telekommunikationsanbieter
Vielleicht gehören die ältesten Nutzer verteilter Speichersysteme zu den Telekommunikationsanbietern. In der Abbildung ist zu sehen, welche Anwendungsgruppen den Hauptdatenverkehr erzeugen. OSS (Operations Support Systems), MSS (Management Support Services) und BSS (Business Support Systems) stellen drei sich ergänzende Softwareebenen dar, die erforderlich sind, um den Abonnenten Dienste bereitzustellen, Finanzberichte für den Anbieter zu erstellen und den Ingenieuren des Betreibers operationale Unterstützung zu bieten.
Häufig sind die Daten dieser Ebenen stark miteinander vermischt. Um die Ansammlung unnötiger Kopien zu vermeiden, werden verteilte Speichersysteme eingesetzt, die das gesamte Informationsvolumen aus dem aktiven Netzwerk aufnehmen. Die Speicher werden zu einem gemeinsamen Pool zusammengefasst, auf den alle Dienste zugreifen.
Unsere Berechnungen zeigen, dass der Übergang von klassischen Speicherlösungen zu Blockspeichern zu Einsparungen von bis zu 70 % im Budget führt, allein durch die Vermeidung dedizierter High-End-Speicherlösungen und den Einsatz von Standardservern mit klassischer Architektur (in der Regel x86), die in Kombination mit spezialisierter Software arbeiten. Mobilfunkanbieter haben in den letzten Jahren bereits damit begonnen, solche Lösungen in großem Umfang zu erwerben. Insbesondere verwenden russische Anbieter seit mehr als sechs Jahren solche Produkte von Huawei.
Ja, einige Aufgaben lassen sich mit Hilfe verteilter Systeme nicht erfüllen. Beispielsweise bei erhöhten Anforderungen an die Leistung oder die Kompatibilität mit älteren Protokollen. Doch mindestens 70 % der Daten, die der Anbieter verarbeitet, können durchaus in einem verteilten Pool gespeichert werden.
Bankenwesen
In jeder Bank koexistieren zahlreiche unterschiedliche IT-Systeme, angefangen bei der Verarbeitung bis hin zu automatisierten Bankensystemen. Diese Infrastruktur arbeitet ebenfalls mit einem enormen Informationsvolumen, wobei ein großer Teil der Aufgaben keine hohen Anforderungen an die Leistung und Zuverlässigkeit der Speichersysteme stellt, beispielsweise Entwicklung, Test, Automatisierung von Büroprozessen usw. Hier ist der Einsatz klassischer Speichersysteme möglich, wird jedoch mit jedem Jahr weniger rentabel. Zudem fehlt in diesem Fall die Flexibilität der Ressourcennutzung der Speichersysteme, deren Leistung beispielsweise auf Basis der Spitzenlast berechnet wird.
Bei der Verwendung von verteilten Speichersystemen können deren Knoten, die eigentlich gewöhnliche Server sind, jederzeit in eine Serverfarm umgewandelt und als Rechenplattform genutzt werden.
Datenseen
In dem obigen Diagramm ist eine Liste typischer Nutzer der Dienste aufgeführt. . Dazu können E-Government-Dienste (zum Beispiel "Gosuslugi"), die die Digitalisierung von Unternehmen durchlaufen haben, Finanzstrukturen und andere gehören. Allen diesen ist es notwendig, mit großen Mengen heterogener Informationen zu arbeiten.
Der Betrieb klassischer Speichersysteme zur Lösung solcher Aufgaben ist ineffizient, da sowohl ein hochperformanter Zugriff auf Blockdatenbanken als auch der normale Zugriff auf Bibliotheken von gescannten Dokumenten, die als Objekte gespeichert sind, erforderlich ist. Hier könnte zum Beispiel ein Bestellsystem über ein Webportal angebunden werden. Um all dies auf einer klassischen Speicherplattform zu realisieren, wäre ein großes Equipment-Set für verschiedene Aufgaben erforderlich. Ein horizontales, universales Speichersystem könnte alle zuvor genannten Aufgaben durchaus abdecken: Es müsste nur einige Pools mit unterschiedlichen Speichermerkmalen in ihm eingerichtet werden.
Generatoren neuer Informationen
Die Menge an in der Welt gespeicherten Informationen wächst ungefähr um 30 % pro Jahr. Das sind gute Nachrichten für Anbieter von Speichersystemen, aber was ist die Hauptquelle dieser Daten und wird es auch in Zukunft sein?
Vor zehn Jahren wurden soziale Netzwerke zu solchen Generatoren, was die Schaffung einer großen Anzahl neuer Algorithmen, Hardwarelösungen usw. erforderlich machte. Derzeit lassen sich drei Haupttreiber für das Wachstum des Speicherbedarfs identifizieren. Der erste ist Cloud-Computing. Derzeit nutzen etwa 70 % der Unternehmen auf die eine oder andere Weise Cloud-Services. Das können E-Mail-Systeme, Backups und andere virtualisierte Entitäten sein.
Der zweite Treiber sind die fünften Mobilfunkgenerationen. Das sind höhere Geschwindigkeiten und neue Datenübertragungsvolumina. Nach unseren Prognosen wird die breite Verbreitung von 5G zu einem Rückgang der Nachfrage nach Flash-Speicherkarten führen. Egal wie viel Speicher im Handy vorhanden ist, er geht immer zur Neige, und bei einem 100-Mbit-Kanal im Gerät gibt es keinen Bedarf, Fotos lokal zu speichern.
Zu den dritten Gruppen von Gründen für die steigende Nachfrage nach Speicherlösungen gehören das rasante Wachstum der Künstlichen Intelligenz, der Übergang zur Big Data-Analytik und der Trend zur vollständigen Automatisierung von allem, was möglich ist.
Eine Besonderheit des „neuen Traffics“ ist seine . Wir müssen diese Daten speichern, ohne ihr Format zu definieren. Das ist nur beim späteren Lesen erforderlich. Zum Beispiel wird ein Scoring-Bankensystem zur Bestimmung der möglichen Kreditgröße die Fotos analysieren, die Sie in sozialen Netzwerken veröffentlicht haben, um festzustellen, wie oft Sie am Meer und in Restaurants sind, und gleichzeitig die verfügbaren Auszüge Ihrer medizinischen Unterlagen studieren. Diese Daten sind einerseits umfassend, andererseits jedoch heterogen.
Der Ozean unstrukturierter Daten
Welche Probleme gehen mit dem Auftreten von „neuen Daten“ einher? Das größte Problem ist natürlich das Volumen der Informationen und die Berechnungsfristen ihrer Speicherung. Ein modernes autonomes Fahrzeug generiert täglich bis zu 60 TB Daten von all seinen Sensoren und Mechanismen. Um neue Fahralgorithmus zu entwickeln, müssen diese Informationen innerhalb desselben Tages verarbeitet werden, da sie sonst beginnen zu accumulieren. Dabei müssen sie sehr lange gespeichert werden – über viele Jahre. Erst dann können in der Zukunft Schlussfolgerungen auf der Grundlage großer analytischer Stichproben gezogen werden.
Ein Gerät zur Entschlüsselung genetischer Sequenzen produziert etwa 6 TB pro Tag. Die gesammelten Daten unterliegen dabei theoretisch keinem Löschprozess und sollten also ewig gespeichert werden.
Schließlich sind da noch die same 5G-Netze. Neben den tatsächlich übermittelten Informationen ist ein solches Netzwerk auch ein riesiger Datengenerator: Protokolle von Handlungen, Anrufaufzeichnungen, Zwischenlagen von Maschineninteraktionen usw.
All dies erfordert die Entwicklung neuer Ansätze und Algorithmen zur Speicherung und Verarbeitung von Informationen. Und solche Ansätze entstehen.
Technologien der neuen Ära
Man kann drei Gruppen von Lösungen identifizieren, die dazu dienen, den neuen Anforderungen an Informationsspeichersysteme gerecht zu werden: die Einführung von Künstlicher Intelligenz, technologische Evolution der Datenträger und Innovationen im Bereich der Systemarchitektur. Beginnen wir mit KI.
In den neuen Lösungen von Huawei wird künstliche Intelligenz bereits auf der Ebene des Speichers eingesetzt, der mit einem KI-Prozessor ausgestattet ist, der es dem System ermöglicht, seinen Zustand selbst zu analysieren und Ausfälle vorherzusagen. Wenn das Speichersystem an die Service-Cloud angeschlossen wird, die über beträchtliche Rechenleistungen verfügt, kann die künstliche Intelligenz mehr Informationen verarbeiten und die Genauigkeit ihrer Hypothesen erhöhen.
Neben Ausfällen kann diese KI auch die zukünftige Spitzenlast und die verbleibende Zeit bis zum Erreichen der Kapazitätsgrenze vorhersagen. Dies ermöglicht, die Leistung zu optimieren und das System bereits vor dem Eintreten unerwünschter Ereignisse zu skalieren.
Nun zur Evolution der Datenträger. Die ersten USB-Sticks wurden auf der SLC-Technologie (Single-Level Cell) basierend hergestellt. Geräte, die auf dieser Technologie basieren, waren schnell, zuverlässig und stabil, hatten jedoch eine geringe Kapazität und waren sehr teuer. Das Wachstum des Volumens und die Senkung der Preise wurden durch bestimmte technische Kompromisse erreicht, die jedoch Geschwindigkeit, Zuverlässigkeit und Lebensdauer der Speichermedien verringerten. Dennoch wirkte sich der Trend nicht auf die Speichersysteme selbst aus, die durch verschiedene architektonische Kniffe insgesamt sowohl leistungsstärker als auch zuverlässiger wurden.
Aber warum wurden All-Flash-Speichersysteme benötigt? Reichte es nicht aus, die alten HDDs in einem bereits betriebenen System einfach durch neue SSDs im gleichen Formfaktor zu ersetzen? Dafür war es notwendig, alle Ressourcen der neuen Flash-Speicher effektiv zu nutzen, was in alten Systemen einfach unmöglich war.
Das Unternehmen Huawei hat beispielsweise eine ganze Reihe von Technologien entwickelt, um diese Herausforderung zu bewältigen, von denen eine ist, die es ermöglicht hat, die Interaktionen zwischen "Festplatte – Controller" maximal zu optimieren.
Intelligente Identifikation ermöglichte es, Daten auf mehrere Ströme zu verteilen und mit einer Reihe unerwünschter Phänomene wie (Write Amplification) umzugehen. Gleichzeitig erhöhten neue Wiederherstellungsalgorithmen, insbesondere , die Geschwindigkeit des Rebuilds und reduzierten dessen Zeit auf völlig unbedeutende Werte.
Ausfälle, Überfüllung, "Müllsammlung" – diese Faktoren beeinflussen die Leistung des Speichersystems nicht mehr dank spezieller Optimierungen der Controller.
Außerdem bereiten sich blockbasierte Datenspeicher auf das Treffen vor. Erinnern wir uns daran, dass das klassische Schema für den Datenzugriff so funktionierte: Der Prozessor kommunizierte über den PCI-Express-Bus mit dem RAID-Controller. Dieser wiederum interagierte mit mechanischen Festplatten über SCSI oder SAS. Der Einsatz von NVMe im Backend hat den gesamten Prozess merklich beschleunigt, brachte jedoch einen Nachteil mit sich: Die Speicher mussten direkt mit dem Prozessor verbunden sein, um direkten Zugriff auf den Speicher zu gewährleisten.
Die nächste Phase der Technologieentwicklung, die wir derzeit beobachten, ist die Anwendung von NVMe-oF (NVMe über Fabrics). Was die Blocktechnologien von Huawei betrifft, so unterstützen sie bereits jetzt FC-NVMe (NVMe über Fibre Channel) und NVMe over RoCE (RDMA über konvergiertes Ethernet) stehen bevor. Die Testmodelle sind durchaus funktional, bis zu ihrer offiziellen Präsentation sind es nur noch wenige Monate. Es sei darauf hingewiesen, dass all dies auch in verteilten Systemen auftauchen wird, in denen „verlustfreies Ethernet“ sehr gefragt sein wird.
Eine zusätzliche Möglichkeit zur Optimierung der Arbeit von verteilten Speichern war der vollständige Verzicht auf Datenmirroring. Die Lösungen von Huawei verwenden keine n Kopien mehr, wie in dem gewohnten RAID 1, und wechseln vollständig zu einem Mechanismus (Erasure Coding). Ein spezielles mathematisches Paket berechnet in bestimmten Zeitintervallen Prüfziffern, die es ermöglichen, zwischenzeitliche Daten im Falle ihres Verlusts wiederherzustellen.
Mechanismen zur Deduplication und Kompression werden obligatorisch. Während wir bei klassischen Speichersystemen in der Anzahl der in den Controllern installierten Prozessoren begrenzt sind, enthält in horizontal skalierbaren verteilten Speichersystemen jeder Knoten alles Notwendige: Festplatten, Speicher, Prozessoren und Interconnect. Diese Ressourcen reichen aus, damit Deduplication und Kompression die Leistung nur minimal beeinflussen.
Und über Hardware-Optimierungsmethoden. Hier konnte die Last auf den zentralen Prozessoren durch zusätzliche dedizierte Chips (oder dedizierte Blöcke im Prozessor selbst), die die Rolle von (TCP/IP Offload Engine) übernehmen oder mathematische Aufgaben wie EC, Deduplication und Kompression übernehmen, reduziert werden.
Neue Ansätze zur Datenspeicherung wurden in einer desaggregierten (verteilten) Architektur umgesetzt. In zentralisierten Speichersystemen gibt es eine Fabrik von Servern, die über Fibre Channel verbunden sind mit einer großen Anzahl von Arrays. Die Nachteile dieses Ansatzes sind die Schwierigkeiten beim Skalieren und Gewährleisten eines garantierten Dienstleistungsniveaus (in Bezug auf Leistung oder Latenz). Hyperkonvergente Systeme nutzen dieselben Hosts — sowohl für die Speicherung als auch für die Verarbeitung von Informationen. Dies bietet nahezu unbegrenzten Spielraum für das Skalieren, führt jedoch zu hohen Kosten für die Aufrechterhaltung der Datensintegrität.
Im Gegensatz zu den beiden oben genannten umfasst die desaggregierte Architektur die Trennung des Systems in eine Rechenfabrik und ein horizontales Speichersystem. Dies bietet die Vorteile beider Architekturen und ermöglicht es, nur das Element praktisch unbegrenzt zu skalieren, dessen Leistung nicht ausreicht.
Von der Integration zur Konvergenz
Eine klassische Herausforderung, deren Relevanz in den letzten 15 Jahren nur gewachsen ist, besteht darin, gleichzeitig Blockspeicherung, Dateizugriff, Objektzugriff, den Betrieb einer Farm für Big Data usw. bereitzustellen. Das i-Tüpfelchen könnte beispielsweise ein Backup-System auf Magnetband sein.
In der ersten Phase konnte lediglich die Verwaltung dieser Dienste vereinheitlicht werden. Heterogene Datenspeichersysteme wurden auf eine spezielle Software gebunden, mittels derer der Administrator Ressourcen aus den verfügbaren Pools verteilen konnte. Da diese Pools jedoch hardwareseitig unterschiedlich waren, war eine Migration der Last zwischen ihnen nicht möglich. Auf einer höheren Integrationsstufe fand die Zusammenführung auf Gateway-Ebene statt. Bei Vorhandensein eines gemeinsamen Datei-Zugriffs konnte dieser über verschiedene Protokolle bereitgestellt werden.
Die fortschrittlichste Methode der Konvergenz, die uns derzeit zur Verfügung steht, umfasst die Schaffung eines universellen hybriden Systems. Genau so, wie es unser . Universeller Zugriff nutzt dieselben Hardware-Ressourcen, die logisch in verschiedene Pools unterteilt sind, jedoch eine Lastmigration ermöglichen. All dies kann über ein zentrales Verwaltungsdashboard gesteuert werden. Auf diese Weise konnten wir das Konzept "ein Rechenzentrum – ein Speicher" umsetzen.
Die Kosten für die Informationsspeicherung bestimmen derzeit viele architektonische Entscheidungen. Obwohl dies sicherlich im Vordergrund steht, diskutieren wir heute über "lebendige" Speicherung mit aktivem Zugriff, sodass auch die Leistung berücksichtigt werden muss. Ein weiteres wichtiges Merkmal der nächsten Generation verteilter Systeme ist die Vereinheitlichung. Denn niemand möchte mehrere isolierte Systeme haben, die aus unterschiedlichen Dashboards verwaltet werden. All diese Eigenschaften finden ihren Ausdruck in der neuen Produktserie von Huawei. .
Massenspeicher der nächsten Generation
OceanStor Pacific erfüllt die Zuverlässigkeitsanforderungen auf dem Niveau "sechs Neunen" (99,9999%) und kann zur Erstellung von Rechenzentren der Klasse HyperMetro verwendet werden. Bei einem Abstand von bis zu 100 km zwischen zwei Rechenzentren zeigen die Systeme eine zusätzliche Verzögerung von 2 ms, was die Basis für verschiedene katastrophensichere Lösungen schafft, einschließlich quorum-Servern.
Produkte der neuen Serie zeigen Vielseitigkeit in Bezug auf Protokolle. OceanStor 100D unterstützt bereits Blockzugriff, Objektzugriff und Hadoop-Zugriff. In naher Zukunft wird auch der Datei-Zugriff implementiert. Es besteht keine Notwendigkeit, mehrere Kopien von Daten zu speichern, wenn sie über verschiedene Protokolle bereitgestellt werden können.
Es scheint vielleicht nicht offensichtlich, welche Beziehung das Konzept "verlustfreies Netzwerk" zu Speichersystemen hat. Tatsächlich basieren verteilte Datenspeichersysteme auf schnellen Netzwerken, die entsprechende Algorithmen und den RoCE-Mechanismus unterstützen. Darüber hinaus hilft das von unseren Switches unterstützte KI-System, die Geschwindigkeit des Netzwerks zu erhöhen und die Latenz zu senken. . Der Leistungsgewinn von Speichersystemen bei Aktivierung von AI Fabric kann bis zu 20% betragen.
Was stellt der neue Knoten des verteilten Speichers OceanStor Pacific dar? Die 5U Formfaktor-Lösung umfasst 120 Laufwerke und kann drei klassische Knoten ersetzen, was eine mehr als doppelte Einsparung im Rack ermöglicht. Durch den Verzicht auf die Speicherung von Kopien steigt die Effizienz der Laufwerke merklich (bis zu +92%).
Wir sind daran gewöhnt, dass softwaredefinierte Speicherlösungen spezielle Software sind, die auf klassischen Servern installiert wird. Um jedoch optimale Parameter zu erreichen, erfordert diese Architektur nun auch spezielle Knoten. Sie besteht aus zwei Servern mit ARM-Prozessoren, die ein Array von 3-Zoll-Speichermedien steuern.
Diese Server sind nur bedingt für hyperkonvergente Lösungen geeignet. Erstens gibt es nur wenige Anwendungen für ARM, und zweitens ist es schwierig, die Lastverteilung aufrechtzuerhalten. Wir empfehlen, auf geteilte Speicherung umzusteigen: Ein Rechencluster, das aus klassischen oder Rack-Servern besteht, funktioniert separat, ist jedoch mit den Speicherknoten OceanStor Pacific verbunden, die ebenfalls ihre direkten Aufgaben erfüllen. Das rechtfertigt sich.
Als Beispiel nehmen wir eine klassische Lösung zur Speicherung großer Datenmengen mit einem hyperkonvergenten System, das 15 Server-Racks beansprucht. Wenn die Last zwischen separaten Rechenservern und den Speicher-Knoten OceanStor Pacific verteilt wird und sie voneinander getrennt bleiben, reduziert sich die Anzahl der benötigten Racks um die Hälfte! Das senkt die Betriebskosten des Rechenzentrums und verringert die Gesamtkosten des Eigentums. In einer Welt, in der das Volumen der gespeicherten Informationen jährlich um 30 % wächst, verschwenderisch mit solchen Vorteilen umzugehen, wäre unklug.
***
Mehr Informationen über Huawei-Lösungen und deren Anwendungsszenarien finden Sie auf unserem oder indem Sie sich direkt an die Vertreter des Unternehmens wenden.
Quelle: habr.com
