Heute sprechen wir darüber, wie man Daten in einer Welt besser speichert, in der fünfte Generation Netzwerke, Genomscanner und autonome Fahrzeuge täglich mehr Daten erzeugen, als die gesamte Menschheit vor der industriellen Revolution hervorgebracht hat.
Unsere Welt generiert immer mehr Informationen. Ein Teil davon ist flüchtig und geht so schnell verloren, wie er gesammelt wird. Ein anderer muss länger gespeichert werden, während ein weiterer sogar für „Jahrhunderte“ gedacht ist – zumindest sehen wir es aus der heutigen Perspektive. Informationsströme lagern sich in Rechenzentren so schnell ab, dass jeder neue Ansatz, jede Technologie, die diesen endlosen „Bedarf“ decken soll, schnell veraltet.
40 Jahre Entwicklung verteilter Speicherlösungen
Die ersten Netzwerk-Speichersysteme in der uns vertrauten Form erschienen in den 1980er Jahren. Viele von Ihnen sind möglicherweise auf NFS (Network File System), AFS (Andrew File System) oder Coda gestoßen. Ein Jahrzehnt später haben sich Mode und Technologie gewandelt, und verteilte Dateisysteme wurden durch Cluster-Speicherlösungen auf Basis von GPFS (General Parallel File System), CFS (Clustered File Systems) und StorNext ersetzt. Diese basierten auf klassischen Blockspeichern, über die mithilfe von Software eine einheitliche Dateisystemebene geschaffen wurde. Solche und ähnliche Lösungen werden nach wie vor verwendet, haben ihren Platz und sind nach wie vor gefragt.
An der Schwelle zum neuen Millennium änderte sich die Paradigmen der verteilten Speicherung etwas, und Systeme mit der Architektur SN (Shared-Nothing) traten in den Vordergrund. Der Übergang erfolgte von klassischer Cluster-Speicherung hin zu Speicherung auf einzelnen Knoten, wobei diese in der Regel klassische Server mit zuverlässiger Speicher-Software waren; auf solchen Prinzipien basieren beispielsweise HDFS (Hadoop Distributed File System) und GFS (Global File System).
Bereits in den 2010er Jahren fanden die Konzepte, die den Grundlagen verteilte Speichersysteme zugrunde liegen, immer häufiger ihren Niederschlag in vollwertigen kommerziellen Produkten, wie VMware vSAN, Dell EMC Isilon und unserem . Hinter den erwähnten Plattformen stehen nicht mehr nur Gemeinschaften von Enthusiasten, sondern konkrete Anbieter, die für die Funktionalität, Unterstützung, Wartung des Produkts verantwortlich sind und seine Weiterentwicklung garantieren. Solche Lösungen sind in mehreren Bereichen stark gefragt.
Telekommunikationsanbieter
Zu den ältesten Anwendern verteilter Speichersysteme gehören zweifellos die Telekommunikationsanbieter. In der Darstellung wird sichtbar, welche Anwendungsgruppen das Hauptvolumen an Daten erzeugen. OSS (Operations Support Systems), MSS (Management Support Services) und BSS (Business Support Systems) bilden drei sich ergänzende Softwareebenen, die für die Bereitstellung von Dienstleistungen für Abonnenten, die Finanzberichterstattung für den Anbieter und die operationale Unterstützung für die Ingenieure des Anbieters erforderlich sind.
Oft sind die Informationen in diesen Schichten stark miteinander vermischt. Um die Ansammlung unnötiger Kopien zu vermeiden, werden verteilte Speicher verwendet, die das gesamte Datenvolumen, das von einem aktiven Netzwerk eingeht, aggregieren. Diese Speicher werden zu einem gemeinsamen Pool zusammengefasst, auf den alle Dienste zugreifen.
Unsere Berechnungen zeigen, dass der Übergang von klassischen Speicherlösungen zu Blockspeichern bis zu 70 % des Budgets einsparen kann, allein durch den Verzicht auf dedizierte High-End-Speichersysteme und die Verwendung gewöhnlicher Server der klassischen Architektur (in der Regel x86), die gemeinsam mit spezialisierter Software arbeiten. Mobilfunkbetreiber haben solche Lösungen bereits seit einiger Zeit in großem Umfang übernommen. Insbesondere nutzen russische Betreiber seit über sechs Jahren Produkte von Huawei.
Ja, einige Aufgaben lassen sich mit verteilten Systemen nicht lösen. Beispielsweise bei höheren Anforderungen an die Leistung oder an die Kompatibilität mit älteren Protokollen. Aber zumindest 70 % der Daten, die der Betreiber verarbeitet, können durchaus in einem verteilten Pool untergebracht werden.
Bankensektor
In jeder Bank koexists eine Vielzahl von unterschiedlichen IT-Systemen, die von der Verarbeitung bis zu automatisierten Banksystemen reichen. Diese Infrastruktur verarbeitet ebenfalls enorme Datenmengen, wobei der Großteil der Aufgaben keine hohe Leistung und Zuverlässigkeit der Speicherlösungen erfordert, wie z.B. Entwicklung, Testing, Automatisierung von Büroprozessen usw. Hier ist der Einsatz klassischer Speicherlösungen möglich, wird jedoch jedes Jahr weniger rentabel. Zudem fehlt in diesem Fall die Flexibilität bei der Ressourcennutzung, da die Leistung der Speicherlösungen anhand der Spitzenlast berechnet wird.
Bei der Verwendung verteilten Speichersystems können deren Knoten, die faktisch normale Server sind, jederzeit konvertiert werden, z.B. in ein Server-Cluster, und als Rechenplattform genutzt werden.
Datenseen
Die obige Abbildung zeigt eine Liste typischer Verbraucher von Dienstleistungen . Dies können E-Government-Dienste (nehmen wir an, „Gosuslugi“), die Digitalisierung von Unternehmen, Finanzinstitutionen und andere sein. All diese müssen mit großen Mengen heterogener Informationen umgehen.
Der Einsatz klassischer Speicherlösungen zur Lösung solcher Aufgaben ist ineffektiv, da sowohl ein hochleistungsfähiger Zugriff auf Blockdatenbanken als auch ein normaler Zugriff auf Bibliotheken gescannter Dokumente, die als Objekte gespeichert sind, erforderlich ist. Hierzu kann beispielsweise ein Bestellsystem über ein Web-Portal gekoppelt werden. Um all dies auf der Plattform eines klassischen Speichersystems zu realisieren, wäre eine große Ausrüstung für verschiedene Aufgaben notwendig. Ein horizontales universelles Speichersystem kann all diese zuvor genannten Anforderungen durchaus abdecken: es wäre nur notwendig, darin mehrere Pools mit unterschiedlichen Speichermerkmalen zu erstellen.
Generatoren neuer Informationen
Die Menge der weltweit gespeicherten Informationen wächst jährlich um etwa 30 %. Das sind gute Nachrichten für Anbieter von Speichersystemen, aber was ist und wird die Hauptquelle dieser Daten sein?
Vor zehn Jahren haben soziale Netzwerke begonnen, solche Generatoren zu werden, was die Schaffung einer Vielzahl neuer Algorithmen, Hardwarelösungen usw. erforderlich gemacht hat. Heute gibt es drei Haupttreiber für das Wachstum des Speicherbedarfs. Der erste ist Cloud Computing. Derzeit nutzen etwa 70 % der Unternehmen mehr oder weniger Cloud-Dienste. Dazu können E-Mail-Systeme, Backups und andere virtualisierte Entitäten gehören.
Der zweite Treiber sind Netzwerke der fünften Generation. Dies bringt neue Geschwindigkeiten und neue Datenübertragungsvolumina mit sich. Unseren Prognosen zufolge wird die breite Verbreitung von 5G zu einem Rückgang der Nachfrage nach Flash-Speicherkarten führen. Egal wie viel Speicher ein Telefon hat, er ist immer irgendwann voll, und mit einem 100-Mbit-Kanal im Gerät besteht keine Notwendigkeit mehr, Fotos lokal zu speichern.
Zur dritten Gruppe von Gründen für das wachsende Interesse an Speichersystemen gehören das rasante Wachstum der künstlichen Intelligenz, der Übergang zur Analyse großer Datenmengen und der Trend zur umfassenden Automatisierung aller möglichen Prozesse.
Ein Merkmal des „neuen Traffics“ ist seine . Wir müssen diese Daten speichern, ohne ihr Format festzulegen. Dieses wird nur beim späteren Lesen benötigt. Beispielsweise wird ein Bankensystem zur Kreditbewertung Ihre in sozialen Medien veröffentlichten Fotos betrachten, um herauszufinden, wie oft Sie am Meer und in Restaurants sind, und gleichzeitig auf die verfügbaren Auszüge aus Ihren medizinischen Dokumenten zugreifen. Diese Daten sind einerseits umfassend, andererseits jedoch heterogen.
Der Ozean unstrukturierter Daten
Welche Probleme bringt das Auftreten von 'neuen Daten' mit sich? Das erste und offensichtlichste Problem ist das Volumen der Informationen und die berechneten Aufbewahrungsfristen. Ein modernes autonomes Fahrzeug ohne Fahrer generiert jeden Tag bis zu 60 TB an Daten, die von all seinen Sensoren und Mechanismen stammen. Um neue Bewegungsalgorithmen zu entwickeln, müssen diese Informationen innerhalb des selben Tages verarbeitet werden, andernfalls beginnen sie sich anzusammeln. Gleichzeitig muss sie sehr lange aufbewahrt werden — über Jahrzehnte. Nur dann können in Zukunft auf große analytische Stichproben basierende Schlussfolgerungen gezogen werden.
Ein Gerät zur Entschlüsselung genetischer Sequenzen produziert etwa 6 TB pro Tag. Die mit seiner Hilfe gesammelten Daten sind zudem so konzipiert, dass sie nicht gelöscht werden, d.h. sie sollten theoretisch ewig gespeichert werden.
Und wieder die gleichen fünften Generation Netzwerke. Neben den tatsächlich übermittelten Informationen ist ein solches Netzwerk auch ein riesiger Datengenerator: Protokolle von Aktivitäten, Anrufaufzeichnungen, Zwischenergebnisse von Maschineninteraktionen usw.
All dies erfordert die Entwicklung neuer Ansätze und Algorithmen zur Speicherung und Verarbeitung von Informationen. Und solche Ansätze entstehen.
Technologien der neuen Ära
Drei Gruppen von Lösungen können hervorgehoben werden, die entwickelt wurden, um den neuen Anforderungen an Informationsspeichersysteme gerecht zu werden: die Implementierung von künstlicher Intelligenz, die technische Evolution von Datenträgern und Innovationen im Bereich der Systemarchitektur. Lassen Sie uns mit KI beginnen.
In den neuen Lösungen von Huawei wird künstliche Intelligenz bereits auf der Ebene des Speichers eingesetzt, der mit einem KI-Prozessor ausgestattet ist, der es dem System ermöglicht, seinen Zustand selbstständig zu analysieren und Ausfälle vorherzusagen. Wenn der Speicher an eine Service-Cloud angeschlossen wird, die über erhebliche Rechenkapazitäten verfügt, kann die künstliche Intelligenz mehr Informationen verarbeiten und die Genauigkeit ihrer Hypothesen erhöhen.
Neben Ausfällen kann diese KI auch die zukünftige Spitzenlast und die verbleibende Zeit bis zur Erschöpfung der Kapazität vorhersagen. Das ermöglicht eine Optimierung der Leistung und die Skalierung des Systems, noch bevor unerwünschte Ereignisse eintreten.
Jetzt zur Evolution der Datenträger. Die ersten Flash-Laufwerke wurden mit SLC-Technologie (Single-Level Cell) hergestellt. Die auf dieser Basis aufgebauten Geräte waren schnell, zuverlässig und stabil, hatten jedoch eine geringe Kapazität und waren sehr teuer. Das Wachstum des Volumens und die Senkung der Preise wurden durch technische Kompromisse erreicht, die die Geschwindigkeit, Zuverlässigkeit und Lebensdauer der Speicher verringerten. Dennoch hat dieser Trend die SAN nicht beeinflusst, die durch verschiedene architektonische Tricks insgesamt leistungsfähiger und zuverlässiger wurden.
Aber warum waren All-Flash-SANs nötig? Reichte es nicht aus, die alten HDDs in einem bereits betriebenen System durch neue SSDs im gleichen Formfaktor zu ersetzen? Dies war notwendig, um alle Ressourcen der neuen Flash-Laufwerke effizient zu nutzen, was in alten Systemen einfach nicht möglich war.
Das Unternehmen Huawei hat beispielsweise eine ganze Reihe von Technologien entwickelt, um dieses Problem zu lösen, darunter die , die eine maximale Optimierung der Interaktionen zwischen "Festplatte und Controller" ermöglicht.
Die intelligente Identifikation hat es ermöglicht, Daten auf mehrere Ströme aufzuteilen und eine Reihe unerwünschter Phänomene wie (Write Amplification) zu bewältigen. Gleichzeitig haben neue Wiederherstellungsalgorithmen, insbesondere , die Rebuild-Geschwindigkeit erhöht und die Dauer auf völlig unbedeutende Werte verkürzt.
Ausfälle, Überfüllung, „Garbage Collection“ – diese Faktoren beeinträchtigen die Leistung des Speichersystems nicht mehr dank einer speziellen Verbesserung der Controller.
Und auch die Blockdatenlager bereiten sich auf vor. Wir erinnern daran, dass das klassische Schema des Datenzugriffs so funktionierte: Der Prozessor wendete sich über den PCI-Express-Bus an den RAID-Controller. Dieser wiederum kommunizierte mit den mechanischen Festplatten über SCSI oder SAS. Der Einsatz von NVMe im Backend hat den gesamten Prozess erheblich beschleunigt, brachte jedoch einen Nachteil mit sich: Die Speichermedien mussten direkt mit dem Prozessor verbunden sein, um ihm den direkten Zugriff auf den Speicher zu ermöglichen.
Die nächste Phase der technologischen Entwicklung, die wir derzeit beobachten, ist die Anwendung von NVMe-oF (NVMe über Fabrics). Was die Blocktechnologien von Huawei betrifft, so unterstützen sie bereits FC-NVMe (NVMe über Fibre Channel), und NVMe über RoCE (RDMA über converged Ethernet) steht bevor. Die Testmodelle sind bereits funktionsfähig, und es bleiben nur noch wenige Monate bis zur offiziellen Vorstellung. Dabei sollten wir beachten, dass all dies auch in verteilten Systemen erscheinen wird, wo "Ethernet ohne Verluste" stark nachgefragt sein wird.
Ein zusätzlicher Ansatz zur Optimierung von verteilten Speichern ist der vollständige Verzicht auf Datenmirroring. Die Lösungen von Huawei verwenden nicht mehr n Kopien, wie im herkömmlichen RAID 1, und wechseln vollständig zum Mechanismus (Erasure coding). Ein spezielles mathematisches Paket berechnet in bestimmten Intervallen Prüfziffern, die es ermöglichen, zwischengespeicherte Daten im Falle eines Verlustes wiederherzustellen.
Deduplication und Kompression werden notwendig. Während wir in klassischen Speicherlösungen durch die Anzahl der in den Controllern installierten Prozessoren begrenzt sind, enthält jeder Knoten in horizontal skalierbaren, verteilten Speichersystemen alles Notwendige: Festplatten, Speicher, Prozessoren und Interkonnektivität. Diese Ressourcen reichen aus, damit Deduplication und Kompression minimalen Einfluss auf die Leistung haben.
Und über Hardware-Optimierungsmethoden. Hier wurde die Last auf die Zentralprozessoren durch zusätzliche dedizierte Chips (oder dedizierte Einheiten im Prozessor selbst) verringert, die als (TCP/IP Offload Engine) agieren oder mathematische Aufgaben wie EC, Deduplication und Kompression übernehmen.
Neue Ansätze zur Datenspeicherung fanden ihren Ausdruck in einer desaggregierten (verteilten) Architektur. In zentralisierten Speichersystemen gibt es eine Fabrik von Servern, die über Fibre Channel verbunden sind. mit einer großen Anzahl von Arrays. Die Nachteile dieses Ansatzes sind die Schwierigkeiten bei der Skalierung und der Gewährleistung eines garantierten Serviceniveaus (in Bezug auf Leistung oder Latenz). Hyperkonvergente Systeme verwenden dieselben Hosts sowohl für die Speicherung als auch für die Verarbeitung von Informationen. Dies bietet nahezu unbegrenzten Raum für die Skalierung, führt jedoch zu hohen Kosten für die Aufrechterhaltung der Datenintegrität.
Im Gegensatz zu den beiden vorgenannten bedeutet die dekomponierte Architektur die Trennung des Systems in eine Rechenfabrik und ein horizontales Speichersystem. Dies bietet die Vorteile beider Architekturen und ermöglicht eine nahezu unbegrenzte Skalierung nur des Elements, dessen Leistung nicht ausreicht.
Von der Integration zur Konvergenz
Eine klassische Herausforderung, deren Relevanz in den letzten 15 Jahren nur gewachsen ist, besteht darin, gleichzeitig Blockspeicher, Datei- und Objekzugriff, die Verarbeitung großer Datenmengen usw. bereitzustellen. Das Sahnehäubchen könnte beispielsweise ein Backup-System auf Magnetband sein.
In der ersten Phase konnte nur das Management dieser Dienste vereinheitlicht werden. Verschiedene Datenspeichersysteme waren an spezielle Software gebunden, über die der Administrator Ressourcen aus verfügbaren Pools zuwies. Da diese Pools jedoch hardwareseitig unterschiedlich waren, war eine Migration zwischen ihnen unmöglich. Auf einer höheren Integrationsstufe fand die Zusammenführung auf Gateway-Ebene statt. Bei Vorhandensein eines gemeinsamen Dateizugriffs konnte dieser über verschiedene Protokolle bereitgestellt werden.
Die fortschrittlichste Methode der Konvergenz, die uns derzeit zur Verfügung steht, sieht die Schaffung eines universellen hybriden Systems vor. Genau das, was unser Ziel sein sollte. . Der universelle Zugang nutzt dieselben Hardware-Ressourcen, die logisch in verschiedene Pools unterteilt sind, jedoch eine Migration der Last zulassen. All dies kann über eine einzige Verwaltungsoberfläche realisiert werden. Auf diese Weise ist es uns gelungen, das Konzept "ein Rechenzentrum - ein Speicher" umzusetzen.
Die Kosten für die Speicherung von Informationen bestimmen heute viele architektonische Entscheidungen. Obwohl diese in den Vordergrund gestellt werden kann, diskutieren wir heute über „lebendige“ Speicherung mit aktivem Zugriff, weshalb die Leistung ebenfalls berücksichtigt werden muss. Ein weiteres wichtiges Merkmal verteilter Systeme der nächsten Generation ist die Vereinheitlichung. Niemand möchte schließlich mehrere voneinander getrennte Systeme verwalten, die aus verschiedenen Konsolen gesteuert werden. All diese Eigenschaften sind in der neuen Produktreihe von Huawei verwirklicht. .
Massenspeichersystem der neuen Generation
OceanStor Pacific erfüllt die Zuverlässigkeitsanforderungen auf der Ebene von sechs Neunen (99,9999%) und kann zur Erstellung von Rechenzentren der HyperMetro-Klasse eingesetzt werden. Bei einer Distanz von bis zu 100 km zwischen zwei Rechenzentren zeigen die Systeme eine zusätzliche Verzögerung von nur 2 ms, was den Aufbau aller katastrophensicheren Lösungen, einschließlich solcher mit Quorum-Servern, ermöglicht.
Die Produkte der neuen Serie zeigen Vielseitigkeit in Bezug auf Protokolle. Bereits jetzt unterstützt der OceanStor 100D Blockzugriff, Objektzugriff und Hadoop-Zugriff. In naher Zukunft wird auch der Dateizugriff implementiert. Es ist nicht notwendig, mehrere Kopien von Daten zu speichern, wenn sie über verschiedene Protokolle bereitgestellt werden können.
Welchen Bezug hat das Konzept "verlustfreies Netzwerk" zu Storage-Systemen? Es geht darum, dass verteilte Datenspeichersysteme auf schnellen Netzwerken aufbauen, die entsprechende Algorithmen und RoCE-Mechanismen unterstützen. Zusätzlich wird die Geschwindigkeit des Netzwerks erhöht und die Latenzzeiten gesenkt durch das von unseren Switches unterstützte KI-System. . Der Leistungsvorteil des Storage-Systems bei der Aktivierung von AI Fabric kann bis zu 20 % betragen.
Was stellt der neue Knoten des verteilten Storage-Systems OceanStor Pacific dar? Die 5U Formfaktor-Lösung umfasst 120 Laufwerke und kann drei klassische Knoten ersetzen, was eine mehr als doppelte Platzersparnis im Rack ermöglicht. Durch den Verzicht auf die Speicherung von Kopien steigt die Effizienz der Laufwerke spürbar (bis zu +92 %).
Wir sind daran gewöhnt, dass softwaredefinierter Speicher eine spezielle Software ist, die auf einem klassischen Server installiert wird. Um jedoch optimale Parameter zu erreichen, benötigt dieses architektonische Konzept nun auch spezielle Knoten. Es besteht aus zwei Servern, die auf ARM-Prozessoren basieren, und verwaltet ein Array von 3-Zoll-Laufwerken.
Diese Server sind weniger geeignet für hyperkonvergente Lösungen. Erstens gibt es nur wenige Anwendungen für ARM, und zweitens ist es schwierig, die Lasten ausgewogen zu verteilen. Wir empfehlen, zu einer separaten Speicherung überzugehen: Ein Rechencluster, das aus klassischen oder Rack-Servern besteht, funktioniert unabhängig, wird jedoch mit den OceanStor Pacific-Speicherknoten verbunden, die ebenfalls ihre eigenen Aufgaben erfüllen. Und das rechtfertigt sich.
Nehmen wir als Beispiel eine klassische Lösung zur Speicherung großer Datenmengen mit einem hyperkonvergenten System, das 15 Server-Racks benötigt. Wenn die Last auf separate Rechenserver und die OceanStor Pacific-Speicherknoten verteilt wird, könnten die benötigten Racks halbiert werden! Das senkt die Betriebskosten des Rechenzentrums und reduziert die Gesamtkosten für den Besitz. In einer Welt, in der das Speichervolumen jährlich um 30 % wächst, sind solche Vorteile unbezahlbar.
***
Weitere Informationen zu Huawei-Lösungen und deren Anwendungsszenarien erhalten Sie auf unserer oder indem Sie sich direkt an einen Vertreter des Unternehmens wenden.
Quelle: habr.com
