Das System wird die Energiekosten um die Hälfte reduzieren.
/ Foto CC BY-SA
Warum brauchen wir eine neue Architektur?
Bis 2030 werden elektronische Geräte 40 % der weltweit erzeugten Energie verbrauchen. Etwa 20 % dieses Volumens werden aus dem IT-Bereich und den Rechenzentren stammen. Von Laut europäischen Analysten „verbrauchen“ Rechenzentren bereits 1,4 % des gesamten Stroms. Es wird erwartet, dass dies der Fall ist .
SSD-Speicher verbrauchen einen erheblichen Teil des Stroms. Im Zeitraum von 2012 bis 2017 stieg der Anteil von Solid-State-Laufwerken in Rechenzentren . Obwohl SSDs ein Drittel weniger Strom verbrauchen () als HDD, bleiben die Stromrechnungen im Rechenzentrumsmaßstab hoch.
Um den Stromverbrauch von Solid-State-Laufwerken im Rechenzentrum zu reduzieren, haben Ingenieure des MIT eine neue SSD-Speicherarchitektur entwickelt. Es heißt LightStore und ermöglicht den direkten Anschluss von Laufwerken an ein Rechenzentrumsnetzwerk unter Umgehung von Speicherservern. Von Autoren zufolge wird das System die Energiekosten um die Hälfte senken.
Wie funktioniert das
LightStore ist ein Flash-Schlüsselwertspeicher, der Benutzeranfragen Laufwerken als Schlüssel zuordnet. Anschließend werden sie an den Server gesendet, der die mit diesem Schlüssel verknüpften Daten freigibt.
System eingebauter energieeffizienter Prozessor, DRAM und NAND-Speicher. Die Steuerung erfolgt über einen Controller und eine spezielle Software. Der Controller ist für die Arbeit mit NAND-Arrays verantwortlich und die Software ist für die Verarbeitung von KV-Anfragen und die Speicherung von Schlüsselpaaren verantwortlich. Darauf aufbauend wird die Softwarearchitektur aufgebaut , das in vielen modernen DBMS verwendet wird.
Das Architekturdiagramm kann wie folgt dargestellt werden:
Das Diagramm zeigt die Grundkomponenten von LightStore. Ein Knotencluster arbeitet mit Schlüssel-Wert-Paaren. Anwendungsserver werden über Adapter mit dem System verbunden. Sie wandeln Client-Anfragen (z. B. fread() aus der POSIX-API) in KV-Anfragen um. Die Architektur verfügt auch über separate Adapter für , Block- (basierend auf dem BUSE-Modul) und Dateispeicher.
Beim Verteilen von Anforderungen verwendet der Adapter . Es wird in Systemen wie Redis oder Swift verwendet. Mithilfe des KV-Anfrageschlüssels generiert der Adapter einen Hash-Schlüssel, dessen Wert den Zielknoten identifiziert.
Die Kapazität des LightStore-Clusters skaliert linear – schließen Sie einfach zusätzliche Knoten an das Netzwerk an. In einigen Fällen müssen Sie möglicherweise neue Schalter kaufen. Allerdings haben die Entwickler jeden Knoten mit zusätzlichen Steckplätzen zum Anschluss von NAND-Chips ausgestattet.
Das Potenzial der Architektur
MIT-Ingenieure sagen, dass die LightStore-basierte Lösung einen Durchsatz von 620 Mbit/s über 10-Gigabit-Ethernet hat. Ein Knoten verbraucht 10 W statt der üblichen 20 W (in SSD-Systemen, die heute in Rechenzentren verwendet werden). Darüber hinaus nimmt die Ausrüstung die Hälfte des Platzes ein.
Nun finalisieren die Entwickler einige Aspekte. Beispielsweise kann LightStore nicht mit Bereichsabfragen und kleinen Abfragen arbeiten. Diese Funktionen werden in Zukunft hinzugefügt, da LightStore LSM-Bäume verwendet. Außerdem verfügt das System immer noch über einen begrenzten Satz an Adaptern – YCSB- und Blockadapter werden unterstützt. Zukünftig wird LightStore in der Lage sein, SQL-Abfragen usw. zu verarbeiten.
Andere Entwicklungen
Im Sommer 2018 stellte Marvell, ein Speicherentwicklungsunternehmen, eine neue Reihe von SSD-Controllern auf Basis von KI-Systemen vor. Entwickler haben NVIDIA-Deep-Learning-Beschleuniger in Standard-Controller für Rechenzentren und Client-Anwendungen integriert. Dadurch haben sie eine eigenständige Architektur geschaffen, die im Vergleich zu klassischen SSD-Controllern weniger Strom verbraucht. Das Unternehmen hofft, dass das System in den Bereichen Edge Computing, Big Data Analytics und IoT Anwendung finden wird.
Die Western Digital Blue-Laufwerksreihe wurde kürzlich aktualisiert. Im April präsentierten die Entwickler eine Lösung – die WD Blue SSD auf Basis von SanDisk-Technologien, die WD vor einem Jahr erworben hatte. Die aktualisierten WD Blue SSDs bieten verbesserte Leistung und Energieeffizienz. Die Architektur wird auf Basis der Spezifikation aufgebaut , das den Zugriff auf über PCI Express angeschlossene SSDs ermöglicht.
Diese Spezifikation verbessert die Effizienz von SSD-Laufwerken bei einer großen Anzahl gleichzeitiger Anfragen und beschleunigt den Datenzugriff. Darüber hinaus ermöglicht NVMe die Standardisierung der SSD-Schnittstelle – mehr für Hardwarehersteller für die Entwicklung einzigartiger Treiber, Steckverbinder und Formfaktoren.
Chancen
Der SSD-Markt für Rechenzentren bewegt sich in Richtung einer vereinfachten Architektur, Automatisierung von Speicherkomponenten und erhöhter Energieeffizienz. Die Entwicklung von Ingenieuren des MIT löst das letztgenannte Problem. Autoren dass LightStore zum Industriestandard für SSD-Speicher in Rechenzentren werden wird. Und wir können davon ausgehen, dass darauf basierend in Zukunft neue, noch effizientere Architekturen entstehen werden.
Mehrere Materialien aus dem ersten Blog über Corporate IaaS:
Source: habr.com