Open-Source-HSE-Speicher-Engine von Micron, optimiert für SSD

Micron Technology, ein DRAM- und Flash-Speicherunternehmen, präsentiert neue Speicher-Engine HSE (Heterogeneous-Memory Storage Engine), entwickelt unter Berücksichtigung der Besonderheiten der Verwendung auf SSD-Laufwerken basierend auf NAND-Flash (X100, TLC, QLC 3D NAND) oder permanentem Speicher (NVDIMM). Die Engine ist als Bibliothek zur Einbettung in andere Anwendungen konzipiert und unterstützt die Verarbeitung von Daten im Schlüsselwertformat. Der HSE-Code ist in C geschrieben und vertrieben von lizenziert unter Apache 2.0.

Zu den Einsatzgebieten der Engine zählen Low-Level-Datenspeicher in NoSQL-DBMS, Softwarespeicher (SDS, Software-Defined Storage) wie Ceph und Scality RING, Plattformen zur Verarbeitung großer Datenmengen (Big Data). , Hochleistungsrechnersysteme (HPC), Internet Devices of Things (IoT) und Lösungen für maschinelle Lernsysteme.

HSE ist nicht nur für maximale Leistung, sondern auch für Langlebigkeit in einer Vielzahl von SSD-Klassen optimiert. Durch ein Hybridspeichermodell wird eine hohe Betriebsgeschwindigkeit erreicht – die relevantesten Daten werden im RAM zwischengespeichert, wodurch die Anzahl der Zugriffe auf das Laufwerk reduziert wird. Als Beispiel für die Integration einer neuen Engine in Drittprojekte bereit eine Version des dokumentorientierten DBMS MongoDB, übersetzt für die Verwendung von HSE.

Technologisch setzt HSE auf ein zusätzliches Kernelmodul mpool, das unter Berücksichtigung ihrer Fähigkeiten und Merkmale eine spezielle Objektspeicherschnittstelle für Solid-State-Laufwerke implementiert, die es Ihnen ermöglicht, grundlegend unterschiedliche Leistungs- und Haltbarkeitseigenschaften zu erhalten. Mpool ist ebenfalls eine Entwicklung von Micron Technology, die gleichzeitig mit HSE eröffnet, aber in ein unabhängiges Infrastrukturprojekt aufgeteilt wurde. Mpool übernimmt die Nutzung anhaltendes Gedächtnis и zonale Lagereinrichtungen, unterstützt aber derzeit nur herkömmliche SSDs.

Leistungstests mit dem Paket YCSB (Yahoo Cloud Serving Benchmark) zeigte eine deutliche Leistungssteigerung bei der Verwendung von 2 TB Speicher mit der Verarbeitung von 1 KB Datenblöcken. Eine besonders deutliche Leistungssteigerung ist im Test bei einer gleichmäßigen Verteilung der Lese- und Schreibvorgänge zu beobachten (Test „A“ in der Grafik).

Beispielsweise erwies sich MongoDB mit der HSE-Engine als etwa achtmal schneller als die Version mit der Standard-WiredTiger-Engine, und das RocksDB-DBMS war mehr als sechsmal schneller als die HSE-Engine. Eine hervorragende Leistung zeigt sich auch bei Tests, die zu 8 % aus Lesevorgängen und zu 6 % aus Änderungs- oder Anhängevorgängen bestehen (Tests „B“ und „D“ in den Diagrammen). Test C, der nur Lesevorgänge umfasst, zeigt einen Gewinn von etwa 95 %. Die Steigerung der Überlebensfähigkeit von SSD-Laufwerken bei Schreibvorgängen im Vergleich zu einer auf RocksDB basierenden Lösung wird auf das Siebenfache geschätzt.

Hauptmerkmale von HSE:

• Unterstützung für generische und erweiterte Operatoren für die Verarbeitung von Daten im Schlüssel/Wert-Format;
• Volle Unterstützung für Transaktionen und die Möglichkeit, Speicherbereiche durch die Erstellung von Snapshots zu isolieren (Snapshots können auch verwendet werden, um unabhängige Sammlungen in einem Speicher zu verwalten);
• Möglichkeit, Cursor zum Durchlaufen von Daten in Snapshot-basierten Ansichten zu verwenden;
• Datenmodell optimiert für gemischte Lasttypen in einem einzigen Speicher;
• Flexible Verwaltungsmechanismen für die Speicherzuverlässigkeit;
• Anpassbare Datenorchestrierungsschemata (Verteilung auf verschiedene im Speicher vorhandene Speichertypen);
• Eine Bibliothek mit einer C-API, die dynamisch mit jeder Anwendung verknüpft werden kann;
• Möglichkeit der Skalierung auf Terabytes an Daten und Hunderten von Milliarden Schlüsseln im Speicher;
• Effiziente Verarbeitung Tausender paralleler Vorgänge;
• Deutliche Steigerung des Durchsatzes, geringere Latenz und höhere Schreib-/Leseleistung für verschiedene Arten von Arbeitslasten im Vergleich zu Standard-Alternativlösungen;
• Die Möglichkeit, SSD-Laufwerke verschiedener Klassen in einem Speicher zu verwenden, um Leistung und Haltbarkeit zu optimieren.

Source: opennet.ru