Silnik pamięci masowej HSE typu open source firmy Micron zoptymalizowany pod kątem dysków SSD

Micron Technology, firma produkująca pamięci DRAM i flash, представила nowy silnik przechowywania HSE (Heterogeneous-memory Storage Engine), zaprojektowany z uwzględnieniem specyfiki użytkowania dysków SSD opartych na pamięci NAND flash (X100, TLC, QLC 3D NAND) lub pamięci stałej (NVDIMM). Silnik został zaprojektowany jako biblioteka do osadzania w innych aplikacjach i obsługuje przetwarzanie danych w formacie klucz-wartość. Kod HSE jest napisany w języku C i dystrybuowane przez na licencji Apache 2.0.

Wśród obszarów zastosowań silnika wymienia się niskopoziomowe przechowywanie danych w NoSQL DBMS, magazyny oprogramowania (SDS, Software-Defined Storage) takie jak Ceph i Scality RING, platformy do przetwarzania dużych ilości danych (Big Data) , wysokowydajne systemy obliczeniowe (HPC), internetowe urządzenia rzeczy (IoT) oraz rozwiązania z zakresu systemów uczenia maszynowego.

HSE jest zoptymalizowany nie tylko pod kątem maksymalnej wydajności, ale także trwałości w przypadku różnych klas dysków SSD. Wysoką prędkość działania osiągnięto dzięki hybrydowemu modelowi pamięci masowej – najważniejsze dane buforowane są w pamięci RAM, co ogranicza liczbę dostępów do dysku. Jako przykład integracji nowego silnika z projektami stron trzecich przygotowany wersja zorientowanego na dokumenty DBMS MongoDB, przetłumaczona na HSE.

Technologicznie HSE opiera się na dodatkowym module jądra pula, który implementuje specjalizowany interfejs obiektowej pamięci masowej dla dysków półprzewodnikowych, biorąc pod uwagę ich możliwości i cechy, co pozwala uzyskać zasadniczo odmienne charakterystyki wydajności i trwałości. Mpool to także rozwinięcie technologii Micron, otwarte w tym samym czasie co HSE, ale wydzielone w niezależny projekt infrastrukturalny. Mpool zakłada użycie trwała pamięć и strefowe magazyny, ale obecnie obsługuje tylko tradycyjne dyski SSD.

Testowanie wydajności przy użyciu pakietu YCSB (Yahoo Cloud Serving Benchmark) wykazał znaczny wzrost wydajności przy użyciu 2 TB pamięci masowej przy przetwarzaniu bloków danych o wielkości 1 KB. Szczególnie znaczący wzrost wydajności obserwuje się w teście z równomiernym rozkładem operacji odczytu i zapisu (test „A” na wykresie).

Przykładowo MongoDB z silnikiem HSE okazało się około 8 razy szybsze od wersji ze standardowym silnikiem WiredTiger, a RocksDB DBMS było szybsze od silnika HSE ponad 6 razy. Znakomitą wydajność widać także w testach obejmujących w 95% operacje odczytu i 5% operacji modyfikujących lub dołączających (testy „B” i „D” na wykresach). Test C, który obejmuje tylko operacje odczytu, wykazuje wzrost o około 40%. Wzrost żywotności dysków SSD podczas operacji zapisu w porównaniu do rozwiązania opartego na RocksDB szacuje się na 7-krotny.

Kluczowe cechy BHP:

• Obsługa operatorów standardowych i rozszerzonych do przetwarzania danych w formacie klucz/wartość;
• Pełna obsługa transakcji oraz możliwość izolowania wycinków pamięci poprzez tworzenie migawek (migawki mogą być również wykorzystywane do utrzymywania niezależnych kolekcji w jednym magazynie);
• Możliwość używania kursorów do przeglądania danych w widokach opartych na migawkach;
• Model danych zoptymalizowany pod kątem mieszanych typów obciążeń w jednym magazynie;
• Elastyczne mechanizmy zarządzania niezawodnością pamięci masowej;
• Konfigurowalne schematy orkiestracji danych (dystrybucja pomiędzy różnymi typami pamięci znajdującej się w magazynie);
• Biblioteka z interfejsem API w języku C, która może dynamicznie łączyć się z dowolną aplikacją;
• Możliwość skalowania do terabajtów danych i setek miliardów kluczy w pamięci;
• Wydajne przetwarzanie tysięcy równoległych operacji;
• Znaczący wzrost przepustowości, zmniejszone opóźnienia i zwiększona wydajność zapisu/odczytu dla różnych typów obciążeń w porównaniu ze standardowymi alternatywnymi rozwiązaniami;
• Możliwość wykorzystania dysków SSD różnych klas w jednej pamięci masowej w celu optymalizacji wydajności i trwałości.

Źródło: opennet.ru