Odprtokodni mehanizem za shranjevanje HSE Micron, optimiziran za SSD

Micron Technology, podjetje za DRAM in bliskovni pomnilnik, predstavljeno nov mehanizem za shranjevanje HSE (Heterogeneous-memory Storage Engine), zasnovan ob upoštevanju posebnosti uporabe na pogonih SSD na osnovi NAND flash (X100, TLC, QLC 3D NAND) ali trajnega pomnilnika (NVDIMM). Motor je zasnovan kot knjižnica za vgradnjo v druge aplikacije in podpira obdelavo podatkov v obliki ključ-vrednost. Koda HSE je zapisana v C in distributer licenciran pod Apache 2.0.

Med področji uporabe motorja omenjajo nizkonivojsko shranjevanje podatkov v NoSQL DBMS, programske shrambe (SDS, Software-Defined Storage), kot sta Ceph in Scality RING, platforme za obdelavo velikih količin podatkov (Big Data) , visoko zmogljive računalniške sisteme (HPC), internetne naprave stvari (IoT) in rešitve za sisteme strojnega učenja.

HSE ni optimiziran samo za maksimalno zmogljivost, ampak tudi za dolgo življenjsko dobo v različnih razredih SSD. Visoka hitrost delovanja je dosežena s hibridnim modelom shranjevanja - najpomembnejši podatki so predpomnjeni v RAM-u, kar zmanjša število dostopov do diska. Kot primer integracije novega motorja v projekte tretjih oseb pripravljeno različica dokumentno usmerjenega DBMS MongoDB, prevedena za uporabo HSE.

Tehnološko se HSE opira na dodatni jedrni modul mpool, ki izvaja specializiran vmesnik za shranjevanje objektov za pogone SSD ob upoštevanju njihovih zmogljivosti in funkcij, kar vam omogoča, da pridobite bistveno drugačne lastnosti zmogljivosti in vzdržljivosti. Mpool je tudi razvoj Micron Technology, odprt sočasno s HSE, vendar ločen v samostojen infrastrukturni projekt. Mpool prevzame uporabo vztrajni spomin и conske skladiščne prostore, vendar trenutno podpira samo tradicionalne diske SSD.

Testiranje zmogljivosti z uporabo paketa YCSB (Yahoo Cloud Serving Benchmark) je pokazala znatno povečanje zmogljivosti pri uporabi 2 TB prostora za shranjevanje z obdelavo 1 KB podatkovnih blokov. Posebej pomembno povečanje zmogljivosti je opaziti pri testu z enakomerno porazdelitvijo operacij branja in pisanja (test "A" na grafu).

Na primer, MongoDB z motorjem HSE se je izkazal za približno 8-krat hitrejši od različice s standardnim motorjem WiredTiger, DBMS RocksDB pa je bil hitrejši od motorja HSE za več kot 6-krat. Odlično delovanje je vidno tudi pri testih, ki vključujejo 95 % operacij branja in 5 % operacij spreminjanja ali dodajanja (testa »B« in »D« v grafih). Test C, ki vključuje le operacije branja, kaže približno 40-odstotno povečanje. Povečanje preživetja pogonov SSD med zapisovanjem v primerjavi z rešitvijo, ki temelji na RocksDB, je ocenjeno na 7-krat.

Ključne značilnosti HSE:

• Podpora standardnim in razširjenim operaterjem za obdelavo podatkov v obliki ključ/vrednost;
• Popolna podpora za transakcije in z možnostjo izolacije rezin za shranjevanje z ustvarjanjem posnetkov (posnetki se lahko uporabljajo tudi za vzdrževanje neodvisnih zbirk v enem pomnilniku);
• Sposobnost uporabe kazalcev za prečkanje podatkov v pogledih, ki temeljijo na posnetkih;
• Podatkovni model, optimiziran za mešane vrste obremenitev v enem pomnilniku;
• Prilagodljivi mehanizmi za upravljanje zanesljivosti shranjevanja;
• Prilagodljive sheme orkestracije podatkov (distribucija po različnih vrstah pomnilnika, ki je prisoten v pomnilniku);
• Knjižnica z API-jem C, ki se lahko dinamično poveže s katero koli aplikacijo;
• Sposobnost povečanja na terabajte podatkov in na stotine milijard ključev v pomnilniku;
• Učinkovita obdelava več tisoč vzporednih operacij;
• Znatno povečanje prepustnosti, zmanjšana zakasnitev in povečana zmogljivost pisanja/branja za različne vrste delovnih obremenitev v primerjavi s standardnimi alternativnimi rešitvami;
• Možnost uporabe pogonov SSD različnih razredov v enem pomnilniku za optimizacijo zmogljivosti in vzdržljivosti.

Vir: opennet.ru