Micron Technology, podjetje, specializirano za proizvodnjo DRAM in flash pomnilnika, je objavilo izdajo mehanizma za shranjevanje podatkov HSE 3.0 (Heterogeneous-memory Storage Engine), zasnovanega ob upoštevanju posebnosti uporabe na pogonih SSD in pomnilniku samo za branje ( NVDIMM). Motor je zasnovan kot knjižnica za vgradnjo v druge aplikacije in podpira obdelavo podatkov v obliki ključ-vrednost. Koda HSE je napisana v C in je licencirana pod licenco Apache 2.0.
HSE ni optimiziran samo za maksimalno zmogljivost, ampak tudi za dolgo življenjsko dobo v različnih razredih SSD. Visoka hitrost delovanja je dosežena s hibridnim modelom shranjevanja - najpomembnejši podatki so predpomnjeni v RAM-u, kar zmanjša število dostopov do diska. Mehanizem se lahko uporablja za nizkonivojsko shranjevanje podatkov v NoSQL DBMS, programske shrambe (SDS, Software-Defined Storage), kot sta Ceph in Scality RING, platforme za obdelavo velikih količin podatkov (Big Data), visoko zmogljivo računalništvo (HPC). ) sistemi, naprave interneta stvari (IoT) ) in rešitve za sisteme strojnega učenja. Kot primer integracije motorja v projekte tretjih oseb je bila pripravljena različica dokumentno orientiranega DBMS MongoDB, predelana za uporabo HSE.
Glavne značilnosti HSE:
- Podpora standardnim in razširjenim operaterjem za obdelavo podatkov v obliki ključ/vrednost;
- Popolna podpora za transakcije z možnostjo izolacije rezin za shranjevanje z ustvarjanjem posnetkov (posnetki se lahko uporabljajo tudi za vzdrževanje neodvisnih zbirk v enem pomnilniku);
- Možnost uporabe kazalcev za ponavljanje podatkov v pogledih, ki temeljijo na posnetkih;
- Podatkovni model, optimiziran za vrste mešanih delovnih obremenitev;
- Prilagodljivi mehanizmi za upravljanje zanesljivosti shranjevanja;
- Prilagodljive sheme orkestracije podatkov (distribucija po različnih vrstah pomnilnika, ki je prisoten v pomnilniku);
- Knjižnica z API-jem C, ki se lahko dinamično poveže s katero koli aplikacijo. Razpoložljivost vezav za Python in Javo;
- Podpora za shranjevanje ključev in podatkov v stisnjeni obliki.
- Sposobnost povečanja na terabajte podatkov in na stotine milijard ključev v pomnilniku;
- Učinkovita obdelava več tisoč vzporednih operacij;
- Možnost uporabe pogonov SSD različnih razredov v enem pomnilniku za optimizacijo delovanja in podaljšanje življenjske dobe pogona.
Pomembna sprememba številke različice v HSE 3.0 je posledica sprememb v API-ju, CLI, konfiguracijskih možnostih, vmesniku REST in formatu shranjevanja, ki prekine združljivost za nazaj. Nova izdaja se je osredotočila na optimizacijo shranjevanja podatkov za izboljšanje zmogljivosti za nekatere kritične delovne obremenitve. Med najbolj opaznimi izboljšavami:
- Učinkovitost kazalčevih operacij je zdaj neodvisna od dolžine filtra, kar vam omogoča, da ponavljate tipke z uporabo kazalca s poljubnimi filtri brez zmanjšanja prepustnosti.
- Zmogljivost branja in pisanja je bila povečana v situacijah, ko se uporabljajo monotono naraščajoči ključi, na primer pri shranjevanju rezin vrednosti parametrov, zabeleženih v določenih intervalih v sistemih za spremljanje, finančnih platformah in sistemih za anketiranje stanj senzorjev.
- API nudi možnost nadzora stiskanja na ravni posamezne vrednosti, kar vam omogoča shranjevanje tako stisnjenih kot nestisnjenih zapisov v istem pomnilniku.
- Dodani so bili novi načini za odpiranje KVDB, ki vam omogočajo oblikovanje poizvedb v bazi podatkov v shrambah samo za branje.
Vir: opennet.ru