Micron HSE mehanizam za pohranu otvorenog koda optimiziran za SSD

Micron Technology, tvrtka za DRAM i flash memoriju, predstavio novi mehanizam za pohranu podataka HSE (Heterogeneous-memory Storage Engine), dizajniran uzimajući u obzir specifičnosti korištenja na SSD pogonima koji se temelje na NAND flash (X100, TLC, QLC 3D NAND) ili trajnoj memoriji (NVDIMM). Motor je dizajniran kao biblioteka za ugradnju u druge aplikacije i podržava obradu podataka u formatu ključ-vrijednost. HSE kod je napisan u C i distribuira licenciran pod Apache 2.0.

Među područjima primjene motora spominju se niskorazinska pohrana podataka u NoSQL DBMS, softverska pohrana (SDS, Software-Defined Storage) poput Ceph i Scality RING, platforme za obradu velikih količina podataka (Big Data) , računalni sustavi visokih performansi (HPC), internetski uređaji stvari (IoT) i rješenja za sustave strojnog učenja.

HSE je optimiziran ne samo za maksimalnu izvedbu, već i za dugotrajnost u različitim klasama SSD-ova. Visoka brzina rada postiže se hibridnim modelom pohrane - najrelevantniji podaci pohranjuju se u predmemoriju u RAM-u, što smanjuje broj pristupa disku. Kao primjer integracije novog motora u projekte trećih strana pripremljeno verzija DBMS-a MongoDB orijentirana na dokumente, prevedena na korištenje HSE-a.

Tehnološki, HSE se oslanja na dodatni kernel modul mpol, koji implementira specijalizirano sučelje za pohranu objekata za solid-state diskove, uzimajući u obzir njihove mogućnosti i značajke, što vam omogućuje da dobijete bitno različite karakteristike performansi i trajnosti. Mpool je također razvoj Micron Technology, otvoren u isto vrijeme kad i HSE, ali odvojen u samostalni infrastrukturni projekt. Mpool preuzima korištenje postojano pamćenje и zonalna skladišta, ali trenutno podržava samo tradicionalne SSD-ove.

Testiranje performansi pomoću paketa YCSB (Yahoo Cloud Serving Benchmark) pokazalo je značajno povećanje performansi pri korištenju pohrane od 2 TB uz obradu podatkovnih blokova od 1 KB. Osobito značajno povećanje performansi uočeno je u testu s ravnomjernom raspodjelom operacija čitanja i pisanja (test "A" na grafikonu).

Na primjer, pokazalo se da je MongoDB s HSE motorom oko 8 puta brži od verzije sa standardnim WiredTiger motorom, a RocksDB DBMS je bio brži od HSE motora više od 6 puta. Izvrsna izvedba također je vidljiva u testovima koji uključuju 95% operacija čitanja i 5% operacija izmjene ili dodavanja (testovi "B" i "D" u grafikonima). U "C" testu, koji uključuje samo operacije čitanja, prikazan je dobitak od približno 40%. Povećanje preživljavanja SSD diskova tijekom operacija pisanja u usporedbi s rješenjem temeljenim na RocksDB procjenjuje se na 7 puta.

Ključne značajke HSE-a:

• Podrška za standardne i proširene operatore za obradu podataka u formatu ključ/vrijednost;
• Potpuna podrška za transakcije i s mogućnošću izolacije odsječaka pohrane kroz stvaranje snimki (snimke se također mogu koristiti za održavanje neovisnih kolekcija u jednoj pohrani);
• Mogućnost korištenja pokazivača za kretanje podacima u prikazima koji se temelje na snimkama;
• Podatkovni model optimiziran za mješovite vrste opterećenja u jednoj pohrani;
• Fleksibilni mehanizmi za upravljanje pouzdanošću pohrane;
• Prilagodljive sheme orkestracije podataka (distribucija na različite vrste memorije prisutne u pohrani);
• Knjižnica s C API-jem koja se može dinamički povezati s bilo kojom aplikacijom;
• Mogućnost skaliranja na terabajte podataka i stotine milijardi ključeva u pohrani;
• Učinkovita obrada tisuća paralelnih operacija;
• Značajno povećanje propusnosti, smanjena latencija i povećane performanse pisanja/čitanja za različite vrste posla u usporedbi sa standardnim alternativnim rješenjima;
• Mogućnost korištenja različitih klasa SSD pogona u jednoj pohrani za optimizaciju performansi i trajnosti.

Izvor: opennet.ru