Micron open source HSE mehanizam za skladištenje optimizovan za SSD

Micron Technology, kompanija za DRAM i fleš memoriju, predstavljen novi motor za skladištenje HSE (Heterogeneous-memory Storage Engine), dizajniran uzimajući u obzir specifičnosti upotrebe na SSD diskovima baziranim na NAND flash (X100, TLC, QLC 3D NAND) ili trajnoj memoriji (NVDIMM). Motor je dizajniran kao biblioteka za ugradnju u druge aplikacije i podržava obradu podataka u formatu ključ/vrijednost. HSE kod je napisan u C i distribuira licenciran pod Apache 2.0.

Među oblastima primene motora pominju se nisko-nivo pohranjivanje podataka u NoSQL DBMS, softverska skladišta (SDS, Software-Defined Storage) kao što su Ceph i Scality RING, platforme za obradu velikih količina podataka (Big Data) , računarski sistemi visokih performansi (HPC), Internet uređaji stvari (IoT) i rješenja za sisteme mašinskog učenja.

HSE je optimizovan ne samo za maksimalne performanse, već i za dugovečnost u različitim klasama SSD-a. Visoka brzina rada postiže se hibridnim modelom skladištenja – najrelevantniji podaci se keširaju u RAM memoriji, što smanjuje broj pristupa disku. Kao primjer integracije novog motora u projekte treće strane pripremljeno verzija dokumentno orijentisanog DBMS MongoDB, prevedena za korištenje HSE.

Tehnološki, HSE se oslanja na dodatni modul kernela mpool, koji implementira specijalizovani interfejs za skladištenje objekata za SSD uređaje, uzimajući u obzir njihove mogućnosti i karakteristike, što vam omogućava da dobijete fundamentalno različite karakteristike performansi i izdržljivosti. Mpool je također razvoj Micron Technology, otvoren u isto vrijeme kada i HSE, ali odvojen u nezavisni infrastrukturni projekat. Mpool preuzima upotrebu uporno pamćenje и zonski skladišni objekti, ali trenutno podržava samo tradicionalne SSD diskove.

Testiranje performansi pomoću paketa YCSB (Yahoo Cloud Serving Benchmark) pokazao je značajno povećanje performansi kada se koristi skladište od 2 TB uz obradu blokova podataka od 1 KB. Posebno značajno povećanje performansi je primećeno u testu sa ujednačenom distribucijom operacija čitanja i pisanja (test „A“ na grafikonu).

Na primjer, MongoDB sa HSE motorom se pokazao oko 8 puta bržim od verzije sa standardnim WiredTiger motorom, a RocksDB DBMS je bio brži od HSE motora za više od 6 puta. Odlične performanse su takođe vidljive u testovima koji uključuju 95% operacija čitanja i 5% operacija modifikacije ili dodavanja (testovi „B“ i „D“ na grafikonima). Test C, koji uključuje samo operacije čitanja, pokazuje povećanje od približno 40%. Procjenjuje se da je povećanje izdržljivosti SSD diskova tokom operacija pisanja u odnosu na rješenje zasnovano na RocksDB-u 7 puta.

Ključne karakteristike HSE-a:

• Podrška za standardne i proširene operatore za obradu podataka u formatu ključ/vrijednost;
• Potpuna podrška za transakcije i sa mogućnošću da se izoluju delovi skladištenja kroz kreiranje snimaka (snimci se takođe mogu koristiti za održavanje nezavisnih kolekcija u jednom skladištu);
• Mogućnost korištenja kursora za prelazak podataka u prikazima zasnovanim na snimcima;
• Model podataka optimiziran za mješovite tipove opterećenja u jednom skladištu;
• Fleksibilni mehanizmi za upravljanje pouzdanošću skladištenja;
• Prilagodljive šeme orkestracije podataka (distribucija kroz različite vrste memorije prisutne u skladištu);
• Biblioteka sa C API-jem koji se može dinamički povezati sa bilo kojom aplikacijom;
• Sposobnost skaliranja na terabajte podataka i stotine milijardi ključeva u skladištu;
• Efikasna obrada hiljada paralelnih operacija;
• Značajno povećanje propusnosti, smanjeno kašnjenje i povećane performanse pisanja/čitanja za različite vrste opterećenja u poređenju sa standardnim alternativnim rješenjima;
• Mogućnost korištenja SSD diskova različitih klasa u jednom skladištu radi optimizacije performansi i izdržljivosti.

izvor: opennet.ru