Micron Technology, DRAM un zibatmiņas uzņēmums, jauns uzglabāšanas dzinējs (Neviendabīgās atmiņas glabāšanas dzinējs), kas izstrādāts, ņemot vērā lietošanas specifiku SSD diskdziņiem, kuru pamatā ir NAND zibatmiņa (X100, TLC, QLC 3D NAND) vai pastāvīgā atmiņa (NVDIMM). Dzinējs ir izstrādāts kā bibliotēka iegulšanai citās lietojumprogrammās un atbalsta datu apstrādi atslēgas vērtības formātā. HSE kods ir rakstīts C un licencēts saskaņā ar Apache 2.0.
Starp dzinēja pielietojuma jomām tiek minēta zema līmeņa datu glabāšana NoSQL DBVS, programmatūras krātuves (SDS, Software-Defined Storage), piemēram, Ceph un Scality RING, platformas liela datu apjoma apstrādei (Big Data) , augstas veiktspējas skaitļošanas sistēmas (HPC), lietu interneta ierīces (IoT) un risinājumi mašīnmācīšanās sistēmām.
HSE ir optimizēts ne tikai maksimālai veiktspējai, bet arī ilgmūžībai dažādās SSD klasēs. Liels darbības ātrums tiek panākts, izmantojot hibrīda krātuves modeli - visatbilstošākie dati tiek saglabāti kešatmiņā RAM, kas samazina piekļuvi diskam. Kā piemērs jauna dzinēja integrēšanai trešo pušu projektos uz dokumentiem orientētas DBVS MongoDB versija, kas tulkota HSE lietošanai.
Tehnoloģiski HSE paļaujas uz papildu kodola moduli , kas ievieš specializētu objektu uzglabāšanas interfeisu cietvielu diskdziņiem, ņemot vērā to iespējas un funkcijas, kas ļauj iegūt principiāli atšķirīgas veiktspējas un izturības īpašības. Mpool ir arī Micron Technology izstrādātājs, kas atvērts vienlaikus ar HSE, bet ir sadalīts neatkarīgā infrastruktūras projektā. Mpool uzņemas lietošanu и , bet pašlaik atbalsta tikai tradicionālos SSD.
Veiktspējas pārbaude, izmantojot paketi (Yahoo Cloud Serving Benchmark) uzrādīja ievērojamu veiktspējas pieaugumu, izmantojot 2 TB krātuvi un apstrādājot 1 KB datu blokus. Īpaši nozīmīgs veiktspējas pieaugums vērojams testā ar vienmērīgu lasīšanas un rakstīšanas operāciju sadalījumu (grafikā tests “A”).
Piemēram, MongoDB ar HSE dzinēju izrādījās aptuveni 8 reizes ātrāks nekā versija ar standarta WiredTiger dzinēju, un RocksDB DBMS bija vairāk nekā 6 reizes ātrāks par HSE dzinēju. Lielisks sniegums ir redzams arī testos, kas ietver 95% nolasīšanas operāciju un 5% modifikācijas vai pievienošanas operācijas (testi “B” un “D” grafikos). C tests, kas ietver tikai nolasīšanas darbības, parāda aptuveni 40% pieaugumu. Tiek lēsts, ka SSD disku izturības pieaugums rakstīšanas operāciju laikā salīdzinājumā ar risinājumu, kura pamatā ir RocksDB, ir 7 reizes.
Galvenās HSE iezīmes:
- Atbalsts vispārīgiem un paplašinātiem operatoriem datu apstrādei atslēgas/vērtības formātā;
- Pilns atbalsts darījumiem un iespēja izolēt krātuves daļas, izveidojot momentuzņēmumus (momentuzņēmumus var izmantot arī neatkarīgu kolekciju uzturēšanai vienā krātuvē);
- Spēja izmantot kursorus, lai šķērsotu datus momentuzņēmuma skatījumos;
- Datu modelis, kas optimizēts jauktiem slodzes veidiem vienā krātuvē;
- Elastīgi uzglabāšanas uzticamības pārvaldības mehānismi;
- Pielāgojamas datu orķestrēšanas shēmas (sadale starp dažādiem krātuvē esošās atmiņas veidiem);
- Bibliotēka ar C API, kas var dinamiski izveidot saiti ar jebkuru lietojumprogrammu;
- Iespēja palielināt līdz terabaitiem datu un simtiem miljardu atslēgu krātuvē;
- Efektīva tūkstošiem paralēlu darbību apstrāde;
- Ievērojams caurlaidspējas pieaugums, samazināts latentums un palielināta rakstīšanas/lasīšanas veiktspēja dažāda veida darba slodzei, salīdzinot ar standarta alternatīviem risinājumiem;
- Iespēja izmantot dažādu klašu SSD diskus vienā krātuvē, lai optimizētu veiktspēju un izturību.
Avots: opennet.ru