Micron Technology, tvrtka specijalizirana za proizvodnju DRAM i flash memorije, objavila je izdanje HSE 3.0 (Heterogeneous-memory Storage Engine) mehanizma za pohranu, dizajniranog uzimajući u obzir specifičnosti korištenja na SSD pogonima i memoriji samo za čitanje ( NVDIMM). Motor je dizajniran kao biblioteka za ugradnju u druge aplikacije i podržava obradu podataka u formatu ključ-vrijednost. HSE kod je napisan u C-u i licenciran je pod licencom Apache 2.0.
HSE je optimiziran ne samo za maksimalnu izvedbu, već i za dugotrajnost u različitim klasama SSD-ova. Visoka brzina rada postiže se hibridnim modelom pohrane - najrelevantniji podaci pohranjuju se u predmemoriju u RAM-u, što smanjuje broj pristupa disku. Motor se može koristiti za pohranu podataka niske razine u NoSQL DBMS, softverske pohrane (SDS, Software-Defined Storage) kao što su Ceph i Scality RING, platforme za obradu velikih količina podataka (Big Data), računalstvo visokih performansi (HPC) ) sustavi, uređaji Interneta stvari (IoT) i rješenja za sustave strojnog učenja. Kao primjer integracije motora u projekte trećih strana, pripremljena je verzija DBMS-a MongoDB orijentiranog na dokumente, konvertirana za korištenje HSE-a.
Glavne karakteristike HSE-a:
- Podrška za standardne i proširene operatore za obradu podataka u formatu ključ/vrijednost;
- Potpuna podrška za transakcije s mogućnošću izolacije odsječaka pohrane kroz stvaranje snimki (snimke se također mogu koristiti za održavanje neovisnih kolekcija u jednoj pohrani);
- Sposobnost korištenja pokazivača za ponavljanje podataka u prikazima temeljenim na snimkama;
- Model podataka optimiziran za mješovite vrste opterećenja;
- Fleksibilni mehanizmi za upravljanje pouzdanošću pohrane;
- Prilagodljive sheme orkestracije podataka (distribucija na različite vrste memorije prisutne u pohrani);
- Knjižnica s C API-jem koja se može dinamički povezati s bilo kojom aplikacijom. Dostupnost povezivanja za Python i Javu;
- Podrška za pohranu ključeva i podataka u komprimiranom obliku.
- Mogućnost skaliranja na terabajte podataka i stotine milijardi ključeva u pohrani;
- Učinkovita obrada tisuća paralelnih operacija;
- Mogućnost korištenja SSD diskova različitih klasa u jednoj pohrani za optimizaciju performansi i produljenje vijeka trajanja pogona.
Značajna promjena broja verzije u HSE 3.0 nastala je zbog promjena u API-ju, CLI-ju, konfiguracijskim opcijama, REST sučelju i formatu pohrane koji prekidaju kompatibilnost sa prethodnim verzijama. Novo izdanje usmjereno je na optimiziranje pohrane podataka kako bi se poboljšala izvedba za neka kritična radna opterećenja. Među najznačajnijim poboljšanjima:
- Izvedba operacija pokazivača sada je neovisna o duljini filtra, što vam omogućuje ponavljanje tipki pomoću pokazivača s proizvoljnim filtrima bez smanjenja propusnosti.
- Performanse čitanja i pisanja povećane su u situacijama kada se koriste monotono rastući ključevi, na primjer, kada se pohranjuju isječci vrijednosti parametara snimljenih u određenim intervalima u sustavima za praćenje, financijskim platformama i sustavima za ispitivanje stanja senzora.
- API pruža mogućnost kontrole kompresije na razini pojedinačne vrijednosti, omogućujući vam da pohranite komprimirane i nekomprimirane zapise u istu pohranu.
- Dodani su novi načini za otvaranje KVDB-a, omogućujući vam da formirate upite bazi podataka u pohranama samo za čitanje.
Izvor: opennet.ru