Micron Technology, kompanija specijalizovana za proizvodnju DRAM-a i fleš memorije, objavila je izdanje HSE 3.0 (Heterogeneous-memory Storage Engine) motora za skladištenje, dizajniran uzimajući u obzir specifičnosti upotrebe na SSD diskovima i memoriji samo za čitanje ( NVDIMM). Motor je dizajniran kao biblioteka za ugradnju u druge aplikacije i podržava obradu podataka u formatu ključ/vrijednost. HSE kod je napisan u C i licenciran je pod licencom Apache 2.0.
HSE je optimizovan ne samo za maksimalne performanse, već i za dugovečnost u različitim klasama SSD-a. Visoka brzina rada postiže se hibridnim modelom skladištenja – najrelevantniji podaci su keširani u RAM memoriji, što smanjuje broj pristupa disku. Motor se može koristiti za pohranu podataka niskog nivoa u NoSQL DBMS, softverska skladišta (SDS, Software-Defined Storage) kao što su Ceph i Scality RING, platforme za obradu velikih količina podataka (Big Data), računarstvo visokih performansi (HPC ) sistemi, uređaji Interneta stvari (IoT) i rješenja za sisteme mašinskog učenja. Kao primjer integracije motora u projekte treće strane, pripremljena je verzija dokumentno orijentisanog DBMS MongoDB, pretvorena za korištenje HSE.
Glavne karakteristike HSE-a:
- Podrška za standardne i proširene operatore za obradu podataka u formatu ključ/vrijednost;
- Potpuna podrška za transakcije sa mogućnošću izolacije isječaka skladišta kroz kreiranje snimaka (snimci se također mogu koristiti za održavanje nezavisnih kolekcija u jednom skladištu);
- Mogućnost korištenja kursora za iteraciju kroz podatke u prikazima zasnovanim na snimcima;
- Model podataka optimiziran za mješovite vrste opterećenja;
- Fleksibilni mehanizmi za upravljanje pouzdanošću skladištenja;
- Prilagodljive šeme orkestracije podataka (distribucija kroz različite vrste memorije prisutne u skladištu);
- Biblioteka sa C API-jem koji se može dinamički povezati sa bilo kojom aplikacijom. Dostupnost veza za Python i Javu;
- Podrška za pohranjivanje ključeva i podataka u komprimiranom obliku.
- Sposobnost skaliranja na terabajte podataka i stotine milijardi ključeva u skladištu;
- Efikasna obrada hiljada paralelnih operacija;
- Mogućnost korištenja SSD diskova različitih klasa u jednom skladištu za optimizaciju performansi i produženje vijeka trajanja pogona.
Značajna promjena broja verzije u HSE 3.0 je posljedica promjena u API-ju, CLI-u, opcijama konfiguracije, REST sučelju i formatu skladištenja koje narušavaju kompatibilnost unatrag. Novo izdanje se fokusiralo na optimizaciju skladištenja podataka radi poboljšanja performansi za neka kritična radna opterećenja. Među najznačajnijim poboljšanjima:
- Performanse operacija kursora sada su nezavisne od dužine filtera, što vam omogućava da prelazite preko ključeva koristeći kursor sa proizvoljnim filterima bez smanjenja propusnosti.
- Performanse čitanja i pisanja su povećane u situacijama kada se koriste monotono rastući ključevi, na primjer, kada se pohranjuju isječci vrijednosti parametara snimljenih u određenim intervalima u sistemima za praćenje, finansijskim platformama i sistemima za ispitivanje stanja senzora.
- API pruža mogućnost kontrole kompresije na nivou individualne vrijednosti, omogućavajući vam da skladištite komprimirane i nekomprimirane zapise u istoj memoriji.
- Dodati su novi načini za otvaranje KVDB, koji vam omogućavaju da formirate upite bazi podataka u skladištima samo za čitanje.
izvor: opennet.ru