Micron Technology, firmao specialigita pri produktado de DRAM kaj fulmmemoro, publikigis la liberigon de la stokadmotoro HSE 3.0 (Heterogeneous-memory Storage Engine), desegnita konsiderante la specifaĵojn de uzo sur SSD-diskoj kaj nurlegebla memoro ( NVDIMM). La motoro estas desegnita kiel biblioteko por enkonstruado en aliajn aplikojn kaj subtenas pretigajn datumojn en ŝlosilvalora formato. La HSE-kodo estas skribita en C kaj estas licencita sub la licenco Apache 2.0.
HSE estas optimumigita ne nur por maksimuma rendimento, sed ankaŭ por longviveco tra diversaj SSD-klasoj. Alta operacia rapideco estas atingita per hibrida stokado-modelo - la plej gravaj datumoj estas konservitaj en RAM, kio reduktas la nombron da aliroj al la stirado. La motoro povas esti uzata por malaltnivela datumstokado en NoSQL DBMS, programaro-stokado (SDS, Software-Defined Storage) kiel Ceph kaj Scality RING, platformoj por prilaborado de grandaj kvantoj da datumoj (Big Data), alt-efikeca komputado (HPC). ) sistemoj, Interreto de Aĵoj (IoT) aparatoj) kaj solvoj por maŝinlernado-sistemoj. Kiel ekzemplo de integriĝo de la motoro en triapartajn projektojn, versio de la dokument-orientita DBMS MongoDB estis preparita, konvertita por uzi HSE.
Ĉefaj trajtoj de HSE:
- Subteno por normaj kaj plilongigitaj operatoroj por prilaborado de datumoj en ŝlosila/valorformato;
- Plena subteno por transakcioj kun la kapablo izoli stokadtranĉaĵojn per la kreado de momentfotoj (momentfotoj ankaŭ povas esti uzataj por konservi sendependajn kolektojn en unu stokado);
- La kapablo uzi kursorojn por ripetadi tra datumoj en momentfoto-bazitaj vidoj;
- Datuma modelo optimumigita por miksitaj tipoj de laborŝarĝo;
- Flekseblaj mekanismoj por administri stokan fidindecon;
- Agordigeblaj datumaj instrumentadskemoj (distribuo tra malsamaj specoj de memoro ĉeestanta en la stokado);
- Biblioteko kun C API kiu povas dinamike ligi al iu ajn aplikaĵo. Havebleco de ligadoj por Python kaj Java;
- Subteno por stoki ŝlosilojn kaj datumojn en kunpremita formo.
- Kapablo grimpi al terabajtoj da datumoj kaj centoj da miliardoj da ŝlosiloj en stokado;
- Efika pretigo de miloj da paralelaj operacioj;
- La kapablo uzi SSD-diskojn de malsamaj klasoj en unu stokado por optimumigi rendimenton kaj plilongigi la funkcidaŭron de la disko.
La signifa versio-nombroŝanĝo en HSE 3.0 ŝuldiĝas al ŝanĝoj en la API, CLI, agordaj opcioj, REST-interfaco kaj stokadformato, kiuj rompas malantaŭan kongruecon. La nova eldono koncentriĝis pri optimumigo de datumstokado por plibonigi rendimenton por iuj kritikaj laborŝarĝoj. Inter la plej rimarkindaj plibonigoj:
- La agado de kursoroperacioj nun estas sendependa de la filtrillongo, permesante al vi ripetadi super klavoj uzante kursoron kun arbitraj filtriloj sen redukti trairon.
- Legado kaj skribado pliiĝis en situacioj, kie monotone kreskantaj ŝlosiloj estas uzataj, ekzemple, kiam oni konservas tranĉaĵojn de parametraj valoroj registritaj je certaj intervaloj en monitoraj sistemoj, financaj platformoj kaj sistemoj por balotado de sensilaj statoj.
- La API disponigas la kapablon kontroli kunpremadon je la individua valornivelo, permesante vin stoki ambaŭ kunpremitajn kaj nekunpremitajn rekordojn en la sama stokado.
- Novaj reĝimoj por malfermi KVDB estis aldonitaj, permesante al vi formi demandojn al la datumbazo en nurlegeblaj stokaĵoj.
fonto: opennet.ru