DRAM- en flash-ûnthâldfabrikant Micron Technology hat de frijlitting fan har HSE 3.0 (Heterogene-memory Storage Engine) opslachmotor publisearre, spesifyk ûntworpen foar gebrûk op SSD's en allinich lêzen (NVDIMM). De motor is makke yn 'e foarm fan in bibleteek foar ynbêde yn oare applikaasjes en stipet gegevensferwurking yn it kaai-wearde-formaat. De HSE-koade is skreaun yn C en ferspraat ûnder de Apache 2.0-lisinsje.
HSE is optimalisearre net allinich foar maksimale prestaasjes, mar ek foar longevity oer ferskate klassen fan SSD's. Hege snelheid wurdt berikt troch in hybride opslachmodel - de meast aktuele gegevens wurde yn RAM bewarre, wat it oantal tagongen ta it stasjon ferminderet. De motor kin brûkt wurde foar opslach fan gegevens op leech nivo yn NoSQL DBMS, software opslach (SDS, Software-Defined Storage) lykas Ceph en Scality RING, platfoarms foar it ferwurkjen fan grutte hoemannichten gegevens (Big Data), hege-prestaasje computing (HPC) ) systemen, Internet of Things (IoT) apparaten) en oplossingen foar masine learsystemen. As foarbyld fan it yntegrearjen fan de motor yn projekten fan tredden, is in fariant fan 'e dokumint-rjochte DBMS MongoDB taret, oerset nei it gebrûk fan HSE.
Haadfunksjes fan HSE:
- Stipe foar generike en útwreide operators foar it behanneljen fan gegevens yn kaai- / weardeformaat;
- Folsleine stipe foar transaksjes mei de mooglikheid om opslachplakken te isolearjen troch it meitsjen fan snapshots (snapshots kinne ek brûkt wurde om ûnôfhinklike kolleksjes yn ien opslach te behâlden);
- Mooglikheid om rinnerkes te brûken om gegevens te iterearjen yn momintopname-basearre werjeften;
- Gegevensmodel optimalisearre foar mingde loadtypen;
- Fleksibele meganismen foar behear fan opslachbetrouberens;
- Oanpasbere gegevensorkestraasjeskema's (ferdieling oer ferskate soarten ûnthâld oanwêzich yn 'e opslach);
- In bibleteek mei in C API dy't dynamysk kin keppelje oan elke applikaasje. Bindingen foar Python en Java;
- Stipe foar it opslaan fan kaaien en gegevens yn in komprimearre foarm.
- Mooglikheid om op te skaaljen oant terabytes oan gegevens en hûnderten miljarden kaaien yn opslach;
- Effisjinte ferwurking fan tûzenen parallelle operaasjes;
- De mooglikheid om ferskate klassen fan SSD-skiven yn deselde opslach te brûken om de prestaasjes te optimalisearjen en it libben fan it stasjon te ferlingjen.
De signifikante feroaring fan ferzjenûmer yn HSE 3.0 komt troch feroaringen yn 'e API, CLI, konfiguraasjeopsjes, REST-ynterface en opslachformaat dy't efterútkompatibiliteit brekke. By it tarieden fan 'e nije release wie de fokus op it optimalisearjen fan gegevensopslach om prestaasjes te ferbetterjen ûnder guon krityske workloads. Under de meast opfallende ferbetterings:
- De prestaasje fan rinnerkeoperaasjes is no ûnôfhinklik fan 'e lingte fan it filter, wat it mooglik makket om toetsen te iterearjen sûnder trochput te ferminderjen mei in rinnerke mei willekeurige filters.
- Lês- en skriuwprestaasjes binne ferbettere yn situaasjes wêr't monotoanysk tanimmende toetsen wurde brûkt, bygelyks by it opslaan fan plakken fan parameterwearden opnommen yn bepaalde yntervallen, yn tafersjochsystemen, finansjele platfoarms, en systemen foar pollingsensorstaten.
- De API biedt de mooglikheid om kompresje te kontrolearjen op it nivo fan yndividuele wearden, wêrtroch jo sawol komprimearre as net-komprimeare records yn deselde opslach kinne hâlde.
- Nije modi tafoege foar it iepenjen fan KVDB, wêrtroch jo fragen kinne generearje nei de databank yn allinich-lêzen opslach.
Boarne: opennet.ru