Micron Technology, in DRAM- en flashûnthâldbedriuw, nije opslach motor (Heterogene-ûnthâld Storage Engine), ûntwurpen mei rekken hâldend mei de spesifikaasjes fan gebrûk op SSD driuwfearren basearre op NAND flash (X100, TLC, QLC 3D NAND) of permanint ûnthâld (NVDIMM). De motor is ûntworpen as in bibleteek foar ynbêde yn oare applikaasjes en stipet it ferwurkjen fan gegevens yn kaai-wearde-formaat. De HSE-koade is skreaun yn C en lisinsje ûnder Apache 2.0.
Under de tapassingsgebieten fan 'e motor wurdt melding makke fan gegevensopslach op leech nivo yn NoSQL DBMS, softwareopslaggen (SDS, Software-Defined Storage) lykas Ceph en Scality RING, platfoarms foar it ferwurkjen fan grutte hoemannichten gegevens (Big Data) , High-performance Computing Systems (HPC), Internet devices of things (IoT) en oplossings foar masine learsystemen.
HSE is optimalisearre net allinich foar maksimale prestaasjes, mar ek foar langstme oer in ferskaat oan SSD-klassen. Hege bestjoeringssnelheid wurdt berikt troch in hybride opslachmodel - de meast relevante gegevens wurde yn RAM bewarre, wat it oantal tagongen ta it stasjon ferminderet. As foarbyld fan it yntegrearjen fan in nije motor yn projekten fan tredden in ferzje fan it dokumint-rjochte DBMS MongoDB, oerset om HSE te brûken.
Technologysk fertrout HSE op in ekstra kernelmodule , dy't in spesjalisearre foarwerpopslachynterface ymplementearret foar solid-state-driven, rekken hâldend mei har mooglikheden en funksjes, wêrtroch jo fûneminteel ferskillende prestaasjes en duorsumenskenmerken kinne krije. Mpool is ek in ûntwikkeling fan Micron Technology, iepen tagelyk as HSE, mar skieden yn in ûnôfhinklik ynfrastruktuerprojekt. Mpool nimt it gebrûk oan и , mar stipet op it stuit allinnich tradisjonele SSD's.
Prestaasjetesten mei it pakket (Yahoo Cloud Serving Benchmark) toande in signifikante ferheging fan prestaasjes by it brûken fan 2 TB opslach mei it ferwurkjen fan 1 KB gegevensblokken. In benammen signifikante prestaasjesferheging wurdt waarnommen yn 'e test mei in unifoarme ferdieling fan lês- en skriuwoperaasjes (test "A" yn 'e grafyk).
Bygelyks, MongoDB mei de HSE-motor blykte sawat 8 kear flugger te wêzen as de ferzje mei de standert WiredTiger-motor, en de RocksDB DBMS wie mear as 6 kear rapper as de HSE-motor. Prachtige prestaasjes binne ek sichtber yn tests dy't 95% lêsoperaasjes befetsje en 5% operaasjes feroarje of tafoegje (tests "B" en "D" yn 'e grafiken). Test C, wêrby't allinnich lêzen operaasjes omfiemet, lit in winst fan likernôch 40%. De ferheging fan oerlibjen fan SSD-skiven tidens skriuwoperaasjes yn ferliking mei in oplossing basearre op RocksDB wurdt rûsd op 7 kear.
Wichtige funksjes fan HSE:
- Stipe foar generike en útwreide operators foar it behanneljen fan gegevens yn kaai- / weardeformaat;
- Folsleine stipe foar transaksjes en mei de mooglikheid om opslachplakken te isolearjen troch it meitsjen fan snapshots (snapshots kinne ek brûkt wurde om ûnôfhinklike kolleksjes yn ien opslach te behâlden);
- Mooglikheid om rinnerkes te brûken om gegevens yn snapshot-basearre werjeften troch te gean;
- Gegevensmodel optimalisearre foar mingde loadtypen yn ien opslach;
- Fleksibele meganismen foar behear fan opslachbetrouberens;
- Oanpasbere gegevensorkestraasjeskema's (ferdieling oer ferskate soarten ûnthâld oanwêzich yn 'e opslach);
- In bibleteek mei in C API dy't dynamysk keppelje kin oan elke applikaasje;
- Mooglikheid om op te skaaljen oant terabytes oan gegevens en hûnderten miljarden kaaien yn opslach;
- Effisjinte ferwurking fan tûzenen parallelle operaasjes;
- Signifikante ferheging fan trochset, fermindere latency en ferhege skriuw- / lêsprestaasjes foar ferskate soarten wurkdruk yn ferliking mei standert alternative oplossings;
- De mooglikheid om SSD-skiven fan ferskate klassen te brûken yn ien opslach om prestaasjes en duorsumens te optimalisearjen.
Boarne: opennet.ru