DRAM- ja flash-muistien tuotantoon erikoistunut yritys Micron Technology on julkaissut HSE 3.0 (Heterogeneous-memory Storage Engine) -tallennusmoottorin, joka on suunniteltu ottaen huomioon SSD-asemien ja vain lukumuistin käytön erityispiirteet ( NVDIMM). Moottori on suunniteltu kirjastoksi upotettavaksi muihin sovelluksiin ja tukee tietojen käsittelyä avainarvomuodossa. HSE-koodi on kirjoitettu C-kielellä ja se on lisensoitu Apache 2.0 -lisenssillä.
HSE on optimoitu maksimaalisen suorituskyvyn lisäksi myös pitkäikäisyyteen useissa SSD-luokissa. Suuri toimintanopeus saavutetaan hybriditallennusmallilla - tärkeimmät tiedot tallennetaan välimuistiin, mikä vähentää aseman käyttöjen määrää. Moottoria voidaan käyttää matalan tason tietojen tallentamiseen NoSQL DBMS:ssä, ohjelmistotallennuksissa (SDS, Software Defined Storage), kuten Ceph ja Scality RING, alustoissa suurten tietomäärien käsittelyyn (Big Data), korkean suorituskyvyn laskentaan (HPC) ) järjestelmät, Internet of Things (IoT) -laitteet ) ja ratkaisut koneoppimisjärjestelmiin. Esimerkkinä moottorin integroimisesta kolmannen osapuolen projekteihin on tehty dokumenttisuuntautuneesta DBMS MongoDB:stä versio, joka on muutettu käyttämään HSE:tä.
HSE:n pääominaisuudet:
- Tuki vakio- ja laajennetuille operaattoreille tietojen käsittelyssä avain/arvo-muodossa;
- Täysi tuki tapahtumille, joissa on mahdollisuus eristää tallennusosia luomalla tilannekuvia (snapshot-kuvia voidaan käyttää myös itsenäisten kokoelmien ylläpitämiseen yhdessä tallennustilassa);
- Mahdollisuus käyttää kohdistimia tietojen toistamiseen tilannekuvapohjaisissa näkymissä;
- Tietomalli, joka on optimoitu erilaisille työkuormatyypeille;
- Joustavat mekanismit varastoinnin luotettavuuden hallintaan;
- Mukautettavat tiedon organisointimallit (jakauma erityyppisten muistien kesken);
- Kirjasto, jossa on C API ja joka voi linkittää dynaamisesti mihin tahansa sovellukseen. Python- ja Java-sidosten saatavuus;
- Tuki avainten ja tietojen tallentamiseen pakatussa muodossa.
- Mahdollisuus skaalata teratavuihin dataa ja satoja miljardeja avaimia tallennustilassa;
- Tuhansien rinnakkaisten toimintojen tehokas käsittely;
- Mahdollisuus käyttää eri luokkien SSD-asemia yhdessä tallennustilassa suorituskyvyn optimoimiseksi ja aseman käyttöiän pidentämiseksi.
HSE 3.0:n versionumeron merkittävä muutos johtuu API:n, CLI:n, konfigurointivaihtoehtojen, REST-liitännän ja tallennusmuodon muutoksista, jotka rikkovat taaksepäin yhteensopivuuden. Uusi julkaisu keskittyi tietojen tallennuksen optimointiin suorituskyvyn parantamiseksi joissakin kriittisissä työkuormissa. Merkittävimpiä parannuksia:
- Kohdistimen toimintojen suorituskyky on nyt riippumaton suodattimen pituudesta, joten voit toistaa näppäimiä käyttämällä kohdistinta mielivaltaisilla suodattimilla ilman, että suoritusteho vähenee.
- Luku- ja kirjoitussuorituskykyä on lisätty tilanteissa, joissa käytetään monotonisesti kasvavia näppäimiä, esimerkiksi tallennettaessa viipaleita tietyin väliajoin tallennetuista parametriarvoista valvontajärjestelmissä, talousalustoissa ja kyselyanturin tilojen järjestelmissä.
- API tarjoaa mahdollisuuden ohjata pakkausta yksittäisten arvojen tasolla, jolloin voit tallentaa sekä pakatut että pakkaamattomat tietueet samaan tallennustilaan.
- KVDB:n avaamiseen on lisätty uusia tiloja, joiden avulla voit muodostaa kyselyitä tietokantaan vain luku -varastoissa.
Lähde: opennet.ru