Micron avoimen lähdekoodin HSE-tallennusmoottori, joka on optimoitu SSD:lle

Micron Technology, DRAM- ja flash-muistiyhtiö, esitetty uusi varastointimoottori HSE (heterogeenisen muistin tallennusmoottori), suunniteltu ottaen huomioon NAND-flash-muistiin (X100, TLC, QLC 3D NAND) tai pysyvään muistiin (NVDIMM) perustuvien SSD-asemien käytön erityispiirteet. Moottori on suunniteltu kirjastoksi upotettavaksi muihin sovelluksiin ja tukee tietojen käsittelyä avainarvomuodossa. HSE-koodi on kirjoitettu kielellä C ja jakelija lisensoitu Apache 2.0:lla.

Moottorin sovellusalueista mainitaan matalan tason tiedontallennus NoSQL DBMS:ssä, ohjelmistotallennukset (SDS, Software Defined Storage), kuten Ceph ja Scality RING, alustat suurten tietomäärien käsittelyyn (Big Data) , korkean suorituskyvyn laskentajärjestelmät (HPC), esineiden Internet-laitteet (IoT) ja ratkaisut koneoppimisjärjestelmiin.

HSE on optimoitu maksimaalisen suorituskyvyn lisäksi myös pitkäikäisyyteen useissa SSD-luokissa. Suuri toimintanopeus saavutetaan hybriditallennusmallilla - tärkeimmät tiedot tallennetaan välimuistiin, mikä vähentää aseman käyttöjen määrää. Esimerkkinä uuden moottorin integroimisesta kolmannen osapuolen projekteihin valmis versio dokumenttisuuntautuneesta DBMS MongoDB:stä, käännetty käyttämään HSE:tä.

Teknologisesti HSE luottaa ylimääräiseen ydinmoduuliin mpool, joka toteuttaa erikoistuneen objektitallennusrajapinnan solid-state-asemille, ottaen huomioon niiden ominaisuudet ja ominaisuudet, jonka avulla voit saada olennaisesti erilaisia ​​suorituskyky- ja kestävyysominaisuuksia. Mpool on myös Micron Technologyn kehitystyö, joka on avoinna samanaikaisesti HSE:n kanssa, mutta erotettu itsenäiseksi infrastruktuuriprojektiksi. Mpool ottaa käyttöön jatkuva muisti и vyöhykkeelliset varastotilat, mutta tukee tällä hetkellä vain perinteisiä SSD-levyjä.

Suorituskyvyn testaus paketin avulla YCSB (Yahoo Cloud Serving Benchmark) osoitti merkittävän suorituskyvyn parantuneen käytettäessä 2 Tt tallennustilaa 1 kt:n tietolohkojen käsittelyn kanssa. Erityisen merkittävä suorituskyvyn kasvu havaitaan testissä, jossa luku- ja kirjoitusoperaatiot jakautuvat tasaisesti (testi "A" kaaviossa).

Esimerkiksi MongoDB HSE-moottorilla osoittautui noin 8 kertaa nopeammaksi kuin tavallisella WiredTiger-moottorilla varustettu versio, ja RocksDB DBMS oli yli 6 kertaa nopeampi kuin HSE-moottori. Erinomainen suorituskyky näkyy myös testeissä, joissa on 95 % lukutoimintoja ja 5 % muokkaus- tai lisätoimintoja (testit “B” ja “D” kaavioissa). Testi C, joka sisältää vain lukuoperaatioita, osoittaa vahvistusta noin 40 %. SSD-asemien kestävyyden kasvun kirjoitusoperaatioiden aikana RocksDB-pohjaiseen ratkaisuun verrattuna arvioidaan 7-kertaiseksi.

HSE:n tärkeimmät ominaisuudet:

• Tuki vakio- ja laajennetuille operaattoreille tietojen käsittelyssä avain/arvo-muodossa;
• Täysi tuki tapahtumille ja mahdollisuus eristää tallennusosia luomalla tilannekuvia (snapshot-kuvia voidaan käyttää myös itsenäisten kokoelmien ylläpitämiseen yhdessä tallennustilassa);
• Kyky käyttää kohdistimia tietojen läpikulkuun tilannekuvapohjaisissa näkymissä;
• Tietomalli optimoitu sekakuormatyypeille yhdessä tallennustilassa;
• Joustavat mekanismit varastoinnin luotettavuuden hallintaan;
• Mukautettavat tiedon organisointimallit (jakauma erityyppisten muistien kesken);
• Kirjasto, jossa on C API, joka voi linkittää dynaamisesti mihin tahansa sovellukseen;
• Mahdollisuus skaalata teratavuihin dataa ja satoja miljardeja avaimia tallennustilassa;
• Tuhansien rinnakkaisten toimintojen tehokas käsittely;
• Merkittävä suorituskyvyn kasvu, pienempi viive ja lisääntynyt kirjoitus-/lukusuorituskyky erityyppisissä työkuormissa verrattuna tavanomaisiin vaihtoehtoisiin ratkaisuihin;
• Mahdollisuus käyttää eri luokkien SSD-asemia yhdessä tallennustilassa suorituskyvyn ja kestävyyden optimoimiseksi.

Lähde: opennet.ru