Micron Open Code HSE Storage Engine Optimized no SSDs

ʻO Micron Technology, kahi hui DRAM a me ka flash memory, hōʻike ʻia ʻenekini waihona hou HSE (Heterogeneous-memory Storage Engine), i hoʻolālā ʻia e noʻonoʻo i nā kikoʻī o ka hoʻohana ʻana ma nā drive SSD e pili ana i ka flash NAND (X100, TLC, QLC 3D NAND) a i ʻole ka hoʻomanaʻo mau (NVDIMM). Hoʻolālā ʻia ka ʻenekini ma ke ʻano he waihona no ka hoʻopili ʻana i nā noi ʻē aʻe a kākoʻo i ka hoʻoili ʻana i ka ʻikepili ma ke ʻano waiwai kī. Ua kākau ʻia ka code HSE ma C a mahele ʻia e laikini ma lalo o Apache 2.0.

Ma waena o nā wahi o ka noi ʻana o ka mīkini, ua haʻi ʻia ka waihona haʻahaʻa haʻahaʻa haʻahaʻa ma NoSQL DBMS, nā lako polokalamu (SDS, Software-Defined Storage) e like me Ceph a me Scality RING, nā kahua no ka hoʻoili ʻana i ka nui o ka ʻikepili (Big Data). , High-performance computing system (HPC), Internet devices of things (IoT) and solutions for machine learning system.

Hoʻolālā ʻia ʻo HSE ʻaʻole wale no ka hana kiʻekiʻe, akā no ka lōʻihi hoʻi ma waena o nā papa SSD. Loaʻa ka wikiwiki hana kiʻekiʻe ma o kahi hoʻohālike mālama hybrid - ʻo ka ʻikepili kūpono loa i hūnā ʻia ma RAM, e hōʻemi ana i ka nui o nā komo i ka drive. Ma keʻano he laʻana o ka hoʻohui ʻana i kahi mīkini hou i nā papahana ʻaoʻao ʻekolu hoʻomākaukau he mana o ka DBMS MongoDB e pili ana i ka palapala, unuhi ʻia e hoʻohana i ka HSE.

Ma ka ʻenehana, hilinaʻi ʻo HSE i kahi module kernel hou mpool, ka mea e hoʻokō i kahi kikowaena mālama mea kūikawā no nā drive solid-state, e noʻonoʻo ana i ko lākou hiki a me nā hiʻohiʻona, e hiki ai iā ʻoe ke loaʻa nā ʻano hana like ʻole a me nā ʻano paʻa. ʻO Mpool ka hoʻomohala ʻana o Micron Technology, wehe ʻia i ka manawa like me HSE, akā ua hoʻokaʻawale ʻia i kahi papahana ʻoihana kūʻokoʻa. Manaʻo ʻo Mpool i ka hoʻohana hoʻomanaʻo mau и nā hale mālama zonal, akā kākoʻo wale i nā SSD kuʻuna i kēia manawa.

ʻO ka hoʻāʻo ʻana i ka hana me ka hoʻohana ʻana i ka pūʻolo YCSB (Yahoo Cloud Serving Benchmark) hōʻike i ka piʻi nui o ka hana i ka wā e hoʻohana ai i ka waihona 2 TB me ka hoʻoili ʻana i nā poloka data 1 KB. ʻIke ʻia ka piʻi ʻana o ka hana koʻikoʻi ma ka hoʻāʻo me ka puʻunaue like ʻana o nā hana heluhelu a kākau (hōʻoia "A" ma ka pakuhi).

ʻO kahi laʻana, ʻo MongoDB me ka mīkini HSE i huli ʻia ma kahi o 8 mau manawa ʻoi aku ka wikiwiki ma mua o ka mana me ka mīkini WiredTiger maʻamau, a ʻoi aku ka wikiwiki o ka RocksDB DBMS ma mua o ka mīkini HSE ma mua o 6 mau manawa. ʻIke ʻia ka hana maikaʻi ma nā hoʻāʻo e pili ana i ka 95% o nā hana heluhelu a me 5% hoʻololi a hoʻohui i nā hana (nā hoʻāʻo "B" a me "D" ma nā pakuhi). Hōʻike ka hoʻāʻo C, e pili ana i nā hana heluhelu wale nō, e hōʻike ana i ka loaʻa ma kahi o 40%. ʻO ka piʻi ʻana o ke ola ʻana o nā drive SSD i ka wā o nā hana kākau i hoʻohālikelike ʻia i kahi hopena e pili ana iā RocksDB i manaʻo ʻia he 7 mau manawa.

Micron Open Code HSE Storage Engine Optimized no SSDs

Micron Open Code HSE Storage Engine Optimized no SSDs

ʻO nā hiʻohiʻona nui o ka HSE:

  • Kākoʻo no nā mea hana maʻamau a hoʻonui ʻia no ka hoʻoili ʻana i ka ʻikepili ma ke ʻano kī / waiwai;
  • Kākoʻo piha i nā kālepa a me ka hiki ke hoʻokaʻawale i nā ʻāpana mālama ma o ka hana ʻana i nā kiʻi (hiki ke hoʻohana ʻia nā kiʻi paʻi no ka mālama ʻana i nā hōʻiliʻili kūʻokoʻa i hoʻokahi waihona);
  • Hiki ke hoʻohana i nā cursors e hele i ka ʻikepili i nā hiʻohiʻona snapshot;
  • Hoʻohālikelike ʻia ke kumu hoʻohālike no nā ʻano haʻawe hui ʻia i loko o kahi waihona hoʻokahi;
  • Nā mīkini maʻalahi no ka mālama ʻana i ka hilinaʻi mālama;
  • Nā papa hana hoʻonohonoho ʻikepili i hoʻonohonoho ʻia (ka hoʻohele ʻana ma nā ʻano like ʻole o ka hoʻomanaʻo i loaʻa i ka waihona);
  • He waihona me kahi C API hiki ke hoʻopili ikaika i kekahi noi;
  • ʻO ka hiki ke hoʻonui i ka terabytes o ka ʻikepili a me nā haneli miliona o nā kī i ka waiho ʻana;
  • Ka hana pono o na tausani o na hana like;
  • ʻO ka hoʻonui nui ʻana i ka throughput, hoʻemi ʻia ka latency a me ka hoʻonui ʻana i ka hana kākau/heluhelu no nā ʻano hana like ʻole i hoʻohālikelike ʻia i nā ʻano hoʻonā maʻamau;
  • ʻO ka hiki ke hoʻohana i nā drive SSD o nā papa like ʻole i hoʻokahi waihona e hoʻomaikaʻi i ka hana a me ka lōʻihi.

Micron Open Code HSE Storage Engine Optimized no SSDs

Source: opennet.ru

Pākuʻi i ka manaʻo hoʻopuka