Кампанія Micron Technology, якая спецыялізуецца на вытворчасці DRAM і флэш-памяці, новы рухавічок захоўвання (Heterogeneous-memory Storage Engine), распрацаваны з улікам спецыфікі выкарыстання на SSD-назапашвальніках, заснаваных на NAND flash (X100, TLC, QLC 3D NAND) ці сталай памяці (NVDIMM). Рухавічок выкананы ў форме бібліятэкі для ўбудавання ў іншыя прыкладанні і падтрымлівае апрацоўку дадзеных у фармаце ключ-значэнне. Код HSE напісаны на мове Сі і пад ліцэнзіяй Apache 2.0.
З абласцей ужывання рухавічка згадваецца ўжыванне для нізкаўзроўневага захоўвання дадзеных у NoSQL СКБД, праграмных сховішчах (SDS, Software-Defined Storage) тыпу Ceph і Scality RING, платформах для апрацоўкі вялікіх аб'ёмаў дадзеных (Big Data), сістэмах высокапрадукцыйных вылічэнняў (HPC), прыладах інтэрнэту рэчаў (IoT) і рашэннях для сістэм машыннага навучання.
HSE аптымізаваны не толькі для дасягнення максімальнай прадукцыйнасці, але і для забеспячэння даўгавечнасці працы розных класаў SSD-назапашвальнікаў. Высокая хуткасць працы дасягаецца за кошт гібрыднай мадэлі захоўвання - найбольш актуальныя дадзеныя кэшуюцца ў АЗП, што зніжае колькасць зваротаў да назапашвальніку. У якасці прыкладу інтэграцыі новага рухавічка ў іншыя праекты варыянт дакумента-арыентаванай СКБД MongoDB, перакладзены на выкарыстанне HSE.
Тэхналагічна HSE абапіраецца на дадатковы модуль ядра , які рэалізуе спецыялізаваны інтэрфейс захоўвання аб'ектаў для цвёрдацельных дыскаў з улікам іх магчымасцяў і асаблівасцяў, што дазваляе атрымаць прынцыпова іншыя характарыстыкі хуткадзейнасці і даўгавечнасці. Mpool таксама з'яўляецца распрацоўкай Micron Technology адчыненай адначасова з HSE, але вылучаны ў самастойны інфраструктурны праект. Mpool мяркуе выкарыстанне и , але ў цяперашні час рэалізавана падтрымка толькі традыцыйных SSD.
Тэставанне прадукцыйнасці пры дапамозе пакета (Yahoo Cloud Serving Benchmark) паказала істотны прырост прадукцыйнасці пры выкарыстанні сховішчы памерам 2 ТБ з апрацоўкай блокаў дадзеных памерам 1КБ. Асабліва значны прырост прадукцыйнасці назіраецца ў цесцю з раўнамерным размеркаваннем аперацый чытанні і запісы (тэст "A" на графіцы).
Напрыклад, MongoDB з рухавіком HSE апынуўся хутчэй варыянту са штатным рухавіком WiredTiger прыкладна ў 8 разоў, а СКБД RocksDB рухавік HSE абагнаў больш чым у 6 разоў. Выдатныя паказчыкі таксама бачныя ў тэстах, у якіх фігуруюць 95% аперацый чытання і 5% змены або даданні (тэсты "B" і "D" на графіках). У цесцю "З", які прадугледжвае толькі аперацыі чытання, дэманструецца выйгрыш прыкладна на 40%. Павелічэнне жывучасці назапашвальнікаў SSD пры аперацыях запісу ў параўнанні з рашэннем на базе RocksDB ацэньваецца ў 7 разоў.
Ключавыя асаблівасці HSE:
- Падтрымка тыпавых і пашыраных аператараў для апрацоўкі даных у фармаце ключ/значэнне;
- Поўная падтрымка транзакцый і з магчымасцю ізаляцыі зрэзаў сховішча праз стварэнне снапшотаў (снапшоты таксама могуць прымяняцца для падтрымання незалежных калекцый у адным сховішчы);
- Магчымасць выкарыстання курсораў для абыходу дадзеных у паданнях на аснове снапшота;
- Мадэль дадзеных, аптымізаваная для змешаных тыпаў нагрузкі ў адным сховішчы;
- Гнуткія механізмы кіравання надзейнасцю захоўвання;
- Наладжвальныя схемы аркестроўкі дадзеных (размеркаванні па розных тыпах памяці, якія прысутнічаюць у сховішчы);
- Бібліятэка з C API, якая можа дынамічна звязвацца з любымі праграмамі;
- Магчымасць маштабавання да тэрабайтаў дадзеных і сотняў мільярдаў ключоў у сховішчы;
- Эфектыўная апрацоўка тысяч паралельных аперацый;
- Значнае павелічэнне прапускной здольнасці, зніжэнне затрымак і ўзмацненне запісу / чытанні для розных відаў нагрузкі ў параўнанні з тыпавымі альтэрнатыўнымі рашэннямі;
- Магчымасць выкарыстоўваць у адным сховішчы SSD-назапашвальнікі розных класаў для аптымізацыі прадукцыйнасці і даўгавечнасці.
Крыніца: opennet.ru