Микрон мотор за складирање HSE со отворен извор оптимизиран за SSD

Micron Technology, компанија за DRAM и флеш меморија, презентирани нов мотор за складирање HSE (Мотор за складирање хетерогена меморија), дизајниран земајќи ги предвид спецификите на употреба на SSD-дискови базирани на NAND блиц (X100, TLC, QLC 3D NAND) или трајна меморија (NVDIMM). Моторот е дизајниран како библиотека за вградување во други апликации и поддржува обработка на податоци во формат со клучна вредност. HSE кодот е напишан во C и дистрибуирани од лиценциран под Apache 2.0.

Меѓу областите на примена на моторот, се споменуваат складирање на податоци на ниско ниво во NoSQL DBMS, складишта на софтвер (SDS, софтверски дефинирано складирање) како што се Ceph и Scality RING, платформи за обработка на големи количини на податоци (Big Data) , компјутерски системи со високи перформанси (HPC), Интернет уреди на нештата (IoT) и решенија за системи за машинско учење.

HSE е оптимизиран не само за максимални перформанси, туку и за долговечност во различни класи на SSD. Високата работна брзина се постигнува преку хибриден модел за складирање - најрелевантните податоци се кеширани во RAM меморијата, што го намалува бројот на пристапи до погонот. Како пример за интегрирање на нов мотор во проекти од трети страни подготвени верзија на DBMS MongoDB ориентирана кон документи, преведена да користи HSE.

Технолошки, HSE се потпира на дополнителен модул на кернелот мпул, кој имплементира специјализиран интерфејс за складирање на предмети за погони со цврста состојба, земајќи ги предвид нивните способности и карактеристики, што ви овозможува да добиете фундаментално различни карактеристики на изведба и издржливост. Mpool е исто така развој на Micron Technology, отворен во исто време со HSE, но поделен во независен инфраструктурен проект. Mpool ја презема употребата упорна меморија и зонски капацитети за складирање, но моментално поддржува само традиционални SSD дискови.

Тестирање на перформансите со користење на пакетот YCSB (Yahoo Cloud Serving Benchmark) покажа значително зголемување на перформансите кога се користи складирање од 2 TB со обработка на блокови на податоци од 1 KB. Особено значително зголемување на перформансите е забележано во тестот со униформа дистрибуција на операциите за читање и запишување (тест „А“ на графиконот).

На пример, MongoDB со HSE моторот се покажа дека е околу 8 пати побрз од верзијата со стандардниот WiredTiger мотор, а RocksDB DBMS беше побрз од HSE моторот за повеќе од 6 пати. Одлични перформанси се видливи и кај тестовите кои вклучуваат 95% операции за читање и 5% операции за менување или додавање (тестовите „B“ и „D“ во графиконите). Тестот C, кој вклучува само операции за читање, покажува добивка од приближно 40%. Зголемувањето на опстанокот на SSD-дисковите за време на операциите за запишување во споредба со решението базирано на RocksDB се проценува на 7 пати.

Главни карактеристики на HSE:

• Поддршка за стандардни и проширени оператори за обработка на податоци во формат клуч/вредност;
• Целосна поддршка за трансакции и со можност за изолирање на делови за складирање преку создавање снимки (слики може да се користат и за одржување на независни колекции во едно складирање);
• Способност да се користат курсори за преминување податоци во прикази базирани на снимки;
• Модел на податоци оптимизиран за мешани типови оптоварувања во едно складирање;
• Флексибилни механизми за управување со доверливоста на складирањето;
• Приспособливи шеми за оркестрација на податоци (дистрибуција низ различни типови на меморија присутни во складиштето);
• Библиотека со C API што може динамички да се поврзе со која било апликација;
• Способност за скала до терабајти податоци и стотици милијарди клучеви во складирање;
• Ефикасна обработка на илјадници паралелни операции;
• Значително зголемување на пропусната моќ, намалена латентност и зголемени перформанси за пишување/читање за различни видови оптоварување во споредба со стандардните алтернативни решенија;
• Способност да се користат SSD-дискови од различни класи во едно складирање за да се оптимизираат перформансите и издржливоста.

Извор: opennet.ru