Micron HSE система за съхранение с отворен код, оптимизирана за SSD

Micron Technology, компания за DRAM и флаш памети, представени нов двигател за съхранение HSE (Heterogeneous-memory Storage Engine), проектиран, като се вземат предвид спецификите на използване на SSD устройства, базирани на NAND флаш (X100, TLC, QLC 3D NAND) или постоянна памет (NVDIMM). Механизмът е проектиран като библиотека за вграждане в други приложения и поддържа обработка на данни във формат ключ-стойност. HSE кодът е написан на C и разпространява се от лицензиран под Apache 2.0.

Сред областите на приложение на двигателя се споменава съхранение на данни на ниско ниво в NoSQL DBMS, софтуерни хранилища (SDS, Software-Defined Storage) като Ceph и Scality RING, платформи за обработка на големи количества данни (Big Data) , високопроизводителни изчислителни системи (HPC), интернет устройства на нещата (IoT) и решения за системи за машинно обучение.

HSE е оптимизиран не само за максимална производителност, но и за дълголетие в различни класове SSD. Високата скорост на работа се постига чрез хибриден модел за съхранение - най-подходящите данни се кешират в RAM, което намалява броя на достъпите до устройството. Като пример за интегриране на нов двигател в проекти на трети страни подготвени версия на ориентираната към документи СУБД MongoDB, преведена да използва HSE.

Технологично HSE разчита на допълнителен модул на ядрото mpool, който реализира специализиран интерфейс за съхранение на обекти за твърдотелни устройства, като се вземат предвид техните възможности и характеристики, което ви позволява да получите фундаментално различни характеристики на производителност и издръжливост. Mpool също е разработка на Micron Technology, отворена по същото време като HSE, но отделена в независим инфраструктурен проект. Mpool поема използването постоянна памет и зонални складови съоръжения, но в момента поддържа само традиционни SSD.

Тестване на производителността с помощта на пакета YCSB (Yahoo Cloud Serving Benchmark) показа значително увеличение на производителността при използване на 2 TB хранилище с обработка на 1 KB блокове данни. Особено значително увеличение на производителността се наблюдава при теста с равномерно разпределение на операциите за четене и запис (тест „А“ на графиката).

Например MongoDB с двигателя HSE се оказа около 8 пъти по-бърз от версията със стандартния двигател WiredTiger, а СУБД RocksDB беше по-бърз от двигателя HSE с повече от 6 пъти. Отличната производителност се вижда и при тестове, които включват 95% операции за четене и 5% операции за модифициране или добавяне (тестове „B“ и „D“ в графиките). Тест C, който включва само операции за четене, показва печалба от приблизително 40%. Увеличението на жизнеспособността на SSD устройствата по време на операции за запис в сравнение с решение, базирано на RocksDB, се оценява на 7 пъти.

Основни характеристики на HSE:

• Поддръжка на стандартни и разширени оператори за обработка на данни във формат ключ/стойност;
• Пълна поддръжка за транзакции и с възможност за изолиране на срезове за съхранение чрез създаване на моментни снимки (моментните снимки могат да се използват и за поддържане на независими колекции в едно хранилище);
• Възможност за използване на курсори за преминаване на данни в изгледи, базирани на моментни снимки;
• Модел на данни, оптимизиран за смесени типове зареждане в едно хранилище;
• Гъвкави механизми за управление на надеждността на съхранението;
• Персонализируеми схеми за оркестрация на данни (разпределение между различни типове памет, налични в хранилището);
• Библиотека с C API, която може динамично да се свързва към всяко приложение;
• Възможност за мащабиране до терабайти данни и стотици милиарди ключове в хранилището;
• Ефективна обработка на хиляди паралелни операции;
• Значително увеличение на пропускателната способност, намалена латентност и повишена производителност при запис/четене за различни видове натоварване в сравнение със стандартните алтернативни решения;
• Възможността за използване на SSD устройства от различни класове в едно хранилище за оптимизиране на производителността и издръжливостта.

Източник: opennet.ru