Micron пуска HSE 3.0 двигател за съхранение, оптимизиран за SSD

Micron Technology, компания, специализирана в производството на DRAM и флаш памет, публикува версията на системата за съхранение HSE 3.0 (Heterogeneous-memory Storage Engine), проектирана, като се вземе предвид специфичното използване на SSD устройства и памет само за четене (NVDIMM ). Механизмът е проектиран като библиотека за вграждане в други приложения и поддържа обработка на данни във формат ключ-стойност. HSE кодът е написан на C и е лицензиран под лиценз Apache 2.0.

HSE е оптимизиран не само за максимална производителност, но и за дълголетие в различни класове SSD. Високата скорост на работа се постига чрез хибриден модел за съхранение - най-подходящите данни се кешират в RAM, което намалява броя на достъпите до устройството. Двигателят може да се използва за съхранение на данни на ниско ниво в NoSQL DBMS, софтуерни хранилища (SDS, Software-Defined Storage) като Ceph и Scality RING, платформи за обработка на големи количества данни (Big Data), високопроизводителни изчисления (HPC) ) системи, устройства за Интернет на нещата (IoT) и решения за системи за машинно обучение. Като пример за интегриране на двигателя в проекти на трети страни е изготвена версия на ориентираната към документи СУБД MongoDB, преобразувана за използване на HSE.

Основни характеристики на HSE:

• Поддръжка на стандартни и разширени оператори за обработка на данни във формат ключ/стойност;
• Пълна поддръжка за транзакции с възможност за изолиране на срезове за съхранение чрез създаване на моментни снимки (моментните снимки могат да се използват и за поддържане на независими колекции в едно хранилище);
• Възможността за използване на курсори за итериране на данни в изгледи, базирани на моментни снимки;
• Модел на данни, оптимизиран за смесени видове натоварване;
• Гъвкави механизми за управление на надеждността на съхранението;
• Персонализируеми схеми за оркестрация на данни (разпределение между различни типове памет, налични в хранилището);
• Библиотека с C API, която може динамично да се свързва с всяко приложение. Наличие на свързвания за Python и Java;
• Поддръжка за съхраняване на ключове и данни в компресиран вид.
• Възможност за мащабиране до терабайти данни и стотици милиарди ключове в хранилището;
• Ефективна обработка на хиляди паралелни операции;
• Възможността за използване на SSD устройства от различни класове в едно хранилище за оптимизиране на производителността и удължаване на експлоатационния живот на устройството.

Значителната промяна на номера на версията в HSE 3.0 се дължи на промени в API, CLI, опциите за конфигурация, интерфейса REST и формата за съхранение, които нарушават обратната съвместимост. Новата версия се фокусира върху оптимизирането на съхранението на данни за подобряване на производителността за някои критични натоварвания. Сред най-забележителните подобрения:

• Изпълнението на операциите с курсора вече е независимо от дължината на филтъра, което ви позволява да обикаляте ключове, като използвате курсор с произволни филтри, без да намалявате пропускателната способност.
• Производителността при четене и запис е увеличена в ситуации, при които се използват монотонно увеличаващи се ключове, например при съхраняване на резени от стойности на параметри, записани на определени интервали в системи за мониторинг, финансови платформи и системи за анкетиране на състояния на сензори.
• API предоставя възможност за контролиране на компресията на ниво индивидуална стойност, което ви позволява да съхранявате както компресирани, така и некомпресирани записи в едно и също хранилище.
• Добавени са нови режими за отваряне на KVDB, което ви позволява да формирате заявки към базата данни в хранилища само за четене.

Източник: opennet.ru