Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти, опубликовала выпуск движка хранения HSE 3.0 (Heterogeneous-memory Storage Engine), разработанный с учётом специфики использования на SSD-накопителях и постоянной памяти (NVDIMM). Движок выполнен в форме библиотеки для встраивания в другие приложения и поддерживает обработку данных в формате ключ-значение. Код HSE написан на языке Си и распространяется под лицензией Apache 2.0.
HSE оптимизирован не только для достижения максимальной производительности, но и для обеспечения долговечности работы различных классов SSD-накопителей. Высокая скорость работы достигается за счёт гибридной модели хранения — наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю. Движок может применяться для низкоуровневого хранения данных в NoSQL СУБД, программных хранилищах (SDS, Software-Defined Storage) типа Ceph и Scality RING, платформах для обработки больших объёмов данных (Big Data), системах высокопроизводительных вычислений (HPC), устройствах интернета вещей (IoT) и решениях для систем машинного обучения. В качестве примера интеграции движка в сторонние проекты подготовлен вариант документно-ориентированной СУБД MongoDB, переведённый на использование HSE.
Основные возможности HSE:
- కీ/విలువ ఆకృతిలో డేటాను ప్రాసెస్ చేయడానికి ప్రామాణిక మరియు పొడిగించిన ఆపరేటర్లకు మద్దతు;
- Полная поддержка транзакций с возможностью изоляции срезов хранилища через создание снапшотов (снапшоты также могут применяться для поддержания независимых коллекций в одном хранилище);
- Возможность использования курсоров для перебора данных в представлениях на основе снапшота;
- Модель данных, оптимизированная для смешанных типов нагрузки;
- సౌకర్యవంతమైన నిల్వ విశ్వసనీయత నిర్వహణ విధానాలు;
- అనుకూలీకరించదగిన డేటా ఆర్కెస్ట్రేషన్ పథకాలు (నిల్వలో ఉన్న వివిధ రకాల మెమరీలో పంపిణీ);
- Библиотека с C API, которая может динамически связываться с любыми приложениями. Наличие привязок для Python и Java;
- Поддержка хранения ключей и данных в сжатом виде.
- టెరాబైట్ల డేటా మరియు వందల బిలియన్ల కీల నిల్వలో స్కేల్ చేయగల సామర్థ్యం;
- వేలకొద్దీ సమాంతర కార్యకలాపాల సమర్థవంతమైన ప్రాసెసింగ్;
- Возможность использования в одном хранилище SSD-накопителей разных классов для оптимизации производительности и продления срока службы накопителя.
Значительное изменение номера версии в HSE 3.0 вызвано наличием изменений в API, CLI, параметрах конфигурации, REST-интерфейсе и формате хранения, нарушающих обратную совместимость. При подготовке нового выпуска основное внимание было уделено оптимизации хранения данных для повышения производительности при некоторых важных видах нагрузки. Среди наиболее заметных улучшений:
- Производительность операций с курсором теперь не зависит от длины фильтра, что позволяет без снижения пропускной способности перебирать ключи, используя курсор с произвольными фильтрами.
- Увеличена производительность чтения и записи в ситуациях использования монотонно увеличивающихся ключей, например, при хранении срезов значений параметров, записываемых через определённые промежутки времени, в системах мониторинга, финансовых платформах и системах опроса состояний датчиков.
- В API предоставлена возможность управления сжатием на уровне отдельных значений, что позволяет держать в одном хранилище как сжатые, так и несжатые записи.
- Добавлены новые режимы открытия KVDB, позволяющие формировать запросы к БД в хранилищах, доступных только на чтение.
మూలం: opennet.ru