Moteur de stockage HSE open source Micron optimisé pour les SSD

Micron Technology, une société de DRAM et de mémoire flash, présenté nouveau moteur de stockage HSE (Heterogeneous-memory Storage Engine), conçu en tenant compte des spécificités d'utilisation sur des disques SSD à base de flash NAND (X100, TLC, QLC 3D NAND) ou de mémoire permanente (NVDIMM). Le moteur est conçu comme une bibliothèque à intégrer dans d'autres applications et prend en charge le traitement des données au format clé-valeur. Le code HSE est écrit en C et distribué par sous licence Apache 2.0.

Parmi les domaines d'application du moteur, on cite le stockage de données de bas niveau dans les SGBD NoSQL, les stockages logiciels (SDS, Software-Defined Storage) comme Ceph et Scality RING, les plateformes de traitement de grandes quantités de données (Big Data). , les systèmes informatiques haute performance (HPC), les appareils Internet des objets (IoT) et les solutions pour les systèmes d'apprentissage automatique.

HSE est optimisé non seulement pour des performances maximales, mais également pour la longévité sur une variété de classes de SSD. Une vitesse de fonctionnement élevée est obtenue grâce à un modèle de stockage hybride : les données les plus pertinentes sont mises en cache dans la RAM, ce qui réduit le nombre d'accès au disque. À titre d'exemple d'intégration d'un nouveau moteur dans des projets tiers préparé une version du SGBD orienté document MongoDB, traduite pour utiliser HSE.

Technologiquement, HSE s'appuie sur un module noyau supplémentaire mpool, qui implémente une interface de stockage d'objets spécialisée pour les disques SSD, en tenant compte de leurs capacités et fonctionnalités, ce qui vous permet d'obtenir des caractéristiques de performances et de durabilité fondamentalement différentes. Mpool est également un développement de Micron Technology, ouvert en même temps que HSE, mais séparé en un projet d'infrastructure indépendant. Mpool assume l'utilisation mémoire persistante и installations de stockage zonales, mais ne prend actuellement en charge que les SSD traditionnels.

Tests de performances à l'aide du package YCSB (Yahoo Cloud Serving Benchmark) a montré une augmentation significative des performances lors de l'utilisation de 2 To de stockage avec le traitement de blocs de données de 1 Ko. Une augmentation des performances particulièrement significative est observée dans le test avec une répartition uniforme des opérations de lecture et d'écriture (test « A » dans le graphique).

Par exemple, MongoDB avec le moteur HSE s'est avéré être environ 8 fois plus rapide que la version avec le moteur WiredTiger standard, et le SGBD RocksDB était plus de 6 fois plus rapide que le moteur HSE. D'excellentes performances sont également visibles dans les tests qui impliquent 95 % d'opérations de lecture et 5 % d'opérations de modification ou d'ajout (tests « B » et « D » dans les graphiques). Le test C, qui ne fait intervenir que des opérations de lecture, montre un gain d'environ 40 %. L'augmentation de la capacité de survie des disques SSD lors des opérations d'écriture par rapport à une solution basée sur RocksDB est estimée à 7 fois.

Principales caractéristiques du HSE :

• Prise en charge des opérateurs standards et étendus pour le traitement des données au format clé/valeur ;
• Prise en charge complète des transactions et possibilité d'isoler des tranches de stockage grâce à la création d'instantanés (les instantanés peuvent également être utilisés pour conserver des collections indépendantes dans un seul stockage) ;
• Possibilité d'utiliser des curseurs pour parcourir les données dans des vues basées sur des instantanés ;
• Modèle de données optimisé pour les types de charges mixtes dans un seul stockage ;
• Mécanismes flexibles pour gérer la fiabilité du stockage ;
• Schémas d'orchestration de données personnalisables (répartition sur différents types de mémoire présents dans le stockage) ;
• Une bibliothèque avec une API C qui peut se lier dynamiquement à n'importe quelle application ;
• Capacité à évoluer jusqu'à des téraoctets de données et des centaines de milliards de clés en stockage ;
• Traitement efficace de milliers d’opérations parallèles ;
• Augmentation significative du débit, réduction de la latence et augmentation des performances d'écriture/lecture pour différents types de charges de travail par rapport aux solutions alternatives standard ;
• La possibilité d'utiliser des disques SSD de différentes classes dans un seul stockage pour optimiser les performances et la durabilité.

Source: opennet.ru