Micron Technology, société spécialisée dans la production de DRAM et de mémoire flash, a publié la sortie du moteur de stockage HSE 3.0 (Heterogeneous-memory Storage Engine), conçu en tenant compte des spécificités d'utilisation sur disques SSD et mémoire morte ( NVDIMM). Le moteur est conçu comme une bibliothèque à intégrer dans d'autres applications et prend en charge le traitement des données au format clé-valeur. Le code HSE est écrit en C et est sous licence Apache 2.0.
HSE est optimisé non seulement pour des performances maximales, mais également pour la longévité sur une variété de classes de SSD. Une vitesse de fonctionnement élevée est obtenue grâce à un modèle de stockage hybride : les données les plus pertinentes sont mises en cache dans la RAM, ce qui réduit le nombre d'accès au disque. Le moteur peut être utilisé pour le stockage de données de bas niveau dans les SGBD NoSQL, les stockages logiciels (SDS, Software-Defined Storage) tels que Ceph et Scality RING, les plateformes de traitement de grandes quantités de données (Big Data), le calcul haute performance (HPC). ) systèmes, appareils Internet des objets (IoT) ) et solutions pour systèmes d'apprentissage automatique. A titre d'exemple d'intégration du moteur dans des projets tiers, une version du SGBD orienté document MongoDB a été préparée, convertie pour utiliser HSE.
Principales caractéristiques du HSE :
- Prise en charge des opérateurs standards et étendus pour le traitement des données au format clé/valeur ;
- Prise en charge complète des transactions avec la possibilité d'isoler des tranches de stockage grâce à la création d'instantanés (les instantanés peuvent également être utilisés pour conserver des collections indépendantes dans un seul stockage) ;
- La possibilité d'utiliser des curseurs pour parcourir les données dans des vues basées sur des instantanés ;
- Modèle de données optimisé pour les types de charges de travail mixtes ;
- Mécanismes flexibles pour gérer la fiabilité du stockage ;
- Schémas d'orchestration de données personnalisables (répartition sur différents types de mémoire présents dans le stockage) ;
- Une bibliothèque avec une API C qui peut se lier dynamiquement à n'importe quelle application. Disponibilité des liaisons pour Python et Java ;
- Prise en charge du stockage des clés et des données sous forme compressée.
- Capacité à évoluer jusqu'à des téraoctets de données et des centaines de milliards de clés en stockage ;
- Traitement efficace de milliers d’opérations parallèles ;
- La possibilité d'utiliser des disques SSD de différentes classes dans un seul stockage pour optimiser les performances et prolonger la durée de vie du disque.
Le changement important du numéro de version dans HSE 3.0 est dû à des modifications de l'API, de la CLI, des options de configuration, de l'interface REST et du format de stockage qui rompent la compatibilité ascendante. La nouvelle version s'est concentrée sur l'optimisation du stockage des données afin d'améliorer les performances de certaines charges de travail critiques. Parmi les améliorations les plus notables :
- Les performances des opérations de curseur sont désormais indépendantes de la longueur du filtre, ce qui vous permet de parcourir les clés à l'aide d'un curseur avec des filtres arbitraires sans réduire le débit.
- Les performances de lecture et d'écriture ont été augmentées dans les situations où des clés croissantes de manière monotone sont utilisées, par exemple lors du stockage de tranches de valeurs de paramètres enregistrées à certains intervalles dans les systèmes de surveillance, les plateformes financières et les systèmes d'interrogation des états des capteurs.
- L'API offre la possibilité de contrôler la compression au niveau de la valeur individuelle, vous permettant ainsi de stocker des enregistrements compressés et non compressés dans le même stockage.
- De nouveaux modes d'ouverture de KVDB ont été ajoutés, vous permettant de former des requêtes sur la base de données dans des stockages en lecture seule.
Source: opennet.ru