Sortie de Dragonfly 1.0, un système de mise en cache des données en mémoire vive

La sortie du système de mise en cache et de stockage en mémoire vive, Dragonfly, a eu lieu. Ce système manipule les données au format clé/valeur et peut être utilisé comme une solution légère pour accélérer les performances des sites à fort trafic, en mettant en cache les requêtes lentes à la SGBD et les données intermédiaires en mémoire vive. Dragonfly prend en charge les protocoles Memcached et Redis, permettant d'utiliser des bibliothèques clientes existantes et de migrer vers Dragonfly des projets utilisant Memcached et Redis sans retravailler le code.

Comparé à Redis, Dragonfly a réussi à obtenir un augment de performance 25 fois supérieur (3,8 millions de requêtes par seconde) sous des charges de travail typiques dans un environnement Amazon EC2 c6gn.16xlarge. Par rapport à Memcached dans l'environnement AWS c6gn.16xlarge, Dragonfly a pu exécuter 4,7 fois plus de requêtes par seconde à l'écriture (3,8 millions contre 806 000) et 1,77 fois plus de requêtes par seconde à la lecture (3,7 millions contre 2,1 millions).

Lors des tests de stockage de 5 Go de données, Dragonfly a nécessité 30% de mémoire en moins que Redis. Pendant la création de snapshots avec la commande «bgsave», la consommation de mémoire augmente, mais aux moments de pointe, elle restait près de trois fois moins élevée que celle de Redis, et l'opération d'écriture du snapshot s'effectue de manière significativement plus rapide (dans le test, le snapshot dans Dragonfly a été enregistré en 30 secondes, tandis que Redis a pris 42 secondes).

Une performance élevée est atteinte grâce à une architecture multithread sans partage de ressources (shared-nothing), impliquant qu'un gestionnaire séparé, avec sa propre portion de données, est associé à chaque thread, fonctionnant sans mutex ni spin-locks. Pour garantir l'atomicité lors de la manipulation de plusieurs clés, des verrous légers VLL sont utilisés. Une structure dashtable, qui met en œuvre une variété de tables de hachage partitionnées, est appliquée pour un stockage efficace des informations en mémoire.

Certaines fonctionnalités de Dragonfly :

• Mode de mise en cache avec lequel les anciennes données sont automatiquement remplacées par de nouvelles lorsque la mémoire libre est épuisée.
• Prise en charge de la liaison temporelle des données, pendant laquelle les données sont considérées comme valides.
• Prise en charge du rafraîchissement de l'état du stockage sur disque en arrière-plan pour une restauration ultérieure après un redémarrage.
• Présence d'une console HTTP (liée au port TCP 6379) pour gérer le système et d'une API pour délivrer des métriques, compatible avec Prometheus.
• Prise en charge de 185 commandes Redis, ce qui correspond environ à la fonctionnalité de la version Redis 5.
• Prise en charge de toutes les commandes Memcached, sauf CAS (check-and-set).
• Prise en charge des opérations asynchrones pour la création de snapshots.
• Consommation de mémoire prévisible.
• Interpréteur Lua 5.4 intégré.
• Prise en charge de types de données complexes, tels que des hachages, des ensembles, des listes (ZSET, HSET, LIST, SETS et STRING) et des données au format JSON.
• Prise en charge de la réplication du stockage pour assurer la tolérance aux pannes et la répartition de la charge.

Le code de Dragonfly est écrit en C/C++ et est distribué sous la licence BSL (Business Source License). La licence BSL a été proposée par les cofondateurs de MySQL comme alternative au modèle Open Core. L'idée de la BSL est que le code de la fonctionnalité avancée est initialement disponible pour modification, mais qu'il peut être utilisé gratuitement pendant un certain temps uniquement sous certaines conditions, contournement desquelles nécessite l'achat d'une licence commerciale. Les conditions de licence supplémentaires du projet Dragonfly prévoient un passage à la licence Apache 2.0 le 15 mars 2028. Jusqu'à cette date, la licence permet d'utiliser le code uniquement pour assurer le fonctionnement de ses services et produits, mais interdit son utilisation pour créer des services cloud payants qui s'appuient sur Dragonfly.

La version Dragonfly 1.0 se distingue par la mise en œuvre du support de la réplication des données de la source de serveurs vers la secondaire. Dans ce cadre, Dragonfly peut être configuré pour être utilisé comme un stockage secondaire, acceptant des données d'un serveur primaire basé soit sur Dragonfly, soit sur Redis. L'API de gestion de la réplication est compatible avec Redis et repose sur les commandes ROLE et REPLICAOF (SLAVEOF).

Source : opennet.ru