La base de données Apache Cassandra 4.0 est maintenant disponible

La fondation Apache Software a présenté la version 4.0 de la base de données distribuée Apache Cassandra, qui appartient à la catégorie des systèmes noSQL et est conçue pour créer des entrepôts hautement évolutifs et fiables pour de vastes ensembles de données stockées sous forme de tableaux associatifs (hachages). La version 4.0 de Cassandra est considérée comme prête pour les déploiements en production et a déjà été testée dans les infrastructures d'entreprises telles qu'Amazon, Apple, DataStax, Instaclustr, iland et Netflix, disposant de clusters comptant plus de 1000 nœuds. Le code du projet est écrit en Java et est distribué sous la licence Apache 2.0.

À l'origine, la base de données Cassandra a été développée par Facebook et a été confiée à la fondation Apache en 2009. Des solutions industrielles basées sur Cassandra sont déployées pour faire fonctionner les services d'entreprises telles qu'Apple, Adobe, CERN, Cisco, IBM, HP, Comcast, Disney, eBay, Huawei, Netflix, Sony, Rackspace, Reddit et Twitter. Par exemple, l'infrastructure de stockage déployée par Apple basée sur Apache Cassandra compte plus de mille clusters, incluant 160 000 nœuds et stockant plus de 100 pétaoctets de données. Huawei utilise plus de 300 clusters Apache Cassandra, incluant 30 000 nœuds, et Netflix dispose de plus de 100 clusters couvrant 10 000 nœuds et traitant plus d'un trillion de requêtes par jour.

La base de données Cassandra intègre un système de hachage complètement distribué, Dynamo, garantissant une évolutivité presque linéaire à mesure que le volume de données augmente. Cassandra utilise un modèle de stockage basé sur des familles de colonnes (ColumnFamily), qui diffère des systèmes comme memcachedb, qui ne stockent des données que sous forme de paires clé/valeur, en permettant d'organiser le stockage de hachages avec plusieurs niveaux d'imbrication. Pour simplifier l'interaction avec la base de données, un langage de requête structuré, CQL (Cassandra Query Language), similaire à SQL mais limité en fonctionnalités, est pris en charge. On peut noter la prise en charge des espaces de noms et des familles de colonnes, ainsi que la création d'index via l'expression « CREATE INDEX ».

La base de données permet de créer des stockages résilients aux pannes : les données insérées dans la base de données sont automatiquement répliquées sur plusieurs nœuds d'un réseau distribué, qui peut couvrir différentes centres de données. En cas de défaillance d'un nœud, ses fonctions sont immédiatement prises en charge par d'autres nœuds. L'ajout de nouveaux nœuds au cluster et la mise à jour de la version de Cassandra se font à la volée, sans intervention manuelle supplémentaire ni reconfiguration des autres nœuds. Les pilotes prenant en charge CQL sont disponibles pour les langages Python, Java (JDBC/DBAPI2), Ruby, PHP, C++ et JavaScript (Node.js).

Les principales nouveautés :

• Amélioration de la performance et de l'évolutivité. L'efficacité de l'échange de données au format SSTable (Sorted Strings Table) entre les nœuds a été augmentée. Le protocole de communication entre les nœuds (Internode Messaging Protocol) a été optimisé. La vitesse de transmission des flux de données entre les nœuds a été multipliée par 5 (principalement grâce à l'application de la technique Zero Copy et à la transmission complète des SSTables), et la bande passante pour les opérations de lecture et d'écriture a augmenté de 25 %. Le processus de récupération incrémentale a été optimisé. Les retardements dus à la suspension par le collecteur de déchets ont été réduits à quelques millisecondes.
• Ajout de la prise en charge des journaux d'audit, permettant de suivre les opérations d'authentification des utilisateurs et toutes les requêtes CQL effectuées.
• Ajout de la possibilité de maintenir un journal binaire complet des requêtes, permettant de conserver tout le trafic des requêtes et des réponses. Pour la gestion, des commandes comme « nodetool enablefullquerylog|disablefullquerylog|resetfullquerylog » sont proposées, et un outil de saisie de données (fqltool) est fourni pour analyser le journal. Des commandes sont fournies pour convertir le journal en un format lisible (Dump), comparer des instantanés d'activité (Compare) et rejouer (Replay) pour l'analyse avec reproduction des conditions caractéristiques de la charge réelle.
• Ajout de la prise en charge des tables virtuelles, qui reflètent non pas les données stockées dans les SSTables, mais les informations fournies via l'API (métriques de performance, informations de configuration, contenu du cache, détails sur les clients connectés, etc.).
• Amélioration de l'efficacité de stockage des données sous une forme compressée, ce qui permet de réduire la consommation d'espace disque et d'améliorer la performance des opérations de lecture.
• Les données relatives à l'espace de clés système (system.*) sont désormais par défaut placées dans le premier répertoire au lieu d'être réparties dans tous les répertoires de données, ce qui permet de préserver la fonctionnalité du nœud en cas de défaillance de l'un des disques supplémentaires.
• Ajout du support expérimental pour la réplication transitoire (Transient Replication) et les quorum légers (Cheap Quorums). Les répliques temporaires ne conservent pas toutes les données et utilisent la restauration incrémentielle pour se synchroniser avec les répliques complètes. Les quorum légers optimisent les opérations d'écriture, où l'écriture sur les répliques temporaires n'est pas effectuée tant qu'un ensemble suffisant de répliques complètes n'est pas disponible.
• Ajout du support expérimental pour Java 11.
• Ajout d'une option expérimentale pour comparer tous les arbres de Merkle (Merkle Tree). Par exemple, activer l'option sur un cluster de 3 nœuds, avec deux répliques identiques et une obsolète, entraînera la mise à jour de la réplique obsolète en n'utilisant qu'une seule opération de copie de la réplique actuelle.
• Ajout de nouvelles fonctions currentTimestamp, currentDate, currentTime et currentTimeUUID.
• Ajout de la prise en charge des opérations arithmétiques dans les requêtes CQL.
• Possibilité d'effectuer des opérations arithmétiques entre des données aux types "timestamp"/"date" et "duration".
• Ajout d'un mode pour prévisualiser les flux de données nécessaires à la restauration (nodetool repair —preview) et possibilité de vérifier l'intégrité des données restaurées (nodetool repair —validate).
• Dans les requêtes SELECT, possibilité de traiter les éléments Map et Set.
• Ajout de la prise en charge du parallélisme lors de la phase de construction initiale des vues matérialisées (cassandra.yaml:concurrent_materialized_view_builders).
• La commande « nodetool cfstats » prend en charge le tri par certaines métriques et limite le nombre de lignes affichées.
• Fourniture de paramètres pour restreindre la connexion des utilisateurs à certains centres de données spécifiques.
• Ajout de la possibilité de limiter l'intensité (rate limit) des opérations de création et de nettoyage des snapshots.
• Dans cqlsh et cqlshlib, prise en charge de Python 3 (le support de Python 2.7 est toujours conservé).
• Fin de la prise en charge de la plateforme Windows. Pour faire fonctionner Cassandra sur Windows, il est recommandé d'utiliser des environnements Linux basés sur le sous-système WSL2 (Windows Subsystem for Linux 2) ou des systèmes de virtualisation.

Source : opennet.ru