Publication de la base de données distribuée TiDB 3.0

Disponible lancement de la base de données distribuée TiDB 3.0, développée sous l'influence des technologies de Google Spanner et F1. TiDB fait partie des systèmes hybrides HTAP (Hybrid Transactional/Analytical Processing), capables à la fois d'assurer l'exécution de transactions en temps réel (OLTP) et de traiter des requêtes analytiques. Le projet est écrit en Go et est distribué sous licence Apache 2.0.

Caractéristiques de TiDB :

• Prise en charge de SQL et fourniture d'une interface client compatible avec le protocole MySQL, facilitant l'adaptation des applications existantes pour TiDB déjà écrites pour MySQL, tout en permettant d'utiliser des bibliothèques clientes largement répandues. En plus du protocole MySQL pour accéder à la base de données, il est possible d'utiliser une API basée sur JSON et un connecteur pour Spark.
• Les fonctionnalités SQL incluent les index, les fonctions d'agrégation, les expressions GROUP BY, ORDER BY, DISTINCT, les jointures (LEFT JOIN / RIGHT JOIN / CROSS JOIN), les vues, les fonctions analytiques et les sous-requêtes. Les fonctionnalités fournies sont suffisantes pour le fonctionnement avec TiDB d'applications web telles que PhpMyAdmin, Gogs et WordPress ;
• Possibilité d'évoluer horizontalement et d'assurer la résilience : la taille du stockage et la puissance de calcul peuvent être augmentées simplement en ajoutant de nouveaux nœuds. Les données sont réparties sur les nœuds avec redondance, permettant la continuité de l'opération en cas de défaillance de nœuds individuels. Les pannes sont gérées automatiquement.
• Le système garantit la cohérence et pour le logiciel client il apparaît comme une grande base de données, même si, en réalité, les données proviennent de nombreux nœuds pour exécuter une transaction.
• Pour le stockage physique des données sur les nœuds, différents backends peuvent être utilisés, par exemple, les moteurs de stockage locaux GoLevelDB et BoltDB ou son propre moteur de stockage distribué TiKV.
• Possibilité de modifier la structure de stockage de manière asynchrone, permettant d'ajouter des colonnes et des index à la volée sans arrêter le traitement des opérations en cours.

Principales nouveautés:

• Des efforts ont été consacrés à l'amélioration des performances. Dans le test Sysbench version 3.0, il dépasse la branche 2.1 de 1,5 fois lors de l'exécution des opérations de sélection et de mise à jour, et dans le test TPC-C, de 4,5 fois. Les optimisations ont concerné différents types de requêtes, y compris les sous-requêtes « IN », « DO » et « NOT EXISTS », les opérations de jointure de tables (JOIN), l'utilisation des index et bien d'autres;
  
• Un nouveau moteur de stockage TiFlash a été ajouté, permettant d'atteindre de meilleures performances lors de l'exécution de tâches analytiques (OLAP), grâce à un stockage en colonne. TiFlash complète le stockage TiKV précédemment proposé, qui stockait les données sous forme de lignes dans un format clé/valeur, plus optimal pour les tâches de traitement des transactions (OLTP). TiFlash fonctionne en complément de TiKV, et les données continuent d'être répliquées dans TiKV comme auparavant, en utilisant le protocole Raft pour établir un consensus, mais pour chaque groupe de répliques Raft, une réplique supplémentaire est créée, utilisée dans TiFlash. Cette approche permet une meilleure séparation des ressources entre les tâches OLTP et OLAP, et rend également les données de transaction instantanément accessibles pour les requêtes analytiques.
  
• Un collecteur de déchets distribué a été mis en œuvre, permettant d'améliorer considérablement la vitesse de collecte des déchets dans de grands clusters et d'augmenter la stabilité du système.
• Une implémentation expérimentale du système de contrôle d'accès basé sur les rôles (RBAC) a été ajoutée. Il est également possible de définir des droits d'accès pour les opérations ANALYZE, USE, SET GLOBAL et SHOW PROCESSLIST.
• La possibilité d'utiliser des expressions SQL pour sélectionner à partir du journal des requêtes lentes a été ajoutée.
• Un mécanisme de récupération rapide des tables supprimées a été mis en œuvre, permettant de restaurer des données supprimées par inadvertance.
• Le format des journaux enregistrés a été unifié.
• Le mode de verrouillage pessimiste a été ajouté, ce qui rapproche le traitement des transactions de MySQL.
• La prise en charge des fonctions de fenêtre (window functions ou fonctions analytiques) compatibles avec MySQL 8.0 a été ajoutée. Les fonctions de fenêtre permettent d'effectuer des calculs pour chaque ligne d'une requête en utilisant d'autres lignes. Contrairement aux fonctions d'agrégation qui réduisent un ensemble de lignes groupées en une seule ligne, les fonctions de fenêtre effectuent une agrégation basée sur le contenu de la « fenêtre », englobant une ou plusieurs lignes de l'ensemble de résultats. Parmi les fonctions de fenêtre implémentées :
  NTILE, LEAD, LAG, PERCENT_RANK, NTH_VALUE, CUME_DIST, FIRST_VALUE, LAST_VALUE, RANK, DENSE_RANK et ROW_NUMBER.
• Un support expérimental pour les vues (VIEW) a été ajouté.
• Le système de partitionnement a été amélioré, permettant de distribuer les données entre des sections sur la base de plages de valeurs ou de hachages.
• Un framework pour le développement de plugins a été ajouté, avec par exemple des plugins déjà préparés pour l'utilisation d'une liste blanche d'IP ou pour la tenue d'un journal d'audit ;
• Un support expérimental pour la fonction « EXPLAIN ANALYZE » a été assuré pour la création d'un plan d'exécution de requête SQL (SQL Plan Management) ;
• La commande next_row_id a été ajoutée pour obtenir l'identifiant de la prochaine ligne ;
• De nouvelles fonctions intégrées JSON_QUOTE, JSON_ARRAY_APPEND, JSON_MERGE_PRESERVE, BENCHMARK, COALESCE et NAME_CONST ont été ajoutées.

Source : opennet.ru