Les développeurs de SQLite développent le backend HC-tree avec prise en charge des opérations d'écriture parallèles

Les développeurs du projet SQLite ont commencé à tester un backend expérimental HCtree, qui prend en charge le verrouillage au niveau des lignes et offre un haut niveau de parallélisme lors du traitement des requêtes. Ce nouveau backend vise à améliorer l'efficacité de l'utilisation de SQLite dans les systèmes client-serveur, où un grand nombre de requêtes simultanées d'écriture dans la base de données doivent être traitées.

Les structures b-tree, initialement utilisées dans SQLite pour le stockage des données, ne sont pas conçues pour ce type de charge, ce qui limite SQLite à effectuer des écritures dans un seul thread. En expérimentation, les développeurs ont commencé à développer une solution alternative utilisant des structures HC-tree, plus adaptées au parallélisme des opérations d'écriture.

Pour organiser l'exécution simultanée de plusieurs opérations d'écriture dans HCtree, un mécanisme de séparation des transactions est utilisé, reposant sur des verrous au niveau des pages et similaire au MVCC (contrôle d'accès multi-version), mais utilisant des vérifications de transactions basées sur des clés et des plages de clés au lieu de jeux de pages. Les opérations de lecture et d'écriture sont effectuées par rapport à un instantané de la base de données, dont les modifications ne deviennent visibles dans la base de données principale qu'à la fin de la transaction.

Les clients peuvent utiliser trois opérations pour ouvrir des transactions :

• «BEGIN» — les transactions ne tiennent pas compte des données d'accès d'autres clients. Si des opérations d'écriture sont effectuées dans le cadre de la transaction, celle-ci ne peut être validée que si aucune autre opération d'écriture dans la base de données n'a eu lieu durant son exécution.
• «BEGIN CONCURRENT» — les transactions collectent des informations sur l'accès par d'autres clients. Si des opérations d'écriture sont réalisées dans le cadre de la transaction, celle-ci peut être validée si d'autres transactions ont été validées dans la base de données depuis la création de l'instantané.
• «BEGIN EXCLUSIVE» — après l'ouverture de la transaction, elle bloque les opérations d'autres transactions jusqu'à son achèvement.

HCtree prend en charge la réplication de type « maître-esclave », permettant de transférer des transactions vers une autre base de données et de maintenir des bases secondaires synchronisées avec la base principale. HCtree supprime également la limite de taille de la base de données : au lieu des identifiants de pages de données de 32 bits, HCtree utilise des identifiants de 48 bits, ce qui augmente la taille maximale de la base de données de 16 tébiooctets à 1 exbiooctet (un million de tébiooctets). La performance de SQLite avec le backend HCtree devrait être au moins équivalente à celle du backend classique à thread unique. Les clients SQLite prenant en charge HCtree pourront accéder à la fois à une base de données basée sur la structure HC-tree et à d'anciennes bases de données SQLite.

Source : opennet.ru