Publication de DuckDB 0.6.0, une variante de SQLite pour les requêtes analytiques

La version 0.6.0 de la base de données DuckDB est maintenant disponible, combinant des caractéristiques de SQLite, telles que la compacité, la possibilité d’intégration sous forme de bibliothèque embarquée, le stockage de la base de données dans un seul fichier et une interface en ligne de commande conviviale, avec des outils et des optimisations pour exécuter des requêtes analytiques sur une part significative des données stockées, par exemple, en effectuant l'agrégation de tout le contenu des tableaux ou en fusionnant plusieurs grands tableaux. Le code du projet est distribué sous la licence MIT. Le développement est encore au stade de formation de versions expérimentales, car le format de stockage n'est pas encore stabilisé et change d'une version à l'autre.

DuckDB propose un dialecte SQL étendu, incluant des fonctionnalités supplémentaires pour traiter des requêtes très complexes et de longue durée. L'utilisation de types complexes (tableaux, structures, unions) est supportée, ainsi que la possibilité d'exécuter des sous-requêtes corrélées arbitraires et imbriquées. L'exécution simultanée de plusieurs requêtes est prise en charge, ainsi que l'exécution de requêtes directement à partir de fichiers au format CSV et Parquet. Il est possible d'importer des données depuis la base de données PostgreSQL.

En plus du code Shell provenant de SQLite, le projet utilise un parseur extrait de PostgreSQL, le composant Date Math de MonetDB, sa propre implémentation de fonctions de fenêtre (basée sur l'algorithme Segment Tree Aggregation), un gestionnaire d'expressions régulières basé sur la bibliothèque RE2, son propre optimiseur de requêtes, un mécanisme de contrôle de concurrence multi-version (Multi-Version Concurrency Control), ainsi qu'un moteur d'exécution de requêtes vectorisé basé sur l'algorithme Hyper-Pipelining Query Execution, permettant de traiter de grands ensembles de valeurs en une seule opération.

Parmi les changements de la nouvelle version :

• Le travail sur l'amélioration du format de stockage se poursuit. Un mode d'écriture optimiste sur disque a été mis en œuvre, dans lequel, lors du chargement d'un ensemble de données volumineux en une seule transaction, les données sont compressées et écrites en mode flux dans le fichier de la base de données, sans attendre la confirmation de la transaction par la commande COMMIT. Lorsque la commande COMMIT est reçue, les données sont déjà écrites sur le disque, et en cas de ROLLBACK, elles sont abandonnées. Auparavant, les données étaient d'abord complètement enregistrées en mémoire, puis enregistrées sur disque au moment du commit.
• Le support du chargement parallèle des données dans des tables distinctes a été ajouté, permettant d'augmenter considérablement la vitesse de chargement sur les systèmes multicœurs. Par exemple, dans la version précédente, le chargement d'une base de données de 150 millions de lignes sur un CPU à 10 cœurs prenait 91 secondes, tandis que dans la nouvelle version, cette opération s'effectue en 17 secondes. Deux modes de chargement parallèle sont prévus — avec ou sans maintien de l’ordre des enregistrements.
• Pour la compression des données, l'algorithme FSST (Fast Static Symbol Table) a été utilisé, permettant de compresser les données à l'intérieur des chaînes en utilisant un dictionnaire partagé de correspondances typiques. L'application de ce nouvel algorithme a permis de réduire la taille de la base de données de test de 761 Mo à 251 Mo.
• Pour la compression des nombres à virgule flottante (DOUBLE et FLOAT), les algorithmes Chimp et Patas ont été proposés. Par rapport à l'algorithme Gorillas utilisé auparavant, Chimp offre un niveau de compression supérieur et un décompression plus rapide. L'algorithme Patas est moins performant en termes de compression par rapport à Chimp, mais il est significativement plus rapide en termes de décompression, le temps étant presque identique à celui de la lecture des données non compressées.
• Une fonctionnalité expérimentale de chargement de données depuis des fichiers CSV en plusieurs flux parallèles (SET experimental_parallel_csv=true) a été ajoutée, ce qui réduit considérablement le temps de chargement des grands fichiers CSV. Par exemple, avec l'option activée, le temps de chargement d'un fichier CSV de 720 Mo est passé de 3,5 à 0,6 seconde.
• La possibilité d'exécution parallèle des opérations de création et de gestion des index a été mise en œuvre. Par exemple, l'exécution de l'opération CREATE INDEX pour une colonne contenant 16 millions d'enregistrements a été réduite de 5,92 à 1,38 seconde.
• L'opération d'agrégation dans les requêtes contenant l'expression «COUNT(DISTINCT col)» a été parallélisée.
• Le support du type UNION a été ajouté à SQL, permettant l'association de plusieurs types à un seul élément (par exemple, «UNION(num INT, error VARCHAR))»).
• SQL permet désormais de créer des requêtes commençant par le mot «FROM» au lieu de «SELECT». Dans ce cas, il est sous-entendu que la requête commence par «SELECT *».
• SQL a ajouté le support de l'expression «COLUMNS», permettant d'effectuer une opération sur plusieurs colonnes sans duplication de l'expression. Par exemple, «SELECT MIN(COLUMNS(*)) from obs;» exécutera la fonction MIN pour chaque colonne de la table obs, tandis que «SELECT COLUMNS(‘val[0-9]+’) from obs;» sélectionnera les colonnes dont le nom est composé de «val» et de chiffres.
• Le support des opérations sur les listes a été ajouté, par exemple, «SELECT [x + 1 for x in [1, 2, 3]] AS l;».
• Une optimisation de la consommation de mémoire a été effectuée. Par défaut, sur la plateforme Linux, la bibliothèque jemalloc est utilisée pour la gestion de la mémoire. La performance des opérations de jointure de hachages a été considérablement améliorée avec une mémoire limitée.
• Un mode d'affichage «.mode duckbox» a été ajouté à l'interface de ligne de commande, éliminant les colonnes intermédiaires en tenant compte de la largeur de la fenêtre du terminal (adapté pour une évaluation rapide des résultats des requêtes avec un grand nombre de colonnes, comme «SELECT * FROM tbl», qui dans le mode normal se répartissent sur plusieurs lignes). Avec le paramètre «.maxrows X», il est également possible de limiter le nombre de lignes affichées.
• L'autocomplétion de la saisie en tenant compte du contexte a été intégrée dans le CLI (les mots-clés, noms de tables, fonctions, noms de colonnes et noms de fichiers sont complétés automatiquement).
• L'affichage de l'indicateur de progression de l'exécution de la requête est activé par défaut dans le CLI.

Source : opennet.ru