Amazon a acquis la société DuckLabs, développant la base de données DuckDB

La société Amazon a annoncé l'acquisition de DuckLabs, qui développe la base de données open source DuckDB. Le processus d'acquisition a été achevé le 31 août, et le montant de la transaction n'est pas divulgué. L'équipe de développeurs de DuckDB rejoindra AWS et continuera à travailler sur les technologies DuckDB sous la direction des co-fondateurs de DuckLabs.

Les avancées de DuckDB seront utilisées pour moderniser, simplifier et améliorer l'efficacité de la pile analytique proposée sur la plateforme AWS. Le service Amazon S3 sera transformé en stockage avec des capacités d'analyse de données intégrées. La base de code de DuckDB continuera à se développer sous la forme d'un projet open source, distribué sous la licence MIT et géré par l'organisation à but non lucratif DuckDB Foundation. Il est à noter que rejoindre AWS élargira le public des utilisateurs de DuckDB et permettra d'obtenir des ressources supplémentaires pour réaliser de nouvelles idées de mise à l'échelle de la base de données.

La base de données DuckDB ressemble conceptuellement à SQLite et combine des caractéristiques telles que la compacité, l'intégration sous forme de bibliothèque embarquée, le stockage de la base de données dans un seul fichier et une interface CLI, avec des fonctionnalités et des optimisations pour l'exécution de requêtes analytiques portant sur une grande partie des données stockées, par exemple, en effectuant l'agrégation du contenu total des tables ou la fusion de plusieurs grandes tables. La base de données prend en charge un dialecte étendu du langage SQL, incluant des fonctionnalités supplémentaires pour traiter des requêtes complexes, de longue durée et imbriquées.

Le projet utilise un shell basé sur SQLite, un analyseur provenant de PostgreSQL, un composant Date Math de MonetDB, sa propre implémentation de fonctions de fenêtres (basée sur l'algorithme Segment Tree Aggregation), un gestionnaire d'expressions régulières sur la base de la bibliothèque RE2, son propre optimiseur de requêtes, un mécanisme de contrôle de la concurrence multi-version (Multi-Version Concurrency Control), ainsi qu'un moteur d'exécution de requêtes vectorisé basé sur l'algorithme Hyper-Pipelining Query Execution, permettant de traiter de grands ensembles de valeurs en une seule opération.

Source : opennet.ru