Sortie d'Apache Cloudberry 2.0.0, une alternative open-source à la base de données Greenplum

La version 2.0.0 de la base de données distribuée Apache Cloudberry a été présentée, continuant le développement de la base de code ouverte de la base de données Greenplum, qui a été transformée en produit fermé par Broadcom après l'acquisition de VMware. Apache Cloudberry 2.0.0 est marqué comme le premier lancement du projet après le transfert du code à la communauté Apache. Le projet est encore en incubation Apache et sera transféré au nombre des projets principaux d'Apache une fois l'infrastructure et le support opérationnels.

La base de données Cloudberry est une édition distribuée de la base de données ouverte PostgreSQL, optimisée pour exécuter des requêtes analytiques sur de grands ensembles de données (Data Warehouse). Pour le traitement parallèle des données, une architecture de traitement massivement parallèle (MPP) est utilisée, permettant d'échelonner le stockage jusqu'à des tailles de pétaoctets grâce à la division des données en segments et à l'utilisation d'un cluster. serveurs.

Parmi les améliorations de Apache Cloudberry 2.0.0 :

• Migration vers la base de code PostgreSQL 14 (Greenplum était basé sur PostgreSQL 12).
• Ajout de la prise en charge des tables dynamiques, permettant de mettre à jour automatiquement les résultats des requêtes. Cette nouvelle fonctionnalité est utile pour travailler avec des données en temps réel, par exemple, pour l'analyse de données en temps réel, l'architecture Lakehouse et les processeurs ETL (Extract, Transform, Load) automatisés.
• Un nouveau format de stockage hybride PAX (Partition Attributes Across) a été réalisé, combinant les capacités des stockages basés sur les lignes et les colonnes. Le format PAX permet d'atteindre une haute performance aussi bien sous une forte charge d'écriture que lors de l'exécution de requêtes analytiques.
• La planification et l'exécution des requêtes distribuées ont été considérablement optimisées.
• La gestion des ressources a été améliorée : l'efficacité de l'utilisation de la mémoire et du CPU sur les nœuds du cluster a été augmentée.
• La répartition des données entre les nœuds et le traitement parallèle des requêtes ont été améliorés.
• Les stratégies de sauvegarde dans des environnements distribués ont été élargies.
• Les informations sur les licences et la mise en forme des en-têtes de fichiers de code ont été mises en conformité avec les exigences de la Fondation Apache. Les artefacts binaires ont été exclus des versions dans le code source.
• Le processus de construction des composants du projet en C++ et Python a été amélioré.

Source : opennet.ru