È stata presentata la versione 2.0.0 del database distribuito Apache Cloudberry, che continua lo sviluppo della base di codice open source del database Greenplum, trasformata in un prodotto chiuso da Broadcom dopo l'acquisizione di VMware. Apache Cloudberry 2.0.0 è segnato come il primo rilascio del progetto dopo il trasferimento del codice alla comunità Apache. Il progetto è attualmente in fase di incubazione Apache e sarà spostato tra i progetti primari di Apache al termine della preparazione dell'infrastruttura e della documentazione.
Il database Cloudberry è un'edizione distribuita dell'open database PostgreSQL, ottimizzata per l'esecuzione di query analitiche su grandi volumi di dati (Data Warehouse). Per l'elaborazione parallela dei dati viene utilizzata un'architettura massivamente parallela (MPP, massively parallel processing), che garantisce la scalabilità dello storage fino a dimensioni petabyte suddividendo i dati in segmenti e utilizzando un cluster per il loro stoccaggio e trattamento. server.
Tra i miglioramenti in Apache Cloudberry 2.0.0:
- È stata effettuata la migrazione alla base di codice PostgreSQL 14 (Greenplum si basava su PostgreSQL 12).
- È stata aggiunta la supporto per tabelle dinamiche, che consentono di aggiornare automaticamente i risultati delle query. Questa nuova funzionalità è utile per la necessità di lavorare con dati attuali, ad esempio per analisi in tempo reale, architetture Lakehouse e processi ETL (Estrai, Trasforma, Carica) automatizzati.
- È stato implementato un nuovo formato ibrido di archiviazione PAX (Partition Attributes Across), che combina le capacità dei database basati su righe e colonne. Il formato PAX consente di raggiungere elevate prestazioni sia con carichi di scrittura intensivi che durante l'esecuzione di query analitiche.
- Significativa ottimizzazione della pianificazione e dell'esecuzione delle query distribuite.
- Migliorata la gestione delle risorse: aumentata l'efficienza nell'uso della memoria e della CPU nei nodi del cluster.
- Migliorata la distribuzione dei dati tra i nodi e l'elaborazione parallela delle query.
- Ampliate le strategie di backup in ambienti distribuiti.
- Le informazioni sulle licenze e i titoli dei file di codice sono stati allineati ai requisiti della Fondazione Apache. Gli artefatti binari sono stati rimossi dai rilasci nel codice sorgente.
- Migliorato il processo di costruzione dei componenti del progetto in C++ e Python.
Fonte: opennet.ru
