A fost lansată versiunea 2.0.0 a sistemului de gestionare a bazelor de date distribuite Apache Cloudberry, care continuă dezvoltarea bazei de cod deschis a sistemului de gestionare a bazelor de date Greenplum, transformat de compania Broadcom într-un produs închis după achiziția VMware. Apache Cloudberry 2.0.0 este marcat ca prima lansare a proiectului, după transferul codului comunității Apache. Proiectul este în continuare în incubație Apache și va fi mutat în rândul proiectelor de bază Apache odată ce infrastructura și asistența vor fi pregătite.
Sistemul de gestionare a bazelor de date Cloudberry reprezintă o ediție distribuită a sistemului de management open-source PostgreSQL, optimizată pentru executarea interogărilor analitice pe volume mari de date (Data Warehouse). Pentru procesarea paralelă a datelor se folosește o arhitectură de procesare masiv-paralelă (MPP), asigurând scalabilitatea stocării până la dimensiuni de petabyte datorită împărțirii datelor în segmente și utilizării unui cluster de grupuri. servere.
Printre îmbunătățirile din Apache Cloudberry 2.0.0:
- S-a realizat tranziția la baza de cod PostgreSQL 14 (Greenplum se baza pe PostgreSQL 12).
- A fost adăugată suportul pentru tabelele dinamice, care permit actualizarea automată a rezultatelor interogărilor. Această nouă funcționalitate este utilă când trebuie să lucrăm cu date actualizate, de exemplu, pentru analiza datelor în timp real, arhitectura Lakehouse și procesatorii automatizați ETL (Extract, Transform, Load).
- A fost implementat un nou format hibrid de stocare PAX (Partition Attributes Across), care îmbină capacitățile stocării pe bază de rânduri și coloane. Formatul PAX permite obținerea unei performanțe ridicate atât în condiții de sarcină mare la scriere, cât și în executarea interogărilor analitice.
- Planificarea și executarea interogărilor distribuite au fost semnificativ optimizate.
- Gestionarea resurselor a fost îmbunătățită: eficiența utilizării memoriei și CPU pe nodurile clusterei a fost crescută.
- Îmbunătățirea distribuției datelor pe noduri și a procesării paralele a interogărilor.
- Strategiile de backup în medii distribuite au fost extinse.
- Informațiile despre licențe și formatarea antetelor fișierelor cu cod au fost aduse în conformitate cu cerințele Fondului Apache. Din lansările codului sursă au fost excluse artefactele binare.
- Procesul de construire a componentelor proiectului în limbajele C++ și Python a fost îmbunătățit.
Sursa: opennet.ro
