Została wydana dystrybuowana baza danych Apache Cloudberry 2.0.0, kontynuująca rozwój otwartej bazy kodowej bazy danych Greenplum, która została przekształcona przez firmę Broadcom w produkt zamknięty po przejęciu VMware. Apache Cloudberry 2.0.0 jest pierwszym wydaniem projektu po przekazaniu kodu społeczności Apache. Projekt znajduje się obecnie w inkubatorze Apache i zostanie przeniesiony do głównych projektów Apache po przygotowaniu infrastruktury i wspierających.
Baza danych Cloudberry to rozproszona wersja otwartej bazy danych PostgreSQL, zoptymalizowana do wykonywania zapytań analitycznych na dużych zestawach danych (Data Warehouse). Do równoległego przetwarzania danych stosował architekturę masowo-równoległą (MPP, massively parallel processing), która zapewnia skalowalność pamięci masowej do petabajtowych rozmiarów dzięki segmentacji danych i wykorzystaniu klastra do przechowywania i przetwarzania. serwerów.
Wśród ulepszeń w Apache Cloudberry 2.0.0:
- Dokonano przesiadki na bazę kodową PostgreSQL 14 (Greenplum bazował na PostgreSQL 12).
- Dodano wsparcie dla dynamicznych tabel, które umożliwiają automatyczne aktualizowanie wyników zapytań. Nowa funkcjonalność jest przydatna w przypadkach pracy z aktualnymi danymi, na przykład do analizy danych w czasie rzeczywistym, architekturze Lakehouse i zautomatyzowanych procesorach ETL (Extract, Transform, Load).
- Zrealizowano nowy hybrydowy format magazynowania PAX (Partition Attributes Across), łączący możliwości magazynów opartych na wierszach i kolumnach. Format PAX pozwala osiągnąć wysoką wydajność zarówno przy dużym obciążeniu zapisem, jak i przy wykonywaniu zapytań analitycznych.
- Znacząco zoptymalizowano planowanie i wykonywanie rozproszonych zapytań.
- Ulepszono zarządzanie zasobami: zwiększona efektywność pracy z pamięcią i CPU na węzłach klastra.
- Ulepszono rozkład danych na węzłach oraz równoległe przetwarzanie zapytań.
- Rozszerzono strategie tworzenia kopii zapasowych w rozproszonych środowiskach.
- Informacje o licencjach i formatowanie nagłówków plików z kodem dostosowane do wymogów Fundacji Apache. Z wydań w kodzie źródłowym usunięto artefakty binarne.
- Udoskonalono proces budowy komponentów projektu w językach C++ i Python.
Źródło: opennet.ru
