Представената версия на разпределената СУБД Apache Cloudberry 2.0.0 продължава развитието на отворената кодова база на СУБД Greenplum, която бе преобразувана от компания Broadcom в затворен продукт след придобиването на VMware. Apache Cloudberry 2.0.0 е отбелязан като първото издание на проекта след предаването на кода на Apache общността. Проектът все още е в инкубатора на Apache и ще бъде прехвърлен към основните проекти на Apache след готовността на инфраструктурата и придружаващите го елементи.
СУБД Cloudberry представлява разпределена версия на отворената СУБД PostgreSQL, оптимизирана за изпълнение на аналитични запитвания върху големи масиви от данни (Data Warehouse). За паралелна обработка на данните се използва масово-паралелна архитектура (MPP, massively parallel processing), осигуряваща мащабируемост на хранилището до петабайтни размери чрез разделяне на данните на сегменти и ангажиране на кластер от група. сървъри.
Сред подобренията в Apache Cloudberry 2.0.0:
- Извършен е преход към кодовата база на PostgreSQL 14 (Greenplum беше базиран на PostgreSQL 12).
- Добавена е поддръжка на динамични таблици, позволяващи автоматично обновяване на резултатите от запитванията. Новата функция е полезна при необходимостта от работа с актуални данни, например, за анализ на данни в реално време, архитектури Lakehouse и автоматизирани ETL обработчици (Extract, Transform, Load).
- Реализиран е нов хибриден формат на хранилището PAX (Partition Attributes Across), който съчетава възможностите на хранилищата, базирани на редове и колони. Форматът PAX позволява постигане на висока производителност както при висока натовареност на запис, така и при изпълнение на аналитични запитвания.
- Съществено е оптимизирано планирането и изпълнението на разпределени запитвания.
- Подобреното управление на ресурсите: повишена ефективност при работа с памет и CPU на възлите в клъстера.
- Подобрено разпределение на данните по възли и паралелна обработка на запитвания.
- Разширени стратегии за резервно копиране в разпределени среди.
- Информацията за лицензиите и оформлението на заглавките на файловете с код са приведени в съответствие с изискванията на Фондация Apache. От изданието в изходния код са изключени бинарни артефакти.
- Подобрени са процесите на изграждане на компонентите на проекта на езиците C++ и Python.
Източник: opennet.ru
