Lëshimi i versionit të bazës së të dhënave të shpërndarë Apache Cloudberry 2.0.0, që vazhdon zhvillimin e bazës së kodit të hapur të bazës së të dhënave Greenplum, e cila u shndërrua nga kompania Broadcom në një produkt të mbyllur pas blerjes së VMware. Apache Cloudberry 2.0.0 njihet si lëshimi i parë i projektit, pas kalimit të kodit në komunitetin Apache. Projekti aktualisht është në inkubatorin Apache dhe do të kalojë në projektet kryesore të Apache pas gatishmërisë së infrastrukturës dhe mbështetjes.
Baza e të dhënave Cloudberry është një version i shpërndarë i bazës së të dhënave PostgreSQL të hapur, e optimizuar për realizimin e kërkesave analitike mbi sasi të mëdha të dhënash (Data Warehouse). Për përpunimin paralel të të dhënave përdoret aranzhimi massiv-paralel (MPP, massively parallel processing), i cili siguron shkallëzueshmërinë e ruajtjes deri në përmasat e petabyte duke ndarë të dhënat në segmente dhe duke angazhuar një grup klasteri për ruajtjen dhe përpunimin e tyre. serverëve.
Përmirësimet në Apache Cloudberry 2.0.0:
- E realizuar kalimi në bazën e kodit PostgreSQL 14 (Greenplum ishte ndërtuar mbi PostgreSQL 12).
- Shtuar mbështetje për tabelat dinamike, duke lejuar përditësimin automatik të rezultateve të pyetjeve. Kjo mundësi është e dobishme kur nevojitet punë me të dhënat e azhurnuara, për shembull, për analizën e të dhënave në kohë reale, arkitekturën Lakehouse dhe përpunuesit automatizues të ETL (Nxjerr, Transformo, Ngarko).
- Implementuar formatin e ri hibrid të ruajtjes PAX (Partition Attributes Across), i cili kombinon mundësitë e ruajtjeve të bazuara në rreshta dhe kolona. Formati PAX lejon arritjen e performancës së lartë si në ngarkesat e larta të shkruarjes, ashtu edhe në ekzekutimin e pyetjeve analitike.
- Planifikimi dhe ekzekutimi i pyetjeve të shpërndara janë optimizuar ndjeshëm.
- Përmirësuar menaxhimi i burimeve: rritur efikasitetin e punës me memorjen dhe CPU në nyjat e klasit.
- Përmirësuar shpërndarja e të dhënave midis nyjave dhe përpunimi paralel i pyetjeve.
- Zgjeruar strategjitë e kopjimit në ambientet e shpërndara.
- Informacioni rreth licencave dhe formatimi i titujve të skedarëve me kodin janë sjellë në përputhje me kërkesat e Fondit Apache. Nga lëshimet në kodin burimor janë përjashtuar artefaktet binarë.
- Përmirësuar procesi i ndërtimit të komponenteve të projektit në gjuhët C++ dhe Python.
Burimi: opennet.ru
