Vrystelling van TileDB 2.0-bergingsenjin

Опубликовано repository TileDB 2.0, geoptimaliseer vir die stoor van multidimensionele skikkings en data wat in wetenskaplike berekeninge gebruik word. Verskeie stelsels vir die verwerking van genetiese inligting, ruimtelike en finansiële data word genoem as toepassingsareas vir TileDB, m.a.w. bedryfstelsels yl of voortdurend gevulde multidimensionele skikkings. TileDB bied 'n C++-biblioteek om toegang tot data en metadata in toepassings deursigtig te onttrek, en sorg vir al die laevlakwerk vir doeltreffende berging. Die projekkode is geskryf in C++ en versprei deur onder MIT-lisensie. Ondersteun werk op Linux, macOS en Windows.

Belangrikste kenmerke van TileDB:

• Doeltreffende metodes om yl skikkings te stoor, waarvan die data nie aaneenlopend is nie; die skikking is gevul met fragmente en die meeste van die elemente bly leeg of neem dieselfde waarde aan.
• Vermoë om toegang te verkry tot data in sleutelwaarde-formaat of kolomstelle (Dataraam);
  

• Ondersteun integrasie met wolkberging AWS S3, Google Cloud Storage en Azure Blob Storage;
• Ondersteuning vir geteëlde (blok) skikkings;
• Vermoë om verskillende datakompressie- en enkripsiealgoritmes te gebruik;
• Ondersteuning vir integriteitkontrolering deur kontrolesomme te gebruik;
• Werk in multi-draadmodus met parallelle toevoer/afvoer;
• Ondersteuning vir weergawe van gestoorde data, insluitend vir die herwinning van toestand op 'n sekere punt in die verlede of atoomopdaterings van hele groot stelle.
• Vermoë om metadata te koppel;
• Ondersteuning vir datagroepering;
• Integrasiemodules vir gebruik as 'n laevlakberging-enjin in Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF en PrestoDB;
• Binding van biblioteke vir die C++ API vir Python, R, Java en Go.

Release 2.0 is opvallend vir sy ondersteuning vir die "DataFrame"-konsep, wat toelaat dat data gestoor word in die vorm van kolomme waardes van arbitrêre lengte, gekoppel aan sekere eienskappe. Die berging is ook geoptimaliseer vir die verwerking van yl skikkings van heterogene groottes (selle kan data van verskillende tipes stoor en kan samesmeltingsbewerkings op kolomme van verskillende tipes uitvoer, byvoorbeeld dié wat naam, tyd en prys stoor). Bygevoeg ondersteuning vir kolomme met string data. Bygevoeg modules vir integrasie met Google Cloud Storage en Azure Blob Storage. Die API vir die R-taal is herontwerp.

Bron: opennet.ru