🥇Vydání úložiště TileDB 2.0

Publikováno úložiště TileDB 2.0, optimalizovaný pro ukládání vícerozměrných polí a dat používaných v vědeckých výpočtech. Mezi oblasti použití TileDB patří různé systémy zpracování genetických informací, prostorových a finančních dat, tj. systémy, které operují s řídkými nebo kontinuálně vyplňovanými vícerozměrnými poli. TileDB nabízí C++ knihovnu pro transparentní abstrahování přístupu k datům a metadatům v aplikacích, přičemž se stará o veškerou práci spojenou s nízkoúrovňovou organizací efektivního ukládání. Kód projektu je napsán v C++ a distribuováno je licencován pod MIT. Podporována je práce v Linuxu, macOS a Windows.

Hlavní vlastnosti TileDB:

Efektivní metody ukládání řídkých polí, kde data nejsou kontinuální, pole se vyplňuje fragmenty a většina prvků zůstává prázdných nebo má stejnou hodnotu.
Možnost přístupu k datům ve formátu klíč-hodnota nebo sadě sloupců (DataFrame);
Podpora integrace s cloudovými úložišti AWS S3, Google Cloud Storage a Azure Blob Storage;
Podpora mřížkových (blokových) polí;
Možnost použití různých algoritmů pro kompresi a šifrování dat;
Podpora kontroly integrity prostřednictvím kontrolních součtů;
Práce v multithreadovém režimu s paralelním vstupem/výstupem;
Podpora verzování uložených dat, včetně možnosti načtení stavu v určitém okamžiku v minulosti nebo atomických aktualizací celých velkých sad.
Možnost vázání metadat;
Podpora skupinování dat;
Integrovací moduly pro použití jako nízkoúrovňový úložný engine ve Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF a PrestoDB;
Wrapper knihovny nad C++ API pro jazyky Python, R, Java a Go.

Verze 2.0 se vyznačuje podporou konceptu „DataFrame“, který umožňuje ukládat data ve formě sloupců hodnot libovolné délky, vázaných na určité atributy. Ukládání je také optimalizováno pro zpracování řídkých polí heterogenní velikosti (ve buňkách mohou být uloženy různé typy dat a lze provádět operace slučování sloupců různých typů, například ve kterých jsou uloženy název, čas a cena). Byla přidána podpora sloupců se textovými daty. Byly přidány moduly pro integraci s Google Cloud Storage a Azure Blob Storage. API pro jazyk R bylo přepracováno.

Zdroj: opennet.ru