úložiť , optimalizované pre ukladanie viacerých rozmerových polí a údajov používaných vo vedeckých výpočtoch. Medzi aplikácie TileDB patrí rôzne systémy na spracovanie genetických informácií, priestorových a finančných údajov, t.j. systémy zaoberajúce sa alebo kontinuálne plnenými viacerými rozmerovými poliami. TileDB ponúka C++ knižnicu na transparentné abstrahovanie prístupu k údajom a metadátam v aplikáciách, pričom preberá celú prácu na nízkoúrovňovej organizácii efektívneho ukladania. Kód projektu je napísaný v programovacom jazyku C++ a pod licenciou MIT. Podporovaná práca v Linuxe, macOS a Windows.
Hlavné vlastnosti TileDB:
- Efektívne metódy ukladania riedkych polí, ktorých údaje nie sú kontinuálne, pole sa plní fragmentmi a väčšina prvkov zostáva prázdnych alebo má rovnakú hodnotu.
- Možnosť prístupu k údajom vo formáte kľúč-hodnota alebo súborov stĺpcov ();
- Podpora integrácie s cloudovými úložiskami AWS S3, Google Cloud Storage a Azure Blob Storage;
- Podpora mozaikových (blokových) polí;
- Možnosť používania rôznych algoritmov na kompresiu a šifrovanie údajov;
- Podpora overovania integrity podľa kontrolných súm;
- Práca v multithreadovom režime s paralelizáciou vstupu/výstupu;
- Podpora verzionovania uložených údajov, vrátane možnosti ťažby stavu v určitom momente v minulosti alebo atómových aktualizácií celých veľkých súborov.
- Možnosť viazania metadát;
- Podpora triedenia údajov;
- Moduly integrácie na použitie ako nízkoúrovňový motor ukladania v Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF a PrestoDB;
- Knižnice-vrstvy nad C++ API pre jazyky Python, R, Java a Go.
Verzia 2.0 sa vyznačuje podporou konceptu „DataFrame“, ktorý umožňuje uchovávať dáta vo forme stĺpcov hodnôt ľubovoľnej dĺžky, viazaných na určité atribúty. Úložisko je tiež optimalizované na spracovanie sparse polí rôznej veľkosti (v bunkách môžu byť uložené dáta rôzneho typu a môžu sa vykonávať operácie zlúčenia stĺpcov rôzneho typu, napríklad tých, ktoré uchovávajú názov, čas a cenu). Pridaná podpora pre stĺpce so textovými údajmi. Pridané moduly na integráciu s Google Cloud Storage a Azure Blob Storage. Vylepšené API pre jazyk R.
Zdroj: opennet.ru
