shranjevanje , optimizirano za shranjevanje večdimenzijskih matrik in podatkov, ki se uporabljajo v znanstvenih izračunih. Kot področja uporabe TileDB omenjamo različne sisteme za obdelavo genetskih informacij, prostorskih in finančnih podatkov, torej sisteme, ki obravnavajo ali nepretrgane večdimenzijske matrike. TileDB ponuja C++ knjižnico za prozorno abstrakcijo dostopa do podatkov in metapodatkov v aplikacijah, prevzema vso delo nizkotne organizacije učinkovitega shranjevanja. Koda projekta je napisana v C++ in pod licenco MIT. Podprto delovanje v Linuxu, macOS-u in Windowsu.
Glavne značilnosti TileDB:
- Učinkovite metode shranjevanja redkih matrik, kjer podatki ne sledijo nepretrgano, matrika se zapolnjuje s fragmenti, pri čemer večina elementov ostane praznih ali ima isto vrednost.
- Možnost dostopa do podatkov v formatu ključ-vrednost ali nizov stolpcev ();
- Podpora za integracijo s shranjevanjem v oblaku AWS S3, Google Cloud Storage in Azure Blob Storage;
- Podpora za mozaik (blokovne) matrike;
- Možnost uporabe različnih algoritmov za stiskanje in šifriranje podatkov;
- Podpora za preverjanje celovitosti s kontrolnimi vsotami;
- Delovanje v večnitnem načinu z vzporednim vnosom/iznosom;
- Podpora za verzioniranje shranjenih podatkov, vključno z izvlekom stanja v določenem trenutku v preteklosti ali atomskimi posodobitvami celih velikih nizov.
- Možnost pripenjanja metapodatkov;
- Podpora za grupiranje podatkov;
- Moduli za integracijo za uporabo kot nizkotna shranjevalna platforma v Sparku, Dasku, MariaDB, GDAL, PDAL, Rasterio, gVCF in PrestoDB;
- Ovijalne knjižnice nad C++ API-jem za jezike Python, R, Java in Go.
Izdaja 2.0 je opazna zaradi podpore konceptu „DataFrame“, ki omogoča shranjevanje podatkov v obliki stolpcev vrednosti poljubne dolžine, povezanih z določenimi atributi. Shranjevanje je prav tako optimizirano za obdelavo redkih nizov heterogene velikosti (v celicah lahko shranjujemo podatke različnih tipov in izvajamo operacije združevanja stolpcev različnih tipov, na primer, kjer so shranjeni naziv, čas in cena). Dodana je podpora za stolpce z nizi podatkov. Dodani so moduli za integracijo z Google Cloud Storage in Azure Blob Storage. API za jezik R je bil predelan.
Izvor: opennet.ru
