opbevaring , optimeret til opbevaring af multidimensionelle arrays og data brugt i videnskabelige beregninger. Anvendelsesområderne for TileDB inkluderer forskellige systemer til behandling af genetiske oplysninger, rumlige og finansielle data, dvs. systemer der arbejder med eller kontinuerligt udfyldte multidimensionelle arrays. TileDB tilbyder et C++ bibliotek til gennemsigtig abstraktion af adgangen til data og metadata i applikationer, hvor det håndterer alt det lavniveauarbejde nødvendigt for effektiv opbevaring. Projektkoden er skrevet i C++ og under MIT-licensen. Understøtter drift på Linux, macOS og Windows.
Hovedfunktioner i TileDB:
- Effektive metoder til opbevaring af sparse arrays, hvor data ikke følger konstant rækkefølge, arrayet udfyldes i fragmenter, og størstedelen af elementerne forbliver tomme eller har samme værdi.
- Mulighed for adgang til data i nøgle-værdi format eller kollegesæt ();
- Understøttelse af integration med cloud-opbevaringsløsninger som AWS S3, Google Cloud Storage og Azure Blob Storage;
- Understøttelse af mosaik (blok) arrays;
- Mulighed for at anvende forskellige algoritmer til kompression og kryptering af data;
- Understøttelse af integritetskontrol gennem checksums;
- Drift i multitrådede tilstande med parallellisering af input/output;
- Understøttelse af versionering af de opbevarede data, herunder til at hente tilstanden på et bestemt tidspunkt i fortiden eller atomære opdateringer af store sæt som helhed.
- Mulighed for at binde metadata;
- Understøttelse af gruppering af data;
- Integrationsmoduler til brug som lavniveau opbevaringsmotor i Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF og PrestoDB;
- Wrapper-biblioteker over C++ API til sprog som Python, R, Java og Go.
Udgivelse 2.0 er bemærkelsesværdig ved at understøtte konceptet "DataFrame", som gør det muligt at gemme data i form af kolonner af værdier af vilkårlig længde, knyttet til specifikke attributter. Lagringen er også optimeret til at håndtere sparse arrays af varierende størrelse (i cellerne kan der opbevares data af forskellig type, og det er muligt at udføre sammensmeltninger af kolonner af forskellige typer, f.eks. som indeholder navn, tid og pris). Der er tilføjet understøttelse af kolonner med strengdata. Der er tilføjet moduler for integration med Google Cloud Storage og Azure Blob Storage. API'en til R-sprog er blevet redesignede.
Kilde: opennet.ru
