hoidla , optimeeritud mitmemõõtmeliste massiivide ja teaduslikes arvutustes kasutatavate andmete salvestamiseks. TileDB kasutusvaldkondadena on nimetatud erinevaid süsteeme geneetilise informatsiooni, ruumiliste ja finantsandmete töötlemiseks, s.o. operatsioonisüsteemid või pidevalt täidetud mitmemõõtmelised massiivid. TileDB pakub C++ teeki, mis võimaldab läbipaistvalt abstraheerida juurdepääsu andmetele ja metaandmetele rakendustes, hoolitsedes kogu madala taseme töö eest tõhusa salvestamise nimel. Projekti kood on kirjutatud C++ ja MIT litsentsi alusel. Toetab tööd Linuxis, macOS-is ja Windowsis.
TileDB peamised omadused:
- Tõhusad meetodid hõredate massiivide salvestamiseks, mille andmed ei ole pidevad, massiiv on täidetud fragmentidega ja enamik elemente jääb tühjaks või omandavad sama väärtuse.
- Võimalus pääseda juurde andmetele võtmeväärtuse vormingus või veerukomplektides ();
- Toetab integreerimist pilvesalvestusega AWS S3, Google Cloud Storage ja Azure Blob Storage;
- plaaditud (ploki) massiivide tugi;
- Võimalus kasutada erinevaid andmete tihendamise ja krüpteerimise algoritme;
- Tugi terviklikkuse kontrollimiseks kontrollsummade abil;
- Töötage paralleelse sisendi/väljundiga mitme keermega režiimis;
- Salvestatud andmete versioonimise tugi, sealhulgas teatud minevikuhetke oleku või tervete suurte kogumite tuumavärskenduste toomine.
- Võimalus siduda metaandmeid;
- Andmete rühmitamise tugi;
- Integratsioonimoodulid kasutamiseks Sparki, Daski, MariaDB, GDAL, PDAL, Rasterio, gVCF ja PrestoDB madala taseme salvestusmootorina;
- Pythoni, R, Java ja Go C++ API siduvad teegid.
Väljalase 2.0 on tähelepanuväärne selle poolest, et toetab kontseptsiooni "DataFrame", mis võimaldab salvestada andmeid suvalise pikkusega väärtuste veergudena, mis on seotud teatud atribuutidega. Salvestus on optimeeritud ka heterogeense suurusega hõredate massiivide töötlemiseks (lahtrid võivad salvestada erinevat tüüpi andmeid ja teha liitmisoperatsioone erinevat tüüpi veergudega, näiteks need, mis salvestavad nime, kellaaega ja hinda). Lisatud stringiandmetega veergude tugi. Lisatud moodulid integreerimiseks teenusega Google Cloud Storage ja Azure Blob Storage. R-keele API on ümber kujundatud.
Allikas: opennet.ru