pohrana , optimizirana za pohranu višedimenzionalnih nizova i podataka korištenih u znanstvenim proračunima. Kao područja primjene TileDB navode se različiti sustavi obrade genetskih informacija, prostorni i financijski podaci, tj. sustavi koji rade ili kontinuirano ispunjenim višedimenzionalnim nizovima. TileDB nudi C++ biblioteku za transparentno apstrahiranje pristupa podacima i metapodacima u aplikacijama, preuzimajući sav posao vezan uz nisku razinu organizacije učinkovitog skladištenja. Kod projekta napisan je na C++ i pod MIT licencom. Podržava rad na Linuxu, macOS-u i Windows-u.
Ključne značajke TileDB-a:
- Učinkovite metode pohrane rijetkih nizova, podaci u kojima nisu u kontinuiranom slijedu, niz se ispunjava fragmentima, a velika većina elemenata ostaje prazna ili ima istu vrijednost.
- Mogućnost pristupa podacima u formatu ključ-vrijednost ili skupovima stupaca ();
- Podrška za integraciju s javnim skladištima AWS S3, Google Cloud Storage i Azure Blob Storage;
- Podrška za mozaik (blok) nizove;
- Mogućnost korištenja različitih algoritama kompresije i šifriranja podataka;
- Podrška za provjeru integriteta putem kontrolnih zbrojeva;
- Rad u višedretvenom režimu s paralelizmom ulaza/izlaza;
- Podrška za verzioniranje pohranjenih podataka, uključujući dohvaćanje stanja u određenom trenutku u prošlosti ili atomskih ažuriranja velikih setova u cijelosti.
- Mogućnost vezavanja metapodataka;
- Podrška za grupiranje podataka;
- Moduli integracije za korištenje kao niskorazinski motor za pohranu u Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF i PrestoDB;
- Biblioteke za omotavanje C++ API-ja za jezike Python, R, Java i Go.
Izdanje 2.0 je značajno zbog podrške konceptu „DataFrame“, koji omogućava pohranu podataka u obliku stupaca vrijednosti proizvoljne duljine, povezanih s određenim atributima. Pohrana je također optimizirana za obradu rijetkih nizova heterogene veličine (u ćelijama mogu biti pohranjeni podaci različitih tipova, a moguće je izvoditi operacije spajanja stupaca različitih tipova, na primjer, onih koji sadrže naziv, vrijeme i cijenu). Dodana je podrška za stupce s podacima o stringovima. Dodani su moduli za integraciju s Google Cloud Storage i Azure Blob Storage. API za jezik R je revidiran.
Izvor: opennet.ru
