Repository , optimiséiert fir multidimensional Arrays an Daten ze späicheren, déi a wëssenschaftleche Berechnungen benotzt ginn. Verschidde Systemer fir d'Veraarbechtung vun genetesch Informatioun, raimlech a finanziell Daten ginn als Uwendungsberäicher fir TileDB ernimmt, d.h. Betribssystemer oder kontinuéierlech gefëllt multidimensional Arrays. TileDB bitt eng C++ Bibliothéik fir den Zougang zu Daten a Metadaten an Applikatiounen transparent ze abstrakt, a këmmert sech ëm all déi niddereg Aarbecht fir effizient Lagerung. De Projet Code ass an C ++ an ënner MIT Lizenz. Ënnerstëtzt Aarbecht op Linux, macOS a Windows.
Haaptfeatures vu TileDB:
- Effizient Methoden fir sparse Arrays ze späicheren, d'Donnéeën an deenen net kontinuéierlech sinn; d'Array ass mat Fragmenter gefëllt an déi meescht Elementer bleiwen eidel oder huelen dee selwechte Wäert.
- D'Kapazitéit fir Zougang zu Daten am Schlësselwäertformat oder Kolonnensätz ze kréien ();
- Ënnerstëtzt Integratioun mat Cloud Storage AWS S3, Google Cloud Storage an Azure Blob Storage;
- Ënnerstëtzung fir betegelt (Block) Arrays;
- D'Kapazitéit fir verschidde Datekompressioun a Verschlësselungsalgorithmen ze benotzen;
- Ënnerstëtzung fir Integritéit iwwerpréift mat Kontrollsummen;
- Schafft am Multi-threaded Modus mat parallele Input / Output;
- Ënnerstëtzung fir d'Versioun vun gespäichert Donnéeën, inklusiv fir de Staat op engem bestëmmte Punkt an der Vergaangenheet oder Atomaktualiséierunge vu ganz grousse Sets z'erhalen.
- Fäegkeet fir Metadaten ze verbannen;
- Ënnerstëtzung fir Dategruppéierung;
- Integratiounsmoduler fir als Low-Level-Späichermotor an Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF a PrestoDB ze benotzen;
- Bindende Bibliothéike fir den C++ API fir Python, R, Java a Go.
Verëffentlechung 2.0 ass bemierkenswäert fir seng Ënnerstëtzung fir de "DataFrame" Konzept, wat et erlaabt Daten a Form vu Säulen vu Wäerter vun arbiträrer Längt ze späicheren, verbonne mat bestëmmten Attributer. D'Lagerung ass och optimiséiert fir d'Veraarbechtung vun spatzen Arrays vun heterogenen Gréissten (Zellen kënnen Daten vu verschiddenen Typen späicheren a kënne Fusiounsoperatiounen op Spalten vu verschiddenen Typen ausféieren, zum Beispill déi, déi Numm, Zäit a Präis späicheren). Zousätzlech Ënnerstëtzung fir Sailen mat Stringdaten. Zousätzlech Moduler fir Integratioun mat Google Cloud Storage an Azure Blob Storage. D'API fir d'R Sprooch gouf nei designt.
Source: opennet.ru