andmehoidla , mis on optimeeritud mitmemõõtmeliste massiivide ja teaduslikes arvutustes kasutatavate andmete hoidmiseks. TileDB rakendusaladeks on erinevad geneetilise teabe, ruumiliste ja finantsandmete töötlemise süsteemid, st süsteemid, mis opereerivad või pidevalt täidetud mitmemõõtmeliste massiividega. TileDB pakub C++ teeki, mis võimaldab andmete ja metainformatsiooni juurde pääsemiseks sujuvat abstraktsiooni rakendustes, tehes kogu madalama taseme efektiivse hoiu korraldamise töö. Projekti kood on kirjutatud C++ keeles ja MIT litsentsi all. Toetab töötlust Linuxis, macOSis ja Windowsis.
TileDB põhifunktsioonid:
- Efektiivsed meetodid haruldaste massiivide hoidmiseks, kus andmed ei asu pidevalt, massiiv täidetakse fragmentidega ja suur osa elementidest jääb tühjaks või omab sama väärtust.
- Teave on kergesti kättesaadav võtme-väärtuse formaadis või veergude kogumina ();
- Toetab integreerimist pilveandmehoidlatega AWS S3, Google Cloud Storage ja Azure Blob Storage;
- Toetab mosaiike (plokkimassiivide) kasutamist;
- Erinevate andmete tihendamise ja krüptimise algoritmide kasutamise võimalus;
- Kontrollsumma põhjal terviklikkuse kontrollimise tugi;
- Mitme lõime režiimis töötamine koos sisendi/väljundi paralleeleritamisega;
- Salvestatud andmete versiooni tõe toetamine, sealhulgas teatud ajahetke oleku saamine või suurte kogumite aatomilised uuendused.
- Metaandmete sidumise võimalus;
- Andmete grupeerimise tugi;
- Integreerimismodulid madala taseme salvestusmootorina kasutamiseks Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF ja PrestoDB;
- C++ API-le ehitatud teegid Python, R, Java ja Go keelte jaoks.
Version 2.0 is notable for its support of the 'DataFrame' concept, which allows storing data in the form of columns with arbitrary length values linked to specific attributes. The storage is also optimized for processing sparse arrays of heterogeneous sizes (cells can hold different types of data, and operations on merging columns of different types can be performed, such as those containing name, time, and price). Support for columns with string data has been added. Modules for integration with Google Cloud Storage and Azure Blob Storage have been introduced. The API for R language has been redesigned.
Allikas: opennet.ru
