ruajtje , e optimizuar për ruajtjen e matricave multidimensionale dhe të dhënave që përdoren në llogaritjet shkencore. Si fusha aplikimi, TileDB përmend sisteme të ndryshme për përpunimin e informacionit gjenetik, të dhënave hapësinore dhe financiare, pra sisteme që operojnë sparse ose matricat e mbushura vazhdimisht. TileDB ofron një bibliotekë C++ për abstaraksionin e qasjes në të dhëna dhe metadatat në aplikacione, duke marrë përsipër të gjithë punën e organizimit efikas të ruajtjes në nivel të ulët. Kodi i projektit është shkruar në gjuhën C++ dhe
në përputhje me licencën MIT. Përshtatet të funksionojë në Linux, macOS dhe Windows.
- Tiparet kryesore të TileDB:
- Metoda efikase për ruajtjen e matricave të rralla, të dhënat e të cilave nuk ndjekin një rend të vazhdueshëm, matrica mbushet me fragmente dhe pjesa më e madhe e elementeve mbeten bosh ose pranojnë të njëjtin vlerë.);
- DataFrame
- );
- Përkrahja për integrimin me ruajtjet cloud si AWS S3, Google Cloud Storage dhe Azure Blob Storage;
- Përkrahja për matricat mozaik (blok);
- Mundësia e përdorimit të algoritmeve të ndryshëm për kompresimin dhe enkriptimin e të dhënave;
- Përkrahja për kontrollet e integritetit përmes checksum-eve;
- Funksionimi në mënyrë shumë-threaded me paralelizimin e hyrjes/daljes;
- Përkrahja për versionimin e të dhënave të ruajtura, përfshirë për të nxjerrë shkallën në një moment të caktuar në të kaluarën ose për azhurnime atomike të grupeve të mëdha.
- Mundësia e lidhjes së metadatat;
- Modulet e integrimit për t'u përdorur si motor ruajtjeje në nivel të ulët në Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF dhe PrestoDB; Bibliotekat-ndihmëse për API-në C++ për gjuhët Python, R, Java dhe Go.
Lëshimi 2.0 është i veçantë për mbështetje të konceptit 'DataFrame', i cili lejon ruajtjen e të dhënave në formën e kolonave me vlera të një gjatësie të rastësishme, të lidhura me atribute të caktuara. Depoja gjithashtu është optimizuar për përpunimin e grupeve të hollë të madhësive të ndryshme (në qeliza mund të ruhen të dhëna të llojeve të ndryshme dhe mund të kryhen operacione për bashkimin e kolonave të llojeve të ndryshme, për shembull, në të cilat ruhet emri, koha dhe çmimi). Shtuar mbështetje për kolonat me të dhëna string. Shtuar module për integrimin me Google Cloud Storage dhe Azure Blob Storage. Rishikuar API për gjuhën R.
Burimi: opennet.ru
