tárolás , optimalizálva többdimenziós tömbök és tudományos számításokhoz használt adatok tárolására. A TileDB alkalmazási területei közé tartoznak különböző genetikai információfeldolgozó rendszerek, térbeli és pénzügyi adatok, azaz rendszerek, amelyek sparsely or vagy folyamatosan kitöltött többdimenziós tömbökkel dolgoznak. A TileDB C++ könyvtárat kínál, amely átláthatóan absztrahálja az adatokhoz és metainformációkhoz való hozzáférést az alkalmazásokban, átvállalva a hatékony tárolás alacsony szintű szervezésének összes feladatát. A projekt kódja C++ nyelven íródott és MIT engedéllyel kerül kiadásra. Támogatja a Linux, macOS és Windows operációs rendszereket.
A TileDB főbb jellemzői:
- Hatékony módszerek ritkás tömbök tárolására, ahol az adatok nem folyamatosan követik egymást, a tömb fragmentumokból áll, és a legtöbb elem üresen marad, vagy ugyanazt az értéket veszi fel.
- Lehetőség az adatok kulcs-érték vagy oszlopcsoportok ();
- AWS S3, Google Cloud Storage és Azure Blob Storage felhőtárolókkal való integráció támogatása;
- Támogatás a mozaikos (blokkes) tömbökhez;
- Lehetőség különböző adatkompressziós és titkosítása algoritmusok alkalmazására;
- Integritás-ellenőrzés támogatása ellenőrző összegekkel;
- Többszálas működés a be- és kimenet párhuzamosításával;
- A tárolt adatok verzionálásának támogatása, beleértve egy adott múltbeli állapot lekérdezését vagy nagy adathalmaza atomikus teljes frissítését.
- Metainformációk hozzárendelésének lehetősége;
- Adatok csoportosításának támogatása;
- Integrációs modulok, amelyek alacsony szintű tárolómotorokként használhatók a Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF és PrestoDB rendszerekben;
- C++ API-ra alapozott wrapper könyvtárak Python, R, Java és Go nyelvekhez.
A 2.0 kiadás jelentős támogatást nyújt a «DataFrame» koncepcióhoz, amely lehetővé teszi az adatok tárolását tetszőleges hosszúságú értékoszlopok formájában, amelyeket meghatározott attribútumokhoz kapcsolódnak. A tároló emellett optimalizálva van eltérő méretű ritka tömbök feldolgozására (a cellák különböző típusú adatokat tárolhatnak, és lehetőség van különböző típusú oszlopok egyesítésére, például, amelyek az elnevezést, időt és árat tartalmazzák). Támogatás került hozzáadásra a szöveges adatokat tároló oszlopokhoz is. Új modulok kerültek bevezetésre a Google Cloud Storage és az Azure Blob Storage integrálásához. Az API átdolgozása R nyelvhez.
Forrás: opennet.ru
