Lëshimi i motorit të ruajtjes TileDB 2.0

Опубликовано depo TileDB 2.0, i optimizuar për ruajtjen e grupeve dhe të dhënave shumëdimensionale të përdorura në llogaritjet shkencore. Si fusha të aplikimit për TileDB përmenden sisteme të ndryshme për përpunimin e informacionit gjenetik, të të dhënave hapësinore dhe financiare, d.m.th. sistemet operative i rrallë ose vargje shumëdimensionale të mbushura vazhdimisht. TileDB ofron një bibliotekë C++ për abstraktimin transparent të aksesit ndaj të dhënave dhe meta të dhënave në aplikacione, duke u kujdesur për të gjithë punën e nivelit të ulët për ruajtje efikase. Kodi i projektit është i shkruar në C++ dhe shperndare nga me licencë MIT. Mbështet punën në Linux, macOS dhe Windows.

Karakteristikat kryesore të TileDB:

• Metoda efikase për ruajtjen e vargjeve të rralla, të dhënat në të cilat nuk janë të vazhdueshme; grupi është i mbushur me fragmente dhe shumica e elementeve mbeten bosh ose marrin të njëjtën vlerë.
• Aftësia për të aksesuar të dhënat në formatin e vlerës-kyç ose grupet e kolonave (Korniza e të Dhënave);
  

• Mbështet integrimin me ruajtjen e cloud AWS S3, Google Cloud Storage dhe Azure Blob Storage;
• Mbështetje për vargje me pllaka (blloqe);
• Aftësia për të përdorur algoritme të ndryshme të kompresimit dhe enkriptimit të të dhënave;
• Mbështetje për kontrollin e integritetit duke përdorur shumat e kontrollit;
• Puna në modalitetin me shumë fije me hyrje/dalje paralele;
• Mbështetje për versionimin e të dhënave të ruajtura, duke përfshirë marrjen e gjendjes në një pikë të caktuar në të kaluarën ose përditësimet atomike të grupeve të tëra të mëdha.
• Aftësia për të lidhur meta të dhënat;
• Mbështetje për grupimin e të dhënave;
• Modulet e integrimit për përdorim si një motor ruajtjeje të nivelit të ulët në Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF dhe PrestoDB;
• Bibliotekat lidhëse për C++ API për Python, R, Java dhe Go.

Release 2.0 shquhet për mbështetjen e tij për konceptin "DataFrame", i cili lejon që të dhënat të ruhen në formën e kolonave të vlerave me gjatësi arbitrare, të lidhura me atribute të caktuara. Magazinimi është gjithashtu i optimizuar për përpunimin e grupeve të rralla të madhësive heterogjene (qelizat mund të ruajnë të dhëna të llojeve të ndryshme dhe mund të kryejnë operacione bashkimi në kolona të llojeve të ndryshme, për shembull, ato që ruajnë emrin, kohën dhe çmimin). Mbështetje e shtuar për kolonat me të dhëna vargu. Module të shtuara për integrim me Google Cloud Storage dhe Azure Blob Storage. API për gjuhën R është ridizajnuar.

Burimi: opennet.ru