Utgåvan av lagringsmotorn TileDB 2.0

Publicerat lagring TileDB 2.0, optimerat för lagring av flerdimensionella matriser och data som används i vetenskapliga beräkningar. Omsättningsområden för TileDB inkluderar olika system för bearbetning av genetisk information, rumslig och finansiell data, dvs. system som hanterar sällsynta eller kontinuerligt fyllda flerdimensionella matriser. TileDB erbjuder ett C++-bibliotek för att transparent abstrahera åtkomst till data och metadata i applikationer, vilket tar på sig hela arbetet med låg nivå organisation av effektiv lagring. Projektets kod är skriven i C++ och sprids licensieras under MIT. Stöder drift på Linux, macOS och Windows.

Huvudfunktioner i TileDB:

• Effektiva lagringsmetoder för sällsynta matriser där data inte följer kontinuerligt, matrisen fylls med fragment och en stor del av elementen förblir tomma eller tar samma värde.
• Möjlighet att få åtkomst till data i nyckel-värdeformat eller kolumnuppsättningar (DataFrame);
  
• Stöd för integration med molnlagringstjänster som AWS S3, Google Cloud Storage och Azure Blob Storage;
• Stöd för mosaik (block) matriser;
• Möjlighet att använda olika algoritmer för kompression och kryptering av data;
• Stöd för integritetskontroll via kontrollsummor;
• Drift i flertrådad läge med parallellisering av in-/utdata;
• Stöd för versionering av lagrad data, inklusive att hämta tillstånd vid en viss tidpunkt i det förflutna eller atomära uppdateringar av hela stora uppsättningar.
• Möjlighet att koppla metadata;
• Stöd för gruppering av data;
• Integrationsmoduler för att användas som låg-nivå lagringsmotor i Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF och PrestoDB;
• Wrapperbibliotek över C++ API för språken Python, R, Java och Go.

Utgåvan 2.0 utmärker sig med stöd för konceptet "DataFrame", som möjliggör lagring av data i form av kolumner med värden av godtycklig längd, kopplade till specifika attribut. Lagringen är också optimerad för att hantera glesa matriser av heterogen storlek (cellernas data kan vara av olika typ och man kan utföra sammanfogningsoperationer på kolumner av olika typ, till exempel som innehåller namn, tid och pris). Stöd har lagts till för kolumner med strängdata. Moduler har lagts till för integration med Google Cloud Storage och Azure Blob Storage. API:t för R-språket har omarbetats.

Källa: opennet.ru