En inbyggd databasmotor TidesDB 1.0 är tillgänglig och stöder ACID-transaktioner

Den första stabila versionen av TidesDB-projektet har publicerats, som utvecklar ett bibliotek för lagring av data i formatet nyckel/värde. Projektet kan användas som en fristående motor eller för integrering i applikationer. Bland de viktigaste egenskaperna nämns stöd för ACID-transaktioner och optimering för effektiv lagring av data på Flash-minnen och i RAM. Koden är skriven på C och distribueras under MPL 2.0-licensen. Bindningar har förberetts för språken C++, Go, Java, Python, Rust, Lua och JavaScript.

För lagring av data används en LSM-tree-struktur (log-strukturerat träd med sammanslagning), som säkerställer hög prestanda inte bara vid läsning, utan också vid utförande av skriv- och ändringsoperationer. Läsoperationer blockerar inte skrivning och läsning av data, medan skrivoperationer blockerar endast den kolumnfamilj där skrivningen utförs. För ytterligare accelerering av läsningen stöds indexering och caching baserat på bloom-filter (som möjliggör kontroll av medlemsskap i en mängd, med en viss risk för falska negativa, men utesluter att ett existerande element missas).

Det finns fullständigt stöd för ACID-transaktioner, vilket möjliggör atomära ändringar som omfattar kolumnfamiljer, och vid behov atomära återställningar av operationer. Data kan lagras i komprimerad form med val av komprimeringsalgoritm kopplad till kolumnfamiljen. Det är möjligt att sätta lås på nivån av specifika kolumnfamiljer och packning av lagret i parallell utan att blockera utförandet av operationer med databasen.

Key features:

• Stöd för kolumnfamiljer (Column Families) — isolerade uppsättningar av data i formatet nyckel/värde. För varje kolumnfamilj används sina egna memtable, SSTable och WAL-logg.
• ACID-transaktioner som omfattar flera operationer med kolumnfamiljer.
• Optimering för parallell åtkomst till data.
• Stöd för tvåvägsiteratorer, som möjliggör iterering av nyckel/värde-par framåt eller bakåt från en vald position i lagret, med hjälp av en initialt definierad sorteringsmetod.
• Stöd för att lägga till egna jämförelsefunktioner för nycklar. Inbyggda jämförelsefunktioner såsom memcmp, string och numeric finns.
• Loggning av operationer (WAL, Write-Ahead Log) och automatisk återställning av memtable (minnesbaserat lagringsutrymme) från denna logg vid start.
• Användning av Bloom-filter för att minimera åtkomsten till lagringen genom att kontrollera förekomsten av nyckeln före läsning från SSTable (permanent lagring).
• Stöd för algoritmerna Snappy, LZ4 och ZSTD för komprimering av poster i SSTable-lagringen och WAL-logg.
• Möjlighet att definiera livstid för poster (TTL) och automatisk uteslutning av förfallna poster.
• Tre lägen för datasykronisering i RAM med permanent lagring: NONE (snabbast), BACKGROUND (balanserad), FULL (mest tillförlitlig).
• Möjlighet att konfigurera storleken på memtable, komprimeringsmetoder, bloom-filter, synkroniseringsläge och paketeringsparametrar för varje kolumnfamilj.
• Ett enkelt C API som returnerar 0 vid framgång och -1 vid fel.
• Användning av SBHA (Sorted Binary Hash Array) för snabb databasgenomsökning i SSTable, vilket möjliggör bestämning av offset för block med nycklar utan fullständig skanning.
• Kompakt, bärbart binärt format för databasrepresentation med versionsstöd.
• Inbyggda mekanismer för integritetskontroll, felidentifiering och återställning.

Källa: opennet.ru