Microsoft har öppnat koden för Garnet-lagringslösningen, som är kompatibel med Redis

Microsoft har öppnat källkoden för NoSQL-systemet Garnet, som är designat för att skapa cache-lagringssystem och är kompatibelt med befintliga klientbibliotek för Redis-lagring. Garnet stöder skapandet av skalbara kluster för datacaching, där replikering, nyckelmigrering och datasegmentering mellan kluster noder kan användas. Projektet är skrivet i C# med en lagringskärna i C++, är öppet under MIT-licensen och kan köras på alla plattformar som stöds i .NET (primära plattformar som nämns är Linux och Windows).

För datalagring används motorn Tsavorite (en fork av Microsoft FASTER-lagringen), som stödjer flertrådad begärsbehandling, transaktioner, icke-blockerande förändringscheckpointing, felåterställning, lagring av redundanta kopior och loggning av operationer. Nätverksprocessorn i Garnet är byggd med en arkitektur för delat minne som föreslagits av forskningsprojektet ShadowFax. Behandling av TLS och interaktion med lagringen utförs i en tråd, vilket gör att man kan undvika overhead för trådbyte och mer effektivt utnyttja CPU-cachen vid datatransferering över nätet.

Arkitekturen i Garnet separerar logiken för parsning och begärsbehandling från lagringsoperationer. Data lagras med hjälp av två nyckel-värde-lager som är byggda på biblioteket Tsavorite. Det första "grundläggande" lagret är optimerat för snabba strängoperationer, medan det andra "objekt"-lagret är optimerat för lagring av komplexa objekt och avancerade datatyper, som hashar och listor. Datatyper i det andra lagret implementeras med stöd av .NET-biblioteken. Data lagras på heapen (C# heap), vilket gör att de kan uppdateras effektivt, samt i serialiserad form på disk.

Egenskaper hos Garnet:

• Det är möjligt att distribuera flerskiktade lagringssystem som omfattar RAM, SSD-lagring och molnlager, där mindre efterfrågade data flyttas till långsammare lagringssystem för att skapa cacher som överstiger RAM-storleken.
• Utökningsbar enhetssupport som möjliggör skapande av lager optimerade för olika enheter, exempelvis lager för SSD, hårddiskar och Azure Storage.
• Effektiv mekanism för återanvändning av frigjort minnesutrymme som förhindrar fragmentering.
• Konfigurerbara gränser för det minnesutrymme som används för index, loggar och objektlagring.
• För att få åtkomst till lagret används RESP-protokollet, vilket gör det möjligt att använda Garnet med oförändrade Redis-klienter.
• Stöd för lagring av både strängvärden och komplexa datatyper såsom listor, hashar, mängder, sorterade listor och geodata. Möjlighet att definiera livslängd för nycklar.
• Tillgång till API för att utföra analytiska frågor (HLL/Hyperloglog, Bitmap), transaktioner (MULTI/EXEC) och använda publicerings-/prenumerationsparadigmet.
• Tillgång till verktyg för flexibel åtkomsthantering via ACL.
• Möjlighet att definiera konfigurationen i JSON-format eller redis.conf.
• Stöd för anslutning av ytterligare nätverksbehandlare. Möjlighet till kryptering av trafiken med TLS (baserat på SslStream).
• Möjlighet att skapa tillägg på språket C# som implementerar extra operationer med strängar och objekt.
• Stöd för transaktionella lagrade procedurer som omfattar flera nycklar.
• Möjlighet att återställa tillståndet från en tidigare sparad position (checkpoint-recovery). Tillgång till endast-tilläggsläge (AOF, append-only file), där alla gamla data förblir tillgängliga och inte överskrivs.
• Stöd för skapande av lagringskluster med replikering, segmentering (Sharding), dynamisk migrering av nycklar mellan noder och återställning av felaktiga noder.
• Hög prestanda och låga fördröjningar vid genomförande av förfrågningar. Effektiv behandling av små batch-förfrågningar vid ett stort antal klientsessioner, vilket möjliggör en genomströmning (antal behandlade förfrågningar per sekund) som är ordentligt högre än hos konkurrerande lösningar. virtuella maskiner I molnet Azure överstiger inte i de flesta fall fördröjningar i kundens anrop 300 mikrosekunder. I utförda tester överträffar Garnet avsevärt Redis, Dragonfly och KeyDB när det gäller prestanda och respons. I vissa tester överträffar Garnet konkurrenternas system med tio gånger.

Källa: opennet.ru