Lansering av Dragonfly 1.0, ett system för caching av data i RAM

Lanseringen av datacaching- och lagringssystemet Dragonfly har ägt rum, som manipulerar data i nyckel/värde-format och kan användas som en lättviktslösning för att öka hastigheten på högbelastade webbplatser, cacha långsamma databaskommandon och mellanliggande data i RAM. Dragonfly stöder protokollen Memcached och Redis, vilket gör att man kan använda redan existerande klientbibliotek och utan omarbetning av koden överföra projekt som använder Memcached och Redis till Dragonfly.

I tester har Dragonfly uppnått en 25-faldig prestationsökning jämfört med Redis vid typiska belastningar i miljön Amazon EC2 c6gn.16xlarge (3,8 miljoner förfrågningar per sekund). Jämfört med Memcached i AWS-miljön c6gn.16xlarge kunde Dragonfly utföra 4,7 gånger fler skrivförfrågningar per sekund (3,8 miljoner mot 806 tusen) och 1,77 gånger fler läsförfrågningar per sekund (3,7 miljoner mot 2,1 miljoner).

Vid tester av lagring av 5 GB data krävde Dragonfly 30% mindre minne jämfört med Redis. Under skapande av snapshots med kommandot "bgsave" ökar minnesanvändningen, men vid toppmoment förblev den nästan tre gånger mindre än i Redis, och själva snapshot-skrivoperationen utfördes betydligt snabbare (i testet skrevs snapshotet i Dragonfly på 30 sekunder, medan Redis tog 42 sekunder).

Hög prestanda uppnås genom en flerkärnarkitektur utan resursdelning (shared-nothing), vilket innebär att varje tråd kopplas till en separat, avskild behandlare med sin egen del av data, som arbetar utan mutexar och spin-lås. För att säkerställa atomäritet vid arbete med flera nycklar används lätta lås VLL. För effektiv lagring av information i minnet tillämpas strukturen dashtable, som implementerar en variant av sektionerade hash-tabeller.

Några av funktionerna i Dragonfly:

• Cachingläge där gamla data automatiskt ersätts av nya efter att det fria minnet har tagits slut.
• Stöd för att binda data till en livslängd, under vilken data betraktas som aktuella.
• Stöd för att återställa lagringssystemet till disk i bakgrunden för återställning efter omstart.
• HTTP-konsol (kopplad till TCP-port 6379) för systemhantering och API för att leverera metrics, kompatibel med Prometheus.
• Stöd för 185 Redis-kommandon, vilket ungefär motsvarar funktionaliteten i Redis version 5.
• Stöd för alla Memcached-kommandon, förutom CAS (check-and-set).
• Stöd för asynkrona operationer för skapande av snapshots.
• Förutsägbart minnesutnyttjande.
• Inbyggd Lua 5.4-tolk.
• Stöd för komplexa datatyper som hash, mängder, listor (ZSET, HSET, LIST, SETS och STRING) samt data i JSON-format.
• Stöd för lagringsreplikering för att säkerställa felresilens och belastningsbalansering.

Koden för Dragonfly är skriven i C/C++ och distribueras under BSL (Business Source License). BSL-lisensen föreslogs av medgrundarna till MySQL som ett alternativ till Open Core-modellen. Kärnan i BSL är att koden för utökad funktionalitet initialt är tillgänglig för ändringar, men under en viss tid kan den gratis användas endast under vissa villkor, vars omgåelse kräver köp av en kommersiell licens. De ytterligare licensvillkoren för Dragonfly-projektet föreskriver att koden ska överföras till Apache 2.0-licens den 15 mars 2028. Fram till dess tillåter licensen användningen av koden endast för att understödja sina egna tjänster och produkter, men förbjuder användning för att skapa betalande molntjänster som står ovanför Dragonfly.

Version 1.0 av Dragonfly är anmärkningsvärd för genomförandet av stöd för datareplication från primär servern till sekundär. Dragonfly kan ställas in för att användas som sekundär lagring som tar emot data från den primära servern, både baserat på Dragonfly och Redis. API:et för hantering av replikering är kompatibelt med Redis och baseras på kommandona ROLE och REPLICAOF (SLAVEOF).

Källa: opennet.ru