Projekt Dragonfly utvecklar en snabbare ersättning för Redis och Memcached

Den första versionen av Dragonflys datacachningssystem i minnet är tillgänglig, vilket erbjuder stöd för protokollen Memcached och Redis, men som möjliggör förfrågningar med betydligt högre prestanda och lägre minnesförbrukning. Systemet manipulerar data i nyckel/värde-format och kan tillämpas som en lättviktslösning för att förbättra prestanda på högt belastade webbplatser, som cacherar långsamma förfrågningar till databashanterare och mellanlagrar data i minnet. Dragonfly-koden är skriven i C/C++ och distribueras under BSL-licens (Business Source License).

BSL-licensen föreslogs av MySQL:s medgrundare som ett alternativ till Open Core-modellen. Kärnan i BSL är att koden för den utökade funktionaliteten initially är tillgänglig för ändringar, men under en viss period kan den användas kostnadsfritt endast under ytterligare villkor, vars kringgående kräver en kommersiell licens. Ytterligare licensvillkor för Dragonfly-projektet föreskriver att koden ska övergå till Apache 2.0-licens först den 1 juni 2027. Fram till dess tillåter licensen användning av koden endast för att säkerställa drift av sina tjänster och produkter, men förbjuder användning för att skapa betalda molntjänster som fungerar som ett lager ovanpå Dragonfly.

Enligt utvecklarna och demonstrerade tester konkurrerar Dragonfly om titeln som det snabbaste minneslagringssystemet. Jämfört med Redis har Dragonfly under typiska belastningar uppnått en prestandaökning med 25 gånger och en minskning av minnesförbrukningen med tre gånger. En server Dragonfly kan hantera miljontals förfrågningar per sekund, till exempel i en Amazon EC2 c6gn.16xlarge-miljö nåddes en prestanda på 3,8 miljoner förfrågningar per sekund.

I tester med lagring av 5 GB data krävde Dragonfly 30% mindre minne än Redis. Under skapandet av snapshots med kommandot "bgsave" ökar minnesanvändningen, men under toppar förblir den nästan tre gånger lägre än i Redis, och själva snapshot-skrivningsoperationen utförs betydligt snabbare (i testet skrevs en snapshot i Dragonfly på 30 sekunder, medan Redis tog 42 sekunder).

Hög prestanda uppnås genom en flerkärnarkitektur utan resursdelning (shared-nothing), vilket innebär att varje tråd kopplas till en separat, avskild behandlare med sin egen del av data, som arbetar utan mutexar och spin-lås. För att säkerställa atomäritet vid arbete med flera nycklar används lätta lås VLL. För effektiv lagring av information i minnet tillämpas strukturen dashtable, som implementerar en variant av sektionerade hash-tabeller.

Bland funktionerna som finns i den första versionen märks stöd för protokollet RESP2 och 130 Redis-kommandon, vilket ungefär motsvarar funktionaliteten i Redis 2.8. Dessutom stödjer Dragonfly alla memcached-kommandon förutom CAS (check-and-set), erbjuder stöd för asynkrona operationer för att skapa snapshots, säkerställer förutsägbart minnesanvändning, tillhandahåller en inbyggd tolk för Lua 5.4 och stöder komplexa datatyper såsom hash, mängder och listor (ZSET, HSET, LIST, SETS och STRING).

En separat cache-lägesfunktion är tillgänglig där gamla data automatiskt ersätts med nya när det finns brist på ledigt minne. Det är möjligt att knyta en livslängd till data, under vilken data anses aktuella. Lagringsstatus kan återställas till disken i bakgrunden för senare återställning efter omstart. För systemhantering tillhandahålls en HTTP-konsol (kopplas till TCP-port 6379) och ett API för att leverera mätvärden, som är kompatibelt med Prometheus. I kommande versioner planeras ytterligare stöd för Redis-kommandon och implementering av lagringsreplikering för att säkerställa felresistens och lastbalansering.

Källa: opennet.ru