Memcached 1.6.0 släpps med stöd för extern lagring

Händelse genomförd en betydande version av systemet för datacachning i RAM Memcached 1.6.0, som arbetar med data i nyckel/värde-format och kännetecknas av användarvänlighet. Memcached används vanligtvis som en lättviktslösning för att snabba upp högbelastade webbplatser genom att cacha åtkomst till databaser och mellanlagrad data. Koden levereras under BSD-licensen.

I den nya versionen har implementationen av lagret "extstore" stabiliserats och samlas nu in som standard (för att stänga av det i skriptet configure finns en alternativ "--disable-extstore"), men kräver explicit aktivering vid körning (gamla installationer fortsätter att fungera utan förändringar efter uppdateringen). Trots att lagret "extstore" överlag anses stabilt, rekommenderas försiktighet vid implementering i mycket stora system.

Extstore möjliggör användning av SSD/Flash-lagring för att utöka cacheminnets storlek. Liksom vid användning av RAM är lagring på Flash inte permanent och raderas vid omstart. Ett användningsområde för det nya läget anges vara effektiv caching av stora datamängder. Vid användning av "extstore" lagras nycklar och metadata som tidigare endast i RAM, men stora data associerade med nycklar som överskrider en viss gräns lagras i extern lagring, medan endast en pekare finns kvar i RAM.

Om små datamängder kopplas till nyckeln fungerar Memcached som vanligt, håller data i minnet och gör inga anrop till extern lagring. Om det finns gott om ledigt minne kan de mest efterfrågade data dessutom hållas helt i cache i RAM (till exempel kan man ange att endast objekt större än 1024 byte som inte har tillgångsats under 3600 sekunder ska lagras på Flash).

Implementeringen är optimerad för att säkerställa maximal prestanda och minimal CPU-belastning, på bekostnad av lagringseffektivitet (stor fragmenteringsnivå). För att förlänga livslängden på Flash-enheterna buffras data och skrivs till lagret sekventiellt. För att bevara cachetillståndet mellan omstarter kan den funktion som introducerades i version 1.5.18 användas, vilket låter cachedumpen sparas till en fil. Vid nästa start kan cachen återställas från denna fil för att undvika toppar i belastningen på innehållshanterarna på grund av att cachen är ofylld (cachen blir omedelbart "varm").

Den andra viktiga förändringen i Memcached 1.6 var en omarbetning av koden för nätverkskommunikation, som anpassats för automatisk hantering av batch-anrop inom ett enda systemanrop. Tidigare, när flera "GET"-kommandon skickades i en TCP-paket, skickade memcached resultaten med att utföra separata systemanrop. I Memcached 1.6 sammanställs svaren och returneras genom att skicka ett enda systemanrop. Som ett resultat är det i genomsnitt nu 1.5 nycklar per systemanrop, vilket i tester visar en minskning av CPU-belastningen med upp till 25% och en förkortning av fördröjningarna med några procent.

Omarbetningen av det nätverksbaserade systemet gjorde det också möjligt att gå över till dynamisk allokering av buffertar efter behov, istället för statisk tilldelning av buffertar. Denna optimering minskade minnesanvändningen i väntan på nya kommandon via den anslutning som klienten har etablerat från 4.5 KB till 400-500 byte, och gjorde det också möjligt att eliminera många anrop av malloc, realloc och free, som resulterade i onödig fragmentering av minnet på system med ett stort antal anslutningar. Varje arbetstråd hanterar nu sin egen buffertpool för läsning och skrivning för aktiva klientanslutningar. För att ställa in storleken på dessa buffertar
finns alternativen "-o resp_obj_mem_limit=N" och "-o read_buf_mem_limit=N".

I version 1.6 tillkännagavs också övergången till en utgående status för den binära protokollet för serverinteraktion. Underhåll av det binära protokollet och felrättning kommer att fortsätta, men nya funktioner och uppdateringar av befintliga funktioner kommer inte att överföras. Textprotokollet kommer att fortsätta utvecklingen utan förändringar. Den binära protokollet har ersatts av ett nytt protokoll meta (textversionen av protokollet med kompakta meta-kommandon), som visar en optimal kombination av prestanda och tillförlitlighet. Det nya protokollet omfattar alla operationer som tidigare var tillgängliga via text- och binära protokoll.

Källa: opennet.ru