Öka densiteten av containrar på noden med PFCACHE-teknologi

Ett av målen för en webbhotellprovider är att maximera användningen av den befintliga utrustningen för att leverera en kvalitativ tjänst till slutkunderna. Resurserna på de slutliga servrarna är alltid begränsade, men antalet kundtjänster, i vårt fall VPS, kan variera avsevärt. Läs mer om hur man får plats på granen och äter en burger nedan.

Att packa VPS på en nod på ett sätt som kunderna inte märker av, hjälper avsevärt till att förbättra de ekonomiska resultaten för alla webbhotellprovidrar. Självklart får noden inte spricka i fogarna om den är överfylld med containrar, och varje lastspik känns direkt av alla kunder.

Hur många VPS som kan placeras på en nod beror på många faktorer, varav några är uppenbara:

1. Specifikationerna för själva nodens hårdvara
2. Storleken på VPS
3. Lastkaraktären på VPS
4. Programvaruteknologier som hjälper till att optimera densiteten

I det här fallet kommer vi att dela med oss av erfarenheten av att använda Pfcache-teknologin för Virtuozzo.
Vi använder version 6, men allt som nämnts gäller även för version 7.

Pfcache – en mekanism i Virtuozzo som hjälper till att deduplicera IOPS och RAM i containrar genom att allokera identiska filer i containrar i ett separat gemensamt område.

Det består faktiskt av:
1. Kärnans kod
2. User-space daemon
3. User-space verktyg

På nodens sida avsätter vi en hel partition där filer kommer att skapas, som alla VPS på noden kommer att använda. Den blockenhet ploop monteras i denna partition. Vid start av containern får den en referens till denna partition:

[root@pcs13 ~]# cat /proc/mounts
...
/dev/ploop62124p1 /vz/pfcache ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12 0 0
...
/dev/ploop22927p1 /vz/root/418 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
/dev/ploop29642p1 /vz/root/264 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
...

Här är en ungefärlig statistik över antalet filer på en av våra noder:

[root@pcs13 ~]# find /vz/pfcache -type f | wc -l
45851
[root@pcs13 ~]# du -sck -h /vz/pfcache
2.4G    /vz/pfcache
2.4G    total

Pfcaches arbetsprincip är följande:
• User-space daemon Pfcached skriver filens sha-1 hash i xattr-attributet för filen. Filer bearbetas inte alla utan endast i katalogerna /usr, /bin, /usr/sbin, /sbin, /lib, /lib64

• Det är troligt att filerna i dessa kataloger kommer att vara "gemensamma" och användas av flera containrar;

• Pfcached samlar periodiskt in statistik om filläsa från kärnan, analyserar den och lägger till filer i cachen om deras användning är frekvent;

• Katalogdata kan vara olika och konfigureras i konfigurationsfiler.

• Vid filåtkomst kontrolleras om den innehåller den angivna hash i de utvidgade attributen xattr. Om den gör det öppnas en "gemensam" fil istället för containern, vilket sker osynligt för containerkoden och döljs i kärnan;

• Vid skrivning till filen ogiltigförklaras hashen. Således, vid nästa öppning kommer själva containerfilen istället för cachen att öppnas.

Genom att hålla gemensamma filer i sidcache från /vz/pfcache uppnår vi en ekonomisering av just denna cache, samt en besparing av IOPS. Istället för att läsa tio filer från disken läser vi en, som omedelbart går in i sidcachen.

struct inode {
...
 struct file             *i_peer_file;
...
};
struct address_space {
...
 struct list_head        i_peer_list;
...
}

Listan över VMA för filen förblir enhetlig (deduplicerar minnet) och vi läser sällan från disken (sparar IOPS). Vår "gemensamma" lagras på SSD – en ytterligare vinst i hastighet.

Exempel för caching av filen /bin/bash:

[root@pcs13 ~]# ls -li /vz/root/2388/bin/bash
524650 -rwxr-xr-x 1 root root 1021112 Oct  7  2018 /vz/root/2388/bin/bash
[root@pcs13 ~]# pfcache dump /vz/root/2388 | grep 524650
8e3aa19fdc42e87659746f6dc8ea3af74ab30362 i:524650      g:1357611108  f:CP
[root@pcs13 ~]# sha1sum /vz/root/2388/bin/bash
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/root/2388/bin/bash
[root@pcs13 ~]# getfattr -ntrusted.pfcache /vz/root/2388/bin/bash
# file: vz/root/2388/bin/bash
trusted.pfcache="8e3aa19fdc42e87659746f6dc8ea3af74ab30362"
[root@pcs13 ~]# sha1sum /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362

Effektiviteten av användningen av beräknade färdig skript.

Detta skript går igenom alla containrar på noden och räknar de cachelagrade filerna för varje container.

[root@pcs16 ~]# /pcs/distr/pfcache-examine.pl
...
Pfcache cache använder 831 MB minne
Totalt minnesanvändning av pfcached-filer i containrar är 39837 MB
Pfcache effektivitet: 39006 MB

Därmed sparar vi ungefär 40 gigabyte filer i containrar i minnet, de kommer att laddas från cachen.

För att denna mekanism ska fungera ännu bättre är det nödvändigt att placera maximalt "lika" VPS på noden. Till exempel sådana där användaren inte har root-åtkomst och där en miljö har ställts in från en distribuerad bild.

Man kan justera pfcache-arbetet genom konfigurationsfilen
/etc/vz/pfcache.conf

MINSIZE, MAXSIZE – minimi/maximi storlek för caching av filer
TIMEOUT – tidsgräns mellan försök till caching

Du kan bekanta dig med hela listan över parametrar via länken.

Källa: habr.com