Konteinerite tiheduse suurendamine sõlmes PFCACHE tehnoloogia abil

Üheks hostinguteenuse pakkuja eesmärgiks on võimalikult suur varustuse kasutamine kvaliteetse teenuse pakkumiseks lõppkasutajatele. Lõpp-serverite ressursid on alati piiratud, kuid paigutatud klientide teenuste arv, meie puhul VPS, võib oluliselt erineda. Kuidas jõulupuule ronida ja burgerit süüa, lugege allolevast.

VPS-ide tihendamine nodis viisil, et kliendid seda üldse ei tunneks, aitab suuresti parandada iga hostinguteenuse pakkuja majandusnäitajaid. Loomulikult ei tohiks nodi praguneda, kui see on konteineritest paksult täis, ning iga koormuse tõus on tunda kõigile klientidele.

Kui palju VPS-e võib ühes nodis paigutada, sõltub paljusid teguritest, sealhulgas ilmselgetest:

1. Nodide riistvara omadused
2. VPS suurus
3. VPS koormuse iseloom
4. Tarkvaratehnoloogiad, mis aitavad tihendamist optimeerida

Käesoleval juhul jagame kogemusi tehnoloogia Pfcache kasutamisest Virtuozzo jaoks.
Kasutame 6. haru, kuid kõik öeldu kehtib ka 7. kohta.

Pfcache on Virtuozzo mehhanism, mis aitab dedupeerida IOPS ja RAM-i konteinerites, eraldades ühesugused failid konteinerites eraldi ühisesse tsooni.

See koosneb tegelikult järgmistest:
1. Südamikukoodist
2. User-space deemonist
3. User-space utiliidist

Nodi poolest eraldame me terve partitsiooni, kus luuakse failid, mida kasutavad kõik VPS-id nodis. See partitsioon monteeritakse plook-blokeeringu seadmele. Edasi, konteineri käivitamisel, saab see viite antud partitsioonile:

[root@pcs13 ~]# cat /proc/mounts
...
/dev/ploop62124p1 /vz/pfcache ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12 0 0
...
/dev/ploop22927p1 /vz/root/418 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
/dev/ploop29642p1 /vz/root/264 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
...

Siin on ligikaudne statistika failide arvu kohta ühes meie nodidest:

[root@pcs13 ~]# find /vz/pfcache -type f | wc -l
45851
[root@pcs13 ~]# du -sck -h /vz/pfcache
2.4G    /vz/pfcache
2.4G    total

Pfcache'i tööpõhimõte on järgmine:
• User-space deemon Pfcached kirjutab faili sha-1 räsimise xattr attribuuti. Failide töötlemine ei toimu kõigil, vaid ainult kaustades /usr, /bin, /usr/sbin, /sbin, /lib, /lib64

• Tõenäoliselt on, et failid nendes kaustades on "üldised" ja neid kasutab mitu konteinerit;

• Pfcached kogub perioodiliselt failide lugemise statistikat kernest, analüüsib seda ja lisab failid vahemällu, kui nende kasutamine on sagedane;

• Failide katalooge saab muuta ning need seadistatakse konfiguratsioonifailides.

• Faili lugemisel kontrollitakse, kas see sisaldab määratud räsiväärtust laiendatud atribuutides xattr. Kui see sisaldab – avatakse "ühisfail", mitte konteinerifail. See asendamine toimub konteinerikoodi jaoks märkamatult ja peidetakse kernesse;

• Faili kirjutamisel räsiväärtus tühistatakse. Seega, järgmine avamine toob esile juba konteinerifaili, mitte selle vahemälu.

Hoides lehe vahemikus ühiseid faile aadressilt \/vz\/pfcache, saavutame selle sama vahemälu kokkuhoidu, samuti IOPS-i kokkuhoidu. Selle asemel, et lugeda kümmet faili kettalt, loeme ühe, mis läheb kohe lehe vahemällu.

struct inode {
...
 struct file             *i_peer_file;
...
};
struct address_space {
...
 struct list_head        i_peer_list;
...
}

Faili VMA loend jääb üheks (deduplication of memory) ja loeme ketast harvem (säästame IOPS-i). Meie "ühisfail" asub SSD-l – täiendav kiire kasu.

Näide faili \bin\bash vahemälust:

[root@pcs13 ~]# ls -li \/vz\/root\/2388\/bin\/bash
524650 -rwxr-xr-x 1 root root 1021112 Oct  7  2018 \/vz\/root\/2388\/bin\/bash
[root@pcs13 ~]# pfcache dump \/vz\/root\/2388 | grep 524650
8e3aa19fdc42e87659746f6dc8ea3af74ab30362 i:524650      g:1357611108  f:CP
[root@pcs13 ~]# sha1sum \/vz\/root\/2388\/bin\/bash
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  \/vz\/root\/2388\/bin\/bash
[root@pcs13 \/]# getfattr -ntrusted.pfcache \/vz\/root\/2388\/bin\/bash
# file: vz\/root\/2388\/bin\/bash
trusted.pfcache="8e3aa19fdc42e87659746f6dc8ea3af74ab30362"
[root@pcs13 ~]# sha1sum \/vz\/pfcache\/8e\/3aa19fdc42e87659746f6dc8ea3af74ab30362
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  \/vz\/pfcache\/8e\/3aa19fdc42e87659746f6dc8ea3af74ab30362

Kasutuse efektiivsus arvutatakse valmis skripti kaudu.

See skript läbib kõik konteinerid nodis, arvutades igas konteineris vahemällu salvestatud failid.

[root@pcs16 ~]# \/pcs\/distr\/pfcache-examine.pl
...
Pfcache kasutab 831 MB mälu
Konteinerites salvestatud pfcached failide kogukasutus on 39837 MB mälus
Pfcache efektiivsus: 39006 MB

Nii säästame mälus umbes 40 gigabaidist faile konteinerites, need laaditakse vahemälust.

Selle mehhanismi paremaks toimimiseks on soovitatav paigutada noodi maksimaalselt "sarnased" VPS-id. Näiteks need, millel kasutajal ei ole root-juurdepääsu ja millel on seadistatud keskkond lahti pakitud pildist.

pfcache'i toimimist saab häälestada konfiguratsioonifaili kaudu
/etc/vz/pfcache.conf

MINSIZE, MAXSIZE – vahemällu salvestava faili minimaalne/maximaalne suurus
TIMEOUT – vahemälu salvestamise katsete vaheline ajaperiood

Tutvuge täieliku parameetrite loendiga linki pidi.

Allikas: habr.com