Konteinerite tiheduse suurendamine sõlmes PFCACHE tehnoloogia abil

Üheks hostinguteenuse osutaja eesmärkidest on saavutada olemasoleva riistvara maksimaalne kasutamine, et pakkuda lõppkasutajatele kvaliteetset teenust. Lõppserverite ressursid on alati piiratud, kuid paigutatud klienditeenuste arv, meie puhul VPS-id, võib oluliselt erineda. Kuidas jõuda kuusele ja süüa burgerit, loe edasi.

VPS-ide tihedam paigutamine node'ile nii, et kliendid seda peaaegu ei tunneks, aitab tõsta kõigi hostinguteenuse osutajate majanduslikke näitajaid. Loomulikult ei tohiks node praguneda, kui sinna on mahutatud liiga palju konteinerite, ja iga koormuse tõus on kohe tunda kõigile klientidele.

C. palju VPS-e saab paigutada ühele node'ile, sõltub paljuski mitmest tegurist, sealhulgas:

1. Node'i riistvara omadused
2. VPS-i suurus
3. VPS-i koormuse iseloom
4. Tarkvaratehnoloogiad, mis aitavad optimeerida tihedust

Antud juhul jagame kogemusi Pfcache tehnoloogia kasutamisest Virtuozzo.
Kasutame 6. haru, kuid kõik öeldud kehtib ka 7. versiooni kohta.

Pfcache – Virtuozzo mehhanism, mis aitab dedupktsioneerida IOPS ja RAMi konteinerites, eraldades samad failid konteinerites eraldi jagatud alasse.

Tegelikult koosneb see järgmistest:
1. Südamikust
2. Kasutajaruumi demonist
3. Kasutajaruumi utiliidist

Sõlme poolt eraldame terve jaotuse, kus luuakse failid, mida kõik VPS-id sõlmes otse kasutavad. Tänu sellele jaotusele monteeritakse plook-ise seadme plook. Seejärel, konteineri käivitamisel, saab ta viite sellele jaotusele:

[root@pcs13 ~]# cat /proc/mounts
...
/dev/ploop62124p1 /vz/pfcache ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12 0 0
...
/dev/ploop22927p1 /vz/root/418 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
/dev/ploop29642p1 /vz/root/264 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
...

Siin on umbkaudne statistika failide arvu kohta ühel meie sõlmedest:

[root@pcs13 ~]# find /vz/pfcache -type f | wc -l
45851
[root@pcs13 ~]# du -sck -h /vz/pfcache
2.4G    /vz/pfcache
2.4G    kokku

Pfcache tööpõhimõte on järgmine:
• Kasutajaruumi demon Pfcached kirjutab faili sha-1 räsimi atribuudiks faili xattr. Faile töödeldakse mitte kõiki, vaid ainult kaustades /usr, /bin, /usr/sbin, /sbin, /lib, /lib64.

• Tõenäoliselt on nendes kataloogides olevad failid „ühisfailid“ ja neid kasutavad mitmed konteinerid;

• Pfcached kogub perioodiliselt failide lugemise statistikat südamikust, analüüsib seda ja lisab failid vahemällu, kui neid kasutatakse sageli;

• Nende kataloogide asukohad võivad olla erinevad ning need seadistatakse konfiguratsioonifailides.

• Faili lugemise korral kontrollitakse, kas see sisaldab määratud hajuarvutust xattr. Kui jah, avatakse „ühisfail“ konteinerifaili asemel. See asendamine toimub konteineri koodi jaoks märkamatult ja peidetakse südamikus;

• Faili kirjutamisel invaliditakse hajuarvutus. Nii avatakse järgmine kord otse konteinerifail, mitte selle vahemälu.

Hoides lehekülje vahemälu ühiseid faile /vz/pfcache’s, saavutame selle vahemälu kokkuhoiu ning säästame ka IOPS-i. Selle asemel, et lugeda kümmet faili kettalt, loeme ühe, mis läheb kohe lehekülje vahemälu.

struct inode {
...
 struct file             *i_peer_file;
...
};
struct address_space {
...
 struct list_head        i_peer_list;
...
}

VMA nimekirja fail jääb ühtseks (de-duplication mälu) ja lugemine kettalt toimub harvem (säästame iops). Meie „ühing” asub SSD-l – lisavõit kiirusest.

Näide faili /bin/bash vahemälast:

[root@pcs13 ~]# ls -li /vz/root/2388/bin/bash
524650 -rwxr-xr-x 1 root root 1021112 Oct  7  2018 /vz/root/2388/bin/bash
[root@pcs13 ~]# pfcache dump /vz/root/2388 | grep 524650
8e3aa19fdc42e87659746f6dc8ea3af74ab30362 i:524650      g:1357611108  f:CP
[root@pcs13 ~]# sha1sum /vz/root/2388/bin/bash
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/root/2388/bin/bash
[root@pcs13 /]# getfattr -ntrusted.pfcache /vz/root/2388/bin/bash
# file: vz/root/2388/bin/bash
trusted.pfcache="8e3aa19fdc42e87659746f6dc8ea3af74ab30362"
[root@pcs13 ~]# sha1sum /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362

Arvutamise efektiivsus valmis skripti järgi.

See skript kontrollib kõiki konteineri node, arvutades iga konteineri vahemälus olevaid faile.

[root@pcs16 ~]# /pcs/distr/pfcache-examine.pl
...
Pfcache vahemälu kasutab 831 MB mälu
Pfcached failide kogukasutus konteinerites on 39837 MB mälu
Pfcache efektiivsus: 39006 MB

Seega säästame mälu ligikaudu 40 gigabaiti faile konteinerites, need laaditakse vahemälust.

Selle mehhanismi paremini toimimiseks tuleks nodides paigutada maksimaalselt "ühesuguseid" VPS-e. Näiteks selliseid, millele kasutajal pole root-juurdepääsu ja kus on seadistatud keskkond lahti võetud pildilt.

pfcache'i töötamist saab häälestada konfigureerimisfaili kaudu
/etc/vz/pfcache.conf

MINSIZE, MAXSIZE – faili minimaalne/maksimaalne suurus vahemäluks
TIMEOUT – vahemaa ajavahemik vahemälu katsetamisbetween

Täieliku parameetrite nimekirjaga saab tutvuda lingi kaudu.

Allikas: habr.com