RAM maimaim-poana be dia be, NVMe Intel P4500 ary tena miadana ny zava-drehetra - ny tantaran'ny fanampim-pizarana swap tsy nahomby.

Amin'ity lahatsoratra ity dia hiresaka momba ny toe-javatra iray izay nitranga vao haingana tamin'ny iray amin'ireo mpizara ao amin'ny rahona VPS misy anay aho, izay nahatonga ahy ho tafintohina nandritra ny ora maromaro. Efa 15 taona teo ho eo aho no nanamboatra sy namaha olana ireo mpizara Linux, saingy ity tranga ity dia tsy mifanaraka amin'ny fanaoko mihitsy - nanao eritreritra diso maromaro aho ary kivy be talohan'ny nahafahako namaritra tsara ny anton'ilay olana ary namaha izany. .

sasin

Mampiasa rahona antonony izahay, izay amboarinay amin'ny lohamilina mahazatra miaraka amin'ity fanamafisana manaraka ity - 32 cores, 256 GB RAM ary 4500TB PCI-E Intel P4 NVMe drive. Tena tianay ity fanamafisam-peo ity satria manafoana ny filàna manahy momba ny overhead IO amin'ny fanomezana ny famerana marina amin'ny ambaratonga karazana ohatra VM. Satria NVMe Intel P4500 manana fampisehoana mahatalanjona, afaka manome ny IOPS feno amin'ny milina sy ny fitahirizana backup amin'ny mpizara backup miaraka amin'ny IOWAIT aotra isika.

Iray amin'ireo mpino taloha izay tsy mampiasa SDN hyperconverged sy zavatra hafa manara-penitra, lamaody, tanora hitahiry ny boky VM izahay, mino fa ny rafitra tsotra kokoa no mora kokoa ny mamaha izany amin'ny toe-javatra "lasa ny mpampianatra lehibe. ho any an-tendrombohitra”. Vokatr'izany dia mitahiry boky VM amin'ny endrika QCOW2 amin'ny XFS na EXT4 izahay, izay napetraka eo ambonin'ny LVM2.

Voatery mampiasa QCOW2 ihany koa izahay amin'ny vokatra ampiasainay amin'ny orkestra - Apache CloudStack.

Mba hanaovana backup dia maka sary feno amin'ny volume ho toy ny snapshot LVM2 izahay (eny, fantatray fa miadana ny snapshots LVM2, fa ny Intel P4500 dia manampy antsika eto koa). Manao izany izahay lvmcreate -s .. ary miaraka amin'ny fanampiana dd alefanay any amin'ny mpizara lavitra miaraka amin'ny fitahirizana ZFS ny kopia backup. Eto isika dia mbola mandroso kely - na izany aza, ny ZFS dia afaka mitahiry angon-drakitra amin'ny endrika compressed, ary afaka mamerina azy haingana amin'ny fampiasana azy. DD na mahazo boky VM tsirairay mampiasa mount -o loop ....

Mazava ho azy, azonao atao ny manala tsy ny sary feno amin'ny volume LVM2, fa mametraka ny rafitra rakitra ao amin'ny RO ary mandika ny sary QCOW2 ny tenany, na izany aza, dia niatrika ny zava-misy fa ny XFS lasa ratsy noho izany, ary tsy avy hatrany, fa amin'ny fomba tsy ampoizina. Tena tsy tianay rehefa mampiantrano "stick" tampoka ny hypervisor amin'ny faran'ny herinandro, amin'ny alina na amin'ny fialan-tsasatra noho ny hadisoana tsy fantatra mazava hoe rahoviana no hitranga. Noho izany, ho an'ny XFS dia tsy mampiasa snapshot mounting in izahay RO mba hanesorana ireo boky dia mandika fotsiny ny boky LVM2 manontolo izahay.

Ny hafainganam-pandehan'ny backup amin'ny mpizara backup dia voafaritra amin'ny toe-javatra misy antsika amin'ny alàlan'ny fampandehanana ny mpizara backup, izay eo amin'ny 600-800 MB / s ho an'ny angona tsy azo ovaina; Ny fetra fanampiny dia ny fantsona 10Gbit / s izay mifandray amin'ny server backup. mankany amin'ny cluster.

Amin'ity tranga ity, ny kopia backup an'ny mpizara hypervisor 8 dia ampidirina amin'ny mpizara backup iray. Noho izany, ny kapila sy ny tambajotra subsystems amin'ny mpizara backup, izay miadana kokoa, dia tsy mamela ny subsystems kapila an'ny mpampiantrano hypervisor hivezivezy, satria tsy afaka manodina fotsiny izy ireo, ohatra, 8 GB / sec, izay azon'ny mpampiantrano hypervisor mora. voka-pambolena sy fiompiana.

Ny dingana fanaovana kopia etsy ambony dia tena zava-dehibe ho an'ny tantara fanampiny, ao anatin'izany ny antsipiriany - mampiasa fiara Intel P4500 haingana, mampiasa NFS ary, angamba, mampiasa ZFS.

Tantara backup

Ao amin'ny node hypervisor tsirairay dia manana fizarazarana SWAP kely amin'ny haben'ny 8 GB izahay, ary "mamoaka" ny node hypervisor izahay amin'ny fampiasana azy. DD avy amin'ny sary reference. Ho an'ny habetsaky ny rafitra amin'ny mpizara, dia mampiasa 2xSATA SSD RAID1 na 2xSAS HDD RAID1 amin'ny LSI na HP mpifehy hardware izahay. Amin'ny ankapobeny, tsy miraharaha izay ao anatiny mihitsy izahay, satria miasa amin'ny fomba "saika mamaky fotsiny" ny habetsaky ny rafitray, afa-tsy ny SWAP. Ary satria manana RAM be dia be ao amin'ny mpizara izahay ary 30-40% maimaim-poana, dia tsy mieritreritra momba ny SWAP izahay.

Dingana backup. Ity asa ity dia toy izao manaraka izao:

#!/bin/bash

mkdir -p /mnt/backups/volumes

DIR=/mnt/images-snap
VOL=images/volume
DATE=$(date "+%d")
HOSTNAME=$(hostname)

lvcreate -s -n $VOL-snap -l100%FREE $VOL
ionice -c3 dd iflag=direct if=/dev/$VOL-snap bs=1M of=/mnt/backups/volumes/$HOSTNAME-$DATE.raw
lvremove -f $VOL-snap

Tandremo ionice -c3, raha ny marina dia tsy misy ilàna azy tanteraka amin'ny fitaovana NVMe ity zavatra ity, satria ny fandaharam-potoana IO ho azy ireo dia napetraka ho:

cat /sys/block/nvme0n1/queue/scheduler
[none] 

Na izany aza, manana node lova maromaro miaraka amin'ny SSD RAID mahazatra izahay, ho azy ireo dia manan-danja izany, noho izany dia mihetsika izy ireo. TOY IZANY. Amin'ny ankapobeny, kaody mahaliana iray manazava ny zava-poana ihany ity ionice raha sendra misy config toy izany.

Tandremo ny saina iflag=direct ho an'ny DD. Mampiasa IO mivantana amin'ny alàlan'ny cache buffer izahay mba hisorohana ny fanoloana tsy ilaina ny buffer IO rehefa mamaky. Na izany aza, oflag=direct tsy manao izany izahay satria sendra olana momba ny fampisehoana ZFS rehefa mampiasa azy.

Nampiasa an'io tetika io tamim-pahombiazana nandritra ny taona maro tsy nisy olana izahay.

Dia nanomboka izany... Hitanay fa tsy tafaverina intsony ny iray amin'ireo node, ary ny teo aloha dia mihazakazaka miaraka amin'ny IOWAIT mahatsiravina 50%. Rehefa miezaka ny hahatakatra ny antony tsy hitrangan'ny kopia, dia sendra ity trangan-javatra manaraka ity izahay:

Volume group "images" not found

Nanomboka nieritreritra izahay hoe "tonga ny farany ho an'ny Intel P4500", na izany aza, alohan'ny hamonoana ny mpizara hanolo ny fiara dia mbola ilaina ny manao backup. Nanamboatra LVM2 izahay tamin'ny famerenana ny metadata avy amin'ny backup LVM2:

vgcfgrestore images

Nandefa backup izahay ary nahita ity sary hosodoko menaka ity:

Nalahelo mafy indray izahay - mazava fa tsy afaka miaina toy izany izahay, satria ny VPS rehetra dia hijaly, izay midika fa hijaly koa izahay. Tsy mazava tanteraka ny zava-nitranga - iostat dia naneho IOPS mampalahelo sy IOWAIT ambony indrindra. Tsy nisy hevitra hafa afa-tsy ny "andao hanolo ny NVMe", fa nisy fahitana tonga ara-potoana.

Famakafakana tsikelikely ny zava-misy

Gazety ara-tantara. Andro vitsivitsy talohan'izay, tamin'ity mpizara ity dia ilaina ny mamorona VPS lehibe miaraka amin'ny 128 GB RAM. Toa ampy ny fitadidiana, fa mba ho eo amin'ny lafiny azo antoka dia nanome 32 GB hafa izahay ho an'ny fizarazarana swap. Noforonina ny VPS, nahavita ny asany tamim-pahombiazana ary adino ny zava-nitranga, saingy nijanona ny fizarana SWAP.

Configuration Features. Ho an'ny mpizara rahona rehetra ny parameter vm.swappiness napetraka ho default 60. Ary ny SWAP dia noforonina tamin'ny SAS HDD RAID1.

Inona no nitranga (araka ny tonian-dahatsoratra). Rehefa mihemotra DD namokatra angon-drakitra manoratra betsaka, izay napetraka tao amin'ny buffers RAM alohan'ny hanoratana ny NFS. System core, tarihin'ny politika swappiness, dia mamindra pejy maro amin'ny fitadidiana VPS mankany amin'ny faritra swap, izay hita ao amin'ny boky HDD RAID1 miadana. Izany dia nitarika ny IOWAIT nitombo be, fa tsy noho ny IO NVMe, fa noho ny IO HDD RAID1.

Ahoana no namaha ny olana. Ny fizarana swap 32GB dia nesorina. Naharitra adiny 16 izany; azonao atao ny mamaky misaraka momba ny fomba sy ny antony nahatonga ny SWAP maty tsikelikely. Novaina ny fika swappiness amin'ny sanda mitovy amin'ny 5 manerana ny rahona.

Ahoana no tsy hitrangan'izany?. Voalohany, raha ao amin'ny SSD RAID na fitaovana NVMe ny SWAP, ary faharoa, raha tsy misy fitaovana NVMe, fa fitaovana miadana kokoa izay tsy hamokatra angon-drakitra toy izany - mampihomehy, nitranga ny olana satria haingana loatra ny NVMe.

Taorian'izay dia nanomboka niasa toy ny teo aloha ny zava-drehetra - miaraka amin'ny IOWAIT aotra.

Source: www.habr.com