RAM e ngata ea mahala, NVMe Intel P4500 mme ntho e ngoe le e ngoe e lieha haholo - pale ea kenyelletso e sa atleheng ea karohano ea swap.

Sehloohong sena, ke tla bua ka boemo bo sa tsoa etsahala ka e 'ngoe ea li-server ka leru la rona la VPS, le ileng la ntlohela ke tsielehile ka lihora tse' maloa. Ke ntse ke lokisa le ho rarolla mathata a li-server tsa Linux ka lilemo tse ka bang 15, empa nyeoe ena ha e lumellane le mokhoa oa ka ho hang - ke entse likhopolo tse 'maloa tsa bohata' me ka tsieleha pele ke khona ho tseba sesosa sa bothata le ho bo rarolla. .

Selelekela

Re sebelisa leru le boholo bo mahareng, leo re le ahang holim'a li-server tse tloaelehileng tse nang le tlhophiso e latelang - li-cores tse 32, 256 GB RAM le 4500TB PCI-E Intel P4 NVMe drive. Re hlile re rata tlhophiso ena hobane e felisa tlhoko ea ho tšoenyeha ka IO ka ho fana ka thibelo e nepahetseng maemong a mofuta oa VM. Hobane NVMe Intel P4500 e na le ts'ebetso e tsotehang, ka nako e le 'ngoe re ka fana ka tokisetso e feletseng ea IOPS ho mechine le polokelo ea bekapo ho seva sa "backup" se nang le zero IOWAIT.

Re ba bang ba balumeli ba khale ba sa sebeliseng hyperconverged SDN le lintho tse ling tsa setaele, tsa feshene, tsa bacha ho boloka li-VM, ba lumela hore ha tsamaiso e le bonolo, ho bonolo ho e rarolla ka maemo a "guru e felile. dithabeng.” Ka lebaka leo, re boloka li-volumes tsa VM ka mokhoa oa QCOW2 ka XFS kapa EXT4, e behiloeng ka holim'a LVM2.

Re boetse re qobelloa ho sebelisa QCOW2 ka sehlahisoa seo re se sebelisang bakeng sa 'mino oa liletsa - Apache CloudStack.

Ho etsa backup, re nka setšoantšo se felletseng sa molumo joalo ka snapshot ea LVM2 (e, rea tseba hore linepe tsa LVM2 li lieha, empa Intel P4500 e re thusa le mona). Re etsa joalo lvmcreate -s .. le ka thuso dd re romella kopi ea "backup" ho seva se hole se nang le polokelo ea ZFS. Mona re ntse re tsoela pele hanyane - ka mor'a tsohle, ZFS e ka boloka data ka mokhoa o hatelitsoeng, 'me re ka e khutlisetsa kapele re sebelisa. DD kapa fumana livolume tsa VM ka bomong u sebelisa mount -o loop ....

Ehlile, u ka se tlose setšoantšo se felletseng sa molumo oa LVM2, empa u kenye sistimi ea faele ka har'a komporo ea hau RO le ho kopitsa litšoantšo tsa QCOW2 ka bobona, leha ho le joalo, re ne re tobane le taba ea hore XFS e ile ea fetoha e mpe ho sena, eseng hang-hang, empa ka tsela e sa lebelloang. Ha e le hantle ha re rate ha li-hypervisor hosts li "khomarela" ka tšohanyetso mafelo-beke, bosiu kapa ka matsatsi a phomolo ka lebaka la liphoso tse sa hlakang hore na li tla etsahala neng. Ka hona, bakeng sa XFS ha re sebelise snapshot mounting in RO ho ntša meqolo, re kopitsa molumo oohle oa LVM2 feela.

Lebelo la "backup" ho seva sa "backup" le khethoa molemong oa rona ka ts'ebetso ea "backup server", e ka bang 600-800 MB / s bakeng sa data e ke keng ea lekanngoa; moeli o mong ke mocha oa 10Gbit / s oo seva sa "backup" se hokahaneng le ona. ho sehlopha.

Tabeng ena, likopi tsa "backup" tsa li-server tse 8 tsa hypervisor li kenngoa ka nako e le 'ngoe ho seva se le seng sa "backup". Ka hona, li-disk le li-network subsystems tsa seva sa "backup", ha li lieha, ha li lumelle litsamaiso tsa li-disk tsa mabotho a hypervisor hore li jarolloe, kaha ha li khone ho sebetsa, ho re, 8 GB / sec, eo hypervisor e ka e tsamaisang habonolo. lihlahisoa.

Ts'ebetso e kaholimo ea ho kopitsa e bohlokoa haholo bakeng sa pale e tsoelang pele, ho kenyelletsa le lintlha - ho sebelisa koloi e potlakileng ea Intel P4500, ho sebelisa NFS mme, mohlomong, ho sebelisa ZFS.

Pale ea bekapo

Ho node e 'ngoe le e' ngoe ea hypervisor re na le karolo e nyane ea SWAP ea 8 GB ka boholo, 'me re "rola" node ea hypervisor ka boeona re sebelisa. DD ho tsoa setšoantšong sa litšupiso. Bakeng sa bophahamo ba sistimi ho li-server, re sebelisa 2xSATA SSD RAID1 kapa 2xSAS HDD RAID1 ho molaoli oa lisebelisoa tsa LSI kapa HP. Ka kakaretso, ha re tsotelle ho hang se ka hare, kaha molumo oa tsamaiso ea rona o sebetsa ka mokhoa oa "hoo e batlang e le ho bala feela", ntle le SWAP. 'Me kaha re na le RAM e ngata ho seva' me ke 30-40% mahala, ha re nahane ka SWAP.

Ts'ebetso ea bekapo. Mosebetsi ona o shebahala tjena:

#!/bin/bash

mkdir -p /mnt/backups/volumes

DIR=/mnt/images-snap
VOL=images/volume
DATE=$(date "+%d")
HOSTNAME=$(hostname)

lvcreate -s -n $VOL-snap -l100%FREE $VOL
ionice -c3 dd iflag=direct if=/dev/$VOL-snap bs=1M of=/mnt/backups/volumes/$HOSTNAME-$DATE.raw
lvremove -f $VOL-snap

Ela hloko ionice -c3, ha e le hantle, ntho ena ha e na thuso ho lisebelisoa tsa NVMe, kaha IO scheduler bakeng sa bona e behiloe e le:

cat /sys/block/nvme0n1/queue/scheduler
[none] 

Leha ho le joalo, re na le li-node tse ngata tsa lefa tse nang le li-RAID tse tloaelehileng tsa SSD, ho bona sena se bohlokoa, kahoo lia tsamaea. JOALOKAHA. Ka kakaretso, ena ke karoloana e khahlisang ea khoutu e hlalosang lefeela ionice ha ho ka ba le tlhophiso e joalo.

Ela hloko folakha iflag=direct etsoe DD. Re sebelisa IO ka ho toba ho feta cache ea "buffer" ho qoba ho fetola li-buffers tsa IO ho sa hlokahale ha u bala. Leha ho le joalo, oflag=direct ha re etse joalo hobane re kopane le mathata a ts'ebetso ea ZFS ha re e sebelisa.

Re 'nile ra sebelisa morero ona ka katleho ka lilemo tse' maloa ntle le mathata.

Mme yaba e qala... Re fumane hore e 'ngoe ea li-node ha e sa tšehetsoa, ​​​​'me e fetileng e ne e sebetsa ka IOWAIT e nyarosang ea 50%. Ha re leka ho utloisisa hore na ke hobane'ng ha ho kopitsa ho sa etsahale, re ile ra kopana le ntho e latelang:

Volume group "images" not found

Re ile ra qala ho nahana ka "qetello e fihlile bakeng sa Intel P4500," leha ho le joalo, pele o tima seva ho khutlisa koloi, ho ne ho ntse ho hlokahala ho etsa bekapo. Re hlophisitse LVM2 ka ho khutlisetsa metadata ho tsoa ho backup ea LVM2:

vgcfgrestore images

Re ile ra qala backup mme ra bona pente ena ea oli:

Hape re ne re utloile bohloko haholo - ho hlakile hore re ke ke ra phela joalo, kaha bohle ba VPS ba ne ba tla utloa bohloko, ho bolelang hore le rona re tla utloa bohloko. Se etsahetseng ha se hlake ho hang - iostat e bontšitse IOPS e soabisang le IOWAIT e phahameng ka ho fetisisa. Ho ne ho se na mehopolo ntle le "ha re nkele NVMe sebaka," empa temohisiso e etsahetse ka nako.

Tlhahlobo ea boemo mohato ka mohato

Makasine ea histori. Matsatsi a 'maloa pejana, ho seva sena ho ne ho hlokahala ho theha VPS e kholo ka 128 GB RAM. Ho ne ho bonahala eka ho na le mohopolo o lekaneng, empa ho ba ka lehlakoreng le sireletsehileng, re abile 32 GB e 'ngoe bakeng sa karohano ea swap. VPS e bōpiloe, e phethile mosebetsi oa eona ka katleho 'me ketsahalo e lebetsoe, empa karohano ea SWAP e ile ea sala.

Likarolo tsa Tlhophiso. Bakeng sa li-server tsohle tsa leru parameter vm.swappiness e behiloe ho ea kamehla 60. 'Me SWAP e entsoe ho SAS HDD RAID1.

Se etsahetseng (ho ea ka bahlophisi). Ha o etsa bekapo DD e hlahisitse lintlha tse ngata tsa ho ngola, tse neng li behiloe ka har'a li-buffers tsa RAM pele li ngolla NFS. Konokono ea tsamaiso, e tataisoang ke leano swappiness, e ne e tsamaisa maqephe a mangata a memori ea VPS sebakeng sa swap, se neng se le ka lebelo le tlaase la HDD RAID1. Sena se ile sa etsa hore IOWAIT e hōle ka matla haholo, empa eseng ka lebaka la IO NVMe, empa ka lebaka la IO HDD RAID1.

Kamoo bothata bo ileng ba rarolloa kateng. Karohano ea 32GB swap e ne e holofetse. Sena se nkile lihora tse 16; le ka bala ka thoko mabapi le hore na ke hobane'ng ha SWAP e tima butle hakana. Litlhophiso li fetotsoe swappiness ho boleng bo lekanang le 5 kahohle lerung.

See se ne se ke ke sa etsahala joang?. Taba ea pele, haeba SWAP e ne e le sesebelisoa sa SSD RAID kapa NVMe, 'me ea bobeli, haeba ho ne ho se na sesebelisoa sa NVMe, empa sesebelisoa se liehang se neng se ke ke sa hlahisa palo e joalo ea data - ka mokhoa o makatsang, bothata bo etsahetse hobane NVMe e potlakile haholo.

Ka mor'a moo, ntho e 'ngoe le e' ngoe e ile ea qala ho sebetsa joaloka pele - ka zero IOWAIT.

Source: www.habr.com