Maqaalkan, waxaan ka hadli doonaa xaalad dhawaan ku dhacday mid ka mid ah server-yada ku jira daruurteena VPS, taas oo iga tagtay dhowr saacadood. Waxaan isku habeynayey oo cilad-saaray server-yada Linux illaa 15 sano, laakiin kiiskani kuma habboona dhaqankayga gabi ahaanba - waxaan sameeyay fikrado badan oo been ah oo xoogaa quus ah ka hor intaanan awoodin inaan si sax ah u go'aamiyo sababta dhibaatada oo aan xalliyo. .
Horudhac
Waxaan ku shaqaynaa daruur dhexdhexaad ah, taas oo aan ku dhisno server-yada caadiga ah ee leh qaabka soo socda - 32 cores, 256 GB RAM iyo 4500TB PCI-E Intel P4 NVMe drive. Runtii aad ayaan u jecelnahay qaabeyntan sababtoo ah waxay meesha ka saaraysaa baahida laga qabo in laga walwalo IO-da iyadoo la siinayo xaddidaad sax ah heerka nooca tusaale ahaan VM. Sababtoo ah NVMe Intel Waxay leedahay waxqabad cajiib ah, waxaan isku mar ku siin karnaa labadaba bixinta IOPS buuxa ee mishiinada iyo kaydinta kaydinta server-ka kaydka ah ee eber IOWAIT.
Waxaan nahay mid ka mid ah rumaystayaashii hore ee aan isticmaalin SDN hyperconverged iyo waxyaabo kale oo casri ah, moodada ah, waxyaabaha dhalinyarada ah si ay u kaydiyaan mugga VM, iyagoo aaminsan in nidaamka fudud, ay fududahay in la xalliyo xaaladaha "Guru ugu weyn ayaa tagay. xagga buuraha.β Natiijo ahaan, waxaanu ku kaydinay mugga VM qaab QCOW2 oo ah XFS ama EXT4, kaas oo la saaray dusha LVM2.
Waxa kale oo nalagu qasbay inaan u isticmaalno QCOW2 badeecada aan u isticmaalno abaabulka - Apache CloudStack.
Si aan u samayno gurmad, waxaanu ka qaadnaa mug buuxa oo mug leh sida sawir-qaade LVM2 ah (haa, waan ognahay in sawirada LVM2 ay gaabis yihiin, laakiin Intel P4500 ayaa sidoo kale naga caawinaysa halkan). Waxaan sameynaa lvmcreate -s .. iyo iyadoo la kaashanayo dd Waxaan u dirnaa nuqulka kaydka ah server-ka fog ee leh kaydinta ZFS. Halkan waxaan weli xoogaa horumar ah ka wadnaa - ka dib oo dhan, ZFS waxay ku kaydin kartaa xogta qaab isku dhafan, waxaanan si dhakhso ah u soo celin karnaa annaga oo isticmaalaya DD ama hel qiyaasaha VM-ga gaarka ah adoo isticmaalaya mount -o loop ....
Dabcan, kama saari kartid sawirka buuxa ee mugga LVM2, laakiin ku dheji nidaamka faylka gudaha
ROoo nuqul ka sameysan sawirada QCOW2 laftooda, si kastaba ha ahaatee, waxaa na soo food saartay xaqiiqda ah in XFS ay ka xumaatay tan, oo aan isla markiiba ahayn, laakiin si aan la saadaalin karin. Runtii ma jecli marka ay martigeliyaha hypervisor-ku si lama filaan ah u "ku dhegaan" maalmaha fasaxa ah, habeenkii ama ciidaha sababtoo ah khaladaad aan caddayn goorta ay dhici doonaan. Sidaa darteed, XFS uma isticmaalno dhejinta sawir-qaadistaROSi loo soo saaro mugga, waxaanu si fudud u koobiyeynaa dhammaan mugga LVM2.
Xawaaraha kaydinta kaydka kaydka waxaa lagu go'aamiyaa kiiskeena waxqabadka kaydka kaydka ah, kaas oo ku saabsan 600-800 MB/s xogta aan la koobi karin kutlada.
Xaaladdan oo kale, nuqullada kaydka ah ee 8 adeegayaasha hypervisor ayaa isku mar lagu dhejiyaa hal server oo kayd ah. Sidaa darteed, nidaamka diskka iyo shabakadaha shabakadaha kaydinta, iyagoo gaabis ah, uma oggolaanayaan nidaamyada-hoosaadka diskka ee martigeliyaha hypervisor inay xad-dhaaf ahaadaan, maadaama aysan si fudud u awoodin inay socodsiiyaan, dheh, 8 GB / sec, taas oo ay martigelinayaan hypervisor si fudud. soo saar.
Habka koobiyeynta ee kor ku xusan aad bay muhiim ugu tahay sheekada dheeraadka ah, oo ay ku jirto faahfaahinta - iyadoo la adeegsanayo darawal degdeg ah Intel P4500, adoo isticmaalaya NFS iyo, malaha, isticmaalaya ZFS.
Sheeko kaabta
Node kasta oo hypervisor ah waxaanu ku haynaa qayb yar oo SWAP ah oo cabirkeedu yahay 8 GB, waxaanan "la bixinay" noodhka hypervisor laftiisa anagoo adeegsanayna DD laga bilaabo sawirka tixraaca. Mugga nidaamka ee server-yada, waxaan u isticmaalnaa 2xSATA SSD RAID1 ama 2xSAS HDD RAID1 LSI ama koontaroolaha qalabka HP. Guud ahaan, wax dan ah kama hayno dhammaan waxa gudaha ku jira, maadaama mugga nidaamkayagu uu ku shaqeeyo qaab "ku dhawaad ββwax-akhris keliya", marka laga reebo SWAP. Oo maadaama aan haysano RAM badan server-ka oo ay tahay 30-40% bilaash, kama fikirno SWAP.
Habka kaabta. Hawshani waxay u eegtahay sidatan:
#!/bin/bash
mkdir -p /mnt/backups/volumes
DIR=/mnt/images-snap
VOL=images/volume
DATE=$(date "+%d")
HOSTNAME=$(hostname)
lvcreate -s -n $VOL-snap -l100%FREE $VOL
ionice -c3 dd iflag=direct if=/dev/$VOL-snap bs=1M of=/mnt/backups/volumes/$HOSTNAME-$DATE.raw
lvremove -f $VOL-snapU fiirso ionice -c3, Dhab ahaantii, shaygani gabi ahaanba waa wax aan faa'iido lahayn aaladaha NVMe, maadaama jadwalka IO iyaga loo dejiyay sida:
cat /sys/block/nvme0n1/queue/scheduler
[none] Si kastaba ha ahaatee, waxaan haynaa tiro ka mid ah qanjidhada dhaxalka leh ee SSD RAID-yada caadiga ah, iyaga tani waa mid khuseeya, markaa way guurayaan. SIDA UU YAHAY. Guud ahaan, tani waa kaliya qayb xiisa leh oo kood ah oo sharxayaa wax aan waxba tarayn ionice haddii ay dhacdo qaabeynta noocaas ah.
U fiirso calanka iflag=direct si ay u DD. Waxaan si toos ah u isticmaalnaa IO anagoo ka gudbayna khasnadda kaydka si aan uga fogaano beddelka aan loo baahnayn ee kaydiyeyaasha IO marka aad wax akhrinayso. Si kastaba ha ahaatee, oflag=direct ma yeelayno sababtoo ah waxaan la kulannay arrimaha waxqabadka ZFS markii la isticmaalaynay.
Waxaan si guul ah u isticmaalnay nidaamkan dhowr sano dhibaato la'aan.
Kadibna way bilaabatay... Waxaan ogaanay in mid ka mid ah noodyada aan dib loo celin, kii horena uu ku socday IOWAIT bahalnimo ah 50%. Markii aan isku daynay inaan fahamno sababta koobiyeynta aysan u dhicin, waxaan la kulannay ifafaalaha soo socda:
Volume group "images" not foundWaxaan bilownay inaan ka fikirno "dhammaadka ayaa u yimid Intel P4500," si kastaba ha ahaatee, ka hor inta aan la xirin server-ka si loo beddelo darawalka, weli waxay ahayd lagama maarmaan in la sameeyo nuqul. Waxaan hagaajinnay LVM2 anagoo dib u soo celinay xogta badan ee kaydka LVM2:
vgcfgrestore imagesWaxaan bilownay gurmad waxaana aragnay rinjiyeynta saliidda:
Mar labaad aad ayaan uga murugoonnay - way iska caddahay in aanan sidan u noolaan karin, maadaama dhammaan VPS-yada ay dhibi doonaan, taas oo macnaheedu yahay in aan sidoo kale dhibtoon doono. Waxa dhacay gabi ahaanba ma cadda - iostat waxay muujiyeen IOPS naxariis badan iyo IOWAIT ugu sarreeya. Ma jirin fikrado aan ka ahayn "aan beddelno NVMe," laakiin aragti ayaa dhacday waqti yar.
Falanqaynta xaaladda tallaabo tallaabo
Joornaal taariikhi ah. Dhowr maalmood ka hor, server-kan waxaa lagama maarmaan noqotay in la abuuro VPS weyn oo leh 128 GB RAM. Waxay u muuqatay inay jirto xusuus ku filan, laakiin si aan u ahaano dhinaca nabdoon, waxaan u qoondaynay 32 GB oo kale qaybta isdhaafsiga. VPS waa la sameeyay, si guul leh ayuu hawsheeda u dhameeyay, shilkana waa la ilaaway, laakiin qaybta SWAP ayaa hadhay.
Astaamaha Habaynta. Dhammaan adeegayaasha daruuraha cabbirka vm.swappiness waxaa loo dejiyay in ay noqoto mid aan caadi ahayn 60. SWAP waxaa lagu sameeyay SAS HDD RAID1.
Maxaa dhacay (sida ay qabaan tafatirayaasha). Marka dib loo celinayo DD waxay soo saartay xog badan oo qoraal ah, taas oo lagu dhejiyay kaydinta RAM ka hor inta aan loo qorin NFS. Xudunta nidaamka, oo ay hagto siyaasad swappiness, waxay u dhaqaaqday bogag badan oo xusuusta VPS ah oo ku socota aagga isdhaafsiga, kaas oo ku yaal xajmiga HDD RAID1 gaabis ah. Tani waxay keentay in IOWAIT ay si aad ah u korto, laakiin ma aha IO NVMe, laakiin ay ugu wacan tahay IO HDD RAID1.
Sida dhibka loo xaliyay. Qaybtii isdhaafsiga 32GB waa la joojiyay. Tani waxay qaadatay 16 saacadood; waxaad si gooni ah u akhrin kartaa sida iyo sababta SWAP ay u damiso si tartiib ah. Dejinta waa la bedelay swappiness qiimo la mid ah 5 daruuraha oo dhan.
Sidee taasi u dhici wayday?. Marka hore, haddii SWAP ay ku jirtay aaladda SSD RAID ama NVMe, iyo marka labaad, haddii aysan jirin aalad NVMe ah, laakiin aalad gaabis ah oo aan soo saari doonin mugga xogtan oo kale - si la yaab leh, dhibaatadu waxay dhacday sababtoo ah NVMe aad ayuu u dhakhso badan yahay.
Taas ka dib, wax walba waxay bilaabeen inay u shaqeeyaan sidii hore - iyadoo eber IOWAIT.
Source: www.habr.com