Ọtụtụ RAM n'efu, NVMe Intel P4500 na ihe niile na-adị ngwa ngwa - akụkọ banyere mgbakwunye enweghị nke ọma nke nkebi swap.

N'isiokwu a, m ga-ekwu maka ọnọdụ nke mere n'oge na-adịbeghị anya na otu n'ime sava na igwe ojii VPS anyị, nke hapụrụ m stumped ruo ọtụtụ awa. Anọ m na-ahazi ma na-emezigharị sava Linux ihe dị ka afọ 15, mana ikpe a adabaghị na omume m ma ọlị - enwere m ọtụtụ echiche ụgha wee nwee ntakịrị nkụda mmụọ tupu m nwee ike ikpebi nke ọma ihe kpatara nsogbu ahụ wee dozie ya. .

Okwu agba

Anyị na-arụ ọrụ igwe ojii nwere ọkara, nke anyị na-ewu na sava ọkọlọtọ nwere nhazi ndị a - 32 cores, 256 GB Ram na 4500TB PCI-E Intel P4 NVMe mbanye. Nhazi a masịrị anyị nke ukwuu n'ihi na ọ na-ewepụ mkpa ọ dị ichegbu onwe ya banyere IO n'elu site n'inye mmachi ziri ezi na ọkwa ụdị VM. N'ihi na NVMe Intel P4500 nwere nnukwu arụmọrụ, anyị nwere ike n'otu oge na-enye ma IOPS zuru ezu inye igwe yana nchekwa ndabere na ihe nkesa na-enweghị IOWAIT.

Anyị bụ otu n'ime ndị kwere ekwe ochie ndị na-adịghị eji hyperconverged SDN na ndị ọzọ nkecha, fashionable, ntorobịa ihe na-echekwa VM mpịakọta, na-ekwere na mfe usoro, ọ dị mfe na-eme ka nsogbu ya na ọnọdụ nke "isi guru agawo. ruo ugwu.” N'ihi ya, anyị na-echekwa mpịakọta VM n'ụdị QCOW2 na XFS ma ọ bụ EXT4, nke etinyere n'elu LVM2.

A na-amanyekwa anyị iji QCOW2 site na ngwaahịa anyị na-eji maka orchestration - Apache CloudStack.

Iji mee nkwado ndabere na mpaghara, anyị na-ewere foto zuru oke nke olu dị ka foto LVM2 (ee, anyị maara na ọnyà LVM2 na-adị ngwa ngwa, mana Intel P4500 na-enyere anyị aka ebe a). Anyị na-eme lvmcreate -s .. na site n'enyemaka dd anyị na-eziga oyiri ndabere na sava dịpụrụ adịpụ nwere nchekwa ZFS. N'ebe a, anyị ka na-aga n'ihu - ka emechara, ZFS nwere ike ịchekwa data n'ụdị abịakọrọ, anyị nwere ike weghachite ya ngwa ngwa site na iji. DD ma ọ bụ nweta mpịakọta VM nke ọ bụla site na iji mount -o loop ....

Ị nwere ike, n'ezie, wepụ ọ bụghị ihe oyiyi zuru oke nke olu LVM2, kama bulite usoro faịlụ na RO ma detuo ihe oyiyi QCOW2 n'onwe ha, Otú ọ dị, anyị chere ihu na XFS ghọrọ ihe ọjọọ site na nke a, ọ bụghị ozugbo, ma n'ụzọ na-enweghị atụ. Anyị anaghị amasị ya mgbe ndị ọbịa hypervisor "rapara" na mberede na ngwụsị izu, n'abalị ma ọ bụ na ezumike n'ihi njehie ndị na-edoghị anya mgbe ha ga-eme. Ya mere, maka XFS anyị anaghị eji ọnyà rịgoro na RO iji wepụta mpịakọta, anyị na-eṅomi dum olu LVM2.

A na-ekpebi ọsọ nke nkwado ndabere na mpaghara nkesa n'ọnọdụ anyị site na arụmọrụ nke ihe nkesa ndabere, nke dị ihe dị ka 600-800 MB / s maka data na-enweghị ike ịkọwapụta; njedebe ọzọ bụ ọwa 10Gbit / s nke ejikọrọ ihe nkesa ndabere. na ụyọkọ.

N'okwu a, a na-ebugote nnomi ndabere nke sava hypervisor 8 n'otu oge na otu ihe nkesa ndabere. Yabụ, sistemụ diski na sistemụ netwọkụ nke ihe nkesa ndabere, na-eji nwayọ nwayọ, ekwela ka sistemụ diski nke hypervisor ndị ọbịa buru ibu, ebe ọ bụ na ha enweghị ike hazie, sịnụ, 8 GB / sec, nke ndị nnabata hypervisor nwere ike ịdị mfe. mepụta.

Usoro nṅomi dị n'elu dị ezigbo mkpa maka akụkọ ndị ọzọ, gụnyere nkọwa - iji ngwa ngwa Intel P4500 mbanye, na-eji NFS na, eleghị anya, na-eji ZFS.

Akụkọ ndabere

N'elu ọnụ hypervisor ọ bụla anyị nwere obere akụkụ SWAP nke 8 GB n'ogo, anyị na-eji "na-atụgharị" ọnụ hypervisor n'onwe ya. DD site na onyonyo ntụaka. Maka olu sistemụ na sava, anyị na-eji 2xSATA SSD RAID1 ma ọ bụ 2xSAS HDD RAID1 na LSI ma ọ bụ njikwa ngwaike HP. N'ozuzu, anyị anaghị eche banyere ihe niile dị n'ime, ebe ọ bụ na olu sistemu anyị na-arụ ọrụ na ọnọdụ "ihe fọrọ nke nta ka ọ bụrụ naanị ịgụ", ewezuga SWAP. Ma ebe anyị nwere ọtụtụ RAM na ihe nkesa na ọ bụ 30-40% n'efu, anyị anaghị eche banyere SWAP.

Usoro ndabere. Ọrụ a dị ka nke a:

#!/bin/bash

mkdir -p /mnt/backups/volumes

DIR=/mnt/images-snap
VOL=images/volume
DATE=$(date "+%d")
HOSTNAME=$(hostname)

lvcreate -s -n $VOL-snap -l100%FREE $VOL
ionice -c3 dd iflag=direct if=/dev/$VOL-snap bs=1M of=/mnt/backups/volumes/$HOSTNAME-$DATE.raw
lvremove -f $VOL-snap

Lezienụ anya na ionice -c3N'ezie, ihe a abaghị uru maka ngwaọrụ NVMe, ebe ọ bụ na edobere IO nhazi maka ha dị ka:

cat /sys/block/nvme0n1/queue/scheduler
[none] 

Otú ọ dị, anyị nwere ọnụ ọgụgụ nke ihe nketa na SSD RAIDs, maka ha nke a dị mkpa, ya mere ha na-agagharị. DỊ KA Ọ BỤ. N'ozuzu, nke a bụ naanị mpempe koodu na-adọrọ mmasị nke na-akọwa ihe efu ionice ọ bụrụ na nhazi dị otú ahụ.

Lezienụ anya na ọkọlọtọ iflag=direct n'ihi na DD. Anyị na-eji IO ozugbo na-agafe ebe nchekwa nchekwa iji zere ndochi na-enweghị isi nke IO buffers mgbe ị na-agụ akwụkwọ. Agbanyeghị, oflag=direct anyị emeghị n'ihi na anyị ahụla nsogbu arụmọrụ ZFS mgbe anyị na-eji ya.

Anyị ejirila atụmatụ a mee ihe nke ọma ruo ọtụtụ afọ n'enweghị nsogbu.

Ma malitezie... Anyị chọpụtara na otu n'ime oghere ndị ahụ akwadoghị, na nke gara aga na-eji IOWAIT dị egwu na-agba ọsọ nke 50%. Mgbe anyị na-agbalị ịghọta ihe kpatara na-adịghị eme nnomi, anyị zutere ihe ndị a:

Volume group "images" not found

Anyị malitere iche echiche banyere "ọgwụgwụ abịawo maka Intel P4500," Otú ọ dị, tupu ịgbanyụọ ihe nkesa iji dochie ụgbọala ahụ, ọ ka dị mkpa iji mee nkwado ndabere. Anyị doziri LVM2 site na iweghachi metadata sitere na ndabere LVM2:

vgcfgrestore images

Anyị malitere nkwado ndabere na mpaghara hụ eserese mmanụ a:

Ọzọ, anyị nwere oke mwute - o doro anya na anyị enweghị ike ibi ndụ otú a, ebe ọ bụ na VPS niile ga-ata ahụhụ, nke pụtara na anyị ga-atakwa ahụhụ. Ihe merenụ edochaghị anya - iostat gosiri IOPS obi ebere yana IOWAIT kachasị elu. Enweghị echiche ndị ọzọ karịa "ka anyị dochie NVMe," mana nghọta mere n'oge.

Nyocha nke ọnọdụ nzọụkwụ site nzọụkwụ

Magazin akụkọ ihe mere eme. Ụbọchị ole na ole tupu mgbe ahụ, na ihe nkesa a ọ dị mkpa ịmepụta nnukwu VPS na 128 GB RAM. Ọ dị ka enwere ebe nchekwa zuru oke, mana ka anyị nọrọ n'akụkụ nchekwa, anyị ekenyela 32 GB ọzọ maka nkebi swap. Emepụtara VPS, rụchaa ọrụ ya nke ọma wee chefuo ihe ahụ merenụ, mana akụkụ SWAP ka dị.

Atụmatụ nhazi. Maka sava igwe ojii niile, oke vm.swappiness atọrọ na ndabara 60. Emebere SWAP na SAS HDD RAID1.

Kedu ihe mere (dị ka ndị editọ si kwuo). Mgbe ị na-akwado DD mepụtara ọtụtụ data ederede, nke etinyere na RAM buffers tupu edegara NFS. Isi sistemụ, nke amụma na-eduzi swappiness, na-ebugharị ọtụtụ ibe nke ebe nchekwa VPS na mpaghara swap, nke dị na ụda HDD RAID1 dị nwayọọ. Nke a butere IOWAIT na-eto nke ukwuu, mana ọ bụghị n'ihi IO NVMe, mana n'ihi IO HDD RAID1.

Otu esi edozi nsogbu ahụ. Agbanyụrụ nkebi gbanwere 32GB. Nke a were awa 16; ị nwere ike ịgụ iche maka otu na ihe kpatara SWAP ji agbanyụọ nwayọ. agbanweela ntọala swappiness ruo uru ha nhata 5 igwe-oji nile.

Kedu ka nke a agaghị eme?. Nke mbu, ọ bụrụ na SWAP nọ na SSD RAID ma ọ bụ ngwaọrụ NVMe, na nke abụọ, ọ bụrụ na enweghị ngwaọrụ NVMe, mana ngwaọrụ dị nwayọ nke na-agaghị ewepụta oke data dị otú ahụ - n'ụzọ dị ịtụnanya, nsogbu ahụ mere n'ihi na NVMe dị oke ngwa ngwa.

Mgbe nke ahụ gasịrị, ihe niile malitere ịrụ ọrụ dị ka ọ dị na mbụ - na efu IOWAIT.

isi: www.habr.com