San Airteagal seo, labhróidh mé faoi chás a tharla le déanaí le ceann de na freastalaithe inár scamall VPS, a d'fhág mé stumped ar feadh roinnt uaireanta. Tá mé ag cumrú agus ag fabhtcheartú freastalaithe Linux ar feadh thart ar 15 bliain, ach ní thagann an cás seo isteach i mo chleachtas ar chor ar bith - rinne mé roinnt boinn tuisceana bréagach agus fuair mé beagán éadóchasach sula raibh mé in ann cúis na faidhbe a chinneadh i gceart agus é a réiteach. .
Brollach
Oibrímid scamall meánmhéide, a thógaimid ar fhreastalaithe caighdeánach leis an gcumraíocht seo a leanas - 32 cores, 256 GB RAM agus tiomáint 4500TB PCI-E Intel P4 NVMe. Is maith linn an chumraíocht seo go mór mar cuireann sé deireadh leis an ngá a bheith buartha faoi IO lastuas tríd an srian ceart a sholáthar ag leibhéal cineál shampla VM. Mar gheall ar NVMe Intel Tá feidhmíocht shuntasach aige, is féidir linn soláthar iomlán IOPS a sholáthar do mheaisíní agus stóráil chúltaca ag an am céanna do fhreastalaí cúltaca le IOWAIT nialasach.
Tá muid ar dhuine de na seanchreidmhigh sin nach n-úsáideann SDN hipear-chomhchruinnithe agus rudaí eile stylish, faiseanta, óige chun toirteanna VM a stóráil, ag creidiúint dá simplí an córas, is ea is fusa a bheidh sé fabhtcheartú a dhéanamh air faoi choinníollacha “tá an príomhghúrú imithe. go dtí na sléibhte.” Mar thoradh air sin, stóráilimid méideanna VM i bhformáid QCOW2 in XFS nó EXT4, a imlonnaítear ar bharr LVM2.
Tá iachall orainn freisin QCOW2 a úsáid ag an táirge a úsáidimid le haghaidh ceolfhoirneoireachta - Apache CloudStack.
Chun cúltaca a dhéanamh, glacaimid íomhá iomlán den toirt mar ghrianghraf LVM2 (tá, tá a fhios againn go bhfuil snapshots LVM2 mall, ach cabhraíonn an Intel P4500 linn anseo freisin). Déanaimid lvmcreate -s .. agus le cabhair dd cuirimid an cóip chúltaca chuig freastalaí iargúlta le stóráil ZFS. Anseo táimid fós beagán forásach - tar éis an tsaoil, is féidir le ZFS sonraí a stóráil i bhfoirm chomhbhrúite, agus is féidir linn é a chur ar ais go tapa ag baint úsáide as DD nó faigh méideanna VM aonair ag baint úsáide as mount -o loop ....
Ní féidir leat, ar ndóigh, an íomhá iomlán den toirt LVM2 a bhaint, ach an córas comhaid a fheistiú sa
ROagus cóipeáil na híomhánna QCOW2 iad féin, áfach, bhí muid ag tabhairt aghaidhe ar an bhfíric go raibh XFS olc as seo, agus ní láithreach, ach ar bhealach nach féidir a thuar. Ní maith linn é i ndáiríre nuair a bhíonn hypervisor ina hóstach ar “bata” go tobann ar an deireadh seachtaine, san oíche nó ar laethanta saoire mar gheall ar earráidí nach bhfuil soiléir cén uair a tharlóidh siad. Mar sin, le haghaidh XFS ní úsáidimid gléasadh seat isteachROChun toirteanna a bhaint, ní dhéanaimid ach an méid LVM2 iomlán a chóipeáil.
Cinneann feidhmíocht an fhreastalaí cúltaca, atá thart ar 600-800 MB/s le haghaidh sonraí do-chomhbhrúite, luas an chúltaca don fhreastalaí cúltaca; is é an cainéal 10Gbit/s a bhfuil an freastalaí cúltaca nasctha leis an teorainneoir eile. don bhraisle.
Sa chás seo, déantar cóipeanna cúltaca de 8 bhfreastalaí hypervisor a uaslódáil go comhuaineach chuig freastalaí cúltaca amháin. Mar sin, toisc go bhfuil dioscaí agus fochórais líonra an fhreastalaí cúltaca níos moille, ní cheadaíonn siad d'fhochórais diosca na n-óstach hypervisor ró-ualach, toisc nach bhfuil siad in ann, abair, 8 GB/soic a phróiseáil, rud is féidir leis an hypervisor a óstáil go héasca. tháirgeadh.
Tá an próiseas cóipeála thuas an-tábhachtach don scéal breise, lena n-áirítear na sonraí - ag baint úsáide as tiomáint tapa Intel P4500, ag baint úsáide as NFS agus, is dócha, ag baint úsáide as ZFS.
Scéal cúltaca
Ar gach nód hypervisor tá deighilt bheag SWAP de 8 GB againn, agus déanaimid an nód hypervisor féin a “rolladh amach” ag baint úsáide as DD ón íomhá tagartha. Le haghaidh toirt an chórais ar fhreastalaithe, úsáidimid 2xSATA SSD RAID1 nó 2xSAS HDD RAID1 ar rialtóir crua-earraí LSI nó HP. Go ginearálta, is cuma linn cad atá istigh, ós rud é go n-oibríonn toirt ár gcórais i mód “beagnach inléite”, ach amháin i gcás SWAP. Agus ós rud é go bhfuil go leor RAM againn ar an bhfreastalaí agus go bhfuil sé 30-40% saor in aisce, ní smaoinímid ar SWAP.
Próiseas cúltaca. Breathnaíonn an tasc seo rud éigin mar seo:
#!/bin/bash
mkdir -p /mnt/backups/volumes
DIR=/mnt/images-snap
VOL=images/volume
DATE=$(date "+%d")
HOSTNAME=$(hostname)
lvcreate -s -n $VOL-snap -l100%FREE $VOL
ionice -c3 dd iflag=direct if=/dev/$VOL-snap bs=1M of=/mnt/backups/volumes/$HOSTNAME-$DATE.raw
lvremove -f $VOL-snapTabhair aird ar ionice -c3, i ndáiríre, tá an rud seo go hiomlán gan úsáid le haghaidh feistí NVMe, ós rud é go bhfuil an sceidealóir IO dóibh socraithe mar:
cat /sys/block/nvme0n1/queue/scheduler
[none] Mar sin féin, tá roinnt nóid oidhreachta againn le RAIDs SSD traidisiúnta, dóibh tá sé seo ábhartha, agus mar sin tá siad ag bogadh MAR ATÁ. Ar an iomlán, níl anseo ach píosa cód suimiúil a mhíníonn an fuacht ionice i gcás a leithéid de chumraíocht.
Tabhair aird ar an bratach iflag=direct le haghaidh DD. Bainimid úsáid as IO díreach ag seachaint an taisce maoláin chun athsholáthar neamhriachtanach ar mhaoláin IO a sheachaint agus tú ag léamh. Ach, oflag=direct ní dhéanaimid toisc gur thángamar ar shaincheisteanna feidhmíochta ZFS agus é á úsáid.
Táimid ag baint úsáide as an scéim seo go rathúil le roinnt blianta anuas gan fadhbanna.
Agus ansin thosaigh sé... Fuair muid amach nach raibh tacaíocht ar cheann de na nóid a thuilleadh, agus bhí an ceann roimhe sin ag rith le IOWAIT monstrous de 50%. Agus muid ag iarraidh a thuiscint cén fáth nach dtarlaíonn cóipeáil, thángamar ar an bhfeiniméan seo a leanas:
Volume group "images" not foundThosaigh muid ag smaoineamh ar “tá an deireadh tagtha don Intel P4500,” áfach, sular mhúch an freastalaí chun an tiomáint a athsholáthar, bhí sé fós riachtanach cúltaca a dhéanamh. Rinneamar LVM2 a shocrú trí mheiteashonraí a athbhunú ó chúltaca LVM2:
vgcfgrestore imagesSheolamar cúltaca agus chonaiceamar an phéintéireacht ola seo:
Arís bhíomar an-bhrónach - ba léir nach bhféadfaimis maireachtáil mar seo, ós rud é go mbeadh na VPSanna go léir ag fulaingt, rud a chiallaíonn go mbeimis ag fulaingt freisin. Níl sé soiléir go hiomlán cad a tharla - iostat léirigh IOPS trua agus an IOWAIT is airde. Ní raibh aon smaointe seachas “cuirimis ionad NVMe,” ach tharla léargas díreach in am.
Anailís ar an staid céim ar chéim
Iris staire. Cúpla lá roimhe sin, ar an bhfreastalaí seo bhí sé riachtanach VPS mór a chruthú le 128 GB RAM. Ba chosúil go raibh go leor cuimhne ann, ach le bheith ar an taobh sábháilte, leithdháileamar 32 GB eile don chríochdheighilt babhtála. Cruthaíodh an VPS, chríochnaigh sé a thasc go rathúil agus rinneadh dearmad ar an eachtra, ach d'fhan críochdheighilt an SWAP.
Gnéithe Cumraíochta. Do gach freastalaí scamall an paraiméadar vm.swappiness socraithe mar réamhshocrú 60. Agus cruthaíodh SWAP ar SAS HDD RAID1.
Cad a tharla (de réir na n-eagarthóirí). Nuair a tacaíocht suas DD tháirgtear go leor sonraí scríofa, a cuireadh i maoláin RAM sular scríobh sé chuig NFS. Croílár an chórais, treoraithe ag polasaí swappiness, ag bogadh go leor leathanaigh de chuimhne VPS chuig an limistéar babhtála, a bhí suite ar imleabhar mall HDD RAID1. Mar thoradh air seo d'fhás IOWAIT go han-láidir, ach ní mar gheall ar IO NVMe, ach mar gheall ar IO HDD RAID1.
Conas a réitíodh an fhadhb. Díchumasaíodh an deighilt babhtála 32GB. Thóg sé seo 16 uair an chloig; is féidir leat léamh go leithleach faoi conas agus cén fáth a mhúchadh SWAP chomh mall sin. Athraíodh na socruithe swappiness go luach comhionann le 5 ar fud an scamall.
Conas nach bhféadfadh sé seo tarlú?. Ar an gcéad dul síos, dá mbeadh SWAP ar ghléas SSD RAID nó NVMe, agus sa dara háit, mura raibh aon fheiste NVMe ann, ach gléas níos moille nach dtáirgfeadh méid sonraí den sórt sin - go híorónta, tharla an fhadhb toisc go bhfuil an NVMe sin ró-tapa.
Tar éis sin, thosaigh gach rud ag obair mar a bhí roimhe - le nialas IOWAIT.
Foinse: will.com