Dia duit, tháinig mé trasna ar fhadhb suimiúil le déanaí: stóráil a bhunú chun líon mór blocghléasanna a thacú.
Gach seachtain déanaimid cúltaca de na meaisíní fíorúla go léir inár scamall, mar sin ní mór dúinn a bheith in ann na mílte cúltaca a choinneáil agus é a dhéanamh chomh tapa agus chomh héifeachtach agus is féidir.
Ar an drochuair, cumraíochtaí caighdeánacha RAID5, RAID6 sa chás seo, ní bheidh cead againn é sin a dhéanamh, ós rud é go mbeidh an próiseas aisghabhála ar dhioscaí móra mar ár gceann againn thar a bheith pianmhar fada agus is dócha nach dtiocfaidh deireadh leis go deo.
Breathnaímid ar na roghanna eile atá ann:
— Cosúil le RAID5, RAID6, ach le leibhéal paireacht inchumraithe. Sa chás seo, déantar an áirithint ní bloc le bloc, ach le haghaidh gach réad ar leithligh. Is é an bealach is éasca chun códú scriosta a thriail ná leathnú .
is gné ZFS nach bhfuil eisithe faoi láthair. Murab ionann agus RAIDZ, tá bloc paireacht dáilte ag DRAID agus, le linn aisghabhála, úsáideann sé gach diosca den eagar ag an am céanna, rud a fhágann go bhfuil sé in ann teipeanna diosca a sheasamh agus a ghnóthú níos tapúla tar éis teip.
Freastalaí ar fáil Tiománaí do Fujitsu Primergy RX300 S7 le próiseálaí Intel Xeon CPU E5-2650L 0 @ 1.80GHz, naoi mbata RAM Samsung DDR3-1333 8Gb PC3L-10600R ECC Cláraithe (M393B1K70DH0-YH9), seilf diosca Supermicro SuperChassis 847E26-RJBOD1, ceangailte trí Expander Dual LSI SAS2X36 agus 45 diosca Seadage ST6000NM0115-1YZ110 ar 6TB gach duine.
Sula ndéanaimid cinneadh ar rud ar bith, ní mór dúinn ar dtús gach rud a thástáil i gceart.
Chun seo a dhéanamh, d'ullmhaigh agus rinne mé tástáil ar chumraíochtaí éagsúla. Chun seo a dhéanamh, d'úsáid mé minio, a d'fheidhmigh mar inneall S3 agus a sheol sé ar mhodhanna éagsúla le huimhreacha éagsúla spriocanna.
Go bunúsach, rinneadh tástáil ar an mionchás i gcódú scriosta vs ruathar bogearraí leis an líon céanna dioscaí agus paireacht dioscaí, agus is iad seo: RAID6, RAIDZ2 agus DRAID2.
Le haghaidh tagartha: nuair a sheolann tú minio gan ach sprioc amháin, oibríonn minio i mód geata S3, ag seachadadh do chóras comhad áitiúil i bhfoirm stórála S3. Má sheolann tú minio ag sonrú roinnt spriocanna, cuirfear an modh Códaithe Scriosta ar siúl go huathoibríoch, rud a scaipfidh na sonraí idir do spriocanna agus lamháltas lochtanna á soláthar.
De réir réamhshocraithe, roinneann minio spriocanna i ngrúpaí de 16 diosca, le 2 phaireachtaí in aghaidh an ghrúpa. Iad siúd. Is féidir le dhá dhiosca theipeann ag an am céanna gan sonraí a chailliúint.
Chun feidhmíocht a thástáil, d'úsáid mé 16 diosca de 6TB an ceann agus scríobh mé rudaí beaga 1MB i méid orthu, rinne sé seo cur síos go beacht ar ár n-ualach sa todhchaí, ós rud é go roinneann gach uirlis chúltaca nua-aimseartha sonraí i mbloic de roinnt meigibheart agus scríobh ar an mbealach seo iad.
Chun an tagarmharc a dhéanamh, d'úsáideamar an áirgiúlacht s3bench, a seoladh ar fhreastalaí cianda agus a sheol na mílte rudaí den sórt sin chuig minio sna céadta snáitheanna. Ina dhiaidh sin rinne mé iarracht iad a iarraidh ar ais ar an mbealach céanna.
Taispeántar na torthaí tagarmharcála sa tábla seo a leanas:
Mar is féidir linn a fheiceáil, déanann minio ina mhodh códaithe scriosta féin i bhfad níos measa ag an scríbhneoireacht ná minio ag rith ar bharr bogearraí RAID6, RAIDZ2 agus DRAID2 sa chumraíocht chéanna.
Ar leithligh dom tástáil minio ar ext4 vs XFS. Is ionadh é, maidir le mo chineál ualach oibre, d'éirigh XFS amach a bheith i bhfad níos moille ná ext4.
Sa chéad bhaisc tástálacha, léirigh Mdadm superiority thar ZFS, ach níos déanaí gur féidir leat feidhmíocht ZFS a fheabhsú trí na roghanna seo a leanas a shocrú:
xattr=sa atime=off recordsize=1Magus ina dhiaidh sin tháinig na tástálacha le ZFS i bhfad níos fearr.
Is féidir leat a thabhairt faoi deara freisin nach dtugann DRAID mórán gnóthachan feidhmíochta thar RAIDZ, ach go teoiriciúil ba chóir go mbeadh sé i bhfad níos sábháilte.
Sa dá thástáil dheireanacha, rinne mé iarracht freisin meiteashonraí (speisialta) agus ZIL (logáil) a aistriú chuig an scáthán ón SSD. Ach ní raibh baint mhór ag baint le meiteashonraí i luas taifeadta, agus nuair a bhain ZIL, mo bhuail an uasteorainn le húsáid 100%, mar sin measaim gur teip an tástáil seo. Ní chuirim as an áireamh dá mbeadh tiomántáin SSD níos tapúla agam, b'fhéidir go bhféadfadh sé seo mo thorthaí a fheabhsú go mór, ach, ar an drochuair, ní raibh siad agam.
Sa deireadh, chinn mé DRAID a úsáid agus in ainneoin a stádas béite, is é an réiteach stórála is tapúla agus is éifeachtaí inár gcás.
Chruthaigh mé DRAID2 simplí i gcumraíocht le trí ghrúpa agus dhá spártha dáilte:
# zpool status data
pool: data
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
data ONLINE 0 0 0
draid2:3g:2s-0 ONLINE 0 0 0
sdy ONLINE 0 0 0
sdam ONLINE 0 0 0
sdf ONLINE 0 0 0
sdau ONLINE 0 0 0
sdab ONLINE 0 0 0
sdo ONLINE 0 0 0
sdw ONLINE 0 0 0
sdak ONLINE 0 0 0
sdd ONLINE 0 0 0
sdas ONLINE 0 0 0
sdm ONLINE 0 0 0
sdu ONLINE 0 0 0
sdai ONLINE 0 0 0
sdaq ONLINE 0 0 0
sdk ONLINE 0 0 0
sds ONLINE 0 0 0
sdag ONLINE 0 0 0
sdi ONLINE 0 0 0
sdq ONLINE 0 0 0
sdae ONLINE 0 0 0
sdz ONLINE 0 0 0
sdan ONLINE 0 0 0
sdg ONLINE 0 0 0
sdac ONLINE 0 0 0
sdx ONLINE 0 0 0
sdal ONLINE 0 0 0
sde ONLINE 0 0 0
sdat ONLINE 0 0 0
sdaa ONLINE 0 0 0
sdn ONLINE 0 0 0
sdv ONLINE 0 0 0
sdaj ONLINE 0 0 0
sdc ONLINE 0 0 0
sdar ONLINE 0 0 0
sdl ONLINE 0 0 0
sdt ONLINE 0 0 0
sdah ONLINE 0 0 0
sdap ONLINE 0 0 0
sdj ONLINE 0 0 0
sdr ONLINE 0 0 0
sdaf ONLINE 0 0 0
sdao ONLINE 0 0 0
sdh ONLINE 0 0 0
sdp ONLINE 0 0 0
sdad ONLINE 0 0 0
spares
s0-draid2:3g:2s-0 AVAIL
s1-draid2:3g:2s-0 AVAIL
errors: No known data errorsCeart go leor, tá an stóráil socraithe againn, anois déanaimis labhairt faoi na rudaí a dhéanfaimid cúltaca. Anseo ba mhaith liom labhairt láithreach faoi thrí réiteach a d'éirigh liom triail a bhaint as, agus is iad seo:
- forc , réiteach speisialaithe le haghaidh cúltaca gléas bloc, tá comhtháthú daingean aige le Ceph. Is féidir leis difríocht a dhéanamh idir pictiúir agus cúltaca incriminteach a chruthú uathu. Tacaíonn sé le líon mór inneall stórála, lena n-áirítear áitiúla agus S3. Tá bunachar sonraí ar leith ag teastáil chun an tábla hash dídhúblála a stóráil. As na míbhuntáistí: scríofa i python, tá cli beagán neamhfhreagrach.
- forc , Is féidir le fada ar a dtugtar agus cruthaithe uirlis cúltaca, sonraí cúltaca agus deduplicate go maith. In ann cúltacaí a shábháil go háitiúil agus chuig cianfhreastalaí trí scp. Is féidir le feistí cúltaca bloc má seoladh leis an bhratach --special, ceann de na míbhuntáistí: nuair a bhíonn cúltaca á chruthú, tá an stór bac go hiomlán, mar sin moltar stór ar leith a chruthú do gach meaisín fíorúil, i bprionsabal ní fadhb é seo, go fortunately cruthaítear iad go héasca.
is tionscadal atá ag forbairt go gníomhach é, scríofa isteach, sách tapa agus tacaíonn sé le líon mór inneall stórála, lena n-áirítear stóráil áitiúil, scp, S3 agus go leor eile. Ar leithligh, ba mhaith liom a thabhairt faoi deara go bhfuil cruthaithe go speisialta le haghaidh restic, a ligeann duit stóráil a onnmhairiú go tapa le húsáid go cianda. As an méid thuas ar fad, is mó a thaitin liom é. Is féidir cúltaca ó stdin. Níl beagnach aon míbhuntáistí suntasacha aige, ach tá roinnt gnéithe ann:
-
Ar an gcéad dul síos, rinne mé iarracht é a úsáid sa mhodh stórais ghinearálta do gach meaisín fíorúil (cosúil le Benji) agus d'oibrigh sé go maith fiú, ach ghlac na hoibríochtaí athchóirithe go leor ama an-fhada, mar gheall ar ... Gach uair roimh athchóiriú, déanann Restic iarracht meiteashonraí gach cúltaca a léamh. Réitíodh an fhadhb seo go héasca, mar atá le borg, trí stór ar leith a chruthú do gach meaisín fíorúil. Tá sé cruthaithe go bhfuil an cur chuige seo an-éifeachtach chun cúltacaí a bhainistiú freisin. D’fhéadfadh pasfhocal ar leith a bheith ag stórtha ar leith chun rochtain a fháil ar shonraí, agus ní gá go mbeadh eagla orainn go bhféadfadh an stór domhanda briseadh ar bhealach éigin. Is féidir leat stórtha nua a sceitheadh chomh héasca agus a bhíonn i gcúltaca borg.
Ar aon nós, ní dhéantar dídhúbailt ach amháin i gcoibhneas leis an leagan roimhe seo den chúltaca; cinneann an cosán don chúltaca a shonraítear an cúltaca roimhe seo, mar sin má dhéanann tú cúltaca de rudaí éagsúla ó stdin go stór coiteann, ná déan dearmad an rogha
--stdin-filename, nó sonraigh go sainráite an rogha gach uair--parent.
-
Ar an dara dul síos, tógann sé i bhfad níos faide téarnamh chuig stdout ná aisghabháil ar an gcóras comhad mar gheall ar a nádúr comhthreomhar. Sa todhchaí, tá sé beartaithe againn tacaíocht níos dlúithe a chur leis le haghaidh cúltacaí le haghaidh feistí bloc.
-
Sa tríú háit, moltar é a úsáid faoi láthair , mar Tá fabht ag leagan 0.9.6 le hathshlánú fada comhaid mhóra.
Chun éifeachtúlacht an chúltaca a thástáil agus luas na scríbhneoireachta / athshlánaithe ó chúltaca, chruthaigh mé stór ar leith agus rinne mé iarracht íomhá bheag de mheaisín fíorúil a chúltaca (21 GB). Déanadh dhá chúltaca gan an bunleagan a athrú, ag baint úsáide as gach ceann de na réitigh liostaithe chun a sheiceáil cé chomh tapa agus níos moille a cóipeáladh na sonraí dídhúbailte.
Mar is féidir linn a fheiceáil, tá an cóimheas éifeachtúlachta cúltaca tosaigh is fearr ag Borg Backup, ach tá sé níos lú i dtéarmaí luas a scríobh agus a athchóiriú.
Restic iompaigh amach a bheith níos tapúla ná Benji Cúltaca, ach a thógann sé níos faide a chur ar ais go dtí stdout, agus, ar an drochuair, níl a fhios fós conas a scríobh go díreach chuig gléas bloc.
Tar éis na buntáistí agus na míbhuntáistí go léir a mheá, chinn mé socrú a dhéanamh scíthe с seachfhreastalaí mar an réiteach cúltaca is áisiúla agus tuar dóchais inti.
Sa chraoladh scáileáin seo is féidir leat a fheiceáil conas a úsáidtear cainéal 10-gigabit go hiomlán le linn roinnt oibríochtaí cúltaca a ritheann go comhuaineach. Is fiú a thabhairt faoi deara nach n-ardaíonn athchúrsáil diosca os cionn 30%.
Bhí mé thar a bheith sásta leis an réiteach a fuair mé!
Foinse: will.com