Cùl-taic Pàirt 4: Lèirmheas agus deuchainn zbackup, restic, borgbackup

Beachdaichidh an artaigil seo air bathar-bog cùl-taic a bhios, le bhith a’ briseadh an t-sruth dàta gu pàirtean fa leth (pìosan), a’ cruthachadh stòr.

Faodar co-phàirtean stòrais a dhlùthadh agus a chrioptachadh tuilleadh, agus nas cudromaiche - tro phròiseasan cùl-taic a-rithist - ath-chleachdadh.

Tha lethbhreac cùl-taic ann an leithid de stòr na shreath ainmichte de phàirtean ceangailte ri chèile, mar eisimpleir, stèidhichte air diofar ghnìomhan hash.

Tha grunn fhuasglaidhean coltach ris, cuiridh mi fòcas air 3: zbackup, borgbackup agus restic.

Toraidhean ris a bheil dùil

Leis gu bheil feum aig a h-uile tagraiche air stòr-tasgaidh a chruthachadh ann an dòigh air choireigin, is e aon de na nithean as cudromaiche tuairmse a dhèanamh air meud an stòrais. Mas fheàrr, cha bu chòir a mheud a bhith nas motha na 13 GB a rèir an dòigh-obrach ris an deach gabhail, no eadhon nas lugha - le ùmhlachd do optimization math.

Tha e cuideachd air leth ion-mhiannaichte a bhith comasach air lethbhric cùl-taic de fhaidhlichean a chruthachadh gu dìreach, gun a bhith a’ cleachdadh tasglannan mar teàrr, a bharrachd air a bhith ag obair le ssh / sftp gun innealan a bharrachd leithid rsync agus sshfs.

Giùlan nuair a chruthaicheas tu cùl-taic:

1. Bidh meud an stòrais co-ionann ri meud nan atharrachaidhean, no nas lugha.
2. Tha dùil ri eallach trom CPU nuair a bhios tu a’ cleachdadh teannachadh agus/no crioptachadh, agus tha coltas ann gu bheil luchd lìonra is diosc gu math àrd ma tha am pròiseas tasglann agus/no crioptachadh a’ ruith air frithealaiche stòraidh cùl-taic.
3. Ma thèid an stòr a mhilleadh, tha coltas ann gum bi dàil ann nuair a chruthaicheas tu cùl-taic ùra agus nuair a thathar a’ feuchainn ri ath-nuadhachadh. Feumar ceumannan a bharrachd a dhealbhadh gus dèanamh cinnteach à ionracas an stòrais no innealan togte a chleachdadh gus a ionracas a sgrùdadh.

Tha obrachadh le teàrr air a ghabhail mar luach iomraidh, mar a chaidh a shealltainn ann an aon de na h-artaigilean roimhe.

A 'dèanamh deuchainn air zbackup

Is e an uidheamachd coitcheann de zbackup gu bheil am prògram a’ lorg anns na raointean sruth dàta cuir a-steach anns a bheil an aon dàta, agus an uairsin gan teannachadh agus a chrioptachadh gu roghnach, a ’sàbhaladh gach raon dìreach aon turas.

Bidh Deduplication a’ cleachdadh gnìomh hash fàinne 64-bit le uinneag sleamhnachaidh gus sgrùdadh a dhèanamh airson geamannan byte-by-byte an aghaidh blocaichean dàta a th’ ann (coltach ri mar a bhios rsync ga chur an gnìomh).

Bithear a’ cleachdadh lzma agus lzo ioma-snàthainn airson teannachadh, agus aes airson crioptachadh. Tha comas aig na dreachan as ùire seann dàta a dhubhadh às bhon stòr san àm ri teachd.
Tha am prògram sgrìobhte ann an C ++ le glè bheag de eisimeileachd. Tha e coltach gu robh an t-ùghdar air a bhrosnachadh leis an dòigh unix, agus mar sin bidh am prògram a’ gabhail ri dàta air stdin nuair a bhios iad a’ cruthachadh cùl-taic, a’ toirt a-mach sruth dàta coltach ris air stdout nuair a bhios e ag ath-nuadhachadh. Mar sin, faodar zbackup a chleachdadh mar “bhloc togail” fìor mhath nuair a bhios tu a’ sgrìobhadh na fuasglaidhean cùl-taic agad fhèin. Mar eisimpleir, tha ùghdar an artaigil air am prògram seo a chleachdadh mar phrìomh inneal cùl-taic airson innealan dachaigh bho timcheall air 2014.

Bidh an sruth dàta na theàrr cunbhalach mura h-eilear ag ràdh a chaochladh.

Feuch sinn a-mach dè na toraidhean a th 'ann:

Chaidh an obair a sgrùdadh ann an 2 roghainn:

1. thèid stòr-tasgaidh a chruthachadh agus thèid zbackup a chuir air bhog air an fhrithealaiche leis an dàta stòr, an uairsin thèid susbaint an stòrais a ghluasad chun t-seirbheisiche stòraidh cùl-taic.
2. tha stòr air a chruthachadh air an t-seirbheisiche stòraidh cùl-taic, thèid zbackup a chuir air bhog tro ssh air an t-seirbheisiche stòraidh cùl-taic, agus thèid dàta a chuir thuige tro phìob.

Bha toraidhean a’ chiad roghainn mar a leanas: 43m11s - nuair a bhios tu a’ cleachdadh stòr neo-chrioptaichte agus an compressor lzma, 19m13s - nuair a thèid lzo a chuir an àite an compressor.

Bha an luchd air an fhrithealaiche leis an dàta tùsail mar a leanas (tha eisimpleir le lzma air a shealltainn; le lzo bha timcheall air an aon dealbh ann, ach bha an roinn de rsync timcheall air cairteal den ùine):

Tha e soilleir nach eil a leithid de phròiseas cùl-taic freagarrach ach airson atharrachaidhean a tha gu math tearc agus beag. Tha e cuideachd ciallach zbackup a chuingealachadh gu snàithlean 1, air neo bidh eallach CPU gu math àrd ann, oir Tha am prògram fìor mhath air obrachadh ann an iomadh snàithlean. Bha an luchd air an diosc beag, rud nach biodh san fharsaingeachd ri fhaicinn le fo-shiostam diosc ùr-nodha stèidhichte air ssd. Chì thu gu soilleir cuideachd toiseach a’ phròiseas airson dàta tasgaidh a shioncronachadh gu frithealaiche iomallach; tha astar an obrachaidh an coimeas ri rsync cunbhalach agus bidh e an urra ri coileanadh fo-shiostam diosc an fhrithealaiche stòraidh cùl-taic. Is e ana-cothrom an dòigh-obrach seo stòradh stòr-dàta ionadail agus, mar thoradh air sin, dùblachadh dàta.

Nas inntinniche agus nas freagarraiche ann an cleachdadh tha an dàrna roghainn, a 'ruith zbackup gu dìreach air an fhrithealaiche stòraidh cùl-taic.

An toiseach, nì sinn deuchainn air an obrachadh gun a bhith a’ cleachdadh crioptachadh leis an lzma compressor:

Ùine ruith gach ruith deuchainn:

Cur air bhog 1
Cur air bhog 2
Cur air bhog 3

39m 45s
40m 20s
40m 3s

7m 36s
8m 3s
7m 48s

15m 35s
15m 48s
15m 38s

Ma cheadaicheas tu crioptachadh le bhith a’ cleachdadh aes, tha na toraidhean gu math faisg:

Ùine obrachaidh air an aon dàta, le crioptachadh:

Cur air bhog 1
Cur air bhog 2
Cur air bhog 3

43m 40s
44m 12s
44m 3s

8m 3s
8m 15s
8m 12s

15m 0s
15m 40s
15m 25s

Ma tha crioptachadh air a chur còmhla ri teannachadh a’ cleachdadh lzo, tha e a’ coimhead mar seo:

Uairean obrach:

Cur air bhog 1
Cur air bhog 2
Cur air bhog 3

18m 2s
18m 15s
18m 12s

5m 13s
5m 24s
5m 20s

8m 48s
9m 3s
8m 51s

Bha meud an stòrais a thàinig às an ìre mhath co-ionann aig 13GB. Tha seo a 'ciallachadh gu bheil deduplication ag obair ceart. Cuideachd, air dàta a tha air a dhlùthadh mar-thà, tha cleachdadh lzo a’ toirt buaidh shònraichte; a thaobh ùine obrachaidh iomlan, tha zbackup a’ tighinn faisg air dùblachadh/dùblachadh, ach tha e air dheireadh air an fheadhainn a tha stèidhichte air librsync 2-5 tursan.

Tha na buannachdan follaiseach - a’ sàbhaladh àite diosc air an fhrithealaiche stòraidh cùl-taic. A thaobh innealan sgrùdaidh tasgaidh, chan eil ùghdar zbackup a’ toirt seachad iad; thathas a ’moladh raon diosc no solaraiche sgòthan a tha fulang le locht a chleachdadh.

Uile gu lèir, fìor dheagh bheachd, a dh'aindeoin 's gu bheil am pròiseact air a bhith a' seasamh fhathast airson timcheall air 3 bliadhna (bha an t-iarrtas feart mu dheireadh timcheall air bliadhna air ais, ach gun fhreagairt).

A 'dèanamh deuchainn air borgbackup

Tha Borgbackup na forc de lobhta, siostam eile coltach ri zbackup. Sgrìobhte ann am python, tha liosta de chomasan coltach ri zbackup, ach a bharrachd air sin faodaidh:

• Stàlaich lethbhreacan-glèidhidh tro fiùs
• Thoir sùil air susbaint an stòrais
• Obraich ann am modh frithealaiche-cliant
• Cleachd diofar compressors airson dàta, a bharrachd air dearbhadh heuristic den t-seòrsa faidhle nuair a tha e ga dhlùthadh.
• 2 roghainn crioptachaidh, aes agus blake
• Inneal togail airson

sgrùdaidhean coileanaidh

crud slat-tomhais borgbackup ssh: //backup_server/repo/path local_dir

Bha na toraidhean mar a leanas:

CZ-BIG 96.51 MB/s (10 100.00 MB faidhlichean uile-neoni: 10.36s)
RZ-BIG 57.22 MB/s (10 100.00 MB faidhlichean uile-neoni: 17.48s)
UZ-BIG 253.63 MB/s (10 100.00 MB faidhlichean uile-neoni: 3.94s)
DZ-BIG 351.06 MB/s (10 100.00 MB faidhlichean uile-neoni: 2.85s)
CR-BIG 34.30 MB/s (10 100.00 MB faidhlichean air thuaiream: 29.15n)
RR-BIG 60.69 MB/s (10 100.00 MB faidhlichean air thuaiream: 16.48n)
UR-BIG 311.06 MB/s (10 100.00 MB faidhlichean air thuaiream: 3.21n)
DR-BIG 72.63 MB / s (10 100.00 MB faidhlichean air thuaiream: 13.77n)
CZ-MEDIUM 108.59 MB/s (1000 1.00 MB faidhlichean uile-neoni: 9.21s)
RZ-MEDIUM 76.16 MB/s (1000 1.00 MB faidhlichean uile-neoni: 13.13s)
UZ-MEDIUM 331.27 MB/s (1000 1.00 MB faidhlichean uile-neoni: 3.02s)
DZ-MEDIUM 387.36 MB/s (1000 1.00 MB faidhlichean uile-neoni: 2.58s)
CR-MEDIUM 37.80 MB/s (1000 1.00 MB faidhlichean air thuaiream: 26.45n)
RR-MEDIUM 68.90 MB/s (1000 1.00 MB faidhlichean air thuaiream: 14.51n)
UR-MEDIUM 347.24 MB/s (1000 1.00 MB faidhlichean air thuaiream: 2.88n)
DR-MEDIUM 48.80 MB / s (1000 1.00 MB faidhlichean air thuaiream: 20.49n)
CZ-SMALL 11.72 MB/s (10000 10.00 kB faidhlichean uile-neoni: 8.53s)
RZ-SMALL 32.57 MB/s (10000 10.00 kB faidhlichean uile-neoni: 3.07s)
UZ-BALL 19.37 MB/s (10000 10.00 kB faidhlichean uile-neoni: 5.16s)
DZ-SMALL 33.71 MB/s (10000 10.00 kB faidhlichean uile-neoni: 2.97s)
CR-SMALL 6.85 MB/s (10000 Faidhlichean air thuaiream 10.00 kB: 14.60an)
RR-BALL 31.27 MB/s (10000 Faidhlichean air thuaiream 10.00 kB: 3.20an)
UR-BALL 12.28 MB/s (10000 Faidhlichean air thuaiream 10.00 kB: 8.14an)
DR-SMALL 18.78 MB / s (10000 Faidhlichean air thuaiream 10.00 kB: 5.32an)

Nuair a thathar a’ dèanamh deuchainn, thèid heuristics teannachaidh a chleachdadh gus an seòrsa faidhle (auto compression) a dhearbhadh, agus bidh na toraidhean mar a leanas:

An toiseach, leig dhuinn sùil a thoirt air mar a tha e ag obair gun chrioptachadh:

Uairean obrach:

Cur air bhog 1
Cur air bhog 2
Cur air bhog 3

4m 6s
4m 10s
4m 5s

56
58
54

1m 26s
1m 34s
1m 30s

Ma cheadaicheas tu cead tasgaidh (modh dearbhte), bidh na toraidhean faisg:

Uairean obrach:

Cur air bhog 1
Cur air bhog 2
Cur air bhog 3

4m 11s
4m 20s
4m 12s

1m 0s
1m 3s
1m 2s

1m 30s
1m 34s
1m 31s

Nuair a chaidh crioptachadh aes a chuir an gnìomh, cha do chrìon na toraidhean mòran:

Cur air bhog 1
Cur air bhog 2
Cur air bhog 3

4m 55s
5m 2s
4m 58s

1m 0s
1m 2s
1m 0s

1m 49s
1m 50s
1m 50s

Agus ma dh’ atharraicheas tu aes gu blake, thig piseach air an t-suidheachadh gu tur:

Uairean obrach:

Cur air bhog 1
Cur air bhog 2
Cur air bhog 3

4m 33s
4m 43s
4m 40s

59
1m 0s
1m 0s

1m 38s
1m 43s
1m 40s

Mar a bha ann an cùis zbackup, bha meud an stòrais 13GB agus eadhon beagan nas lugha, ris a bheil dùil san fharsaingeachd. Bha mi glè thoilichte leis an ùine ruith; tha e an coimeas ri fuasglaidhean stèidhichte air librsync, a’ toirt seachad comasan tòrr nas fharsainge. Bha mi cuideachd toilichte leis a’ chomas air diofar pharaimearan a shuidheachadh tro chaochladairean àrainneachd, a tha a’ toirt fìor bhuannachd nuair a bhios mi a’ cleachdadh borgbackup ann am modh fèin-ghluasadach. Bha mi cuideachd toilichte leis an luchd aig àm cùl-taic: a ’breithneachadh leis an luchd pròiseasar, bidh borgbackup ag obair ann an snàithlean 1.

Cha robh eas-bhuannachdan sònraichte ann nuair a bha iad ga chleachdadh.

deuchainn fois

A dh 'aindeoin gur e fuasgladh meadhanach ùr a th' ann an Restic (bha fios air a 'chiad 2 thagraiche air ais ann an 2013 agus nas sine), tha feartan math aige. Sgrìobhte ann an Go.

An coimeas ri zbackup, tha e cuideachd a 'toirt seachad:

• A’ sgrùdadh ionracas an stòrais (a’ toirt a-steach sgrùdadh ann am pàirtean).
• Liosta mòr de phròtacalan le taic agus solaraichean airson cùl-taic a stòradh, a bharrachd air taic airson rclone - rsync for cloud solutions.
• A’ dèanamh coimeas eadar 2 chùl-taic ri chèile.
• Stàladh an ionad-tasgaidh tro fiùs.

San fharsaingeachd, tha an liosta de fheartan gu math faisg air borgbackup, ann an cuid de dh'àiteachan barrachd, ann an cuid eile nas lugha. Is e aon de na feartan nach eil dòigh ann crioptachadh a chuir dheth, agus mar sin bidh lethbhric cùl-taic an-còmhnaidh air an crioptachadh. Chì sinn ann an cleachdadh dè a dh'fhaodar a thoirt a-mach às a 'bhathar-bhog seo:

Bha na toraidhean mar a leanas:

Uairean obrach:

Cur air bhog 1
Cur air bhog 2
Cur air bhog 3

5m 25s
5m 50s
5m 38s

35
38
36

1m 54s
2m 2s
1m 58s

Tha na toraidhean dèanadais cuideachd an coimeas ri fuasglaidhean stèidhichte air rsync agus, san fharsaingeachd, gu math faisg air borgbackup, ach tha an luchd CPU nas àirde (ioma snàithleanan a’ ruith) agus sawtooth.

Nas coltaiche, tha am prògram air a chuingealachadh le coileanadh an fho-shiostam diosc air an fhrithealaiche stòraidh dàta, mar a bha mar-thà le rsync. B’ e meud an stòrais 13GB, dìreach mar zbackup no borgbackup, cha robh eas-bhuannachdan follaiseach ann nuair a bha thu a’ cleachdadh an fhuasglaidh seo.

Toraidhean

Gu dearbh, fhuair a h-uile tagraiche toraidhean co-chosmhail, ach aig prìsean eadar-dhealaichte. Rinn Borgbackup na b’ fheàrr de na h-uile, bha restic beagan nas slaodaiche, is dòcha nach fhiach zbackup tòiseachadh air a chleachdadh,
agus ma tha e ga chleachdadh mu thràth, feuch ri atharrachadh gu borgbackup no restic.

toraidhean

Tha e coltach gur e restic am fuasgladh as gealltanach, oir ... is e esan aig a bheil an co-mheas as fheàrr de chomasan ri astar obrachaidh, ach na leig leinn cabhag gu co-dhùnaidhean coitcheann airson a-nis.

Gu bunaiteach chan eil Borgbackup nas miosa, ach is dòcha gu bheil e nas fheàrr zbackup a chuir na àite. Fìor, faodar zbackup a chleachdadh fhathast gus dèanamh cinnteach gu bheil an riaghailt 3-2-1 ag obair. Mar eisimpleir, a bharrachd air (lib) goireasan cùl-taic stèidhichte air rsync.

Sanas

Cùl-taic, pàirt 1: Carson a tha feum air cùl-taic, sealladh farsaing air dòighean, teicneòlasan
Cùl-taic Pàirt 2: Ath-sgrùdadh agus deuchainn air innealan cùl-taic stèidhichte air rsync
Cùl-taic Pàirt 3: Lèirmheas agus Deuchainn air dùblachadh, dùblachadh
Cùl-taic Pàirt 4: Lèirmheas agus deuchainn zbackup, restic, borgbackup
Cùl-taic Pàirt 5: Dèan deuchainn air cùl-taic bacula agus veeam airson linux
Cùl-taic Pàirt 6: Dèan coimeas eadar Innealan Cùl-taic
Cùl-taic Pàirt 7: Co-dhùnaidhean

Air a phostadh le: Pavel Demkovich

Source: www.habr.com