Tha an nota seo a’ beachdachadh air innealan cùl-taic a nì cùl-taic le bhith a’ cruthachadh tasglannan air frithealaiche cùl-taic.
Am measg an fheadhainn a tha a’ coinneachadh ris na riatanasan tha dùblachadh (aig a bheil eadar-aghaidh snog ann an cruth deja dup) agus duplicati.
Is e inneal cùl-taic fìor iongantach eile dar, ach leis gu bheil liosta farsaing de roghainnean aige - cha mhòr gu bheil am modh deuchainn a’ còmhdach ach 10% de na tha e comasach - chan eil sinn ga dheuchainn mar phàirt den chearcall gnàthach.
Toraidhean ris a bheil dùil
Leis gu bheil an dà thagraiche a’ cruthachadh tasglannan ann an dòigh air choreigin, faodar teàrr cunbhalach a chleachdadh mar stiùireadh.
A bharrachd air an sin, nì sinn measadh air dè cho math ‘s a tha stòradh dàta air an t-seirbheisiche stòraidh air a mheudachadh le bhith a’ cruthachadh lethbhric cùl-taic anns nach eil ach an eadar-dhealachadh eadar làn leth-bhreac agus staid làithreach nam faidhlichean, no eadar na tasglannan roimhe agus gnàthach (mean air mhean, lùghdaichte, msaa.) .
Giùlan nuair a chruthaicheas tu cùl-taic:
- Àireamh an ìre mhath beag de fhaidhlichean air an t-seirbheisiche stòraidh cùl-taic (an coimeas ris an àireamh de lethbhric cùl-taic no meud an dàta ann am GB), ach tha am meud gu math mòr (deichean gu ceudan megabytes).
- Cha bhith meud an stòrais a’ toirt a-steach ach atharrachaidhean - cha tèid dùblaidhean sam bith a stòradh, agus mar sin bidh meud an stòrais nas lugha na le bathar-bog stèidhichte air rsync.
- Bi an dùil ri luchdan CPU trom nuair a bhios tu a’ cleachdadh teannachadh agus/no crioptachadh, agus is dòcha gu bheil luchdan lìonra is diosc gu math àrd ma tha am pròiseas tasglann agus/no crioptachaidh a’ ruith air frithealaiche stòraidh cùl-taic.
Feuch an ruith sinn an òrdugh a leanas mar luach iomraidh:
cd /src/dir; tar -cf - * | ssh backup_server "cat > /backup/dir/archive.tar"Bha na toraidhean coileanaidh mar a leanas:
Ùine cur gu bàs 3m12s. Chithear gu bheil an astar air a chuingealachadh le fo-shiostam diosc an fhrithealaiche stòraidh cùl-taic, mar a chithear san eisimpleir le . Dìreach beagan nas luaithe, oir ... clàradh a’ dol gu aon fhaidhle.
Cuideachd, gus teannachadh a mheasadh, ruithidh sinn an aon roghainn, ach leig leinn teannachadh air taobh an fhrithealaiche cùl-taic:
cd /src/dir; tar -cf - * | ssh backup_server "gzip > /backup/dir/archive.tgz"Is iad na toraidhean:
Ùine cur gu bàs 10m11s. Is coltaiche gur e an cnap-starra an compressor aon-shruth air an ceann faighinn.
An aon àithne, ach le teannachadh air a ghluasad chun t-seirbheisiche leis an dàta tùsail gus deuchainn a dhèanamh air a ’bheachd gur e compressor aon-snàthainn a th’ anns a ’bhotal.
cd /src/dir; tar -czf - * | ssh backup_server "cat > /backup/dir/archive.tgz"Thionndaidh e a-mach mar seo:
Bha an ùine cur gu bàs 9m37s. Tha an luchd air aon chridhe leis an fhrigeire ri fhaicinn gu soilleir, air sgàth Tha astar gluasad lìonra agus an luchd air an fho-shiostam diosc stòr coltach.
Gus crioptachadh a mheasadh, faodaidh tu openssl no gpg a chleachdadh le bhith a’ ceangal àithne a bharrachd openssl no gpg anns a' phìob. Airson fiosrachadh bidh òrdugh mar seo ann:
cd /src/dir; tar -cf - * | ssh backup_server "gzip | openssl enc -e -aes256 -pass pass:somepassword -out /backup/dir/archive.tgz.enc"Thàinig na toraidhean a-mach mar seo:
B’ e 10m30s an ùine cur gu bàs, leis gu robh 2 phròiseas a’ ruith air an taobh faighinn - tha am botal a-rithist na dhlùthadair aon-snàithlean, a bharrachd air crioptachadh beag os an cionn.
ÙRACHADH: Air iarrtas bliznezz tha mi a 'cur deuchainnean le pigz ris. Mura cleachd thu ach an compressor, bheireadh e 6m30s, ma chuireas tu crioptachadh ris cuideachd, bhiodh e timcheall air 7m. Tha an ìsleachadh sa ghraf gu h-ìosal na thasglann diosc gun shruth:
Deuchainn dùblaichte
Is e bathar-bog python a th’ ann an Duplicity airson cùl-taic le bhith a’ cruthachadh tasglannan crioptaichte ann an cruth teàrr.
Airson tasglannan mean air mhean, bithear a’ cleachdadh librsync, gus am bi dùil agad ris a’ ghiùlan a tha air a mhìneachadh ann an .
Faodar cùl-taic a chrioptachadh agus a shoidhnigeadh le bhith a’ cleachdadh gnupg, rud a tha cudromach nuair a bhios tu a’ cleachdadh diofar sholaraichean airson cùl-taic a stòradh (s3, backblaze, gdrive, msaa.)
Feuch sinn a-mach dè na toraidhean a th 'ann:
Seo na toraidhean a fhuair sinn nuair a bha sinn a’ ruith gun chrioptachadh
spoiler
Ùine ruith gach ruith deuchainn:
Cur air bhog 1
Cur air bhog 2
Cur air bhog 3
16m 33s
17m 20s
16m 30s
8m 29s
9m 3s
8m 45s
5m 21s
6m 04s
5m 53s
Agus seo na toraidhean nuair a tha crioptachadh gnupg air a chomasachadh, le prìomh mheud de 2048 bit:
Ùine obrachaidh air an aon dàta, le crioptachadh:
Cur air bhog 1
Cur air bhog 2
Cur air bhog 3
17m 22s
17m 32s
17m 28s
8m 52s
9m 13s
9m 3s
5m 48s
5m 40s
5m 30s
Chaidh meud a 'bhloc a chomharrachadh - 512 megabytes, a tha ri fhaicinn gu soilleir anns na grafaichean; Dh'fhuirich an luchd pròiseasar aig 50%, a tha a 'ciallachadh nach eil am prògram a' cleachdadh barrachd air aon chridhe pròiseasar.
Tha prionnsapal gnìomhachd a’ phrògraim cuideachd ri fhaicinn gu soilleir: ghabh iad pìos dàta, dhlùthaich iad e, agus chuir iad gu frithealaiche stòraidh cùl-taic e, a dh’ fhaodadh a bhith gu math slaodach.
Is e feart eile an ùine ruith a tha dùil aig a’ phrògram, a tha dìreach an urra ri meud an dàta atharraichte.
Cha do chuir comas crioptachaidh àrdachadh mòr air ùine ruith a’ phrògraim, ach mheudaich e an luchd pròiseasar le timcheall air 10%, rud a dh’ fhaodadh a bhith na bhuannachd mhòr.
Gu mì-fhortanach, cha b’ urrainn don phrògram seo an suidheachadh a lorg gu ceart le ath-ainmeachadh an eòlaire, agus thionndaidh meud an stòrais a thàinig às a sin gu bhith co-ionann ri meud nan atharrachaidhean (ie, uile 18GB), ach bha an comas frithealaiche neo-earbsach a chleachdadh airson cùl-taic gu soilleir. còmhdach an giùlan seo.
Deuchainn dùblaichte
Tha am bathar-bog seo sgrìobhte ann an C # agus bidh e a’ ruith a’ cleachdadh seata de leabharlannan bho Mono. Tha GUI ann a bharrachd air dreach CLI.
Tha an liosta tuairmseach de na prìomh fheartan coltach ri dùblachadh, a’ toirt a-steach grunn sholaraichean stòraidh cùl-taic, ge-tà, eu-coltach ri dùblachadh, tha a’ mhòr-chuid de fheartan rim faighinn às aonais innealan treas-phàrtaidh. Co-dhiù a tha seo na bhuannachd no nach eil an urra ris a’ chùis shònraichte, ach airson luchd-tòiseachaidh, tha e nas coltaiche gum bi e nas fhasa liosta de na feartan gu lèir a bhith air am beulaibh aig an aon àm, seach a bhith a’ stàladh pacaidean a bharrachd airson python, mar a tha. a' chùis le dùblachd.
Rud beag eile - bidh am prògram gu gnìomhach a ’sgrìobhadh stòr-dàta sqlite ionadail às leth an neach-cleachdaidh a thòisicheas an cùl-taic, agus mar sin feumaidh tu cuideachd dèanamh cinnteach gu bheil an stòr-dàta riatanach air a shònrachadh gu ceart gach uair a thòisicheas am pròiseas a’ cleachdadh cli. Nuair a bhios tu ag obair tro GUI no WEBGUI, bidh mion-fhiosrachadh falaichte bhon neach-cleachdaidh.
Feuch sinn a-mach dè na comharran a dh'fhaodas am fuasgladh seo a thoirt gu buil:
Ma chuireas tu dheth crioptachadh (agus chan eil WEBGUI a’ moladh seo a dhèanamh), tha na toraidhean mar a leanas:
Uairean obrach:
Cur air bhog 1
Cur air bhog 2
Cur air bhog 3
20m 43s
20m 13s
20m 28s
5m 21s
5m 40s
5m 35s
7m 36s
7m 54s
7m 49s
Le crioptachadh air a chomasachadh, a’ cleachdadh aes, tha e a’ coimhead mar seo:
Uairean obrach:
Cur air bhog 1
Cur air bhog 2
Cur air bhog 3
29m 9s
30m 1s
29m 54s
5m 29s
6m 2s
5m 54s
8m 44s
9m 12s
9m 1s
Agus ma chleachdas tu am prògram gnupg taobh a-muigh, thig na toraidhean a leanas a-mach:
Cur air bhog 1
Cur air bhog 2
Cur air bhog 3
26m 6s
26m 35s
26m 17s
5m 20s
5m 48s
5m 40s
8m 12s
8m 42s
8m 15s
Mar a chì thu, faodaidh am prògram obrachadh ann an grunn snàithleanan, ach chan eil seo ga fhàgail na fhuasgladh nas cinneasaiche, agus ma nì thu coimeas eadar an obair crioptachaidh, tha e a’ cur prògram air an taobh a-muigh air bhog.
thionndaidh e a-mach gu robh e nas luaithe na bhith a’ cleachdadh an leabharlann bhon t-seata Mono. Is dòcha gu bheil seo air sgàth gu bheil am prògram taobh a-muigh nas fheàrr.
B’ e rud snog eile an fhìrinn gu bheil meud an stòrais a’ toirt dìreach cho mòr ris an fhìor dàta atharraichte, i.e. lorg duplicati ath-ainmeachadh eòlaire agus làimhsich e an suidheachadh seo gu ceart. Tha seo ri fhaicinn nuair a bhios tu a’ ruith an dàrna deuchainn.
Uile gu lèir, beachdan meadhanach math air a’ phrògram, a’ toirt a-steach a bhith gu math càirdeil dha newbies.
Toraidhean
Dh’obraich an dà thagraiche caran slaodach, ach san fharsaingeachd, an taca ri teàrr cunbhalach, tha adhartas ann, co-dhiù le dùblachadh. Tha prìs an adhartais sin cuideachd soilleir - eallach follaiseach
giullachair. San fharsaingeachd, chan eil gluasadan sònraichte ann a bhith a’ ro-innse nan toraidhean.
toraidhean
Mura feum thu reubadh an àite sam bith, agus cuideachd pròiseasar a bharrachd a bhith agad, nì gin de na fuasglaidhean air an deach beachdachadh, co-dhiù, chaidh tòrr obrach a dhèanamh nach bu chòir a dhèanamh a-rithist le bhith a’ sgrìobhadh sgriobtaichean pasgain a bharrachd air teàrr. . Tha làthaireachd crioptachadh na sheilbh air leth riatanach mura h-urrainn earbsa a bhith san t-seirbheisiche airson lethbhric cùl-taic a stòradh.
An coimeas ri fuasglaidhean stèidhichte - faodaidh coileanadh a bhith grunn thursan nas miosa, a dh’ aindeoin gun do dh ’obraich teàrr ann an cruth fìor 20-30% nas luaithe na rsync.
Tha sàbhalaidhean ann air meud an stòr, ach dìreach le dùblachadh.
Sanas
Cùl-taic Pàirt 3: Dèan lèirmheas agus deuchainn air dùblachadh, dùblachadh, deja dup
Cùl-taic Pàirt 4: Lèirmheas agus deuchainn zbackup, restic, borgbackup
Cùl-taic Pàirt 5: Dèan deuchainn air cùl-taic bacula agus veeam airson linux
Cùl-taic Pàirt 6: Dèan coimeas eadar Innealan Cùl-taic
Cùl-taic Pàirt 7: Co-dhùnaidhean
Air a phostadh le: Pavel Demkovich
Source: www.habr.com