Овај чланак ће размотрити софтвер за прављење резервних копија који, разбијањем тока података на засебне компоненте (компоненте), формира спремиште.
Компоненте спремишта се могу даље компримовати и шифровати, и што је најважније – током поновљених процеса прављења резервних копија – поново користити.
Резервна копија у таквом спремишту је именовани ланац компоненти повезаних једна са другом, на пример, на основу различитих хеш функција.
Постоји неколико сличних решења, фокусираћу се на 3: збацкуп, боргбацкуп и рестиц.
Очекивани резултати
Пошто сви подносиоци захтева на овај или онај начин захтевају стварање репозиторијума, један од најважнијих фактора биће процена величине спремишта. У идеалном случају, његова величина не би требало да буде већа од 13 ГБ према прихваћеној методологији, или чак и мање - подложна доброј оптимизацији.
Такође је веома пожељно имати могућност да правите резервне копије датотека директно, без коришћења архиватора као што је тар, као и да радите са ссх/сфтп без додатних алата као што су рсинц и ссхфс.
Понашање приликом прављења резервних копија:
- Величина спремишта ће бити једнака величини измена, или мања.
- Очекује се велико оптерећење ЦПУ-а када се користи компресија и/или шифровање, а прилично велико оптерећење мреже и диска је вероватно ако се процес архивирања и/или шифровања покреће на серверу за складиштење резервних копија.
- Ако је спремиште оштећено, одложена грешка је вероватно и при креирању нових резервних копија и приликом покушаја враћања. Неопходно је планирати додатне мере за осигурање интегритета спремишта или користити уграђене алате за проверу његовог интегритета.
Рад са катраном се узима као референтна вредност, као што је приказано у једном од претходних чланака.
Тестирање збацкуп-а
Општи механизам збацкуп-а је да програм проналази у улазном току података области које садрже исте податке, а затим их опционо компримује и шифрује, чувајући сваку област само једном.
Дедупликација користи 64-битну прстенасту хеш функцију са клизним прозором за проверу подударања бајт по бајт са постојећим блоковима података (слично како то рсинц имплементира).
Вишеструки лзма и лзо се користе за компресију, а аес за шифровање. Најновије верзије имају могућност брисања старих података из спремишта у будућности.
Програм је написан у Ц++ са минималним зависностима. Аутор је очигледно био инспирисан уникс-начином, тако да програм прихвата податке на стдин-у када прави резервне копије, стварајући сличан ток података на стдоут-у приликом враћања у претходно стање. Дакле, збацкуп се може користити као веома добар „грађевински блок“ када пишете сопствена решења за резервну копију. На пример, аутор чланка користи овај програм као главни алат за прављење резервних копија за кућне машине отприлике од 2014.
Ток података ће бити обичан тар осим ако није другачије наведено.
Да видимо какви ће бити резултати:
Рад је проверен у 2 опције:
- креира се спремиште и збацкуп се покреће на серверу са изворним подацима, затим се садржај спремишта преноси на сервер за складиштење резервних копија.
- креира се спремиште на серверу за складиштење резервних копија, збацкуп се покреће преко ссх-а на серверу за складиштење резервних копија, а подаци му се шаљу преко цеви.
Резултати прве опције су били следећи: 43м11с - када се користи нешифровано складиште и лзма компресор, 19м13с - када се компресор замењује са лзо.
Оптерећење сервера са оригиналним подацима је било следеће (приказан је пример са лзма; са лзо је била приближно иста слика, али је удео рсинц био око четвртине времена):
Јасно је да је такав процес резервне копије погодан само за релативно ретке и мале промене. Такође је препоручљиво ограничити збацкуп на 1 нит, иначе ће доћи до веома великог оптерећења ЦПУ-а, јер Програм је веома добар у раду у више нити. Оптерећење диска је било мало, што генерално не би било приметно са модерним дисковним подсистемом заснованим на ссд-у. Такође можете јасно видети почетак процеса синхронизације података спремишта са удаљеним сервером; брзина рада је упоредива са уобичајеним рсинц-ом и зависи од перформанси подсистема диска сервера за складиштење резервних копија. Недостатак овог приступа је складиштење локалног спремишта и, као резултат, дуплирање података.
Интересантнија и применљивија у пракси је друга опција, покретање збацкуп-а директно на серверу за складиштење резервних копија.
Прво ћемо тестирати операцију без коришћења шифровања са лзма компресором:
Трајање сваког пробног рада:
Покрени 1
Покрени 2
Покрени 3
39м45с
40м20с
40м3с
7м36с
8м3с
7м48с
15м35с
15м48с
15м38с
Ако омогућите шифровање помоћу аес-а, резултати су прилично блиски:
Време рада на истим подацима, са шифровањем:
Покрени 1
Покрени 2
Покрени 3
43м40с
44м12с
44м3с
8м3с
8м15с
8м12с
15м0с
15м40с
15м25с
Ако се шифровање комбинује са компресијом помоћу лзо-а, то изгледа овако:
Радно време:
Покрени 1
Покрени 2
Покрени 3
18м2с
18м15с
18м12с
5м13с
5м24с
5м20с
8м48с
9м3с
8м51с
Величина резултујућег спремишта била је релативно иста на 13 ГБ. То значи да дедупликација ради исправно. Такође, на већ компресованим подацима, коришћење лзо-а даје приметан ефекат; у смислу укупног времена рада, збацкуп је близу дупличности/дуплицати, али заостаје за онима заснованим на либрсинц-у 2-5 пута.
Предности су очигледне - уштеда простора на диску на серверу за складиштење резервних копија. Што се тиче алата за проверу спремишта, аутор збацкуп-а их не обезбеђује; препоручује се коришћење дисковног низа отпорног на грешке или добављача облака.
Све у свему, веома добар утисак, упркос чињеници да пројекат стоји око 3 године (последњи захтев за функцију био је пре око годину дана, али без одговора).
Тестирање боргбацкуп-а
Боргбацкуп је форк оф аттиц, још један систем сличан збацкуп-у. Написан у Питхон-у, има листу могућности сличних збацкуп-у, али додатно може:
- Монтирајте резервне копије преко осигурача
- Проверите садржај спремишта
- Рад у режиму клијент-сервер
- Користите различите компресоре за податке, као и хеуристичко одређивање типа датотеке приликом компресије.
- 2 опције шифровања, аес и блаке
- Уграђени алат за
провере перформанси
боргбацкуп бенцхмарк цруд ссх://бацкуп_сервер/репо/патх лоцал_дир
Резултати су били следећи:
ЦЗ-БИГ 96.51 МБ/с (10 100.00 МБ све-нула фајлова: 10.36 с)
РЗ-БИГ 57.22 МБ/с (10 100.00 МБ све-нула фајлова: 17.48 с)
УЗ-БИГ 253.63 МБ/с (10 100.00 МБ све-нула фајлова: 3.94 с)
ДЗ-БИГ 351.06 МБ/с (10 100.00 МБ све-нула фајлова: 2.85 с)
ЦР-БИГ 34.30 МБ/с (10 100.00 МБ насумичних датотека: 29.15 с)
РР-БИГ 60.69 МБ/с (10 100.00 МБ насумичних датотека: 16.48 с)
УР-БИГ 311.06 МБ/с (10 100.00 МБ насумичних датотека: 3.21 с)
ДР-БИГ 72.63 МБ/с (10 100.00 МБ насумичних датотека: 13.77 с)
ЦЗ-МЕДИУМ 108.59 МБ/с (1000 1.00 МБ све-нула фајлова: 9.21 с)
РЗ-МЕДИУМ 76.16 МБ/с (1000 1.00 МБ све-нула фајлова: 13.13 с)
УЗ-СРЕДЊА 331.27 МБ/с (1000 1.00 МБ све-нула фајлова: 3.02 с)
ДЗ-МЕДИУМ 387.36 МБ/с (1000 1.00 МБ све-нула фајлова: 2.58 с)
ЦР-МЕДИУМ 37.80 МБ/с (1000 1.00 МБ насумичних датотека: 26.45 с)
РР-СРЕДЊА 68.90 МБ/с (1000 1.00 МБ насумичних датотека: 14.51 с)
УР-МЕДИУМ 347.24 МБ/с (1000 1.00 МБ насумичних датотека: 2.88 с)
ДР-МЕДИУМ 48.80 МБ/с (1000 1.00 МБ насумичних датотека: 20.49 с)
ЦЗ-СМАЛЛ 11.72 МБ/с (10000 10.00 кБ све-нула фајлова: 8.53 с)
РЗ-СМАЛЛ 32.57 МБ/с (10000 10.00 кБ све-нула фајлова: 3.07 с)
УЗ-СМАЛЛ 19.37 МБ/с (10000 10.00 кБ све-нула фајлова: 5.16 с)
ДЗ-СМАЛЛ 33.71 МБ/с (10000 10.00 кБ све-нула фајлова: 2.97 с)
ЦР-СМАЛЛ 6.85 МБ/с (10000 10.00 кБ насумичних датотека: 14.60 с)
РР-СМАЛЛ 31.27 МБ/с (10000 10.00 кБ насумичних датотека: 3.20 с)
УР-СМАЛЛ 12.28 МБ/с (10000 10.00 кБ насумичних датотека: 8.14 с)
ДР-СМАЛЛ 18.78 МБ/с (10000 10.00 кБ насумичних датотека: 5.32 с)
Приликом тестирања, хеуристика компресије ће се користити за одређивање типа датотеке (аутоматска компресија), а резултати ће бити следећи:
Прво, хајде да проверимо како функционише без шифровања:
Радно време:
Покрени 1
Покрени 2
Покрени 3
4м6с
4м10с
4м5с
56
58
54
1м26с
1м34с
1м30с
Ако омогућите ауторизацију спремишта (проверени режим), резултати ће бити блиски:
Радно време:
Покрени 1
Покрени 2
Покрени 3
4м11с
4м20с
4м12с
1м0с
1м3с
1м2с
1м30с
1м34с
1м31с
Када је активирана аес енкрипција, резултати се нису много погоршали:
Покрени 1
Покрени 2
Покрени 3
4м55с
5м2с
4м58с
1м0с
1м2с
1м0с
1м49с
1м50с
1м50с
А ако промените аес у блаке, ситуација ће се потпуно побољшати:
Радно време:
Покрени 1
Покрени 2
Покрени 3
4м33с
4м43с
4м40с
59
1м0с
1м0с
1м38с
1м43с
1м40с
Као иу случају збацкуп-а, величина спремишта је била 13ГБ, па чак и нешто мање, што је генерално очекивано. Био сам веома задовољан временом рада; упоредиво је са решењима заснованим на либрсинц-у, пружајући много шире могућности. Такође сам био задовољан могућношћу подешавања различитих параметара кроз променљиве окружења, што даје веома озбиљну предност када се боргбацкуп користи у аутоматском режиму. Такође сам био задовољан оптерећењем током бекапа: судећи по оптерећењу процесора, боргбацкуп ради у 1 нити.
Није било посебних недостатака приликом употребе.
рестичко тестирање
Упркос чињеници да је рестиц прилично ново решење (прва 2 кандидата била су позната још 2013. године и старији), има прилично добре карактеристике. Написано у Го.
У поређењу са збацкуп-ом, додатно даје:
- Провера интегритета спремишта (укључујући проверу у деловима).
- Огромна листа подржаних протокола и провајдера за чување резервних копија, као и подршка за рцлоне - рсинц за решења у облаку.
- Упоређивање 2 резервне копије једна са другом.
- Монтажа спремишта преко осигурача.
Генерално, листа функција је прилично блиска боргбацкуп-у, на неким местима више, на другим мање. Једна од карактеристика је да не постоји начин да се онемогући шифровање, па ће стога резервне копије увек бити шифроване. Да видимо у пракси шта се може истиснути из овог софтвера:
Резултати су били следећи:
Радно време:
Покрени 1
Покрени 2
Покрени 3
5м25с
5м50с
5м38с
35
38
36
1м54с
2м2с
1м58с
Резултати перформанси су такође упоредиви са решењима заснованим на рсинц-у и, генерално, веома блиски боргбацкуп-у, али је оптерећење ЦПУ-а веће (покреће се више нити) и тестерасто.
Највероватније, програм је ограничен перформансама подсистема диска на серверу за складиштење података, као што је већ био случај са рсинц. Величина спремишта је била 13 ГБ, баш као збацкуп или боргбацкуп, није било очигледних недостатака када се користи ово решење.
Налази
У ствари, сви кандидати су постигли сличне резултате, али по различитим ценама. Боргбацкуп је био најбољи од свих, рестиц је био мало спорији, збацкуп вероватно није вредан коришћења,
и ако је већ у употреби, покушајте да га промените у боргбацкуп или рестиц.
Налази
Чини се да је решење које највише обећава рестично, јер... управо он има најбољи однос могућности и брзине рада, али немојмо за сада журити са општим закључцима.
Боргбацкуп у основи није ништа лошији, али збацкуп је вероватно боље заменити. Истина, збацкуп се и даље може користити да би се осигурало да правило 3-2-1 функционише. На пример, поред (либ)рсинц базираних резервних копија.
Најава
Бацкуп Део 5: Тестирање бацула и вееам резервне копије за линук
Резервна копија, део 6: Поређење алата за прављење резервних копија
Резервни део 7: Закључци
Аутор поста: Павел Демковицх
Извор: ввв.хабр.цом