Бацкуп, део 1: Сврха, преглед метода и технологија

Зашто морате да правите резервне копије? На крају крајева, опрема је веома, веома поуздана, а осим тога, постоје „облаци” који су поузданији од физичких сервера: уз одговарајућу конфигурацију, „облачни” сервер може лако преживети квар инфраструктурног физичког сервера, а од са становишта корисника услуга, доћи ће до малог, једва приметног скока у временској служби. Поред тога, дуплирање информација често захтева плаћање „додатног“ процесорског времена, оптерећења диска и мрежног саобраћаја.

Идеалан програм ради брзо, не пропушта меморију, нема рупа и не постоји.

-Непознат

Пошто програме и даље пишу програмери протеина и често не постоји процес тестирања, плус програми се ретко испоручују коришћењем „најбољих пракси“ (које су и сами програми и стога несавршени), администратори система најчешће морају да решавају проблеме који звуче кратко, али сажето: „врати како је било“, „доведи базу у нормалан рад“, „ради полако - врати се“, а такође и моје омиљено „не знам шта, али поправи“.

Поред логичких грешака које настају као резултат немарног рада програмера, или сплета околности, као и непотпуног познавања или неразумевања малих карактеристика програма за изградњу – укључујући и оне за повезивање и системе, укључујући оперативне системе, драјвере и фирмвер – постоје и друге грешке. На пример, већина програмера се ослања на време извршавања, потпуно заборављајући на физичке законе, које је још увек немогуће заобићи помоћу програма. Ово укључује бескрајну поузданост подсистема диска и, уопште, било ког подсистема за складиштење података (укључујући РАМ и кеш процесора!), и нулто време обраде на процесору, и одсуство грешака током преноса преко мреже и током обраде на процесору. процесор, и мрежно кашњење, које је једнако 0. Не треба занемарити озлоглашени рок, јер ако га не испоштујете на време, биће проблема гори од нијанси рада мреже и диска.

Шта учинити са проблемима који се појављују пуном снагом и висе над вредним подацима? Не постоји ништа што би заменило живе програмере, а није чињеница да ће то бити могуће у блиској будућности. С друге стране, само неколико пројеката је успело да у потпуности докаже да ће програм функционисати како је предвиђено, а доказе неће бити могуће узети и применити на друге, сличне пројекте. Такође, такви докази одузимају доста времена и захтевају посебне вештине и знања, а то практично минимизира могућност њиховог коришћења узимајући у обзир рокове. Осим тога, још не знамо како да користимо ултрабрзу, јефтину и бесконачно поуздану технологију за складиштење, обраду и преношење информација. Такве технологије, ако постоје, постоје у форми концепата, или – најчешће – само у научнофантастичним књигама и филмовима.

Добри уметници копирају, велики уметници краду.

-Пабло пицассо.

Најуспешнија решења и изненађујуће једноставне ствари се обично дешавају тамо где се сусрећу концепти, технологије, знања и области науке које су на први поглед апсолутно некомпатибилне.

На пример, птице и авиони имају крила, али упркос функционалној сличности - принцип рада у неким режимима је исти, а технички проблеми се решавају на сличан начин: шупље кости, употреба јаких и лаганих материјала итд. - резултати су потпуно различити, иако веома слични. Најбољи примери које видимо у нашој технологији такође су у великој мери позајмљени из природе: одељења под притиском на бродовима и подморницама су директна аналогија са анелидима; изградња раид низова и провера интегритета података – дуплирање ДНК ланца; као и упарени органи, независност рада различитих органа од централног нервног система (аутоматизација срца) и рефлекси – аутономни системи на интернету. Наравно, узимање и примена готових решења „на чело” носи проблеме, али ко зна, можда и нема других решења.

Да сам само знао где ћеш пасти, сламке бих положио!

— Белоруска народна пословица

То значи да су резервне копије од виталног значаја за оне који желе:

• Будите у могућности да вратите рад својих система са минималним застојима, или чак и без њега
• Делујте смело, јер у случају грешке увек постоји могућност враћања
• Минимизирајте последице намерне корупције података

Ево мало теорије

Свака класификација је произвољна. Природа не класификује. Сврставамо се јер нам је тако згодније. А класификујемо према подацима које такође узимамо произвољно.

— Жан Брулер

Без обзира на начин физичког складиштења, логичко складиштење података може се поделити на два начина приступа овим подацима: блок и фајл. Ова подела је недавно била веома замагљена, јер чисто блок, као и чисто датотека, логичко складиштење не постоји. Међутим, ради једноставности, претпоставићемо да постоје.

Блок складиштење података подразумева да постоји физички уређај где се подаци записују у одређеним фиксним деловима, блоковима. Блоковима се приступа на одређеној адреси; сваки блок има своју адресу унутар уређаја.

Резервна копија се обично прави копирањем блокова података. Да би се обезбедио интегритет података, снимање нових блокова, као и промена постојећих, обуставља се у време копирања. Ако узмемо аналогију из обичног света, најближи је орман са идентичним бројевима ћелија.

Складиштење података о фајловима засновано на принципу логичког уређаја је близу блок меморије и често је организовано на врху. Важне разлике су присуство хијерархије складиштења и имена читљива. Апстракција се додељује у облику датотеке - именоване области података, као и директоријума - посебне датотеке у којој се чувају описи и приступ другим датотекама. Датотеке се могу испоручити са додатним метаподацима: време креирања, приступне заставице, итд. Резервне копије се обично раде на овај начин: траже измењене датотеке, а затим их копирају у друго складиште датотека са истом структуром. Интегритет података се обично спроводи одсуством датотека у које се уписује. На исти начин се прави резервна копија метаподатака датотеке. Најближа аналогија је библиотека, која има одељке са различитим књигама, а такође има и каталог са човеку читљивим називима књига.

Недавно се понекад описује још једна опција од које је, у принципу, почело складиштење података у фајловима, а која има исте архаичне карактеристике: складиштење података о објектима.

Разликује се од складишта датотека по томе што нема више од једног гнежђења (флат шема), а називи датотека, иако читљиви људима, ипак су погоднији за обраду од стране машина. Приликом прављења резервних копија, складиштење објеката се најчешће третира слично складиштењу датотека, али повремено постоје и друге опције.

— Постоје две врсте системских администратора, они који не праве резервне копије и они који ВЕЋ раде.
– У ствари, постоје три врсте: има и оних који проверавају да ли се резервне копије могу вратити.

-Непознат

Такође је вредно разумети да сам процес прављења резервне копије података обављају програми, тако да има исте недостатке као и сваки други програм. Да би се отклонила (не елиминисала!) зависност од људског фактора, као и особина – које појединачно немају јак ефекат, али заједно могу дати приметан ефекат – тзв. правило 3-2-1. Постоји много опција како да га дешифрујете, али ми се више свиђа следећа интерпретација: 3 сета истих података морају бити ускладиштена, 2 сета морају бити ускладиштена у различитим форматима, а 1 сет мора бити ускладиштен у географски удаљеном складишту.

Формат складиштења треба разумети на следећи начин:

• Ако постоји зависност од начина физичког складиштења, мењамо физички метод.
• Ако постоји зависност од метода логичког складиштења, мењамо логичку методу.

Да бисте постигли максималан ефекат правила 3-2-1, препоручује се да промените формат складиштења на оба начина.

Са становишта спремности резервне копије за њену намену - враћање функционалности - прави се разлика између „вруће“ и „хладне“ резервне копије. Врући се разликују од хладних само у једном: одмах су спремни за употребу, док хладни захтевају неке додатне кораке за опоравак: дешифровање, екстракцију из архиве итд.

Не мешајте вруће и хладне копије са онлајн и офлајн копијама, које подразумевају физичку изолацију података и, у ствари, представљају још један знак класификације метода резервних копија. Дакле, копија ван мреже – која није директно повезана са системом где треба да се врати – може бити врућа или хладна (у смислу спремности за опоравак). Онлајн копија може бити доступна директно тамо где треба да се рестаурира, а најчешће је врућа, али има и хладних.

Поред тога, не заборавите да се сам процес прављења резервних копија обично не завршава стварањем једне резервне копије, а може постојати и прилично велики број копија. Стога је потребно разликовати пуне резервне копије, тј. оне које се могу вратити независно од других резервних копија, као и диференцијалне (инкременталне, диференцијалне, декременталне итд.) копије – оне које се не могу самостално вратити и захтевају прелиминарну рестаурацију једне или више других резервних копија.

Диференцијално инкрементално прављење резервних копија је покушај да се уштеди простор за складиштење резервних копија. Дакле, само промењени подаци из претходне резервне копије се уписују у резервну копију.

Диференцијални декрементални се креирају за исту сврху, али на мало другачији начин: прави се пуна резервна копија, али се заправо чува само разлика између свеже копије и претходне.

Одвојено, вреди размотрити процес прављења резервних копија преко складиштења, који подржава одсуство складиштења дупликата. Дакле, ако напишете пуне резервне копије на њега, заправо ће бити записане само разлике између резервних копија, али ће процес враћања резервних копија бити сличан обнављању из пуне копије и потпуно транспарентан.

Куис цустодиет ипсос цустодес?

(Ко ће чувати саме чуваре? - лат.)

Веома је непријатно када нема резервних копија, али је много горе ако се чини да је резервна копија направљена, али се приликом враћања испостави да се не може вратити јер:

• Интегритет изворних података је угрожен.
• Резервна копија је оштећена.
• Обнављање ради веома споро; не можете користити податке који су делимично враћени.

Правилно конструисан процес прављења резервних копија мора узети у обзир такве коментаре, посебно прва два.

Интегритет изворних података може се гарантовати на неколико начина. Најчешће коришћени су следећи: а) прављење снимака система датотека на нивоу блока, б) „замрзавање“ стања система датотека, ц) посебан блок уређај са складиштењем верзија, д) секвенцијално снимање фајлова или блокова. Контролне суме се такође примењују како би се осигурало да су подаци верификовани током опоравка.

Оштећење складишта се такође може открити коришћењем контролних сума. Додатни метод је коришћење специјализованих уређаја или система датотека у којима се већ снимљени подаци не могу мењати, али се могу додати нови.

Да би се убрзао опоравак, опоравак података се користи са више процеса за опоравак - под условом да не постоји уско грло у облику споре мреже или спорог диск система. Да бисте заобишли ситуацију са делимично опорављеним подацима, процес прављења резервне копије можете поделити на релативно мале подзадатке, од којих се сваки обавља засебно. Дакле, постаје могуће доследно враћање перформанси уз предвиђање времена опоравка. Овај проблем најчешће лежи у организационом плану (СЛА), тако да се на овоме нећемо детаљније задржавати.

Није стручњак за зачине онај који их додаје у свако јело, већ онај који му никада ништа не додаје.

-ИН. Синиавски

Праксе у вези са софтвером који користе администратори система могу се разликовати, али општи принципи су и даље, на овај или онај начин, исти, посебно:

• Препоручљиво је користити готова решења.
• Програми треба да раде предвидљиво, тј. Не би требало да постоје недокументоване карактеристике или уска грла.
• Подешавање сваког програма треба да буде тако једноставно да не морате сваки пут да читате приручник или варалицу.
• Ако је могуће, решење треба да буде универзално, јер сервери могу значајно да варирају у својим хардверским карактеристикама.

Постоје следећи уобичајени програми за прављење резервних копија са блок уређаја:

• дд, познато ветеранима системске администрације, ово такође укључује сличне програме (исти дд_ресцуе, на пример).
• Услужни програми уграђени у неке системе датотека који креирају думп система датотека.
• Омнивороус утилитиес; на пример партклон.
• Сопствене, често власничке, одлуке; на пример, НортонГхост и касније.

За системе датотека, проблем резервне копије се делимично решава применом метода применљивих за блок уређаје, али се проблем може ефикасније решити коришћењем, на пример:

• Рсинц, програм опште намене и протокол за синхронизацију стања система датотека.
• Уграђени алати за архивирање (ЗФС).
• Алати за архивирање треће стране; најпопуларнији представник је катран. Постоје и други, на пример, дар - замена за тар намењен савременим системима.

Вреди посебно поменути софтверске алате за обезбеђивање конзистентности података приликом креирања резервних копија. Најчешће коришћене опције су:

• Монтирање система датотека у режиму само за читање (РеадОнли) или замрзавање система датотека (замрзавање) – метода је ограничене применљивости.
• Прављење снимака стања система датотека или блок уређаја (ЛВМ, ЗФС).
• Употреба алата независних произвођача за организовање приказа, чак и у случајевима када се претходне тачке из неког разлога не могу обезбедити (програми попут хотцопи).
• Техника копирања на промену (ЦопиОнВрите), међутим, најчешће је везана за систем датотека који се користи (БТРФС, ЗФС).

Дакле, за мали сервер морате да обезбедите шему резервне копије која испуњава следеће захтеве:

• Једноставан за коришћење - нису потребни посебни додатни кораци током рада, минимални кораци за креирање и враћање копија.
• Универзални - ради и на великим и на малим серверима; ово је важно приликом повећања броја сервера или скалирања.
• Инсталира се од стране менаџера пакета или у једној или две команде попут „преузми и распакирај“.
• Стабилан - користи се стандардни или дуго успостављени формат складиштења.
• Брзи у раду.

Кандидати од оних који мање или више испуњавају услове:

• рдифф-бацкуп
• рснапсхот
• подригивање
• дупликат
• дуплицити
• нека дуп
• дати
• збацкуп
• рестиц
• боргбацкуп

Виртуелна машина (заснована на КсенСервер-у) са следећим карактеристикама ће се користити као тестна станица:

• 4 језгра 2.5 ГХз,
• 16 ГБ РАМ,
• 50 ГБ хибридно складиште (систем складиштења са кеширањем на ССД 20% величине виртуелног диска) у облику засебног виртуелног диска без партиционисања,
• Интернет канал од 200 Мбпс.

Готово иста машина ће се користити као резервни сервер пријемника, само са хард диском од 500 ГБ.

Оперативни систем - Центос 7 к64: стандардна партиција, додатна партиција ће се користити као извор података.

Као почетне податке, узмимо ВордПресс сајт са 40 ГБ медијских датотека и мискл базом података. Пошто се виртуелни сервери у великој мери разликују по карактеристикама, а такође и због боље поновљивости, ево

резултате тестирања сервера користећи сисбенцх.сисбенцх --тхреадс=4 --тиме=30 --цпу-мак-приме=20000 покретање процесора
сисбенцх 1.1.0-18а9ф86 (користећи ЛуаЈИТ 2.1.0-бета3 у пакету)
Покретање теста са следећим опцијама:
Број нити: 4
Иницијализација генератора случајних бројева из тренутног времена

Ограничење простих бројева: 20000

Иницијализација радних нити…

Теме су започете!

Брзина процесора:
догађаја у секунди: 836.69

Пропусност:
догађаји/е (епс): 836.6908
протекло време: 30.0039с
укупан број догађаја: 25104

Латенција (мс):
мин: 2.38
просек: 4.78
мак: 22.39
95. перцентил: 10.46
збир: 119923.64

Праведност нити:
догађаји (прос./стддев): 6276.0000/13.91
време извршења (прос./стддев): 29.9809/0.01

сисбенцх --тхреадс=4 --тиме=30 --мемори-блоцк-сизе=1К --мемори-сцопе=глобал --мемори-тотал-сизе=100Г --мемори-опер=покретање меморије за читање
сисбенцх 1.1.0-18а9ф86 (користећи ЛуаЈИТ 2.1.0-бета3 у пакету)
Покретање теста са следећим опцијама:
Број нити: 4
Иницијализација генератора случајних бројева из тренутног времена

Покретање теста брзине меморије са следећим опцијама:
величина блока: 1КиБ
укупна величина: 102400МиБ
операција: прочитајте
обим: глобални

Иницијализација радних нити…

Теме су започете!

Укупно операција: 50900446 (1696677.10 у секунди)

Пренето 49707.47 МиБ (1656.91 МиБ/сец)

Пропусност:
догађаји/е (епс): 1696677.1017
протекло време: 30.0001с
укупан број догађаја: 50900446

Латенција (мс):
мин: 0.00
просек: 0.00
мак: 24.01
95. перцентил: 0.00
збир: 39106.74

Праведност нити:
догађаји (прос./стддев): 12725111.5000/137775.15
време извршења (прос./стддев): 9.7767/0.10

сисбенцх --тхреадс=4 --тиме=30 --мемори-блоцк-сизе=1К --мемори-сцопе=глобал --мемори-тотал-сизе=100Г --мемори-опер=врите мемори рун
сисбенцх 1.1.0-18а9ф86 (користећи ЛуаЈИТ 2.1.0-бета3 у пакету)
Покретање теста са следећим опцијама:
Број нити: 4
Иницијализација генератора случајних бројева из тренутног времена

Покретање теста брзине меморије са следећим опцијама:
величина блока: 1КиБ
укупна величина: 102400МиБ
операција: писати
обим: глобални

Иницијализација радних нити…

Теме су започете!

Укупно операција: 35910413 (1197008.62 у секунди)

Пренето 35068.76 МиБ (1168.95 МиБ/сец)

Пропусност:
догађаји/е (епс): 1197008.6179
протекло време: 30.0001с
укупан број догађаја: 35910413

Латенција (мс):
мин: 0.00
просек: 0.00
мак: 16.90
95. перцентил: 0.00
збир: 43604.83

Праведност нити:
догађаји (прос./стддев): 8977603.2500/233905.84
време извршења (прос./стддев): 10.9012/0.41

сисбенцх --тхреадс=4 --филе-тест-моде=рндрв --тиме=60 --филе-блоцк-сизе=4К --филе-тотал-сизе=1Г филеио рун
сисбенцх 1.1.0-18а9ф86 (користећи ЛуаЈИТ 2.1.0-бета3 у пакету)
Покретање теста са следећим опцијама:
Број нити: 4
Иницијализација генератора случајних бројева из тренутног времена

Додатне ознаке за отварање датотеке: (нема)
128 датотека, по 8МБ
Укупна величина датотеке 1ГиБ
Величина блока 4КиБ
Број ИО захтева: 0
Однос читања/писања за комбиновани насумични ИО тест: 1.50
Омогућен периодични ФСИНЦ, позивање фсинц() на сваких 100 захтева.
Позивање фсинц() на крају теста, омогућено.
Коришћење синхроног И/О режима
Радим насумични р/в тест
Иницијализација радних нити…

Теме су започете!

Пропусност:
прочитај: ИОПС=3868.21 15.11 МиБ/с (15.84 МБ/с)
писати: ИОПС=2578.83 10.07 МиБ/с (10.56 МБ/с)
фсинц: ИОПС=8226.98

Латенција (мс):
мин: 0.00
просек: 0.27
мак: 18.01
95. перцентил: 1.08
збир: 238469.45

Ова белешка почиње великом

серија чланака о бекапу

1. Бацкуп, део 1: Зашто је потребна резервна копија, преглед метода, технологија
2. Бацкуп Део 2: Прегледање и тестирање алата за прављење резервних копија заснованих на рсинц-у
3. Бацкуп Део 3: Прегледање и тестирање дупличности, дупликата, деја дуп
4. Бацкуп Део 4: Прегледање и тестирање збацкуп, рестиц, боргбацкуп
5. Бацкуп Део 5: Тестирање бацула и вееам резервне копије за линук
6. Резервна копија, део 6: Поређење алата за прављење резервних копија
7. Резервни део 7: Закључци

Извор: ввв.хабр.цом