Varundamine, osa 1: Sihtotstarve, meetodite ja tehnoloogiate ülevaade

Miks on vajalik varukoopiate tegemine? Ehkki seadmed on väga usaldusväärsed, on olemas ka 'pilved', mis usaldusväärsuse poolest on paremad kui füüsilised serverid: korraliku seadistamise korral suudab 'pilveserver' kergesti taluda füüsilise teenuse infrastruktuuri talitlushäireid, ning teenuste kasutajate jaoks on teenindusaja osas vaid väike, peaaegu märkamatav viivitus. Lisaks sellele, andmete dubleerimine nõuab sageli maksmist 'üleliigse' protsessoriteabe, kettakoormuse ja võrgu liikluse eest.

Täiuslik programm töötab kiiresti, ei leki mälusse, ei oma vigu ja ei eksisteeri.

—Tundmatu

Kuna programme kirjutavad endiselt bioloogilised arendajad, ja testimisprotsess on tihti puudulik, lisaks sellele, et programmide tarnimine toimub harva 'parimaid tavasid' järgides (mis endagi poolest on programmid ja seega mitte ideaalsed), peavad süsteemiadministraatorid tihti lahendama ülesandeid, mis kõlavad lühidalt, aga sisukalt: 'tagasi, nagu oli', 'viia andmebaas normaalsesse tööse', 'aeglaselt töötab — taastame' ning minu lemmik 'ei tea, mis, aga parandage'.

Lisaks loogilistele vigadele, mis tulenevad arendajate hooletust tööst või juhuslikest olukordadest, samuti ebapiisavast teadmisest või arusaamisest programmide väikestest omadustest — sealhulgas seotud ja süsteemsete, sealhulgas operatsioonisüsteemide, draiverite ja püsivara — on veel teisi vigu. Näiteks enamik arendajatest toetub käitamisaja (runtime) funktsioonidele, unustades täiesti füüsikaseadused, mida ei saa programmidel ületada. See hõlmab diskiallikate ja igasuguste andmesalvestuse alamsüsteemide (sealhulgas operatiivmälu ja protsessori vahemälu!), diskisüsteemide lõputut usaldusväärsust, protsessoril nullilist töötlemisaega, võrguülekannete ja protsessoris töötlemise järjepidevate vigade puudumist, ning võrgu latentsust, mis on 0. Samuti ei tohiks alahinnata kurikuulsaid tähtaegu, kuna kui nendeni ei jõuta — tekivad probleemid, mis on vähem olulised võrgu ja ketta töö nüansside suhtes.

Kuidas aga olla probleemide puhul, mis tõusevad esiplaanile ja ripuvad üle väärtuslike andmete? Elavaid arendajaid ei saa asendada millegagi ning ei ole ka kindel, et lähitulevikus on seda võimalik teha. Teisalt on täielikult tõestada, et programm töötab nagu kavandatud, seni õnnestunud vaid mõnel projektil ning kindlasti ei saa tõestusi lihtsalt võtta ja rakendada teistele, sarnastele projektidele. Sellised tõestused võtavad ka hulgaliselt aega ning nõuavad erilisi oskusi ja teadmisi, mis peaaegu minimeerib nende kasutamise võimaluse, arvestades tähtaegu. Lisaks ei oska me veel luua üli kiiret, odavat ja äärmiselt usaldusväärset tehnoloogiat andmete salvestamiseks, töötlemiseks ja edasiandmiseks. Taolised tehnoloogiad, kui need üldse eksisteerivad, on enamasti vaid kontseptsioonide vormis või — sagedamini — ainult ulme raamatutes ja filmides.

Head kunstnikud kopeerivad, suured kunstnikud varastavad.

—Pablo Picasso.

Parimad lahendused ja üllatavalt lihtsad asjad jõuavad tavaliselt sinna, kus kohtuvad esmapilgul täiesti kokkusobimatud mõisted, tehnoloogiad, teadmised ja teadusvaldkonnad.

Näiteks on lindudel ja lennukitel tiivad, kuid vaatamata funktsionaalsele sarnasusele — mõnedel režiimidel on tegevusprintsiip sarnane ning tehnilised probleemid lahendatakse analoogselt: õõnsad luud, tugevate ja kergemate materjalide kasutamine jne. — on tulemused täiesti erinevad, ehkki üpris sarnased. Parimad näited, mida meie tehnikas jälgime, on samuti suuresti loodust jäljendavad: hermeetilised sektsioonid laevade ja allveelaevade puhul — otsene analoog rõngastega ussidega; RAID-massiivide ülesehitus ja andmete terviklikkuse kontroll — DNA ahela dubleerimine; samuti paarisorganid, erinevate organite iseseisev töö kesknärvisüsteemist (süda automatiseeritult) ja refleksid — autonoomsed süsteemid Internetis. Loomulikult toob valmis lahenduste „peale kandu“ rakendamine endaga kaasa probleeme, kuid kes teab, võib-olla ei olegi teisi lahendusi.

Tundes, kuhu kukud — paneksime palki alla!

—Valgevene rahvalik vanasõna

See tähendab, et varukoopiad on eluliselt vajalikud neile, kes soovivad:

• Omada võimalust taastada oma süsteemide töö minimaalsete seiskamistega, või isegi täielikult ilma nendeta.
• Tegutse julgelt, sest vead on alati parandatavad.
• Minimeerida andmete tahtlikest kahjustustest tulenevaid tagajärgi.

Siin on veidi teooriat.

Iga klassifikatsioon on meelevaldne. Loodus ei klassifitseeri. Me klassifitseerime, sest see on meile mugavam. Ja klassifitseerime vastavalt andmetele, mida me samuti meelevaldselt võtame.

—Jean Brulé

Sõltumata füüsilisest hoidmisviisist võib loogilise andmete hoidmise jagada tinglikult kaheks: plokk- ja failipõhine. See jaotus on viimastel aegadel üha häguseks muutunud, sest puhtalt plokk- kui ka puhtalt failipõhised loogilised hoidlad ei eksisteeri. Kuid lihtsuse huvides oletame, et need jagunemised on olemas.

Plokkhorage tähendab, et andmed kirjutatakse füüsilisele seadmele kindlates tükkides, plokkides. Juurdepääs plokkidele toimub teatud aadressi kaudu, iga ploki puhul on seadmel oma aadress.

Varukoopia luuakse tavaliselt andmepulkade kopeerimise teel. Andmete terviklikkuse tagamiseks kopeerimise ajal peatatakse uute blokki kirjutamine ja olemasolevate muutmine. Kui võtta analoogia tavalise maailma loogikast — kõige lähemal seisab kapp, millel on ühesugused nummerdatud riiulid.

Failipõhine andmete hoidmine loogilise seadmena sarnaneb plokkpõhise hoidmisega ja tihti korraldatakse üle. Olulised erinevused on hoidmise hierarhia ja inimkeele mõistmiseks sobilikud nimed. Tuletatakse abstraktsioon failina — nimelise andmepiirkonnana, samuti kataloogina — spetsiaalse failina, mis sisaldab teiste failide kirjeldusi ja juurdepääse. Faile saab varustada täiendavate metaandmetega: loomise aeg, juurdepääsu lipud jne. Varundatakse tavaliselt järgmiselt: otsitakse muudetud faile ja seejärel kopeeritakse need teise, struktuuri poolest sarnasesse failihoidlasse. Andmete terviklikkust tagatakse tavaliselt kirjapanemata failide puudumisega. Failide metaandmed varundatakse sarnaselt. Kõige lähem analoogia on raamatukogu, kus on erinevatest raamatutest jagu ja kataloog inimkeeles mõistetavate raamatute nimedega.

Viimasel ajal on aeg-ajalt kirjeldatud veel ühte varianti, millega algas andmete failide salvestamine ja millel on samad arhaalsed jooned: objektipõhine andmete salvestamine.

Erineb failide salvestamisest sellega, et tal ei ole rohkem kui ühe taseme pesastamist (lame skeem), ja failide nimed, kuigi need on inimloetavad, on siiski pigem kohandatud masinate töötlemiseks. Varukoopiate tegemisel töödeldakse objektiteenuseid kõige sagedamini nagu failiteenuseid, kuid aeg-ajalt on ka teisi võimalusi.

— On kaks tüüpi süsteemiadministraatoreid: need, kes ei tee varukoopiaid, ja need, kes JUBA teevad.
— Tegelikult on kolm tüüpi: on ka need, kes kontrollivad, et varukoopiad on taastatavad.

—Tundmatu

Samuti on oluline mõista, et andmete varundamisprotsess viiakse läbi programmide abil, seega on sellele omased kõik samad puudused nagu muudel programmidel. Inimfaktorist ja eripäradest sõltuvuse vähendamiseks — mis ükshaaval ei mõjuta nii palju, kuid koos võivad anda märkimisväärse efekti — kasutatakse nn 3-2-1 reeglit. Selle tõlgendamiseks on palju variante, kuid mulle meeldib järgmine: salvestada tuleb 3 identset andmekogumit, 2 kogumit tuleb hoida erinevates vormingutes ja 1 kogum peab olema geograafiliselt eemal hoitud.

Salvestamisvormi all tuleb mõista järgmist:

• Kui on sõltuvus füüsilisest salvestusviisist — vahetame füüsilise salvestusviisi.
• Kui on sõltuvus loogilisest salvestusviisist — vahetame loogilise salvestusviisi.

Maksimaalse efekti saavutamiseks soovitatakse 3-2-1 reegli kohaselt muuta salvestamisvormi mõlemal viisil.

Varukoopia valmisoleku seisukohalt selle otsese eesmärgi — töökorras taastamise — muutmine eristab „kuumi” ja „külmi” varukoopiaid. Kuumad eristuvad külmadest ainult ühe: nad on kohe kasutamiseks valmis, samas kui külmad vajavad taastamiseks mõningaid täiendavaid toiminguid: dekrüpteerimist, arhiivist väljavõtmist jne.

Ärge segage kuumi ja külmi koopiaid online ja offline koopiaitega, mis viitavad andmete füüsilisele eraldatusele ja on põhimõtteliselt teistsugune varundamise klassifikatsiooni tunnus. Niisiis, offline koopia – mis ei ole otseselt ühendatud süsteemiga, kust on vaja taastada – võib olla nii kuum kui ka külm (valmiduse osas taastamiseks). Online koopia võib olla kergesti juurdepääsetav seal, kus see tuleb taastada, ja enamasti on see kuum, kuid esinevad ka külmad kopeerimised.

Lisaks ei tohi unustada, et varukoopiate loomise protsess ei piirdu tavaliselt ühe varukoopia loomisega, vaid koopiaid võib olla üsna suur arv. Seega tuleb erinevusi teha täielike varukoopiate vahel, s.t. nende vahel, mis on iseseisvalt taastatavad, samuti erinevate (inkrementaalsete, diferentsiaalsete, dekrementaalsete jne) koopiate vahel - need, mis ei saa iseseisvalt taastada ja vajavad eelnevat taastamist ühe või mitme teise varukoopia abil.

Erinevad inkrementaalsed koopiad on katse säästa varukoopiate salvestusruumi. Seega kirjutatakse koopiale ainult muudetud andmed eelmise varukoopia põhjal.

Erinevad dekrementaalsed koopiad luuakse sama eesmärgiga, kuid veidi teise meetodiga: tehakse täielik varukoopia, kuid tegelikult hoitakse ainult vahet värske koopia ja eelmise vahel.

Erakordselt tuleks arvestada varundamisprotsessi, mis toimub säilitamisprotsessides, mis toetavad duplikaatide puudumist. Niisiis, kui kirjutada täielikke varukoopiaid selle peal, salvestatakse tegelikult vahe varukoopiate vahel, kuid varukoopiate taastamisprotsess toimub sarnaselt täieliku koopia taastamisele ja on täiesti läbipaistev.

Quis custodiet ipsos custodes?

(Kes valvab valvureid? — ladina keeles.)

On äärmiselt ebameeldiv, kui varukoopiad puuduvad, kuid veelgi halvem on see, kui varukoopia näiliselt on tehtud, kuid taastamise ajal selgub, et seda ei saa taastada, kuna:

• Algandmete terviklikkus on häiritud.
• Varukoopiate säilitamise koht on kahjustatud.
• Andmete taastamine toimub üsna aeglaselt, ei saa kasutada osaliselt taastatud andmeid.

Korrektselt üles ehitatud varundamisprotsess peab arvesse võtma selliseid märkuseid, eriti kahte esimest.

Algandmete terviklikkust saab tagada mitmel viisil. Kõige sagedamini kasutatakse järgmisi meetodeid: a) failisüsteemi klonimine blokitasemel, b) failisüsteemi seisundi 'külmutamine', c) eriline versioonide hoidmise plokkseade, d) failide või blokki järjestikune kirjutamine. Samuti kasutatakse kontrollsummasid, et tagada andmete kontroll taastamisel.

Ladustamise kahjustusi on võimalik tuvastada ka kontrollsummade abil. Täiendav meetod on spetsialiseeritud seadmete või failisüsteemide kasutamine, kus juba kirjutatud andmeid ei saa muuta, kuid uusi on võimalik lisada.

Taastamise kiirendamiseks kasutatakse mitme protsessiga andmete taastamise lähenemist — tingimusel, et ei ole 'pudelikaela', milleks on aeglane võrk või aeglane kettasüsteem. Osaliselt taastatud andmete probleemi vältimiseks saab varundamisprotsessi jagada suutmatu väiksemateks osadeks, mida saab eraldi täita. Sel moel on võimalik järjestikku taastada töövõime ja prognoosida taastamisaega. See probleem on enamasti organisatsioonilisest seisukohast (SLA), seetõttu ei jääme sellel pikemalt peatuma.

Tõelist maitse tundjat näitab see, kes ei lisa igasse rooga maitseaineid, vaid see, kes ei lisa kunagi midagi liigset.

—V. Siniavski

Kasutatava tarkvara praktika süsteemiadministraatoritel võib erineda, kuid üldpõhimõtted on ikkagi, nii või teisiti, samad, sealhulgas:

• Soovitame tungivalt kasutada valmislahendusi.
• Programmid peaksid töötama etteennustatavalt, st ei tohiks olla dokumenteerimata eripära ega kitsaskohti.
• Iga programmi seadistamine peaks olema nii lihtne, et ei peaks iga kord lugema juhendit ega abimaterjale.
• Lahendus peaks olema võimalikult universaalne, kuna serverid võivad oma riistvara omaduste poolest väga erineda.

Plokiseadmestike varukoopiate tegemiseks on järgmised levinud programmid:

• dd, tuntud süsteemiadministraatorite seas, kuuluvad siia ka sarnased programmid (nt dd_rescue).
• Mõnede failisüsteemide sisse ehitatud hooldustooted (utiliidid), mis loovad failisüsteemist koopia (dump).
• Üksikasjalikud utiliidid; näiteks, partclone.
• Omandatud, sageli omandiõigusega lahendused; näiteks, NortonGhost ja uuemad programmid.

Failisüsteemide jaoks lahendatakse varukoopiate tegemise ülesanne osaliselt plokiseadmete jaoks rakendatavate meetodite kaudu, kuid ülesannet saab efektiivsemalt lahendada näiteks:

• Rsync, universaalne programm ja protokoll failisüsteemide oleku sünkroonimiseks.
• Sisse ehitatud arhiveerimise tööriistad (ZFS).
• Kolmandate osapoolte arhiveerimise tööriistad; kõige populaarsem esindaja on tar. On ka teisi, näiteks, dar — tar'i vahetamine kaasaegsete süsteemide jaoks.

Erakordselt tuleks mainida andmete konsistentsi tagamise tarkvaralahendusi varukoopiate tegemisel. Kõige sagedamini kasutatakse järgmisi variante:

• Failisüsteemi mountimine ainult lugemise režiimis (ReadOnly) või failisüsteemi 'külmutamine' (freeze) — meetod on rakendatav piiratud ulatuses.
• Failisüsteemi või plokiseadmise oleku koopia loomine (LVM, ZFS).
• Kolmandate osapoolte tööriistade rakendamine koopia loomise korraldamiseks, isegi siis, kui eelnevaid punkte ei saa mingil põhjusel täita (nt hotcopy programmid).
• Muudatuste järgselt kopeerimise tehnika (CopyOnWrite), kuid see on enamasti seotud kasutatava failisüsteemiga (BTRFS, ZFS).

Seega peab väike server tagama varukoopiate tegemise skeemi, mis vastab järgmistele nõuetele:

• Lihtne kasutamiseks — ei nõua erilisi täiendavaid toiminguid, minimaalne koopia loomise ja taastamise vaeva.
• Universaalne — töötab nii suurte kui ka väikeste serveritega; see on oluline kasvades serverid või skaleerimisel.
• Paigaldatakse paketihalduri kaudu või ühes-kahe käsuga, nagu 'alla laadida ja välja pakkida.'.
• Stabiilne — kasutab standardset või juba ammu väljakujunenud salvestusformaati.
• Tööl kiire.

Pretendendid, kes enam-vähem vastavad nõudmistele:

• rdiff-backup
• rsnapshot
• burp
• duplicati
• duplicity
• deja dup
• dar
• zbackup
• restic
• Testplatvormina kasutatakse virtuaalmasinat (XenServeri põhjal) järgmiste omadustega:

4 tuuma 2,5 GHz,

• 16 GB RAM-i,
• 50 GB hübriidsalvestust (SSD-vahemälu 20% virtuaaldiskihinna suurusest) eraldi virtuaaldiskina ilma jaotuseta,
• 200 Mbit/s internetiühendust.
• Vastuvõtuserverina varukoopiate jaoks kasutatakse praktiliselt samasugust masinat, kuid 500 GB kõvakettaga.

Operatsioonisüsteem — CentOS 7 x64: jaotus on standardne, täiendav partitsioon kasutatakse andmeallikana.

Algandmetena võtame WordPressi saiti, mille meediafailid on suurusega 40 GB, andmebaasi MySQL. Kuna

virtuaalsed serverid erinevad tingimuste poolest üsna palju, samuti parema kopeerimise jaoks on siin serveri testimise tulemused, kasutades sysbenchi.

sysbench —threads=4 —time=30 —cpu-max-prime=20000 cpu runsysbench 1.1.0-18a9f86 (kasutades kaasasolevat LuaJIT 2.1.0-beta3)
Testi käitamine järgmiste valikute abil:
Keenuste arv: 4
Algab juhuslike numbrite generaator praegusest ajast
Algprindid: 20000

Algavad töötlusprotsessid…

Töötajate kettad on alustanud!

CPU kiirus:

sündmusi sekundis: 836,69
Läbilaskevõime:

sündmusi/s (eps): 836,6908
aeg möödunud: 30,0039s
sündmuste koguarv: 25104
Latentsus (ms):

min: 2,38
keskmine: 4,78
max: 22,39
95. protsent: 10,46
summa: 119923,64
Töötajate õiglus:

sündmusi (keskmine/standardhälve): 6276,0000/13,91
täitmise aeg (keskmine/standardhälve): 29,9809/0,01
sysbench —threads=4 —time=30 —memory-block-size=1K —memory-scope=global —memory-total-size=100G —memory-oper=read memory run

Käitatakse mälukiirusetesti järgmiste valikutega:
Testi käitamine järgmiste valikute abil:
Keenuste arv: 4
Algab juhuslike numbrite generaator praegusest ajast
Algprindid: 20000

plokki suurus: 1KiB
kogusuurus: 102400MiB
tegevus: lugemine
ulatus: globaalne
Kogusummad: 50900446 (1696677,10 sekundis)

Töötajate kettad on alustanud!

CPU kiirus:

49707,47 MiB edastatud (1656,91 MiB/sek)

sündmusi/s (eps): 1696677,1017

sündmusi/s (eps): 836,6908
aeg möödunud: 30,0001s
sündmuste koguarv: 50900446
min: 0,00

min: 2,38
keskmine: 0,00
max: 24,01
95. protsent: 0,00
summa: 39106,74
sündmusi (keskmine/standardhälve): 12725111,5000/137775,15

sündmusi (keskmine/standardhälve): 6276,0000/13,91
täitmise aeg (keskmine/standardhälve): 9,7767/0,10
sysbench —threads=4 —time=30 —memory-block-size=1K —memory-scope=global —memory-total-size=100G —memory-oper=write memory run

tegevus: kirjutamine
Testi käitamine järgmiste valikute abil:
Keenuste arv: 4
Algab juhuslike numbrite generaator praegusest ajast
Algprindid: 20000

plokki suurus: 1KiB
kogusuurus: 102400MiB
tegevus: lugemine
Kogusummad: 35910413 (1197008,62 sekundis)
Kogusummad: 50900446 (1696677,10 sekundis)

Töötajate kettad on alustanud!

CPU kiirus:

35068,76 MiB edastatud (1168,95 MiB/sek)

sündmusi/s (eps): 1197008,6179

sündmusi/s (eps): 836,6908
sündmuste koguarv: 35910413
sündmuste koguarv: 50900446
max: 16,90

min: 2,38
keskmine: 0,00
max: 24,01
summa: 43604,83
summa: 39106,74
sündmusi (keskmine/standardhälve): 8977603,2500/233905,84

sündmusi (keskmine/standardhälve): 6276,0000/13,91
täitmise aeg (keskmine/standardhälve): 10,9012/0,41
sysbench —threads=4 —file-test-mode=rndrw —time=60 —file-block-size=4K —file-total-size=1G fileio run

Lisa faili avamise lipud: (pole ühtegi)
Testi käitamine järgmiste valikute abil:
Keenuste arv: 4
Algab juhuslike numbrite generaator praegusest ajast
Algprindid: 20000

128 faili, 8MiB igaühe jaoks
1GiB kogufaili suurus
Plokki suurus 4KiB
IO päringute arv: 0
Lugemise/Kirjutamise suhe kombinatsiooniga juhusliku IO testi jaoks: 1,50
Perioodiline FSYNC on lubatud, kutsudes fsync() välja iga 100 päringu järel.
Kutsudes fsync() välja testi lõpuks, lubatud.
Kasutades sünkroonset I/O režiimi
Tehakse juhusliku r/w testi
Tehakse juhuslikke lugemis-/kirjutamiskatse
Töötajate kettad on alustanud!

CPU kiirus:

sündmusi/s (eps): 836,6908
lugemine: IOPS=3868.21 15.11 MiB/s (15.84 MB/s)
kirjutamine: IOPS=2578.83 10.07 MiB/s (10.56 MB/s)
fsync: IOPS=8226.98

min: 2,38
keskmine: 0,00
keskmine: 0.27
max: 18.01
95. protsent: 1.08
summa: 238469.45

Selle märkusega algab suur

artiklite tsükkel varundamisest

1. Varundamine, osa 1: Miks on varundamine vajalik, meetodite ja tehnoloogiate ülevaade
2. Varundamine, osa 2: rsync-põhiste varundustööriistade ülevaade ja testimine
3. Varundamine, osa 3: Duplicity, duplicaty, deja dup ülevaade ja testimine
4. Varundamine, osa 4: Zbackup, restic, borgbackup ülevaade ja testimine
5. Varundamine, osa 5: Bacula ja Veeam Backup for Linux testimine
6. Varundamine, osa 6: Varundamise tööriistade võrdlus
7. Varundamine, osa 7: Järeldused

Allikas: habr.com