Kodėl reikia daryti atsargines kopijas? Juk įranga yra labai labai patikima, be to, yra „debesų“, kurių patikimumas yra geresnis už fizinius serverius: tinkamai sukonfigūravus, „debesų“ serveris gali lengvai išgyventi infrastruktūros fizinio serverio gedimą, o nuo paslaugų vartotojų požiūriu, bus nedidelis, vos pastebimas aptarnavimo laiko šuolis. Be to, dubliuojant informaciją dažnai reikia mokėti už „papildomą“ procesoriaus laiką, disko apkrovą ir tinklo srautą.
Ideali programa veikia greitai, nepraleidžia atminties, neturi skylių ir neegzistuoja.
-Nežinoma
Kadangi programas vis dar rašo baltymų kūrėjai ir dažnai nėra testavimo proceso, be to, programos retai pristatomos naudojant „geriausią praktiką“ (kurios pačios taip pat yra programos ir todėl netobulos), sistemos administratoriams dažniausiai tenka spręsti problemas, kurios skamba trumpai, bet glaustai: „grįžti į tai, kas buvo“, „įvesti bazę į normalų veikimą“, „veikia lėtai - atsukti atgal“, taip pat mano mėgstamiausias „Nežinau ką, bet pataisyk“.
Be loginių klaidų, atsirandančių dėl neatsargaus kūrėjų darbo ar aplinkybių derinio, taip pat dėl neišsamių žinių ar nesusipratimų apie mažas programų kūrimo ypatybes, įskaitant jungiamąsias ir sistemines, įskaitant operacines sistemas, tvarkykles ir programinę-aparatinę įrangą, yra ir kitų klaidų. Pavyzdžiui, dauguma kūrėjų pasikliauja vykdymo laiku, visiškai pamiršdami fizinius dėsnius, kurių vis dar neįmanoma apeiti naudojant programas. Tai apima begalinį disko posistemio ir apskritai bet kokio duomenų saugojimo posistemio (įskaitant RAM ir procesoriaus talpyklą!) patikimumą, nulinį procesoriaus apdorojimo laiką ir klaidų nebuvimą perduodant tinklu ir apdorojant procesoriaus, ir tinklo delsos, kuri yra lygi 0. Nereikėtų pamiršti ir liūdnai pagarsėjusio termino, nes laiku jo nesilaikant bus problemų, baisesnių nei tinklo ir disko veikimo niuansai.
Ką daryti su problemomis, kurios iškyla visa jėga ir užkabina vertingus duomenis? Nėra nieko, kas pakeistų gyvus kūrėjus, ir tai nėra faktas, kad tai bus įmanoma artimiausiu metu. Kita vertus, tik keliuose projektuose pavyko visiškai įrodyti, kad programa veiks taip, kaip buvo numatyta, ir nebūtinai bus galima paimti ir pritaikyti įrodymus kitiems, panašiems projektams. Taip pat tokie įrodymai užima daug laiko ir reikalauja specialių įgūdžių bei žinių, o tai praktiškai sumažina jų panaudojimo galimybę atsižvelgiant į terminus. Be to, dar nemokame naudoti itin greitos, pigios ir be galo patikimos informacijos saugojimo, apdorojimo ir perdavimo technologijos. Tokios technologijos, jei jos egzistuoja, yra sąvokų pavidalu arba – dažniausiai – tik mokslinės fantastikos knygose ir filmuose.
Geri menininkai kopijuoja, puikūs menininkai vagia.
– Pablo Picasso.
Sėkmingiausi sprendimai ir stebėtinai paprasti dalykai dažniausiai nutinka ten, kur susitinka iš pirmo žvilgsnio absoliučiai nesuderinamos sąvokos, technologijos, žinios, mokslo sritys.
Pavyzdžiui, paukščiai ir lėktuvai turi sparnus, tačiau nepaisant funkcinio panašumo – veikimo principas kai kuriais režimais yra vienodas, o techninės problemos sprendžiamos panašiai: tuščiaviduriai kaulai, tvirtų ir lengvų medžiagų naudojimas ir kt. rezultatai visiškai skirtingi, nors ir labai panašūs. Geriausi pavyzdžiai, kuriuos matome savo technologijose, taip pat didžiąja dalimi yra pasiskolinti iš gamtos: laivų ir povandeninių laivų slėginiai skyriai yra tiesioginė analogija su anelidais; reidų matricų kūrimas ir duomenų vientisumo tikrinimas – DNR grandinės dubliavimas; taip pat poriniai organai, skirtingų organų darbo nepriklausomybė nuo centrinės nervų sistemos (širdies automatizavimas) ir refleksai – autonominės sistemos internete. Žinoma, imantis ir pritaikant paruoštus sprendimus „priešais“ kyla problemų, bet kas žino, gal ir nėra kitų sprendimų.
Jei tik būčiau žinojęs, kur tu nukrisi, būčiau padėjęs šiaudų!
-Baltarusų liaudies patarlė
Tai reiškia, kad atsarginės kopijos yra gyvybiškai svarbios tiems, kurie nori:
- Gebėti atkurti savo sistemų veikimą su minimaliomis prastovomis arba net be jos
- Elkitės drąsiai, nes klaidos atveju visada yra galimybė atšaukti
- Sumažinkite tyčinio duomenų sugadinimo pasekmes
Štai šiek tiek teorijos
Bet kokia klasifikacija yra savavališka. Gamta neklasifikuoja. Klasifikuojame, nes taip mums patogiau. Ir klasifikuojame pagal duomenis, kuriuos taip pat imame savavališkai.
– Žanas Bruleris
Nepriklausomai nuo fizinio saugojimo metodo, loginį duomenų saugojimą galima suskirstyti į du būdus pasiekti šiuos duomenis: bloką ir failą. Šis padalijimas pastaruoju metu buvo labai neryškus, nes grynai blokinė, kaip ir grynai failinė, loginė saugykla neegzistuoja. Tačiau dėl paprastumo manysime, kad jie egzistuoja.
Blokų duomenų saugojimas reiškia, kad yra fizinis įrenginys, kuriame duomenys įrašomi tam tikromis fiksuotomis dalimis, blokais. Blokai pasiekiami tam tikru adresu; kiekvienas blokas turi savo adresą įrenginyje.
Atsarginė kopija paprastai daroma kopijuojant duomenų blokus. Siekiant užtikrinti duomenų vientisumą, naujų blokų, taip pat esamų pakeitimų įrašymas sustabdomas kopijavimo metu. Jei paimtume analogiją iš įprasto pasaulio, artimiausia yra spinta su identiškais sunumeruotais langeliais.
Failų duomenų saugojimas, pagrįstas loginiu įrenginio principu, yra artimas blokiniam saugojimui ir dažnai yra išdėstytas viršuje. Svarbūs skirtumai yra saugyklos hierarchijos buvimas ir žmonėms suprantami pavadinimai. Abstrakcija išskiriama failo pavidalu – įvardinta duomenų sritis, taip pat katalogas – specialus failas, kuriame saugomi aprašymai ir prieiga prie kitų failų. Failams gali būti pateikti papildomi metaduomenys: sukūrimo laikas, prieigos vėliavėlės ir kt. Atsarginės kopijos dažniausiai daromos taip: ieškoma pakeistų failų, tada nukopijuojama į kitą tokios pat struktūros failų saugyklą. Duomenų vientisumas paprastai įgyvendinamas nesant failų, į kuriuos būtų rašoma. Failų metaduomenų atsarginės kopijos kuriamos taip pat. Artimiausia analogija yra biblioteka, kurioje yra skirtingų knygų skyriai, taip pat katalogas su žmonėms suprantamais knygų pavadinimais.
Pastaruoju metu kartais aprašomas ir kitas variantas, nuo kurio iš principo ir prasidėjo failų duomenų saugojimas ir kuris turi tuos pačius archajiškus bruožus – objektų duomenų saugojimas.
Jis skiriasi nuo failų saugyklos tuo, kad neturi daugiau nei vieno lizdo (plokščios schemos), o failų pavadinimai, nors ir įskaitomi žmogui, vis tiek labiau tinka apdoroti mašinomis. Kuriant atsargines kopijas, objektų saugykla dažniausiai traktuojama panašiai kaip failų saugykla, tačiau kartais yra ir kitų parinkčių.
— Yra dviejų tipų sistemų administratoriai – tie, kurie nedaro atsarginių kopijų, ir tie, kurie JAU daro.
– Tiesą sakant, yra trys tipai: yra ir tokių, kurie tikrina, ar galima atkurti atsargines kopijas.-Nežinoma
Taip pat verta suprasti, kad pats duomenų atsarginės kopijos kūrimo procesas yra vykdomas programų, todėl ji turi visus tuos pačius trūkumus, kaip ir bet kuri kita programa. Panaikinti (ne panaikinti!) priklausomybę nuo žmogiškojo faktoriaus, taip pat ypatybes – kurios atskirai nedaro stipraus poveikio, bet kartu gali duoti pastebimą efektą – vadinamieji. taisyklė 3-2-1. Yra daug variantų, kaip jį iššifruoti, bet man labiau patinka toks aiškinimas: turi būti saugomi 3 rinkiniai tų pačių duomenų, 2 rinkiniai turi būti saugomi skirtingais formatais ir 1 rinkinys turi būti saugomas geografiškai nutolusioje saugykloje.
Saugojimo formatas turėtų būti suprantamas taip:
- Jei yra priklausomybė nuo fizinio saugojimo būdo, keičiame fizinį metodą.
- Jei yra priklausomybė nuo loginio saugojimo metodo, mes keičiame loginį metodą.
Norint pasiekti maksimalų taisyklės 3-2-1 efektą, saugojimo formatą rekomenduojama keisti abiem būdais.
Kalbant apie atsarginės kopijos pasirengimą numatytam tikslui – funkcionalumo atkūrimui – skiriamos „karštosios“ ir „šaltos“ atsarginės kopijos. Karštieji nuo šaltųjų skiriasi tik vienu dalyku: jie yra iš karto paruošti naudojimui, o šaltiems atkūrimui reikalingi keli papildomi veiksmai: iššifravimas, ištraukimas iš archyvo ir kt.
Nepainiokite karštų ir šaltų kopijų su internetinėmis ir neprisijungusiomis kopijomis, kurios reiškia fizinį duomenų izoliavimą ir, tiesą sakant, yra dar vienas atsarginių kopijų kūrimo metodų klasifikavimo ženklas. Taigi kopija neprisijungus – nėra tiesiogiai prijungta prie sistemos, kur ją reikia atkurti – gali būti karšta arba šalta (pagal pasirengimą atkurti). Internetinė kopija gali būti prieinama tiesiai ten, kur ją reikia atkurti, ir dažniausiai būna karšta, tačiau būna ir šaltų.
Be to, nepamirškite, kad pats atsarginių kopijų kūrimo procesas dažniausiai nesibaigia vienos atsarginės kopijos sukūrimu, o kopijų gali būti gana daug. Todėl būtina atskirti pilnas atsargines kopijas, t.y. tos, kurios gali būti atkurtos nepriklausomai nuo kitų atsarginių kopijų, taip pat diferencinės (prieauginės, diferencinės, mažėjančios ir kt.) kopijos – tokios, kurių negalima atkurti savarankiškai ir dėl kurių reikia iš anksto atkurti vieną ar kelias kitas atsargines kopijas.
Diferencialinės prieauginės atsarginės kopijos yra bandymas sutaupyti atsarginės kopijos saugyklos vietos. Taigi į atsarginę kopiją įrašomi tik pakeisti duomenys iš ankstesnės atsarginės kopijos.
Diferencialiniai dekrementiniai sukuriami tam pačiam tikslui, bet šiek tiek kitaip: sukuriama visa atsarginė kopija, tačiau faktiškai išsaugomas tik skirtumas tarp naujos ir ankstesnės.
Atskirai verta apsvarstyti atsarginės kopijos kūrimo per saugyklą procesą, kuris palaiko dublikatų saugojimo nebuvimą. Taigi, jei ant jo parašysite visas atsargines kopijas, iš tikrųjų bus įrašyti tik skirtumai tarp atsarginių kopijų, tačiau atsarginių kopijų atkūrimo procesas bus panašus į atkūrimą iš visos kopijos ir visiškai skaidrus.
Quis custodiet ipsos custodes?
(Kas saugos pačius budėtojus? - lat.)
Labai nemalonu, kai nėra atsarginių kopijų, bet daug blogiau, jei atrodo, kad atsarginė kopija buvo padaryta, bet atkuriant paaiškėja, kad jos atkurti nepavyksta, nes:
- Buvo pažeistas šaltinio duomenų vientisumas.
- Atsarginė saugykla sugadinta.
- Atkūrimas veikia labai lėtai; negalite naudoti duomenų, kurie buvo iš dalies atkurti.
Tinkamai sukonstruojant atsarginę kopiją reikia atsižvelgti į tokius komentarus, ypač į pirmuosius du.
Pradinių duomenų vientisumą galima užtikrinti keliais būdais. Dažniausiai naudojami šie: a) failų sistemos momentinių nuotraukų kūrimas blokų lygiu, b) failų sistemos būsenos „užšaldymas“, c) specialus blokinis įrenginys su versijų saugykla, d) nuoseklus failų įrašymas arba blokai. Taip pat taikomos kontrolinės sumos, siekiant užtikrinti, kad duomenys būtų patikrinti atkūrimo metu.
Saugyklos sugadinimą taip pat galima aptikti naudojant kontrolines sumas. Papildomas metodas yra specializuotų įrenginių ar failų sistemų naudojimas, kuriuose jau įrašytų duomenų negalima keisti, tačiau galima pridėti naujų.
Siekiant pagreitinti atkūrimą, duomenų atkūrimas naudojamas su keliais atkūrimo procesais – su sąlyga, kad nėra kliūčių lėto tinklo ar lėtos disko sistemos pavidalu. Norėdami išspręsti situaciją su iš dalies atkurtais duomenimis, atsarginės kopijos kūrimo procesą galite suskaidyti į santykinai mažas papildomas užduotis, kurių kiekviena atliekama atskirai. Taigi, numatant atkūrimo laiką, tampa įmanoma nuosekliai atkurti našumą. Ši problema dažniausiai slypi organizacinėje plokštumoje (SLA), todėl plačiau apie tai nekalbėsime.
Prieskonių žinovas yra ne tas, kuris jų deda į kiekvieną patiekalą, o tas, kuris niekada nieko papildomai nededa.
-IN. Sinyavskis
Sistemos administratorių naudojamos programinės įrangos praktika gali skirtis, tačiau bendrieji principai vienaip ar kitaip išlieka tie patys, visų pirma:
- Primygtinai rekomenduojama naudoti paruoštus sprendimus.
- Programos turėtų veikti nuspėjamai, t.y. Neturi būti jokių nedokumentuotų funkcijų ar kliūčių.
- Kiekvienos programos nustatymas turėtų būti toks paprastas, kad jums nereikėtų kiekvieną kartą skaityti vadovo ar apgaulės lapo.
- Jei įmanoma, sprendimas turėtų būti universalus, nes serverių techninės įrangos charakteristikos gali labai skirtis.
Yra šios bendros programos, skirtos atsarginėms kopijoms iš blokuotų įrenginių daryti:
- dd, pažįstamas sistemos administravimo veteranams, taip pat apima panašias programas (pavyzdžiui, tą pačią dd_rescue).
- Kai kuriose failų sistemose įmontuotos priemonės, kurios sukuria failų sistemos iškeltą.
- Visaėdžių komunalinių paslaugų; pavyzdžiui partclone.
- Nuosavi, dažnai nuosavybės teise priklausantys sprendimai; pavyzdžiui, „NortonGhost“ ir vėliau.
Failų sistemose atsarginės kopijos problema iš dalies išspręsta naudojant blokiniams įrenginiams taikomus metodus, tačiau problemą galima efektyviau išspręsti naudojant, pavyzdžiui:
- Rsync, bendrosios paskirties programa ir protokolas, skirtas sinchronizuoti failų sistemų būseną.
- Integruoti archyvavimo įrankiai (ZFS).
- Trečiųjų šalių archyvavimo įrankiai; populiariausias atstovas yra derva. Yra ir kitų, pavyzdžiui, dar - dervos pakaitalas, skirtas šiuolaikinėms sistemoms.
Atskirai verta paminėti programinės įrangos įrankius, užtikrinančius duomenų nuoseklumą kuriant atsargines kopijas. Dažniausiai naudojamos parinktys:
- Failų sistemos montavimas tik skaitymo režimu (ReadOnly) arba failų sistemos užšaldymas (užšaldymas) - metodas yra ribotas.
- Failų sistemų arba blokinių įrenginių (LVM, ZFS) būsenos momentinių vaizdų kūrimas.
- Trečiųjų šalių įrankių naudojimas parodymams organizuoti, net tais atvejais, kai dėl kokių nors priežasčių negalima pateikti ankstesnių punktų (pvz., „Hotcopy“).
- Tačiau kopijavimo keičiant technika (CopyOnWrite) dažniausiai yra susieta su naudojama failų sistema (BTRFS, ZFS).
Taigi, mažam serveriui turite pateikti atsarginę schemą, atitinkančią šiuos reikalavimus:
- Paprasta naudoti – eksploatacijos metu nereikia jokių specialių papildomų veiksmų, kopijoms sukurti ir atkurti reikia atlikti minimalius veiksmus.
- Universalus – veikia tiek dideliuose, tiek mažuose serveriuose; tai svarbu didinant serverių skaičių arba keičiant mastelį.
- Įdiegta paketų tvarkyklės arba viena ar dviem komandomis, pvz., „atsisiųsti ir išpakuoti“.
- Stabilus – naudojamas standartinis arba seniai nusistovėjęs saugojimo formatas.
- Greitai darbe.
Kandidatai iš tų, kurie daugiau ar mažiau atitinka reikalavimus:
- rdiff-atsarginė kopija
- rsnapshot
- burpa
- dublikatas
- dviveidiškumas
- tegul dup
- duoti
- zbackup
- ramus
- borgbackup
Virtuali mašina (pagrįsta XenServer), turinti šias charakteristikas, bus naudojama kaip bandymo stendas:
- 4 branduoliai 2.5 GHz,
- 16 GB RAM,
- 50 GB hibridinė saugykla (atminties sistema su talpyklos saugojimu SSD 20% virtualaus disko dydžio) atskiro virtualaus disko pavidalu be skaidinių,
- 200 Mbit interneto kanalas.
Beveik ta pati mašina bus naudojama kaip atsarginis imtuvo serveris, tik su 500 GB kietuoju disku.
Operacinė sistema - Centos 7 x64: standartinis skaidinys, papildomas skirsnis bus naudojamas kaip duomenų šaltinis.
Kaip pradinius duomenis, paimkime „WordPress“ svetainę su 40 GB medijos failų ir „mysql“ duomenų baze. Kadangi virtualūs serveriai labai skiriasi savo savybėmis, taip pat dėl geresnio atkuriamumo, čia yra
serverio testavimo rezultatai naudojant sysbench.sysbench -- gijos = 4 -- laikas = 30 -- cpu-max-prime = 20000 XNUMX procesoriaus paleidimas
sysbench 1.1.0-18a9f86 (naudojant susietą LuaJIT 2.1.0-beta3)
Testo vykdymas naudojant šias parinktis:
Siūlų skaičius: 4
Inicijuojamas atsitiktinių skaičių generatorius nuo dabartinio laiko
Pirminių skaičių riba: 20000 XNUMX
Inicijuojamos darbuotojo gijos…
Temos prasidėjo!
CPU greitis:
įvykių per sekundę: 836.69
Pralaidumas:
įvykiai/s (eps): 836.6908
praėjęs laikas: 30.0039s
bendras renginių skaičius: 25104
Vėlavimas (ms):
min.: 2.38
vid.: 4.78
maks.: 22.39
95 procentilis: 10.46
suma: 119923.64
Siūlų teisingumas:
įvykiai (vid./stddev): 6276.0000/13.91
vykdymo laikas (avg/stddev): 29.9809/0.01
sysbench -- Threads = 4 --time = 30 --memory-block-size = 1K --memory-scope = global --memory-total-size = 100G --memory-oper = skaityti atmintį
sysbench 1.1.0-18a9f86 (naudojant susietą LuaJIT 2.1.0-beta3)
Testo vykdymas naudojant šias parinktis:
Siūlų skaičius: 4
Inicijuojamas atsitiktinių skaičių generatorius nuo dabartinio laiko
Vykdomas atminties greičio testas su šiomis parinktimis:
bloko dydis: 1KiB
bendras dydis: 102400MiB
operacija: skaitykite
taikymo sritis: pasaulinė
Inicijuojamos darbuotojo gijos…
Temos prasidėjo!
Iš viso operacijų: 50900446 (1696677.10 per sekundę)
49707.47 MiB perkelta (1656.91 MiB/sek)
Pralaidumas:
įvykiai/s (eps): 1696677.1017
praėjęs laikas: 30.0001s
bendras renginių skaičius: 50900446
Vėlavimas (ms):
min.: 0.00
vid.: 0.00
maks.: 24.01
95 procentilis: 0.00
suma: 39106.74
Siūlų teisingumas:
įvykiai (vid./stddev): 12725111.5000/137775.15
vykdymo laikas (avg/stddev): 9.7767/0.10
sysbench -- Threads = 4 --time = 30 --memory-block-size = 1K --memory-scope = global --memory-total-size = 100G --memory-oper = rašymo atminties paleidimas
sysbench 1.1.0-18a9f86 (naudojant susietą LuaJIT 2.1.0-beta3)
Testo vykdymas naudojant šias parinktis:
Siūlų skaičius: 4
Inicijuojamas atsitiktinių skaičių generatorius nuo dabartinio laiko
Vykdomas atminties greičio testas su šiomis parinktimis:
bloko dydis: 1KiB
bendras dydis: 102400MiB
operacija: rašyti
taikymo sritis: pasaulinė
Inicijuojamos darbuotojo gijos…
Temos prasidėjo!
Iš viso operacijų: 35910413 (1197008.62 per sekundę)
35068.76 MiB perkelta (1168.95 MiB/sek)
Pralaidumas:
įvykiai/s (eps): 1197008.6179
praėjęs laikas: 30.0001s
bendras renginių skaičius: 35910413
Vėlavimas (ms):
min.: 0.00
vid.: 0.00
maks.: 16.90
95 procentilis: 0.00
suma: 43604.83
Siūlų teisingumas:
įvykiai (vid./stddev): 8977603.2500/233905.84
vykdymo laikas (avg/stddev): 10.9012/0.41
sysbench --threads=4 --file-test-mode=rndrw --time=60 --file-block-size=4K --file-total-size=1G fileio run
sysbench 1.1.0-18a9f86 (naudojant susietą LuaJIT 2.1.0-beta3)
Testo vykdymas naudojant šias parinktis:
Siūlų skaičius: 4
Inicijuojamas atsitiktinių skaičių generatorius nuo dabartinio laiko
Papildomos failo atidarymo vėliavėlės: (nėra)
128 failai, kiekvienas po 8 MB
1 GiB bendras failo dydis
Bloko dydis 4KiB
IO užklausų skaičius: 0
Skaitymo / rašymo santykis kombinuotam atsitiktiniam IO testui: 1.50
Periodinis FSYNC įjungtas, iškviečiamas fsync() kas 100 užklausų.
Iškviečiamas fsync() testo pabaigoje, įjungta.
Naudojant sinchroninį I/O režimą
Atliekamas atsitiktinis R/W testas
Inicijuojamos darbuotojo gijos…
Temos prasidėjo!
Pralaidumas:
skaityta: IOPS=3868.21 15.11 MiB/s (15.84 MB/s)
rašyti: IOPS=2578.83 10.07 MiB/s (10.56 MB/s)
fsync: IOPS=8226.98
Vėlavimas (ms):
min.: 0.00
vid.: 0.27
maks.: 18.01
95 procentilis: 1.08
suma: 238469.45
Ši pastaba prasideda dideliu
straipsnių serija apie atsarginę kopiją
- Atsarginė kopija, 1 dalis: Kodėl reikalinga atsarginė kopija, metodų, technologijų apžvalga
- Atsarginė kopija 2 dalis: rsync pagrįstų atsarginių kopijų kūrimo įrankių peržiūra ir testavimas
- Atsarginė kopija 3 dalis: Dvigubumo, pasikartojimo, deja dup peržiūra ir tikrinimas
- Atsarginė kopija 4 dalis: zbackup, restic, borgbackup peržiūra ir testavimas
- Atsarginė kopija 5 dalis: „Bacula“ ir „veeam“ atsarginių kopijų testavimas, skirtas Linux
- Atsarginė kopija 6 dalis: Atsarginės kopijos įrankių palyginimas
- Atsarginė kopija 7 dalis: Išvados
Šaltinis: www.habr.com