Poukisa ou bezwen fè sovgad? Apre yo tout, ekipman an trè, trè serye, epi anplis, gen "nwaj" ki pi bon nan fyab pase sèvè fizik: ak konfigirasyon apwopriye, yon sèvè "nwaj" ka fasil siviv echèk nan yon sèvè fizik enfrastrikti, ak soti nan. pwen de vi itilizatè sèvis yo, pral gen yon ti, apèn aparan so nan sèvis tan. Anplis de sa, kopi enfòmasyon souvan mande pou peye pou "anplis" tan processeur, chaj disk, ak trafik rezo.
Yon pwogram ideyal kouri vit, pa koule memwa, pa gen twou, epi li pa egziste.
-Enkoni
Piske pwogram yo toujou ekri pa devlopè pwoteyin, epi souvan pa gen okenn pwosesis tès, plis pwogram yo raman delivre lè l sèvi avèk "meyè pratik" (ki yo menm yo se tou pwogram epi kidonk enpafè), administratè sistèm yo pi souvan gen pou rezoud pwoblèm ki son yon ti tan men. bref: "retounen nan jan li te ye", "pote baz la nan operasyon nòmal", "travay dousman - woule tounen", epi tou pi renmen mwen an "Mwen pa konnen ki sa, men ranje li".
Anplis de erè lojik ki parèt kòm rezilta travay neglijans devlopè yo, oswa yon konbinezon de sikonstans, osi byen ke konesans enkonplè oswa enkonpreyansyon sou ti karakteristik nan pwogram bilding - ki gen ladan konekte ak sistèm sa yo, ki gen ladan sistèm opere, chofè ak firmwèr - gen lòt erè tou. Pou egzanp, pifò devlopè konte sou ègzekutabl, konplètman bliye sou lwa fizik yo, ki toujou enposib kontourne lè l sèvi avèk pwogram yo. Sa a gen ladann fyab enfini nan subsistèm ki gen kapasite a ak, an jeneral, nenpòt sou-sistèm depo done (ki gen ladan RAM ak kachèt processeur!), ak zewo tan pwosesis sou processeur a, ak absans la nan erè pandan transmisyon sou rezo a ak pandan pwosesis sou la. processeur, ak latansi rezo, ki egal a 0. Ou pa ta dwe neglije dat limit la notwa, paske si ou pa satisfè li nan tan, pral gen pwoblèm pi mal pase nuans yo nan rezo ak operasyon ki gen kapasite.
Ki sa ki fè ak pwoblèm ki monte nan tout fòs ak pann sou done ki gen anpil valè? Pa gen anyen ki ranplase devlopè k ap viv, epi li pa yon reyalite ke li pral posib nan fiti prè. Nan lòt men an, se sèlman kèk pwojè ki te reyisi konplètman pwouve ke pwogram nan pral fonksyone jan sa vle di, epi li pa pral nesesèman posib yo pran ak aplike prèv yo nan lòt pwojè ki sanble. Epitou, prèv sa yo pran anpil tan epi yo mande pou konpetans espesyal ak konesans, e sa pratikman minimize posiblite pou yo sèvi ak yo pran an kont dat limit yo. Anplis de sa, nou poko konnen ki jan yo sèvi ak teknoloji ultra-vit, bon mache ak enfiniman serye pou estoke, trete ak transmèt enfòmasyon. Teknoloji sa yo, si yo egziste, yo nan fòm konsèp, oswa - pi souvan - sèlman nan liv syans fiksyon ak fim.
Bon atis kopye, gwo atis vòlè.
—Pablo Picasso.
Solisyon ki gen plis siksè ak bagay etonan senp anjeneral rive kote konsèp, teknoloji, konesans, ak domèn syans ki absoliman enkonpatib nan premye gade rankontre.
Pou egzanp, zwazo ak avyon gen zèl, men malgre resanblans nan fonksyonèl - prensip la nan operasyon nan kèk mòd se menm bagay la, ak pwoblèm teknik yo rezoud nan yon fason ki sanble: zo kre, itilize nan materyèl fò ak lejè, elatriye - rezilta yo konplètman diferan, byenke trè sanble. Egzanp yo pi byen nou wè nan teknoloji nou an yo tou lajman prete nan lanati: konpatiman yo presyon nan bato ak soumaren yo se yon analoji dirèk ak anelid; bati etalaj atak ak tcheke entegrite done - kopi chèn ADN; osi byen ke pè ògàn, endepandans nan travay la nan ògàn diferan nan sistèm nève santral la (otomatik kè a) ak reflèks - sistèm otonòm sou entènèt la. Natirèlman, pran ak aplike solisyon pare yo "tèt-sou" se plen ak pwoblèm, men ki moun ki konnen, petèt pa gen okenn lòt solisyon.
Si sèlman mwen te konnen ki kote ou ta tonbe, mwen ta mete pay!
— Pwovèb popilè Belarisyen
Sa vle di kopi backup enpòtan anpil pou moun ki vle:
- Kapab retabli operasyon an nan sistèm ou yo ak minimòm D ', oswa menm san li nan tout
- Aji avèk fòs konviksyon, paske nan ka ta gen yon erè toujou gen posiblite pou yon rollback
- Minimize konsekans koripsyon done entansyonèl
Men yon ti teori
Nenpòt klasifikasyon se abitrè. Lanati pa klase. Nou klasifye paske li pi bon pou nou. Epi nou klase dapre done ke nou pran tou abitrèman.
—Jean Bruler
Kèlkeswa metòd depo fizik la, depo done lojik ka divize an de fason pou jwenn aksè nan done sa yo: blòk ak dosye. Divizyon sa a dènyèman te trè twoub, paske piman blòk, osi byen ke piman dosye, depo lojik pa egziste. Sepandan, pou senplisite, nou pral asime ke yo egziste.
Depo done blòk implique ke gen yon aparèy fizik kote done yo ekri nan sèten pòsyon fiks, blòk. Blòk yo jwenn aksè nan yon sèten adrès; chak blòk gen adrès pwòp li yo nan aparèy la.
Yon backup anjeneral fèt pa kopye blòk done yo. Pou asire entegrite done yo, anrejistreman nouvo blòk yo, ansanm ak chanjman nan sa ki deja egziste yo sispann nan moman kopi. Si nou pran yon analoji nan mond lan òdinè, bagay ki pi pre a se yon klozèt ak selil ki idantik nimewote.
Fichye done depo ki baze sou prensip aparèy lojik la tou pre depo blòk epi li souvan òganize sou tèt. Diferans enpòtan yo se prezans yon yerachi depo ak non moun lizib. Yon abstraksyon atribye ba nan fòm yon dosye - yon zòn done yo te rele, osi byen ke yon anyè - yon fichye espesyal nan ki deskripsyon ak aksè nan lòt dosye yo estoke. Fichye yo ka apwovizyone ak metadata adisyonèl: tan kreyasyon, drapo aksè, elatriye. Sovgad yo anjeneral fè nan fason sa a: yo gade pou chanje dosye, Lè sa a, kopye yo nan yon lòt depo dosye ki gen menm estrikti a. Entegrite done anjeneral aplike pa absans la nan dosye yo te ekri yo. Fichye metadata yo apiye nan menm fason an. Analoji ki pi pre a se yon bibliyotèk, ki gen seksyon ak liv diferan, epi tou li gen yon katalòg ak non liv yo lizib pou moun.
Dènyèman, se yon lòt opsyon pafwa dekri, ki soti nan ki, nan prensip, depo done dosye te kòmanse, e ki gen menm karakteristik yo akayik: depo done objè.
Li diferan de depo dosye nan ke li pa gen plis pase yon nidifikasyon (konplo plat), ak non yo dosye, byenke moun-lizib, yo toujou pi apwopriye pou pwosesis pa machin. Lè w ap fè sovgad, depo objè pi souvan trete menm jan ak depo dosye, men detanzantan gen lòt opsyon.
— Gen de kalite administratè sistèm, moun ki pa fè sovgad, ak moun ki DEJA fè.
- Aktyèlman, gen twa kalite: gen tou moun ki tcheke ke sovgad yo ka retabli.-Enkoni
Li se tou vo konprann ke pwosesis la backup done tèt li te pote soti nan pwogram, kidonk li gen tout dezavantaj yo menm jan ak nenpòt lòt pwogram. Pou retire (pa elimine!) Depandans sou faktè imen an, osi byen ke karakteristik - ki endividyèlman pa gen yon efè fò, men ansanm ka bay yon efè aparan - sa yo rele an. règ 3-2-1. Gen anpil opsyon pou kijan pou dechifre li, men mwen renmen entèpretasyon sa a pi byen: 3 ansanm nan menm done yo dwe estoke, 2 ansanm dwe estoke nan fòma diferan, ak 1 seri dwe estoke nan yon depo jeyografik aleka.
Fòma depo a ta dwe konprann jan sa a:
- Si gen yon depandans sou metòd depo fizik la, nou chanje metòd fizik la.
- Si gen yon depandans sou metòd depo lojik la, nou chanje metòd lojik la.
Pou reyalize efè maksimòm règ 3-2-1, li rekòmande pou chanje fòma depo nan tou de fason.
Soti nan pwen de vi preparasyon pou yon backup pou objektif li gen entansyon - restorasyon fonksyonalite - yo fè yon distenksyon ant sovgad "cho" ak "frèt". Cho yo diferan de frèt yo nan yon sèl bagay: yo imedyatman pare pou itilize, pandan y ap frèt yo mande pou kèk etap adisyonèl pou rekiperasyon: dechifre, ekstraksyon nan achiv la, elatriye.
Pa konfonn kopi cho ak frèt ak kopi sou entènèt ak offline, ki vle di izolasyon fizik done yo epi, an reyalite, se yon lòt siy klasifikasyon metòd backup. Se konsa, yon kopi offline - pa dirèkteman konekte ak sistèm nan kote li bezwen retabli - ka swa cho oswa frèt (an tèm de preparasyon pou rekiperasyon). Yon kopi sou entènèt ka disponib dirèkteman kote li bezwen retabli, epi pi souvan li cho, men gen tou frèt.
Anplis de sa, pa bliye ke pwosesis la nan kreye kopi backup tèt li anjeneral pa fini ak kreyasyon an nan yon kopi backup, epi ka gen yon kantite jistis gwo kopi. Se poutèt sa, li nesesè yo fè distenksyon ant sovgad konplè, i.e. sa yo ki ka retabli poukont lòt sovgad, osi byen ke diferans (enkreman, diferans, dekreman, elatriye) kopi - sa yo ki pa ka restore poukont yo epi ki mande restorasyon an preliminè nan youn oswa plis lòt sovgad.
Diferans enkreman sovgad yo se yon tantativ pou konsève pou espas depo backup. Kidonk, sèlman done chanje soti nan backup anvan an ekri nan kopi backup la.
Diferans dekreman yo kreye pou menm objektif la, men nan yon fason yon ti kras diferan: yo fè yon kopi backup konplè, men se sèlman diferans ki genyen ant kopi fre a ak yon sèl anvan an aktyèlman estoke.
Separeman, li vo konsidere pwosesis la nan backup sou depo, ki sipòte absans la nan depo nan doublons. Kidonk, si ou ekri sovgad konplè sou tèt li, sèlman diferans ki genyen ant sovgad yo pral aktyèlman ekri, men pwosesis la nan restore sovgad yo pral menm jan ak restore soti nan yon kopi konplè ak konplètman transparan.
Ki moun ki kenbe gad?
(Ki moun ki pral veye faksyonnè yo tèt yo? - lat.)
Li trè dezagreyab lè pa gen okenn kopi backup, men li pi mal si yon kopi backup sanble yo te fè, men lè restore li vire soti ke li pa ka retabli paske:
- Entegrite done sous yo te konpwomèt.
- Depo backup la domaje.
- Restorasyon travay trè dousman; ou pa ka itilize done ki te pasyèlman refè.
Yon pwosesis backup byen konstwi dwe pran an kont kòmantè sa yo, espesyalman de premye yo.
Entegrite done sous yo ka garanti nan plizyè fason. Sa ki pi souvan itilize yo se sa ki annapre yo: a) kreye snapshots nan sistèm dosye a nan nivo blòk la, b) "konjelasyon" eta a nan sistèm dosye a, c) yon aparèy blòk espesyal ak depo vèsyon, d) anrejistreman sekans nan dosye oswa blòk. Sòm chèk yo aplike tou pou asire done yo verifye pandan rekiperasyon an.
Koripsyon nan depo ka detekte tou lè l sèvi avèk chèk. Yon lòt metòd se itilizasyon aparèy espesyalize oswa sistèm dosye kote done ki deja anrejistre yo pa ka chanje, men yo ka ajoute nouvo.
Pou pi vit rekiperasyon an, yo itilize rekiperasyon done ak plizyè pwosesis pou rekiperasyon - depi pa gen okenn blokaj sou fòm yon rezo ralanti oswa sistèm disk ralanti. Pou jwenn alantou sitiyasyon an ak done pasyèlman refè, ou ka kraze pwosesis la backup an relativman ti sous-tach, chak nan yo ki fèt separeman. Kidonk, li vin posib pou toujou retabli pèfòmans pandan y ap predi tan rekiperasyon an. Pwoblèm sa a pi souvan manti nan plan òganizasyonèl la (SLA), kidonk nou pa pral rete sou sa a an detay.
Yon ekspè nan epis santi bon se pa moun ki ajoute yo nan chak plat, men moun ki pa janm ajoute anyen anplis nan li.
-AN. Sinyavsky
Pratik konsènan lojisyèl yo itilize pa administratè sistèm yo ka varye, men prensip jeneral yo toujou, yon fason oswa yon lòt, menm bagay la, an patikilye:
- Li rekòmande pou itilize solisyon pare yo.
- Pwogram yo ta dwe travay previzib, i.e. Pa ta dwe gen okenn karakteristik san papye oswa bouche.
- Mete kanpe chak pwogram yo ta dwe tèlman senp ke ou pa bezwen li manyèl la oswa fèy tronpe chak fwa.
- Si sa posib, solisyon an ta dwe inivèsèl, paske sèvè yo ka varye anpil nan karakteristik pyès ki nan konpitè yo.
Gen pwogram komen sa yo pou pran sovgad nan aparèy blòk:
- dd, veteran administrasyon sistèm yo abitye, sa a gen ladan tou pwogram ki sanble (menm dd_rescue, pa egzanp).
- Itilite bati nan kèk sistèm dosye ki kreye yon pil fatra nan sistèm dosye a.
- Sèvis piblik omnivor; pou egzanp partclone.
- Desizyon pwòp, souvan propriétaires; pou egzanp, NortonGhost ak pita.
Pou sistèm dosye, travay la backup pasyèlman rezoud lè l sèvi avèk metòd ki aplikab pou aparèy blòk, men pwoblèm nan ka rezoud pi efikasman lè l sèvi avèk, pou egzanp:
- Rsync, yon pwogram jeneral ak pwotokòl pou senkronize eta sistèm dosye yo.
- Zouti achiv entegre (ZFS).
- Zouti achiv twazyèm pati; reprezantan ki pi popilè a se goudwon. Gen lòt moun, pou egzanp, dar - yon ranplasman pou goudwon ki vize a sistèm modèn.
Separeman, li vo mansyone zouti lojisyèl pou asire konsistans done lè w ap kreye kopi backup. Opsyon ki pi souvan itilize yo se:
- Monte sistèm fichye a nan mòd lekti sèlman (ReadOnly), oswa konjelasyon sistèm fichye a (friz) - metòd la gen yon aplikasyon limite.
- Kreye snapshots nan eta a nan sistèm dosye oswa aparèy blòk (LVM, ZFS).
- Itilizasyon zouti twazyèm pati pou òganize enpresyon, menm nan ka kote pwen anvan yo pa ka bay pou kèk rezon (pwogram tankou hotcopy).
- Teknik kopi-sou-chanjman an (CopyOnWrite), sepandan, li pi souvan mare nan sistèm nan dosye yo itilize (BTRFS, ZFS).
Se konsa, pou yon ti sèvè ou bezwen bay yon konplo backup ki satisfè kondisyon sa yo:
- Fasil pou itilize - pa gen okenn etap adisyonèl espesyal ki nesesè pandan operasyon an, etap minimòm pou kreye ak restore kopi.
- Inivèsèl - travay sou tou de gwo ak ti sèvè; sa a enpòtan lè ap grandi kantite serveurs oswa dekale.
- Enstale pa yon manadjè pake, oswa nan youn oswa de kòmandman tankou "telechaje ak depake".
- Ki estab - yo itilize yon fòma depo estanda oswa depi lontan.
- Vit nan travay.
Aplikan ki soti nan moun ki plis oswa mwens satisfè kondisyon yo:
- rdiff-sovgad
- rsnapshot
- rann
- kopi
- duplicity
- kite dup
- bay
- zbackup
- repoze
- borgbackup
Yon machin vityèl (ki baze sou XenServer) ak karakteristik sa yo pral itilize kòm yon ban tès:
- 4 nwayo 2.5 GHz,
- 16 GB RAM,
- 50 GB ibrid depo (sistèm depo ak kachèt sou SSD 20% nan gwosè a ki gen kapasite vityèl) nan fòm lan nan yon disk vityèl separe san yo pa patisyon,
- 200 Mbps chanèl entènèt.
Prèske menm machin nan pral itilize kòm yon sèvè reseptè backup, sèlman ak yon 500 GB kondwi difisil.
Sistèm operasyon - Centos 7 x64: patisyon estanda, patisyon adisyonèl yo pral itilize kòm yon sous done.
Kòm premye done, ann pran yon sit WordPress ak 40 GB nan dosye medya ak yon baz done mysql. Depi sèvè vityèl yo varye anpil nan karakteristik, epi tou pou pi bon repwodiksyon, isit la se
rezilta tès sèvè lè l sèvi avèk sysbench.sysbench --threads = 4 --time = 30 --cpu-max-prime = 20000 CPU kouri
sysbench 1.1.0-18a9f86 (itilize LuaJIT 2.1.0-beta3 fourni)
Kouri tès la ak opsyon sa yo:
Kantite fil: 4
Inisyalize dèlko nimewo o aza soti nan tan aktyèl la
Limit nimewo premye: 20000
Inisyalize fil travayè yo...
Fil te kòmanse!
Vitès CPU:
evènman pou chak segonn: 836.69
Debi:
evènman/s (eps): 836.6908
tan pase: 30.0039s
kantite total evènman: 25104
Latansi (ms):
min:2.38
mwayèn: 4.78
maksimòm: 22.39
95yèm percentile: 10.46
sòm total: 119923.64
Fil ekite:
evènman (mwayèn/stddev): 6276.0000/13.91
tan ekzekisyon (avg/stddev): 29.9809/0.01
sysbench --threads=4 --time=30 --memory-block-size=1K --memory-scope=global --memory-total-size=100G --memory-oper=li memwa kouri
sysbench 1.1.0-18a9f86 (itilize LuaJIT 2.1.0-beta3 fourni)
Kouri tès la ak opsyon sa yo:
Kantite fil: 4
Inisyalize dèlko nimewo o aza soti nan tan aktyèl la
Kouri tès vitès memwa ak opsyon sa yo:
gwosè blòk: 1KiB
gwosè total: 102400MiB
operasyon: li
dimansyon: mondyal
Inisyalize fil travayè yo...
Fil te kòmanse!
Total operasyon: 50900446 (1696677.10 pa segonn)
49707.47 MiB transfere (1656.91 MiB/sec)
Debi:
evènman/s (eps): 1696677.1017
tan pase: 30.0001s
kantite total evènman: 50900446
Latansi (ms):
min:0.00
mwayèn: 0.00
maksimòm: 24.01
95yèm percentile: 0.00
sòm total: 39106.74
Fil ekite:
evènman (mwayèn/stddev): 12725111.5000/137775.15
tan ekzekisyon (avg/stddev): 9.7767/0.10
sysbench --threads=4 --time=30 --memory-block-size=1K --memory-scope=global --memory-total-size=100G --memory-oper=ekri memwa kouri
sysbench 1.1.0-18a9f86 (itilize LuaJIT 2.1.0-beta3 fourni)
Kouri tès la ak opsyon sa yo:
Kantite fil: 4
Inisyalize dèlko nimewo o aza soti nan tan aktyèl la
Kouri tès vitès memwa ak opsyon sa yo:
gwosè blòk: 1KiB
gwosè total: 102400MiB
operasyon: ekri
dimansyon: mondyal
Inisyalize fil travayè yo...
Fil te kòmanse!
Total operasyon: 35910413 (1197008.62 pa segonn)
35068.76 MiB transfere (1168.95 MiB/sec)
Debi:
evènman/s (eps): 1197008.6179
tan pase: 30.0001s
kantite total evènman: 35910413
Latansi (ms):
min:0.00
mwayèn: 0.00
maksimòm: 16.90
95yèm percentile: 0.00
sòm total: 43604.83
Fil ekite:
evènman (mwayèn/stddev): 8977603.2500/233905.84
tan ekzekisyon (avg/stddev): 10.9012/0.41
sysbench --threads=4 --file-test-mode=rndrw --time=60 --file-block-size=4K --file-total-size=1G fileio run
sysbench 1.1.0-18a9f86 (itilize LuaJIT 2.1.0-beta3 fourni)
Kouri tès la ak opsyon sa yo:
Kantite fil: 4
Inisyalize dèlko nimewo o aza soti nan tan aktyèl la
Dosye siplemantè louvri drapo: (okenn)
128 fichye, 8 MiB chak
1 GiB gwosè total fichye a
Gwosè blòk 4KiB
Kantite demann IO: 0
Rapò lekti/ekri pou tès IO o aza konbine: 1.50
Peryodik FSYNC pèmèt, rele fsync() chak 100 demann.
Rele fsync() nan fen tès la, Pèmèt.
Sèvi ak mòd synchrone I/O
Fè tès r/w o aza
Inisyalize fil travayè yo...
Fil te kòmanse!
Debi:
li: IOPS = 3868.21 15.11 MiB/s (15.84 MB/s)
ekri: IOPS=2578.83 10.07 MiB/s (10.56 MB/s)
fsync: IOPS = 8226.98
Latansi (ms):
min:0.00
mwayèn: 0.27
maksimòm: 18.01
95yèm percentile: 1.08
sòm total: 238469.45
Nòt sa a kòmanse yon gwo
seri atik sou backup
- Sovgad, pati 1: Poukisa backup nesesè, yon apèsi sou metòd, teknoloji
- Sovgad Pati 2: Revize ak teste zouti backup ki baze sou rsync
- Sovgad Pati 3: Revize ak tès doub, doub, deja dup
- Sovgad Pati 4: Revize ak tès zbackup, restic, borgbackup
- Sovgad Pati 5: Tès bacula ak veeam backup pou linux
- Sovgad Pati 6: Konpare Zouti Sovgad
- Sovgad Pati 7: Konklizyon
Sous: www.habr.com