Backup, del 7: Konklusjoner

Backup, del 7: Konklusjoner

Denne notatet avslutter syklusen om sikkerhetskopiering. Det handler om den logiske organiseringen av en dedikert server (eller VPS) som er praktisk for sikkerhetskopiering, samt et forslag til en rask gjenoppretting av serveren fra sikkerhetskopi uten betydelige nedetid ved en feil.

Kildedata

En dedikert server har som regel minst to harddisker som brukes til Ă„ organisere et RAID-nivĂ„ 1 (speiling). Dette er nĂždvendig for Ă„ kunne fortsette driften av serveren dersom en disk skulle svikte. Hvis dette er en vanlig dedikert server, kan det vĂŠre en egen maskinvare RAID-kontroller, med aktiv cache-teknologi pĂ„ SSD, sĂ„ det kan ogsĂ„ kobles til en eller flere SSD-er i tillegg til vanlige harddisker. Noen ganger tilbys dedikerte servere som kun har lokale disker med SATADOM (smĂ„ disker, konstruksjonsmessig — en USB-stikkontakt, koblet til en SATA-port), eller til og med en vanlig liten (8-16 GB) USB-stikkontakt, koblet til en egen intern port, der data tas fra et SAN, som er koblet til et eget lagringsnettverk (Ethernet 10G, FC, etc.). Det finnes ogsĂ„ dedikerte servere som starter opp direkte fra SAN. Jeg vil ikke diskutere slike alternativer, ettersom sikkerhetskopieringsoppgaven da smidig overfĂžres til spesialisten som vedlikeholder SAN, som vanligvis har forskjellige proprietary teknologier for Ă„ lage statusbilder, innebygd deduplisering og andre gleder for systemadministratorer som ble omtalt i de tidligere delene av denne syklusen. Volumet pĂ„ diskarrayet til den dedikerte serveren kan nĂ„ flere titalls terabyte, avhengig av antall og stĂžrrelse pĂ„ diskene som er koblet til serveren. NĂ„r det gjelder VPS er volumene beskjedenere: vanligvis ikke mer enn 100 GB (men noen ganger stĂžrre), og prisene for slike VPS kan lett vĂŠre hĂžyere enn de billigste dedikerte serverne fra den samme hosten. VPS har ofte bare Ă©n disk, fordi de vil ha SAN (eller noe hyperkonvergent) under seg. Noen ganger har VPS flere disker med forskjellige egenskaper for ulike formĂ„l:

  • liten systemdisk — for installasjon av operativsystemet;
  • stor disk — for lagring av brukerdokumenter.

Ved reinstallasjon av systemet ved hjelp av kontrollpanelet blir ikke disken med brukerdata overskrevet, men systemdisken blir fullstendig lastet pÄ nytt. I tilfelle av VPS kan hosteren tilby en knapp som tar et Þyeblikksbilde av tilstanden til VPS (eller disken), men hvis du installerer ditt eget operativsystem eller glemmer Ä aktivere den nÞdvendige tjenesten inne i VPS-en, kan deler av dataene likevel gÄ tapt. I tillegg til knappen tilbys vanligvis en datalagringstjeneste, som ofte er sterkt begrenset. Vanligvis er dette en konto med tilgang via FTP eller SFTP-protokollen, noen ganger sammen med SSH, med en begrenset shell (for eksempel rbash), eller en begrensning pÄ Ä kjÞre kommandoer gjennom authorized_keys (via ForcedCommand).

Den dedikerte serveren er koblet til nettverket med to porter med en hastighet pÄ 1 Gbps; noen ganger kan disse vÊre kort med hastigheter pÄ 10 Gbps. VPS har vanligvis bare én nettverksgrensesnitt. Vanligvis begrenser ikke datasentre hastigheten pÄ nettet innen datasenteret, men de begrenser tilgangshastigheten til internett.

Den typiske belastningen for en slik dedikert server eller VPS inkluderer en webserver, database, og applikasjonsserver. Noen ganger kan det ogsÄ vÊre installert forskjellige supplerende tjenester, inkludert for webserveren eller databasen: sÞkemotor, e-postsystem osv.

Som lagringsplass for sikkerhetskopier fungerer en spesialtilpasset server, som det vil bli skrevet mer om senere.

Logisk organisering av filsystemet

Hvis det er en RAID-kontroller, eller dette er en VPS med en disk, og det ikke er noen spesifikke preferanser for disk-undersystemets drift (for eksempel en separat rask disk for databasen) — deles alt ledig plass slik: det opprettes Ă©n partisjon, pĂ„ toppen av den opprettes en LVM-volumgruppe, i den opprettes flere volumer: 2 smĂ„ volum av samme stĂžrrelse, brukt som rotfilssystem (de byttes om hverandre ved oppdateringer for Ă„ muliggjĂžre rask tilbakerulling, ideen er hentet fra distribusjonen Calculate Linux), ett annet — for byttepartisjonen, resten av den ledige plassen deles opp i smĂ„ volumer, brukt som rotfilssystem for fullverdige containere, disker for virtuelle maskiner, filsystemer for kontoer i /home (hvor hver konto har sitt eget filsystem), filsystemer for applikasjonscontainere.

Viktig merknad: volumene mĂ„ vĂŠre helt selvforsynte, dvs. de skal ikke vĂŠre avhengige av hverandre eller av rotfilssystemet. NĂ„r det gjelder virtuelle maskiner eller containere, gjelder dette automatisk. Men nĂ„r det er applikasjonscontainere eller hjemmekataloger — bĂžr man vurdere Ă„ dele konfigurasjonsfilene for webserveren og andre tjenester slik at man minimaliserer avhengighetene mellom volumene. For eksempel, hver nettside kjĂžrer under sin egen bruker, konfigurasjonsfilene for nettsiden finnes i brukerens hjemmekatalog, i innstillingene for webserveren inkluderes konfigurasjonsfilene for nettstedene ikke via /etc/nginx/conf.d/.conf, men for eksempel /home//configs/nginx/*.conf

Hvis det er flere disker — kan man opprette et programmatisk RAID-array (og konfigurere dets caching pĂ„ SSD, hvis det er behov og muligheter), pĂ„ toppen av hvilket LVM settes opp etter reglene som foreslĂ„tt ovenfor. I tillegg kan man bruke ZFS eller BtrFS, men man mĂ„ tenke seg godt om: begge krever en mye mer seriĂžs tilnĂŠrming til ressursene, og ZFS fĂžlger ikke med Linux-kjernen.

Uansett hvilken ordning som brukes, er det alltid lurt Ä estimere skrivespeeden for endringer pÄ diskene pÄ forhÄnd, og deretter beregne stÞrrelsen pÄ det ledige plassen som vil bli reservert for Ä opprette bilder. For eksempel, hvis serveren vÄr skriver data med en hastighet pÄ 10 megabyte per sekund, og totalstÞrrelsen pÄ datamassen er 10 terabyte - kan synkroniseringstiden nÄ opptil et dÞgn (22 timer - det tar sÄ lang tid Ä overfÞre denne mengden over et nettverk pÄ 1 Gbit/s) - bÞr omtrent 800 GB reserveres. I virkeligheten vil tallet vÊre mindre, og man kan trygt dele det med antallet logiske volumer.

Server for lagring av sikkerhetskopier

Hovedforskjellen mellom en server for lagring av sikkerhetskopier er store, billige og relativt langsomme disker. Siden moderne HDD-er allerede har passert grensen pÄ 10 TB i én disk - er det obligatorisk Ä bruke filsystemer eller RAID med sjekksummer, fordi i lÞpet av ombyggingen av matrisen eller gjenopprettingen av filsystemet (flere dager!) kan den andre disken svikte pÄ grunn av Þkt belastning. PÄ disker med kapasitet opptil 1 TB var dette ikke sÄ kritisk. For enkelhets skyld antar jeg at diskplassen er delt inn i to omtrent like store deler (for eksempel ved hjelp av LVM):

  • volumer som tilsvarer serverne, brukt til lagring av brukerdata (her vil den siste sikkerhetskopien bli rullet ut for verifisering);
  • volumer som brukes som BorgBackup-repositorier (hit vil dataene til sikkerhetskopiene komme direkte).

Arbeidsprinsippet er at det opprettes separate volumer for hver server under BorgBackup-repositoriene, hvor dataene fra produksjonsserverne vil bli lagret. Repositoriene fungerer i et kun leggetilstand, som utelukker muligheten for bevisst sletting av data, og takket vÊre deduplisering og periodisk rensing av repositoriene fra gamle sikkerhetskopier (Ärskopier blir beholdt, mÄnedlige kopier fra det siste Äret, ukentlige kopier fra forrige mÄned, daglige kopier fra forrige uke, eventuelt - i spesielle tilfeller - timekopier fra den siste dagen: totalt 24 + 7 + 4 + 12 + Ärlige - omtrent 50 kopier for hver server).
I BorgBackup-repositoriene kan ikke aktiveres bare legging-modus; i stedet brukes ForcedCommand i .ssh/authorized_keys omtrent som dette:

from="serverens adresse",command="/usr/local/bin/borg serve --append-only --restrict-to-path /home/servernavn/borgbackup/",no-pty,no-agent-forwarding,no-port-forwarding,no-X11-forwarding,no-user-rc AAAAA.......

PÄ den angitte banen er det et wrapper-skript over borg som, i tillegg til Ä kjÞre binÊrfilen med parametere, ogsÄ starter prosessen med Ä gjenopprette sikkerhetskopien etter at datainnhentingen er fullfÞrt. For dette oppretter wrapper-skriptet en indikasjon ved siden av det aktuelle lageret. Den nyeste sikkerhetskopien blir automatisk gjenopprettet pÄ den tilhÞrende logiske volumet etter at datainnhentingen er fullfÞrt.

Denne konstruksjonen gjÞr det mulig Ä periodisk rense unÞdvendige sikkerhetskopier, samt forhindrer kampservere fra Ä slette noe pÄ sikkerhetskopiserver.

Sikkerhetskopieringsprosessen

Initiatoren av sikkerhetskopieringen er selve dedikerte serveren eller VPS-en, ettersom dette oppsettet gir mer kontroll over sikkerhetskopieringsprosessen fra denne serveren. FĂžrst tas et bilde av tilstanden til det aktive rotfilsystemet, som monteres og lastes opp ved hjelp av BorgBackup til sikkerhetskopiserveren. Etter at datainnhentingen er fullfĂžrt, avmonteres bildet og slettes.

Ved tilstedevĂŠrelse av en liten database (opp til 1 GB for hver nettside) tas det et dump av databasen, som lagres i det tilhĂžrende logiske volumet, der hvor de andre dataene for samme nettside er plassert, men slik at dumpen ikke er tilgjengelig gjennom webserveren. Hvis databasene er store — bĂžr «hot» datainnhenting tilpasses, for eksempel ved hjelp av xtrabackup for MySQL, eller arbeidet med WAL og archive_command i PostgreSQL. I dette tilfellet vil databasen bli gjenopprettet separat fra nettsidedataene.

Hvis containere eller virtuelle maskiner brukes — bĂžr qemu-guest-agent, CRIU eller andre nĂždvendige teknologier konfigureres. I andre tilfeller er det vanligvis ikke behov for ytterligere konfigurasjoner — vi oppretter bare bilder av de logiske volumene, som deretter behandles pĂ„ samme mĂ„te som bildet av rotfilsystemets tilstand. Etter datainnhentingen blir bildene slettet.

Videre arbeid utfÞres pÄ sikkerhetskopiserveren:

  • den nyeste sikkerhetskopien blir kontrollert i hvert depot,
  • det blir sjekket om det finnes en flaggfil som indikerer at datagjenvinningsprosessen er fullfĂžrt,
  • dataene blir rullet ut til de aktuelle lokale volumene,
  • flagget blir fjernet,

Serverens gjenopprettingsprosess,

Hvis hovedserveren svikter, startes en tilsvarende dedikert server som bootes fra et standard bilde. Sannsynligvis skjer bootingen over et nettverk, men datacenter-teknikeren som konfigurerer serveren, kan umiddelbart kopiere dette standardbildet til en av diskene. Bootingen skjer til RAM, hvoretter gjenopprettingsprosessen starter:

  • det sendes en forespĂžrsel om Ă„ koble til blokk-enheten via iscsinbd eller et annet lignende protokoll for logisk volum, som inneholder rotfilsystemet til den nedlagte serveren; siden rotfilsystemet skal vĂŠre lite, bĂžr dette trinnet vĂŠre fullfĂžrt pĂ„ noen fĂ„ minutter. OgsĂ„ bootloaderen gjenopprettes;
  • strukturen av lokale logiske volumer gjenopprettes, og de logiske volumer fra sikkerhetskopiseringsserveren kobles til ved hjelp av dm_clone-kjernemodulen: datagjenvinningen begynner, og endringene skrives umiddelbart til de lokale diskene.
  • en container med alle tilgjengelige fysiske disker startes - serverens operativitet gjenopprettes helt, men med redusert ytelse;
  • etter at dataene er synkronisert, kobles de logiske volumene fra sikkerhetskopiseringsserveren fra, containeren slĂ„s av, og serveren startes pĂ„ nytt;

Etter omstarten vil serveren ha alle dataene som var pÄ tidspunktet for sikkerhetskopieringen, samt inkludere alle endringer som ble gjort under gjenopprettingsprosessen.

Andre artikler i serien

Backup, del 1: Hvorfor sikkerhetskopiering er nĂždvendig, oversikt over metoder og teknologier
Backup, del 2: Gjennomgang og testing av rsync-baserte backupverktĂžy
Backup, del 3: Oversikt og testing av Duplicity, Duplicati
Sikkerhetskopiering, del 4: Oversikt og testing av zbackup, restic, borgbackup
Sikkerhetskopiering, del 5: Testing av Bacula og Veeam Backup for Linux
Sikkerhetskopiering: del pÄ forespÞrsel fra leserne: oversikt over AMANDA, UrBackup, BackupPC
Backup, del 6: Sammenligning av sikkerhetskopieringsverktĂžy
Backup, del 7: Konklusjoner

Jeg inviterer til diskusjon av det foreslÄtte alternativet i kommentarene, takk for oppmerksomheten!

Kilde: habr.com

KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere đŸ”„ KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere | ProHoster