Hvordan GitLab hjelper med Ă„ lage sikkerhetskopier av store NextCloud-lagre

Hei, Habr!

I dag vil jeg gjerne dele vÄr erfaring med automatisering av sikkerhetskopiering av store datalagringer i Nextcloud i ulike konfigurasjoner. Jeg jobber som CTO i «Molniya AK», hvor vi arbeider med konfigurasjonsadministrasjon av IT-systemer, og Nextcloud brukes til datalagring. Dette inkluderer en distribuert struktur med reservasjon.

Problemer som fÞlger med spesifikasjonene for installasjoner inkluderer at det er mye data. Versjonering som Nextcloud tilbyr, sikkerhetskopiering, subjektive Ärsaker og andre faktorer skaper mange duplikater.

Bakgrunn

NÄr man administrerer Nextcloud, blir problemet med Ä organisere en effektiv sikkerhetskopi kritisk, og det mÄ definitivt krypteres siden dataene er verdifulle.

Vi tilbyr alternativer for lagring av sikkerhetskopier hos oss eller hos kunden pÄ separate maskiner fra Nextcloud, noe som krever en fleksibel og automatisert tilnÊrming til administrasjon.

Kundene er mange, alle med forskjellige konfigurasjoner, og alle pÄ sine egne plattformer med sine egne egenskaper. Den standardmetoden der hele plattformen eies av deg, og sikkerhetskopier lages fra cron, passer dÄrlig her.

La oss fÞrst se pÄ inngangsdataene. Vi trenger:

  • Skalerbarhet, enten Ă©n node eller flere. For store installasjoner bruker vi minio som lagringsenhet.
  • Å holde oversikt over problemer med sikkerhetskopiering.
  • Sikkerhetskopien mĂ„ lagres hos kundene og/eller hos oss.
  • Raskt og enkelt Ă„ hĂ„ndtere problemer.
  • Kunder og installasjoner varierer mye fra hverandre — det er vanskelig Ă„ oppnĂ„ enhetlighet.
  • Gjenopprettingshastigheten mĂ„ vĂŠre minimal i to scenarier: full gjenoppretting (katastrofe) og Ă©n mappe — slettet ved en feil.
  • Deduplisering er et must.

Hvordan GitLab hjelper med Ă„ lage sikkerhetskopier av store NextCloud-lagre

For Ä lÞse oppgaven med sikkerhetskopihÄndtering har vi integrert GitLab. Mer detaljer kommer senere.

Selv om vi selvfÞlgelig ikke er de fÞrste til Ä lÞse en slik oppgave, mener vi at vÄr praktiske erfaring kan vÊre interessant, og vi er klare til Ä dele den.

Siden vÄrt selskap har en policy for open source, har vi spesifikt lett etter lÞsninger med Äpen kildekode. Vi deler vÄre utviklinger og legger dem ut. For eksempel finnes det pÄ GitHub vÄr plugin for Nextcloud, som vi installerer hos kundene, for Ä styrke databeskyttelsen mot utilsiktet eller tilsiktet sletting.

SikkerhetskopieringsverktĂžy

Vi begynte Ă„ lete etter lĂžsninger med valg av backup-verktĂžy.

Vanlig tar + gzip fungerer dĂ„rlig — data kopieres. Inkrementet inneholder ofte veldig fĂ„ endringer i virkeligheten, og store deler av dataene i en enkelt fil gjentar seg selv.
Det er et annet problem — overflĂždighet i distribuerte datalagre. Vi bruker minio, og dataene der er i utgangspunktet overflĂždige. Enten mĂ„tte vi ta backup gjennom minio selv – belaste det og bruke alle mellomlagene mellom filsystemet, og hva som ikke er mindre viktig, er det en risiko for Ă„ glemme deler av bĂžttene og metadata. Eller sĂ„ mĂ„ vi bruke deduplisering.

Det finnes open source backupverktÞy med deduplisering (det har vÊrt artikkel om dette emnet pÄ Habré,) og vÄre finalister ble Borg og Restic. Om vÄr sammenligning av de to applikasjonene nedenfor, men fÞrst vil vi fortelle hvordan vi organiserte hele systemet.

HÄndtering av oppretting av sikkerhetskopier

Borg og Restic er gode, men ingen av produktene har en sentralisert administrasjonsmekanisme. For styring og kontroll valgte vi et verktĂžy som allerede er implementert hos oss, uten hvilket vi ikke kan forestille oss vĂ„rt arbeid, inkludert automatisering — det velkjente CI/CD – GitLab.

Ideen er som fÞlger: PÄ hver node som lagrer data fra Nextcloud installeres gitlab-runner. Runneren kjÞrer et skript etter en tidsplan som overvÄker backup-prosessen, og den starter Borg eller Restic.

Hva fikk vi? Tilbakemeldinger fra kjĂžringen, praktisk kontroll over endringer, detaljer i tilfelle feil.

Her er her pÄ GitHub la vi ut eksempler pÄ skript for ulike oppgaver, og vi har i etterkant koblet det til backupen ikke bare for Nextcloud, men ogsÄ for mange andre tjenester. Der finnes ogsÄ planleggeren, hvis man ikke vil konfigurere det manuelt (og vi vil ikke) og .gitlab-ci.yml

I GitLabs API er det for Þyeblikket ingen mulighet til Ä endre timeout for CI/CD, og den er liten. Den mÄ Þkes, si til 1d.

Heldigvis kan GitLab kjÞre ikke bare pÄ kommit, men ogsÄ etter en tidsplan, det er akkurat det vi trenger.

NĂ„ om wrapper-skriptet.

Vi satte slike betingelser for dette skriptet:

  • Det mĂ„ kunne kjĂžres bĂ„de av runneren og manuelt fra konsollen med samme funksjonalitet.
  • Det mĂ„ vĂŠre feilhĂ„ndterere:
  • returkode.
  • sĂžke etter en streng i loggen. For oss kan for eksempel en feil vĂŠre en melding som programmet ikke anser som fatal.
  • Timeout-hĂ„ndtering. KjĂžretiden mĂ„ vĂŠre rimelig.
  • Vi trenger en detaljert logg. Men bare i tilfelle en feil oppstĂ„r.
  • Det gjennomfĂžres ogsĂ„ en rekke tester fĂžr oppstart.
  • SmĂ„ tillegg for bekvemmelighet, som vi fant nyttige i supportprosessen:
  • Start og slutt registreres i systemloggen pĂ„ den lokale maskinen. Dette hjelper med Ă„ knytte systemfeil til backup-jobber.
  • Deler av feilloggen, nĂ„r det finnes feil, skrives ut til stdout, hele loggen lagres i en egen fil. Det er praktisk Ă„ sjekke i CI for Ă„ vurdere en trivial feil.
  • Modi for debugging.

Fullstendig logg lagres som et artefakt i GitLab, hvis det ikke er feil, slettes loggen. Vi skriver skriptet i bash.

Vi tar gjerne imot forslag og kommentarer til Ă„pen kildekode — velkommen.

Hvordan det fungerer

PĂ„ den noder som sikkerhetskopieres, startes en runner med en bash-executor. I scheduler-koden kjĂžres en CI/CD jobb i spesielle repository. Runneren kjĂžrer et skript som er en universell omskrivning for slike oppgaver, der validering av backup-repositoriet, monteringspunkter og alt vi Ăžnsker, sjekkes, deretter utfĂžres sikkerhetskopieringen og gammel data renses. Den ferdige backupen sendes til S3.

Vi jobber etter et slikt skjema — dette er en ekstern leverandĂžr AWS eller en russisk analog (dette er raskere og dataene forlater ikke Russland). Alternativt setter vi opp en egen Minio-klynge for klienten pĂ„ deres lokasjon for disse formĂ„lene. Vi gjĂžr vanligvis dette av sikkerhetshensyn, nĂ„r klienten absolutt ikke Ăžnsker at dataene skal forlate deres nettverk.

Vi valgte ikke Ä bruke funksjonen for sending av backup via ssh. Dette gir ikke mer sikkerhet, og nettverkskapasiteten til S3-leverandÞren er betydelig hÞyere enn for én av vÄre ssh-maskiner.

For Ă„ sikre mot hackere pĂ„ den lokale maskinen — de kan slette data pĂ„ S3, mĂ„ versjonering absolutt aktiveres.
BackupverktĂžyet krypterer alltid backupen.

Borg har en modus uten kryptering, nonemen vi frarÄder pÄ det sterkeste Ä aktivere den. I denne modusen vil det ikke vÊre kryptering, og kontrollsummen som beregnes for det som skrives, vil ikke bli beregnet, noe som betyr at integriteten bare kan kontrolleres indirekte via indeksene.

Det gjennomfÞres en egen sjekker for backupene for Ä kontrollere integriteten til indeksene og innholdet. Sjekken skjer sakte og tar tid, sÄ vi kjÞrer den separat en gang i mÄneden. Den kan ta flere dager.

Readme pÄ russisk

Hovedfunksjoner

  • prepare forberedelse
  • testcheck sjekk klarhet
  • hovedkommando hovedkommando
  • tvingepostskrift en funksjon som utfĂžres pĂ„ slutten eller ved feil. Vi bruker den for Ă„ avmontere partisjonen.

Tjenestefunksjoner

  • cleanup vi registrerer feil eller sletter loggfilen.
  • sjekklogg parser logger for forekomst av feilmeldinger.
  • ret avslutt behandler.
  • sjekktimeout sjekk for timeout.

MiljĂž

  • VERBOSE=1 vi viser feil umiddelbart pĂ„ skjermen (stdout).
  • SAVELOGSONSUCCES=1 vi lagrer logg ved suksess.
  • INIT_REPO_IF_NOT_EXIST=1 Vi oppretter et depot hvis det ikke allerede eksisterer. Som standard er dette deaktivert.
  • TIMEOUT maksimalt tidsrom for den viktigste operasjonen. Du kan angi det som ‘m’, ‘h’ eller ‘d’ pĂ„ slutten.

Modus for lagring av gamle kopier. Som standard:

  • KEEP_DAILY=7
  • KEEP_WEEKLY=4
  • KEEP_MONTHLY=6

Variabler inne i skriptet

  • ERROR_STRING — streng for sjekk av logg for feil.
  • EXTRACT_ERROR_STRING — uttrykk for Ă„ vise streng hvis feil.
  • KILL_TIMEOUT_SIGNAL — signal for Ă„ drepe hvis timeout.
  • TAIL — hvor mange strenger med feilmeldinger pĂ„ skjermen.
  • COLORMSG — farge pĂ„ melding (standard gul).

Det skriptet som heter wordpress kalles betinget, dets spesialitet er at det ogsÄ tar sikkerhetskopi av mysql-databasen. Det kan derfor brukes til engangsinstallasjoner av Nexcloud, hvor man kan ta sikkerhetskopi av databasen samtidig. Bekvemmeligheten er ikke bare at alt er ett sted, men ogsÄ at innholdet i databasen er nÊrt innholdet i filene, ettersom tidsdifferansen er minimal.

Restic vs Borg

Sammenligninger av Borg og Restic finnes ogsÄ her pÄ Habré, og vi hadde ikke som mÄl Ä lage bare enda en, men vÄr egen. Det var viktig for oss hvordan dette ville se ut med vÄre data, med vÄr spesifisitet. Vi presenterer dem.

VÄre valgkriterier, i tillegg til de allerede nevnte (deduplisering, rask gjenoppretting osv.):

  • Motstand mot uferdig arbeid. Sjekk for kill -9.
  • StĂžrrelse pĂ„ disken.
  • Krav til ressurser (CPU, minne).
  • StĂžrrelse pĂ„ lagrede blobber.
  • Jobbe med S3.
  • Sjekk for integritet.

For testing tok vi en kunde med reelle data og en total stÞrrelse pÄ 1,6TB.
Betingelser.

Borg kan ikke direkte jobbe med S3, sÄ vi monterte som en fuse-disk, via goofys. Restic sendte til S3 selv.

Goofys fungerer veldig raskt og godt, og det har diskcache-modul, som ytterligere akselererer arbeidet. Det er i beta-fasen, og Êrlig talt, vi opplevde tap av data under tester (andre tester). Men bekvemmeligheten er at selve prosedyren for sikkerhetskopiering ikke krever mye lesing, men hovedsakelig skriving, sÄ vi bruker cachen bare under integritetssjekk.

For Ă„ redusere nettverksinnflytelsen, brukte vi en lokal leverandĂžr — Yandex Cloud.

Testresultater for sammenligning.

  • Kill -9 fulgte med en ny oppstart av begge som ble vellykket.
  • StĂžrrelse pĂ„ disken. Borg kan komprimere, sĂ„ resultater er forventet.

BackupverktĂžy
StĂžrrelse

Borg
562Gb

Restic
628Gb

  • NĂ„r det gjelder CPU
    Borg bruker lite ressurser i seg selv, med standardkomprimering, men det mÄ vurderes sammen med prosessen av goofys. Samlet sett er de sammenlignbare og bruker omtrent 1,2 kjerner pÄ den samme test-virtuelle maskinen.
  • Minne. Restic omtrent 0,5Gb, Borg rundt 200Mb. Men dette er ubetydelig sammenlignet med filcacheminnet til systemet. SĂ„ det er Ăžnskelig Ă„ tildele mer minne.
  • Forskjellen i stĂžrrelse pĂ„ blobene var slĂ„ende.

BackupverktĂžy
StĂžrrelse

Borg
rundt 500Mb

Restic
rundt 5Mb

  • Samarbeidet med S3 fra Restic er utmerket. Borg fungerer gjennom goofys uten problemer, men det er observert at det er best Ă„ gjĂžre umount etter sikkerhetskopiering for Ă„ fullstendig tĂžmme cachen. En spesialitet ved S3 er at ufullstendige chunks aldri vil bli sendt til bĂžtta, noe som betyr at ikke-fullstendige data fĂžrer til store skader.
  • Integritetskontrollen fungerer godt i begge tilfeller, men hastigheten varierer betydelig.
    Restic – 3,5 timer.
    Borg, med en filcache pĂ„ 100Gb SSD – 5 timer. Omtrent det samme resultatet nĂ„r det gjelder hastighet hvis dataene ligger pĂ„ lokale disker.
    Borg leser direkte fra S3 uten cache 33 timer. Kjempe lange tider.

I bunn og grunn kan Borg komprimere og har stĂžrre blobber — noe som gjĂžr lagring og GET/PUT-operasjoner i S3 billigere. Men man mĂ„ betale for en mer kompleks og tregere verifisering. NĂ„r det gjelder gjenopprettingshastighet — merket vi ingen forskjell. OppfĂžlgende sikkerhetskopier (etter den fĂžrste) tar restic litt lengre tid, men ikke betydelig.

StÞrrelsen pÄ fellesskapet var ikke uvesentlig i valget.

Og vi valgte borg.

Et par ord om komprimering

Borg har et flott nytt komprimeringsalgoritme — zstd. Det er ikke dĂ„rligere enn gzip nĂ„r det gjelder komprimeringskvalitet, men mye raskere. Og sammenlignbart i hastighet med standard lz4.

For eksempel komprimeres en MySQL-dump omtrent dobbelt sÄ bra som lz4 med samme hastighet. Men, erfaring med reelle data viser at det er en svÊrt liten forskjell i komprimeringsgraden i Nextcloud-noder.

Borg har en ganske spesiell komprimeringsmodus — hvis filen har hþy entropi, anvendes ikke komprimering i det hele tatt, noe som þker hastigheten. Dette aktiveres med et alternativ ved opprettelsen.
-C auto,zstd
for zstd-algoritmen
SĂ„ med dette alternativet i forhold til standard komprimering fikk vi
560 Gb og 562 Gb henholdsvis. Dataene fra eksempelet ovenfor, husk, uten komprimering, er resultatet 628 Gb. Resultatet pÄ 2 Gb forskjell overrasket oss litt, men vi bestemte oss for Ä velge likevel. auto,zstd.

Metodikk for Ă„ sjekke backup

Virtuelle maskiner kjĂžres enten hos leverandĂžren eller kunden via planleggeren, noe som betydelig reduserer nettverksbelastningen. Dette er i det minste billigere enn Ă„ kjĂžre det hos oss selv og sende trafikk.

goofys --cache "--free:5%:\/mnt\/cache" -o allow_other --endpoint https:\/\/storage.yandexcloud.net --file-mode=0666 --dir-mode=0777 xxxxxxx.com \/mnt\/goofys
export BORG_PASSCOMMAND="cat \/home\/borg\/.borg-passphrase"
borg list \/mnt\/goofys\/borg1\/
borg check --debug -p --verify-data \/mnt\/goofys\/borg1\/

PĂ„ samme mĂ„te sjekker vi filene med antivirus etterpĂ„. Brukerne laster opp forskjellig innhold i Nextcloud, og ikke alle har antivirusprogramvare. Å utfĂžre sjekken under opplasting tar for lang tid og hindrer virksomheten.

Skalering oppnÄs ved Ä kjÞre lÞpere pÄ forskjellige noder med ulike etiketter.
I vÄr overvÄking samles statusene for backuper gjennom GitLab API i ett vindu, og eventuelle problemer blir lett oppdaget og ogsÄ lett lokalisert ved behov.

Konklusjon

Som et resultat vet vi helt sikkert at vi lager backuper, at vÄre backuper er gyldige, og at problemene som oppstÄr tar lite tid og lÞses pÄ nivÄet med vaktadministrator. Backuper tar reelt lite plass sammenlignet med tar.gz eller Bacula.

Kilde: habr.com

KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere đŸ”„ KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere | ProHoster