{"id":86904,"date":"2020-07-01T07:42:30","date_gmt":"2020-07-01T05:42:30","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud"},"modified":"2020-07-01T07:42:30","modified_gmt":"2020-07-01T05:42:30","slug":"kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud","title":{"rendered":"Hvordan GitLab hjelper med \u00e5 lage sikkerhetskopier av store NextCloud-lagre","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Hei, Habr!<\/p>\n<p><\/p>\n<p>I dag vil jeg gjerne dele v\u00e5r erfaring med automatisering av sikkerhetskopiering av store datalagringer i Nextcloud i ulike konfigurasjoner. Jeg jobber som CTO i \u00abMolniya AK\u00bb, hvor vi arbeider med konfigurasjonsadministrasjon av IT-systemer, og Nextcloud brukes til datalagring. Dette inkluderer en distribuert struktur med reservasjon.<\/p>\n<p><\/p>\n<p>Problemer som f\u00f8lger med spesifikasjonene for installasjoner inkluderer at det er mye data. Versjonering som Nextcloud tilbyr, sikkerhetskopiering, subjektive \u00e5rsaker og andre faktorer skaper mange duplikater.<\/p>\n<p><\/p>\n<h2 id=\"predystoriya\">Bakgrunn<\/h2>\n<p><\/p>\n<p>N\u00e5r man administrerer Nextcloud, blir problemet med \u00e5 organisere en effektiv sikkerhetskopi kritisk, og det m\u00e5 definitivt krypteres siden dataene er verdifulle.<\/p>\n<p><\/p>\n<p>Vi tilbyr alternativer for lagring av sikkerhetskopier hos oss eller hos kunden p\u00e5 separate maskiner fra Nextcloud, noe som krever en fleksibel og automatisert tiln\u00e6rming til administrasjon.<\/p>\n<p><\/p>\n<p>Kundene er mange, alle med forskjellige konfigurasjoner, og alle p\u00e5 sine egne plattformer med sine egne egenskaper. Den standardmetoden der hele plattformen eies av deg, og sikkerhetskopier lages fra cron, passer d\u00e5rlig her.<\/p>\n<p><\/p>\n<p>La oss f\u00f8rst se p\u00e5 inngangsdataene. Vi trenger:<\/p>\n<p><\/p>\n<ul>\n<li>Skalerbarhet, enten \u00e9n node eller flere. For store installasjoner bruker vi minio som lagringsenhet.<\/li>\n<li>\u00c5 holde oversikt over problemer med sikkerhetskopiering.<\/li>\n<li>Sikkerhetskopien m\u00e5 lagres hos kundene og\/eller hos oss.<\/li>\n<li>Raskt og enkelt \u00e5 h\u00e5ndtere problemer.<\/li>\n<li>Kunder og installasjoner varierer mye fra hverandre \u2014 det er vanskelig \u00e5 oppn\u00e5 enhetlighet.<\/li>\n<li>Gjenopprettingshastigheten m\u00e5 v\u00e6re minimal i to scenarier: full gjenoppretting (katastrofe) og \u00e9n mappe \u2014 slettet ved en feil.<\/li>\n<li>Deduplisering er et must.<\/li>\n<\/ul>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Hvordan GitLab hjelper med \u00e5 lage sikkerhetskopier av store NextCloud-lagre\" src=\"\/wp-content\/uploads\/2020\/07\/1a0048e3295fef94ddca28e50612e3cb.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>For \u00e5 l\u00f8se oppgaven med sikkerhetskopih\u00e5ndtering har vi integrert GitLab. Mer detaljer kommer senere. <\/p>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Selv om vi selvf\u00f8lgelig ikke er de f\u00f8rste til \u00e5 l\u00f8se en slik oppgave, mener vi at v\u00e5r praktiske erfaring kan v\u00e6re interessant, og vi er klare til \u00e5 dele den.<\/p>\n<p><\/p>\n<p>Siden v\u00e5rt selskap har en policy for open source, har vi spesifikt lett etter l\u00f8sninger med \u00e5pen kildekode. Vi deler v\u00e5re utviklinger og legger dem ut. For eksempel finnes det p\u00e5 GitHub <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/molnia-com\/nextcloud-safe-trash\">v\u00e5r plugin for Nextcloud<\/a><\/noindex>, som vi installerer hos kundene, for \u00e5 styrke databeskyttelsen mot utilsiktet eller tilsiktet sletting.<\/p>\n<p><\/p>\n<h2 id=\"sredstva-bekapirovaniya\">Sikkerhetskopieringsverkt\u00f8y<\/h2>\n<p><\/p>\n<p>Vi begynte \u00e5 lete etter l\u00f8sninger med valg av backup-verkt\u00f8y.<\/p>\n<p><\/p>\n<p>Vanlig tar + gzip fungerer d\u00e5rlig \u2014 data kopieres. Inkrementet inneholder ofte veldig f\u00e5 endringer i virkeligheten, og store deler av dataene i en enkelt fil gjentar seg selv.<br \/>\nDet er et annet problem \u2014 overfl\u00f8dighet i distribuerte datalagre. Vi bruker minio, og dataene der er i utgangspunktet overfl\u00f8dige. Enten m\u00e5tte vi ta backup gjennom minio selv \u2013 belaste det og bruke alle mellomlagene mellom filsystemet, og hva som ikke er mindre viktig, er det en risiko for \u00e5 glemme deler av b\u00f8ttene og metadata. Eller s\u00e5 m\u00e5 vi bruke deduplisering.<\/p>\n<p><\/p>\n<p>Det finnes open source backupverkt\u00f8y med deduplisering (det har v\u00e6rt <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/southbridge\/blog\/449282\/\">artikkel<\/a><\/noindex> <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/420055\/\">om dette emnet p\u00e5 Habr\u00e9,<\/a><\/noindex>) og v\u00e5re finalister ble <noindex><a rel=\"nofollow\" href=\"https:\/\/borgbackup.readthedocs.io\/en\/stable\/\">Borg<\/a><\/noindex> og <noindex><a rel=\"nofollow\" href=\"https:\/\/restic.net\/\">Restic<\/a><\/noindex>. Om v\u00e5r sammenligning av de to applikasjonene nedenfor, men f\u00f8rst vil vi fortelle hvordan vi organiserte hele systemet.<\/p>\n<p><\/p>\n<h2 id=\"upravlenie-sozdaniem-rezervnyh-kopiy\">H\u00e5ndtering av oppretting av sikkerhetskopier<\/h2>\n<p><\/p>\n<p>Borg og Restic er gode, men ingen av produktene har en sentralisert administrasjonsmekanisme. For styring og kontroll valgte vi et verkt\u00f8y som allerede er implementert hos oss, uten hvilket vi ikke kan forestille oss v\u00e5rt arbeid, inkludert automatisering \u2014 det velkjente CI\/CD \u2013 GitLab.<\/p>\n<p><\/p>\n<p>Ideen er som f\u00f8lger: P\u00e5 hver node som lagrer data fra Nextcloud installeres gitlab-runner. Runneren kj\u00f8rer et skript etter en tidsplan som overv\u00e5ker backup-prosessen, og den starter Borg eller Restic.<\/p>\n<p><\/p>\n<p>Hva fikk vi? Tilbakemeldinger fra kj\u00f8ringen, praktisk kontroll over endringer, detaljer i tilfelle feil.<\/p>\n<p><\/p>\n<p>Her er <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/molnia-com\/backup-by-runner\">her p\u00e5 GitHub<\/a><\/noindex> la vi ut eksempler p\u00e5 skript for ulike oppgaver, og vi har i etterkant koblet det til backupen ikke bare for Nextcloud, men ogs\u00e5 for mange andre tjenester. Der finnes ogs\u00e5 planleggeren, hvis man ikke vil konfigurere det manuelt (og vi vil ikke) og .gitlab-ci.yml<\/p>\n<p><\/p>\n<p>I GitLabs API er det for \u00f8yeblikket ingen mulighet til \u00e5 endre timeout for CI\/CD, og den er liten. Den m\u00e5 \u00f8kes, si til <code>1d<\/code>.<\/p>\n<p><\/p>\n<p>Heldigvis kan GitLab kj\u00f8re ikke bare p\u00e5 kommit, men ogs\u00e5 etter en tidsplan, det er akkurat det vi trenger.<\/p>\n<p><\/p>\n<p>N\u00e5 om wrapper-skriptet.<\/p>\n<p><\/p>\n<p>Vi satte slike betingelser for dette skriptet:<\/p>\n<p><\/p>\n<ul>\n<li>Det m\u00e5 kunne kj\u00f8res b\u00e5de av runneren og manuelt fra konsollen med samme funksjonalitet.<\/li>\n<li>Det m\u00e5 v\u00e6re feilh\u00e5ndterere:<\/li>\n<li>returkode.<\/li>\n<li>s\u00f8ke etter en streng i loggen. For oss kan for eksempel en feil v\u00e6re en melding som programmet ikke anser som fatal.<\/li>\n<li>Timeout-h\u00e5ndtering. Kj\u00f8retiden m\u00e5 v\u00e6re rimelig.<\/li>\n<li>Vi trenger en detaljert logg. Men bare i tilfelle en feil oppst\u00e5r.<\/li>\n<li>Det gjennomf\u00f8res ogs\u00e5 en rekke tester f\u00f8r oppstart.<\/li>\n<li>Sm\u00e5 tillegg for bekvemmelighet, som vi fant nyttige i supportprosessen:<\/li>\n<li>Start og slutt registreres i systemloggen p\u00e5 den lokale maskinen. Dette hjelper med \u00e5 knytte systemfeil til backup-jobber.<\/li>\n<li>Deler av feilloggen, n\u00e5r det finnes feil, skrives ut til stdout, hele loggen lagres i en egen fil. Det er praktisk \u00e5 sjekke i CI for \u00e5 vurdere en trivial feil.<\/li>\n<li>Modi for debugging.<\/li>\n<\/ul>\n<p><\/p>\n<p>Fullstendig logg lagres som et artefakt i GitLab, hvis det ikke er feil, slettes loggen. Vi skriver skriptet i bash.<\/p>\n<p><\/p>\n<p>Vi tar gjerne imot forslag og kommentarer til \u00e5pen kildekode \u2014 velkommen.<\/p>\n<p><\/p>\n<h2 id=\"kak-eto-rabotaet\">Hvordan det fungerer<\/h2>\n<p><\/p>\n<p>P\u00e5 den noder som sikkerhetskopieres, startes en runner med en bash-executor. I scheduler-koden kj\u00f8res en CI\/CD jobb i spesielle repository. Runneren kj\u00f8rer et skript som er en universell omskrivning for slike oppgaver, der validering av backup-repositoriet, monteringspunkter og alt vi \u00f8nsker, sjekkes, deretter utf\u00f8res sikkerhetskopieringen og gammel data renses. Den ferdige backupen sendes til S3.<\/p>\n<p><\/p>\n<p>Vi jobber etter et slikt skjema \u2014 dette er en ekstern leverand\u00f8r AWS eller en russisk analog (dette er raskere og dataene forlater ikke Russland). Alternativt setter vi opp en egen Minio-klynge for klienten p\u00e5 deres lokasjon for disse form\u00e5lene. Vi gj\u00f8r vanligvis dette av sikkerhetshensyn, n\u00e5r klienten absolutt ikke \u00f8nsker at dataene skal forlate deres nettverk.<\/p>\n<p><\/p>\n<p>Vi valgte ikke \u00e5 bruke funksjonen for sending av backup via ssh. Dette gir ikke mer sikkerhet, og nettverkskapasiteten til S3-leverand\u00f8ren er betydelig h\u00f8yere enn for \u00e9n av v\u00e5re ssh-maskiner.<\/p>\n<p><\/p>\n<p>For \u00e5 sikre mot hackere p\u00e5 den lokale maskinen \u2014 de kan slette data p\u00e5 S3, m\u00e5 versjonering absolutt aktiveres.<br \/>\nBackupverkt\u00f8yet krypterer alltid backupen.<\/p>\n<p><\/p>\n<p>Borg har en modus uten kryptering, <code>none<\/code>men vi frar\u00e5der p\u00e5 det sterkeste \u00e5 aktivere den. I denne modusen vil det ikke v\u00e6re kryptering, og kontrollsummen som beregnes for det som skrives, vil ikke bli beregnet, noe som betyr at integriteten bare kan kontrolleres indirekte via indeksene.<\/p>\n<p><\/p>\n<p>Det gjennomf\u00f8res en egen sjekker for backupene for \u00e5 kontrollere integriteten til indeksene og innholdet. Sjekken skjer sakte og tar tid, s\u00e5 vi kj\u00f8rer den separat en gang i m\u00e5neden. Den kan ta flere dager.<\/p>\n<p><\/p>\n<h2 id=\"ridmi-na-russkom\">Readme p\u00e5 russisk<\/h2>\n<p><\/p>\n<h3 id=\"osnovnye-funkcii\">Hovedfunksjoner<\/h3>\n<p><\/p>\n<ul>\n<li><code>prepare<\/code> forberedelse<\/li>\n<li><code>testcheck<\/code> sjekk klarhet<\/li>\n<li><code>hovedkommando<\/code> hovedkommando<\/li>\n<li><code>tvingepostskrift<\/code> en funksjon som utf\u00f8res p\u00e5 slutten eller ved feil. Vi bruker den for \u00e5 avmontere partisjonen.<\/li>\n<\/ul>\n<p><\/p>\n<h3 id=\"service-functions\">Tjenestefunksjoner<\/h3>\n<p><\/p>\n<ul>\n<li><code>cleanup<\/code> vi registrerer feil eller sletter loggfilen.<\/li>\n<li><code>sjekklogg<\/code> parser logger for forekomst av feilmeldinger.<\/li>\n<li><code>ret<\/code> avslutt behandler.<\/li>\n<li><code>sjekktimeout<\/code> sjekk for timeout.<\/li>\n<\/ul>\n<p><\/p>\n<h3 id=\"environment\">Milj\u00f8<\/h3>\n<p><\/p>\n<ul>\n<li><code>VERBOSE=1<\/code> vi viser feil umiddelbart p\u00e5 skjermen (stdout).<\/li>\n<li><code>SAVELOGSONSUCCES=1<\/code> vi lagrer logg ved suksess.<\/li>\n<li><code>INIT_REPO_IF_NOT_EXIST=1<\/code> Vi oppretter et depot hvis det ikke allerede eksisterer. Som standard er dette deaktivert.<\/li>\n<li><code>TIMEOUT<\/code> maksimalt tidsrom for hovedoperasjonen. Du kan angi det som &#8216;m&#8217;, &#8216;h&#8217; eller &#8216;d&#8217; p\u00e5 slutten.<\/li>\n<\/ul>\n<p><\/p>\n<p>Modus for lagring av gamle kopier. Som standard:<\/p>\n<p><\/p>\n<ul>\n<li><code>KEEP_DAILY=7<\/code><\/li>\n<li><code>KEEP_WEEKLY=4<\/code><\/li>\n<li><code>KEEP_MONTHLY=6<\/code><\/li>\n<\/ul>\n<p><\/p>\n<h2 id=\"peremennye-vnutri-skripta\">Variabler inne i skriptet<\/h2>\n<p><\/p>\n<ul>\n<li><code>ERROR_STRING<\/code> \u2014 streng for sjekk av logg for feil.<\/li>\n<li><code>EXTRACT_ERROR_STRING<\/code> \u2014 uttrykk for \u00e5 vise streng hvis feil.<\/li>\n<li><code>KILL_TIMEOUT_SIGNAL<\/code> \u2014 signal for \u00e5 drepe hvis timeout.<\/li>\n<li><code>TAIL<\/code> \u2014 hvor mange strenger med feilmeldinger p\u00e5 skjermen.<\/li>\n<li><code>COLORMSG<\/code> \u2014 farge p\u00e5 melding (standard gul).<\/li>\n<\/ul>\n<p><\/p>\n<p>Det skriptet som heter wordpress kalles betinget, dets spesialitet er at det ogs\u00e5 tar sikkerhetskopi av mysql-databasen. Det kan derfor brukes til engangsinstallasjoner av Nexcloud, hvor man kan ta sikkerhetskopi av databasen samtidig. Bekvemmeligheten er ikke bare at alt er ett sted, men ogs\u00e5 at innholdet i databasen er n\u00e6rt innholdet i filene, ettersom tidsdifferansen er minimal.<\/p>\n<p><\/p>\n<h2 id=\"restic-vs-borg\">Restic vs Borg<\/h2>\n<p><\/p>\n<p>Sammenligninger av Borg og Restic finnes ogs\u00e5 <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/southbridge\/blog\/454734\/\">her p\u00e5 Habr\u00e9<\/a><\/noindex>, og vi hadde ikke som m\u00e5l \u00e5 lage bare enda en, men v\u00e5r egen. Det var viktig for oss hvordan dette ville se ut med v\u00e5re data, med v\u00e5r spesifisitet. Vi presenterer dem.<\/p>\n<p><\/p>\n<p>V\u00e5re valgkriterier, i tillegg til de allerede nevnte (deduplisering, rask gjenoppretting osv.):<\/p>\n<p><\/p>\n<ul>\n<li>Motstand mot uferdig arbeid. Sjekk for kill -9.<\/li>\n<li>St\u00f8rrelse p\u00e5 disken.<\/li>\n<li>Krav til ressurser (CPU, minne).<\/li>\n<li>St\u00f8rrelse p\u00e5 lagrede blobber.<\/li>\n<li>Jobbe med S3.<\/li>\n<li>Sjekk for integritet.<\/li>\n<\/ul>\n<p><\/p>\n<p>For testing tok vi en kunde med reelle data og en total st\u00f8rrelse p\u00e5 1,6TB.<br \/>\nBetingelser.<\/p>\n<p><\/p>\n<p>Borg kan ikke direkte jobbe med S3, s\u00e5 vi monterte som en fuse-disk, via <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/kahing\/goofys\">goofys<\/a><\/noindex>. Restic sendte til S3 selv.<\/p>\n<p><\/p>\n<p>Goofys fungerer veldig raskt og godt, og det har <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/kahing\/catfs\">diskcache-modul<\/a><\/noindex>, som ytterligere akselererer arbeidet. Det er i beta-fasen, og \u00e6rlig talt, vi opplevde tap av data under tester (andre tester). Men bekvemmeligheten er at selve prosedyren for sikkerhetskopiering ikke krever mye lesing, men hovedsakelig skriving, s\u00e5 vi bruker cachen bare under integritetssjekk.<\/p>\n<p><\/p>\n<p>For \u00e5 redusere nettverksinnflytelsen, brukte vi en lokal leverand\u00f8r \u2014 Yandex Cloud.<\/p>\n<p><\/p>\n<p>Testresultater for sammenligning.<\/p>\n<p><\/p>\n<ul>\n<li>Kill -9 fulgte med en ny oppstart av begge som ble vellykket.<\/li>\n<li>St\u00f8rrelse p\u00e5 disken. Borg kan komprimere, s\u00e5 resultater er forventet.<\/li>\n<\/ul>\n<p><\/p>\n<p>Backupverkt\u00f8y<br \/>\nSt\u00f8rrelse<\/p>\n<p>Borg<br \/>\n562Gb<\/p>\n<p>Restic<br \/>\n628Gb<\/p>\n<p><\/p>\n<ul>\n<li>N\u00e5r det gjelder CPU<br \/>\nBorg bruker lite ressurser i seg selv, med standardkomprimering, men det m\u00e5 vurderes sammen med prosessen av goofys. Samlet sett er de sammenlignbare og bruker omtrent 1,2 kjerner p\u00e5 den samme test-virtuelle maskinen.<\/li>\n<li>Minne. Restic omtrent 0,5Gb, Borg rundt 200Mb. Men dette er ubetydelig sammenlignet med filcacheminnet til systemet. S\u00e5 det er \u00f8nskelig \u00e5 tildele mer minne.<\/li>\n<li>Forskjellen i st\u00f8rrelse p\u00e5 blobene var sl\u00e5ende.<\/li>\n<\/ul>\n<p><\/p>\n<p>Backupverkt\u00f8y<br \/>\nSt\u00f8rrelse<\/p>\n<p>Borg<br \/>\nrundt 500Mb<\/p>\n<p>Restic<br \/>\nrundt 5Mb<\/p>\n<p><\/p>\n<ul>\n<li>Samarbeidet med S3 fra Restic er utmerket. Borg fungerer gjennom goofys uten problemer, men det er observert at det er best \u00e5 gj\u00f8re umount etter sikkerhetskopiering for \u00e5 fullstendig t\u00f8mme cachen. En spesialitet ved S3 er at ufullstendige chunks aldri vil bli sendt til b\u00f8tta, noe som betyr at ikke-fullstendige data f\u00f8rer til store skader.<\/li>\n<li>Integritetskontrollen fungerer godt i begge tilfeller, men hastigheten varierer betydelig.<br \/>\nRestic \u2013 <strong>3,5 timer<\/strong>.<br \/>\nBorg, med en filcache p\u00e5 100Gb SSD \u2013 <strong>5 timer<\/strong>. Omtrent det samme resultatet n\u00e5r det gjelder hastighet hvis dataene ligger p\u00e5 lokale disker.<br \/>\nBorg leser direkte fra S3 uten cache <strong>33 timer<\/strong>. Kjempe lange tider.<\/li>\n<\/ul>\n<p><\/p>\n<p>I bunn og grunn kan Borg komprimere og har st\u00f8rre blobber \u2014 noe som gj\u00f8r lagring og GET\/PUT-operasjoner i S3 billigere. Men man m\u00e5 betale for en mer kompleks og tregere verifisering. N\u00e5r det gjelder gjenopprettingshastighet \u2014 merket vi ingen forskjell. Oppf\u00f8lgende sikkerhetskopier (etter den f\u00f8rste) tar restic litt lengre tid, men ikke betydelig.<\/p>\n<p><\/p>\n<p>St\u00f8rrelsen p\u00e5 fellesskapet var ikke uvesentlig i valget.<\/p>\n<p><\/p>\n<p>Og vi valgte borg.<\/p>\n<p><\/p>\n<h2 id=\"paru-slov-o-szhatii\">Et par ord om komprimering<\/h2>\n<p><\/p>\n<p>Borg har et flott nytt komprimeringsalgoritme \u2014 zstd. Det er ikke d\u00e5rligere enn gzip n\u00e5r det gjelder komprimeringskvalitet, men mye raskere. Og sammenlignbart i hastighet med standard lz4.<\/p>\n<p><\/p>\n<p>For eksempel komprimeres en MySQL-dump omtrent dobbelt s\u00e5 bra som lz4 med samme hastighet. Men, erfaring med reelle data viser at det er en sv\u00e6rt liten forskjell i komprimeringsgraden i Nextcloud-noder.<\/p>\n<p><\/p>\n<p>Borg har en ganske spesiell komprimeringsmodus \u2014 hvis filen har h\u00f8y entropi, anvendes ikke komprimering i det hele tatt, noe som \u00f8ker hastigheten. Dette aktiveres med et alternativ ved opprettelsen.<br \/>\n<code>-C auto,zstd<\/code><br \/>\nfor zstd-algoritmen<br \/>\nS\u00e5 med dette alternativet i forhold til standard komprimering fikk vi<br \/>\n560 Gb og 562 Gb henholdsvis. Dataene fra eksempelet ovenfor, husk, uten komprimering, er resultatet 628 Gb. Resultatet p\u00e5 2 Gb forskjell overrasket oss litt, men vi bestemte oss for \u00e5 velge likevel. <code>auto,zstd<\/code>.<\/p>\n<p><\/p>\n<h2 id=\"metodika-proverki-bekapa\">Metodikk for \u00e5 sjekke backup<\/h2>\n<p><\/p>\n<p>Virtuelle maskiner kj\u00f8res enten hos leverand\u00f8ren eller kunden via planleggeren, noe som betydelig reduserer nettverksbelastningen. Dette er i det minste billigere enn \u00e5 kj\u00f8re det hos oss selv og sende trafikk.<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">goofys --cache &quot;--free:5%:\\\/mnt\\\/cache&quot; -o allow_other --endpoint https:\\\/\\\/storage.yandexcloud.net --file-mode=0666 --dir-mode=0777 xxxxxxx.com \\\/mnt\\\/goofys\nexport BORG_PASSCOMMAND=&quot;cat \\\/home\\\/borg\\\/.borg-passphrase&quot;\nborg list \\\/mnt\\\/goofys\\\/borg1\\\/\nborg check --debug -p --verify-data \\\/mnt\\\/goofys\\\/borg1\\\/<\/code><\/pre>\n<p><\/p>\n<p>P\u00e5 samme m\u00e5te sjekker vi filene med antivirus etterp\u00e5. Brukerne laster opp forskjellig innhold i Nextcloud, og ikke alle har antivirusprogramvare. \u00c5 utf\u00f8re sjekken under opplasting tar for lang tid og hindrer virksomheten.<\/p>\n<p><\/p>\n<p>Skalering oppn\u00e5s ved \u00e5 kj\u00f8re l\u00f8pere p\u00e5 forskjellige noder med ulike etiketter.<br \/>\nI v\u00e5r overv\u00e5king samles statusene for backuper gjennom GitLab API i ett vindu, og eventuelle problemer blir lett oppdaget og ogs\u00e5 lett lokalisert ved behov.<\/p>\n<p><\/p>\n<h2 id=\"zaklyuchenie\">Konklusjon<\/h2>\n<p><\/p>\n<p>Som et resultat vet vi helt sikkert at vi lager backuper, at v\u00e5re backuper er gyldige, og at problemene som oppst\u00e5r tar lite tid og l\u00f8ses p\u00e5 niv\u00e5et med vaktadministrator. Backuper tar reelt lite plass sammenlignet med tar.gz eller Bacula.<\/p>\n<p>Kilde: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/508758\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 Nextcloud \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445. \u042f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0421\u0422\u041e \u0432 \u00ab\u041c\u043e\u043b\u043d\u0438\u044f \u0410\u041a\u00bb, \u0433\u0434\u0435 \u043c\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u0441\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c IT \u0441\u0438\u0441\u0442\u0435\u043c, \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Nextcloud. \u0412 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435, \u0441 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439, \u0441 \u0440\u0435\u0437\u0435\u0440\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u044b\u0442\u0435\u043a\u0430\u044e\u0449\u0438\u0435 \u0438\u0437 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0438\u043d\u0441\u0442\u0430\u043b\u043b\u044f\u0446\u0438\u0439 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e. [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":86905,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-86904","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 Nextcloud \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"nn_NO\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a GitLab \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0431\u044d\u043a\u0430\u043f\u044b \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 NextCloud | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 Nextcloud \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-07-01T05:42:30+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-07-01T05:42:30+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hvordan GitLab hjelper til med \u00e5 lage backuper for store NextCloud-lagre | ProHoster","description":"Hei, Habr! I dag vil jeg fortelle om v\u00e5r erfaring med automatisering av sikkerhetskopiering av store datalagre i Nextcloud i forskjellige konfigurasjoner.","canonical_url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nn_NO","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a GitLab \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0431\u044d\u043a\u0430\u043f\u044b \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 NextCloud | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 Nextcloud \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445.","og:url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-07-01T05:42:30+00:00","article:modified_time":"2020-07-01T05:42:30+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"86904","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 14:03:54","updated":"2022-10-06 09:05:46","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/86904","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/comments?post=86904"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/86904\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media\/86905"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media?parent=86904"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/categories?post=86904"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/tags?post=86904"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}