{"id":86904,"date":"2020-07-01T07:42:30","date_gmt":"2020-07-01T05:42:30","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud"},"modified":"2020-07-01T07:42:30","modified_gmt":"2020-07-01T05:42:30","slug":"kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud","title":{"rendered":"Kako GitLab poma\u017ee u izradi sigurnosnih kopija velikih spremi\u0161ta NextCloud","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Hello, Habr!<\/p>\n<p><\/p>\n<p>Danes \u017eelim spregovoriti o na\u0161em iskustvu automatizacije sigurnosnog kopiranja velikih podataka skladi\u0161ta Nextcloud u razli\u010ditim konfiguracijama. Radim kao CTO u \u201eMladost AK\u201c, gdje se bavimo upravljanjem konfiguracijama IT sustava, a za pohranu podataka koristimo Nextcloud. Uklju\u010duju\u0107i i distribuiranu strukturu s rezervacijom.<\/p>\n<p><\/p>\n<p>Problemi proizlaze iz specifi\u010dnosti instalacija, budu\u0107i da podataka ima mnogo. Verzija koju nudi Nextcloud, rezervacija, subjektivni razlozi i ostalo stvaraju mnogo duplikata.<\/p>\n<p><\/p>\n<h2 id=\"predystoriya\">Pozadina<\/h2>\n<p><\/p>\n<p>Pri administraciji Nextclouda, neophodno se pojavljuje problem organizacije u\u010dinkovitog backup-a koji mora biti \u0161ifriran, jer su podaci dragocjeni.<\/p>\n<p><\/p>\n<p>Nudimo opcije za pohranu backup-a kod nas ili kod klijenta na njegovim odvojenim ma\u0161inama od Nextclouda, \u0161to zahtijeva fleksibilan automatizirani pristup administraciji.<\/p>\n<p><\/p>\n<p>Klijenata ima mnogo, svi oni imaju razli\u010dite konfiguracije, i svi su na svojim lokacijama s vlastitim karakteristikama. Ovdje standardna metoda kada cijela lokacija pripada vama i backup se pravi iz krona slabo odgovara.<\/p>\n<p><\/p>\n<p>Za po\u010detak, pogledajmo na ulazne podatke. Potrebno nam je:<\/p>\n<p><\/p>\n<ul>\n<li>Skalabilnost u smislu jedne ili vi\u0161e nodova. Za velike instalacije koristimo minio kao skladi\u0161te.<\/li>\n<li>Informirati se o problemima sa izvr\u0161enjem backup-a.<\/li>\n<li>Backup treba pohranjivati kod klijenata i\/ili kod nas.<\/li>\n<li>Brzo i lako se nositi s problemima.<\/li>\n<li>Klijenti i instalacije se drasti\u010dno razlikuju, a postizanje uniformnosti nije mogu\u0107e.<\/li>\n<li>Brzina oporavka treba biti minimalna prema dva scenarija: potpuno oporavljenje (katastrofa), jedna mapa - slu\u010dajno obrisana.<\/li>\n<li>Funkcija deduplifikacije je obavezna.<\/li>\n<\/ul>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Kako GitLab poma\u017ee u izradi sigurnosnih kopija velikih spremi\u0161ta NextCloud\" src=\"\/wp-content\/uploads\/2020\/07\/1a0048e3295fef94ddca28e50612e3cb.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Za rje\u0161avanje zadatka upravljanja backup-ima, integrirali smo GitLab. Detalji \u0107e biti obra\u0111eni kasnije. <\/p>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Naravno, nismo prvi koji rje\u0161avaju sli\u010dan problem, ali smatramo da bi na\u0161e prakti\u010dno ste\u010deno iskustvo moglo biti zanimljivo i spremni smo ga podijeliti.<\/p>\n<p><\/p>\n<p>Budu\u0107i da je u na\u0161oj kompaniji prihva\u0107ena politika opensource, rje\u0161enje smo tra\u017eili isklju\u010divo s otvorenim izvorom. S druge strane, dijelimo svoje razvojne projekte i objavljujemo ih. Na primjer, na GitHub-u postoji <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/molnia-com\/nextcloud-safe-trash\">na\u0161 plugin za Nextcloud<\/a><\/noindex>, koji instaliramo klijentima, ja\u010daju\u0107i sigurnost podataka u slu\u010daju slu\u010dajnog ili namjernog brisanja.<\/p>\n<p><\/p>\n<h2 id=\"sredstva-bekapirovaniya\">Sredstva za backupiranje<\/h2>\n<p><\/p>\n<p>Iskanje na\u010dinov re\u0161evanja smo za\u010deli z izbiro orodja za ustvarjanje varnostnih kopij.<\/p>\n<p><\/p>\n<p>Obi\u010dajen tar + gzip deluje slabo \u2014 podatki se podvajajo. Inkrementalni varnostni kopiji pogosto vsebujejo zelo malo sprememb, ve\u010dina podatkov znotraj enega datoteke je ponovljenih.<br \/>\nObstaja \u0161e ena te\u017eava \u2014 odve\u010dnost porazdeljenega shranjevanja podatkov. Uporabljamo minio in njegovi podatki so na\u010deloma odve\u010dni. Bodisi bi morali varnostno kopirati prek samega minio \u2013 obremeniti ga in uporabiti vse vmesnike med datote\u010dnim sistemom, prav tako pa obstaja tveganje, da pozabimo na del vedrov in meta-informacij. Bodisi uporabiti deduplikacijo.<\/p>\n<p><\/p>\n<p>Orodja za varnostno kopiranje z deduplikacijo so na voljo v odprtokodni razli\u010dici (na habru so <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/southbridge\/blog\/449282\/\">\u010dlanka<\/a><\/noindex> <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/420055\/\">o tej temi<\/a><\/noindex>) in na\u0161i finalisti so postali <noindex><a rel=\"nofollow\" href=\"https:\/\/borgbackup.readthedocs.io\/en\/stable\/\">Borg<\/a><\/noindex> in <noindex><a rel=\"nofollow\" href=\"https:\/\/restic.net\/\">Restic<\/a><\/noindex>. O na\u0161i primerjavi dveh aplikacij spodaj, a najprej povemo, kako smo organizirali celoten sistem.<\/p>\n<p><\/p>\n<h2 id=\"upravlenie-sozdaniem-rezervnyh-kopiy\">Upravljanje ustvarjanja varnostnih kopij<\/h2>\n<p><\/p>\n<p>Borg in Restic sta dobra, vendar noben od teh produktov nima centraliziranega mehanizma za upravljanje. Za namen upravljanja in nadzora smo izbrali orodje, ki ga \u017ee imamo implementirano, brez katerega si ne predstavljamo svojega dela, vklju\u010dno z avtomatizacijo \u2013 to je znani CI\/CD \u2013 GitLab.<\/p>\n<p><\/p>\n<p>Ideja je v naslednjem: na vsak vozli\u0161\u010de, ki hrani podatke Nextcloud, namestimo gitlab-runner. Runner po urniku za\u017eene skripto, ki spremlja postopek varnostnega kopiranja, in ta za\u017eene Borg ali Restic.<\/p>\n<p><\/p>\n<p>Kaj smo pridobili? Povratne informacije o izvedbi, udoben nadzor nad spremembami, podrobnosti v primeru napake.<\/p>\n<p><\/p>\n<p>Evo <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/molnia-com\/backup-by-runner\">tukaj na GitHubu<\/a><\/noindex> smo objavili primere skripte za razli\u010dne naloge, na koncu pa smo jo priklju\u010dili na varnostno kopijo ne samo Nextcloud, ampak tudi \u0161tevilnih drugih storitev. Tam je tudi na\u010drtovalnik, \u010de se vam ne da ro\u010dno nastavljati (mi se ne \u017eelimo) in .gitlab-ci.yml.<\/p>\n<p><\/p>\n<p>V API-ju GitLaba za zdaj ni mo\u017enosti za spreminjanje \u010dasovne omejitve CI\/CD, in ta je tam majhna. Treba jo je pove\u010dati, recimo na <code>1d<\/code>.<\/p>\n<p><\/p>\n<p>GitLab na sre\u010do zna zagnati ne samo ob commitih, temve\u010d tudi po urniku, to\u010dno to, kar potrebujemo.<\/p>\n<p><\/p>\n<p>Zdaj o obleki skripte.<\/p>\n<p><\/p>\n<p>Postavili smo tak\u0161ne pogoje za to skripto:<\/p>\n<p><\/p>\n<ul>\n<li>Mora se zagnati tako kot runner kot tudi ro\u010dno iz konzole z enakim funkcionalnostjo.<\/li>\n<li>Obvezno morajo biti obravnavalniki napak:<\/li>\n<li>return code.<\/li>\n<li>iskanje niza v logu. Na primer, za nas je napaka lahko sporo\u010dilo, ki ga program ne \u0161teje za usodno.<\/li>\n<li>Obravnavanje timeout. \u010cas izvedbe mora biti razumen.<\/li>\n<li>Potrebujemo podroben dnevnik. Ampak le v primeru napake.<\/li>\n<li>Izvede se tudi vrsta testov pred za\u010detkom.<\/li>\n<li>Majhne funkcionalnosti za udobje, ki smo jih na\u0161li uporabne med podporo:<\/li>\n<li>Zagon in zaklju\u010dek se bele\u017eita v sistemskem dnevniku lokalne naprave. To pomaga povezati sistemske napake in delovanje varnostne kopije.<\/li>\n<li>Del dnevnika napak, ko te obstajajo, se izpi\u0161e v stdout, celoten dnevnik pa se zapi\u0161e v lo\u010deno datoteko. Mogo\u010de je takoj preveriti v CI in oceniti napako, \u010de je trivialna.<\/li>\n<li>Na\u010dini za odpravljanje napak.<\/li>\n<\/ul>\n<p><\/p>\n<p>Celoten dnevnik se shrani kot artefakt v GitLabu, \u010de napak ni, se dnevnik izbri\u0161e. Skript pi\u0161emo v bashu.<\/p>\n<p><\/p>\n<p>Vsa predloga in pripombe glede odprtokodnih projektov bomo z veseljem razmislili \u2014 dobrodo\u0161li.<\/p>\n<p><\/p>\n<h2 id=\"kak-eto-rabotaet\">Kako to funkcionira<\/h2>\n<p><\/p>\n<p>Na node, ki se varnostno kopira, se za\u017eene runner z bash izvr\u0161evalnikom. Po na\u010drtovalniku se v posebni repozitoriju za\u017eene CI\/CD naloga. Runner za\u017eene skript univerzalne ovitke za tak\u0161ne naloge, kjer se preverijo veljavnost repozitorija varnostne kopije, monta\u017ene to\u010dke in vse, kar si \u017eelimo, nato pa se izvede varnostno kopiranje in \u010di\u0161\u010denje starega. Kon\u010dna varnostna kopija se po\u0161lje na S3.<\/p>\n<p><\/p>\n<p>Delujemo po tej shemi \u2014 to je zunanji ponudnik AWS ali ruski analog (to je hitreje in podatki ne zapustijo RF). Ali pa stranki postavimo poseben minio kluster na njihovi lokaciji za te namene. Obi\u010dajno tako ravnamo iz varnostnih razlogov, ko stranka no\u010de, da bi podatki zapu\u0161\u010dali njihov krog.<\/p>\n<p><\/p>\n<p>Nismo uporabili funkcije po\u0161iljanja varnostne kopije preko ssh. To ne pove\u010duje varnosti, omre\u017ene mo\u017enosti ponudnika S3 pa so veliko vi\u0161je od na\u0161e enotne ssh naprave.<\/p>\n<p><\/p>\n<p>Da bi se za\u0161\u010ditili pred hekerji na lokalni napravi \u2014 saj lahko izbri\u0161ejo podatke na S3, je nujno vklju\u010diti verzioniranje.<br \/>\nVse varnostne kopije vedno \u0161ifriramo.<\/p>\n<p><\/p>\n<p>Borg ima na\u010din brez \u0161ifriranja <code>none<\/code>, toda tega kategori\u010dno ne priporo\u010damo. V tem na\u010dinu ne bo le \u0161ifriranja, ampak se ne izra\u010dunava niti kontrolna vsota tega, kar se zapisuje, kar pomeni, da celovitosti ni mogo\u010de preveriti razen posredno, po indeksih.<\/p>\n<p><\/p>\n<p>Na lo\u010denem na\u010drtovalniku poteka preverjanje varnostnih kopij na celovitost indeksov in vsebine. Preverjanje se izvaja po\u010dasi in dolgo, zato jo izvajamo lo\u010deno enkrat na mesec. Lahko traja nekaj dni.<\/p>\n<p><\/p>\n<h2 id=\"ridmi-na-russkom\">Readme v ru\u0161\u010dini<\/h2>\n<p><\/p>\n<h3 id=\"osnovnye-funkcii\">Glavne funkcije<\/h3>\n<p><\/p>\n<ul>\n<li><code>prepare<\/code> priprava<\/li>\n<li><code>testcheck<\/code> preverjanje pripravljenosti<\/li>\n<li><code>maincommand<\/code> osnovna ukazna<\/li>\n<li><code>forcepostscript<\/code> funkcija, ki se izvede na koncu ali ob napaki. Uporabljamo za odmontiranje particije.<\/li>\n<\/ul>\n<p><\/p>\n<h3 id=\"service-functions\">Funkcije storitve<\/h3>\n<p><\/p>\n<ul>\n<li><code>cleanup<\/code> zapisujemo napake ali bri\u0161emo log datoteko.<\/li>\n<li><code>checklog<\/code> parsing log za vsesavanje vrstice z napako.<\/li>\n<li><code>ret<\/code> izhodni obdelovalec.<\/li>\n<li><code>checktimeout<\/code> preverjanje za \u010dasovno omejitev.<\/li>\n<\/ul>\n<p><\/p>\n<h3 id=\"environment\">Okolje<\/h3>\n<p><\/p>\n<ul>\n<li><code>VERBOSE=1<\/code> takoj izpisujemo napake na zaslon (stdout).<\/li>\n<li><code>SAVELOGSONSUCCES=1<\/code> shranimo log pri uspehu.<\/li>\n<li><code>INIT_REPO_IF_NOT_EXIST=1<\/code> Ustvarimo repozitorij, \u010de ga ni bilo. Privzeto je izklopljeno.<\/li>\n<li><code>TIMEOUT<\/code> maksimalni \u010das za osnovnu operaciju. Mo\u017eete ga postaviti kao &#8216;m&#8217;, &#8216;h&#8217; ili &#8216;d&#8217; na kraju.<\/li>\n<\/ul>\n<p><\/p>\n<p>Na\u010din shranjevanja starih kopij. Privzeto:<\/p>\n<p><\/p>\n<ul>\n<li><code>KEEP_DAILY=7<\/code><\/li>\n<li><code>KEEP_WEEKLY=4<\/code><\/li>\n<li><code>KEEP_MONTHLY=6<\/code><\/li>\n<\/ul>\n<p><\/p>\n<h2 id=\"peremennye-vnutri-skripta\">Spremenljivke znotraj skripte<\/h2>\n<p><\/p>\n<ul>\n<li><code>ERROR_STRING<\/code> \u2014 niz za preverjanje v logu za napako.<\/li>\n<li><code>EXTRACT_ERROR_STRING<\/code> \u2014 izraz za prikaz vrstice, \u010de je napaka.<\/li>\n<li><code>KILL_TIMEOUT_SIGNAL<\/code> \u2014 signal za ubijanje, \u010de pride do \u010dasovne omejitve.<\/li>\n<li><code>TAIL<\/code> \u2014 koliko vrstic z napakami na zaslonu.<\/li>\n<li><code>COLORMSG<\/code> \u2014 barva sporo\u010dila (privzeto rumena).<\/li>\n<\/ul>\n<p><\/p>\n<p>Ta skripta, ki se imenuje wordpress, se imenuje pogojno, njena zna\u010dilnost je, da \u0161e vedno dela varnostne kopije baze mysql. Zato jo je mogo\u010de uporabiti za enodnevne nastavitve Nexcloud, kjer lahko poleg tega varnostno kopiramo tudi bazo. Udobje ni le v tem, da je vse na enem mestu, ampak je vsebina baze blizu vsebini datotek, saj je razlika v \u010dasu minimalna.<\/p>\n<p><\/p>\n<h2 id=\"restic-vs-borg\">Restic vs Borg<\/h2>\n<p><\/p>\n<p>Primerjava Borg in Restic je med drugim <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/southbridge\/blog\/454734\/\">tukaj na Habr\u00e9<\/a><\/noindex>, in nismo imeli naloge, da bi naredili le \u0161e eno, ampak svojo. Pomembno nam je bilo, kako bo izgledalo na na\u0161ih podatkih, z na\u0161o specifikacijo. Na njih se sklicujemo.<\/p>\n<p><\/p>\n<p>Na\u0161i kriteriji izbire, poleg \u017ee omenjenih (de-duplication, hitro obnovitev itd.):<\/p>\n<p><\/p>\n<ul>\n<li>Odpornost na nedokon\u010dano delo. Preverjanje na kill -9.<\/li>\n<li>Velikost na disku.<\/li>\n<li>Zahtevnost po virih (CPU, pomnilnik).<\/li>\n<li>Velikost shranjenih blobov.<\/li>\n<li>Delo z S3.<\/li>\n<li>Preverjanje celovitosti.<\/li>\n<\/ul>\n<p><\/p>\n<p>Za testiranje smo vzeli enega od strank z resni\u010dnimi podatki in skupno velikostjo 1,6TB.<br \/>\nPogoji.<\/p>\n<p><\/p>\n<p>Borg ne zna neposredno delati z S3, zato smo ga montirali kot fuse disk, preko <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/kahing\/goofys\">goofys<\/a><\/noindex>. Restic je po\u0161iljal v S3 sam.<\/p>\n<p><\/p>\n<p>Goofys deluje zelo hitro in dobro, in ima <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/kahing\/catfs\">modul diska v predpomnilniku<\/a><\/noindex>, kar \u0161e bolj pospe\u0161uje delo. Nahaja se v beta fazi, in, priznamo, je v testiranju padal z izgubo podatkov (drugih). Vendar je prednost v tem, da sama postopek varnostne kopije ne zahteva velikega branja, ampak predvsem zapisovanje, zato predpomnilnik uporabljamo le med preverjanjem celovitosti.<\/p>\n<p><\/p>\n<p>Da bi zmanj\u0161ali vpliv omre\u017eja, smo uporabili lokalnega ponudnika \u2014 Yandex Cloud.<\/p>\n<p><\/p>\n<p>Rezultati testiranja primerjave.<\/p>\n<p><\/p>\n<ul>\n<li>Kill -9 je bil uspe\u0161no izveden z nadaljnjim ponovnim zagonom.<\/li>\n<li>Velikost na disku. Borg zna stisniti, zato so pri\u010dakovani rezultati.<\/li>\n<\/ul>\n<p><\/p>\n<p>Backuper<br \/>\nDimenzije<\/p>\n<p>Borg<br \/>\n562Gb<\/p>\n<p>Restic<br \/>\n628Gb<\/p>\n<p><\/p>\n<ul>\n<li>Po CPU<br \/>\nBorg sam po sebi porabi malo, z privzetim stiskanjem, a treba ga je oceniti skupaj s procesom goofys. Skupaj sta primerljiva in izkoristita pribli\u017eno 1,2 jedra na isti testni virtualki.<\/li>\n<li>Pomnilnik. Restic pribli\u017eno 0,5Gb, Borg okoli 200Mb. Toda to je vse zanemarljivo v primerjavi s sistemskim datote\u010dnim predpomnilnikom. Tako da je priporo\u010dljivo dodeliti ve\u010d pomnilnika.<\/li>\n<li>Razlika v velikosti blobov se je izkazala za drasti\u010dno.<\/li>\n<\/ul>\n<p><\/p>\n<p>Backuper<br \/>\nDimenzije<\/p>\n<p>Borg<br \/>\npribli\u017eno 500Mb<\/p>\n<p>Restic<br \/>\npribli\u017eno 5Mb<\/p>\n<p><\/p>\n<ul>\n<li>Delo s S3 z Restic je odli\u010dno. Delo Borg preko goofys ne povzro\u010da te\u017eav, vendar je bilo opa\u017eeno, da je priporo\u010dljivo po zaklju\u010denem varnostnem kopiranju izvesti umount, da se popolnoma ponastavi predpomnilnik. Posebnost delovanja S3 je v tem, da nedotovljeni kosi nikoli ne bodo poslani v vedro, kar pomeni, da nedokon\u010dani podatki povzro\u010dajo velike po\u0161kodbe.<\/li>\n<li>Preverjanje celovitosti deluje dobro v obeh primerih, vendar se hitrost znatno razlikuje.<br \/>\nRestic \u2013 <strong>3,5 ure<\/strong>.<br \/>\nBorg, s 100Gb SSD predpomnilnikom \u2013 <strong>5 ur<\/strong>. Pribli\u017eno enaki rezultati glede hitrosti, \u010de so podatki na lokalnem disku.<br \/>\nBorg bere neposredno iz S3 brez predpomnilnika <strong>33 ure<\/strong>. Ogromno dolgo.<\/li>\n<\/ul>\n<p><\/p>\n<p>Na koncu Borg zna stisniti in ima ve\u010dje bloke \u2013 kar poceni shranjevanje in operacije GET\/PUT v S3. Toda za to je treba pla\u010dati z bolj zapletenim in po\u010dasnej\u0161im preverjanjem. Kar zadeva hitrost obnove \u2013 nismo opazili razlike. Kasnej\u0161a varnostna kopiranja (po prvem) restic traja malo dlje, vendar ne znatno.<\/p>\n<p><\/p>\n<p>Velikost skupnosti ni bila zadnja stvar pri izbiri.<\/p>\n<p><\/p>\n<p>In izbrali smo Borg.<\/p>\n<p><\/p>\n<h2 id=\"paru-slov-o-szhatii\">Par besed o stiskanju<\/h2>\n<p><\/p>\n<p>Borg ima v svojem arzenalu odli\u010den nov algoritem za stiskanje \u2013 zstd. Po kakovosti stiskanja ni slab\u0161i od gzip, a je znatno hitrej\u0161i. In primerljiv po hitrosti s privzetim lz4.<\/p>\n<p><\/p>\n<p>Na primer, dump MySQL baze se stisne dvakrat bolje kot lz4 pri enaki hitrosti. Vendar pa izku\u0161nje s pravimi podatki ka\u017eejo na zelo majhno razliko v stopnji stiskanja pri nodi Nextcloud.<\/p>\n<p><\/p>\n<p>V Borgu je precej bonus na\u010din stiskanja \u2013 \u010de ima datoteka visoko entropijo, stiskanje sploh ne deluje, kar pove\u010duje hitrost delovanja. Aktivira se z mo\u017enostjo pri ustvarjanju<br \/>\n<code>-C auto,zstd<\/code><br \/>\nza algoritem zstd<br \/>\nTako da smo s to mo\u017enostjo v primerjavi s privzetim stiskanjem dobili<br \/>\n560 Gb in 562 Gb rispettivamente. I dati dell'esempio sopra, ricordo, senza compressione, danno un risultato di 628 Gb. Il risultato con 2 Gb di differenza \u00e8 stato piuttosto sorprendente, ma abbiamo deciso di scegliere comunque. <code>auto,zstd<\/code>.<\/p>\n<p><\/p>\n<h2 id=\"metodika-proverki-bekapa\">Metodo di verifica del backup<\/h2>\n<p><\/p>\n<p>La macchina virtuale viene avviata direttamente presso il fornitore o dal cliente tramite il pianificatore, riducendo notevolmente il carico di rete. Almeno \u00e8 pi\u00f9 economico rispetto a sollevare i costi di traffico.<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">goofys --cache \"--free:5%:\\\/mnt\\\/cache\" -o allow_other --endpoint https:\\\/\\\/storage.yandexcloud.net --file-mode=0666 --dir-mode=0777 xxxxxxx.com \\\/mnt\\\/goofys\nexport BORG_PASSCOMMAND=\"cat \\\/home\\\/borg\\\/.borg-passphrase\"\nborg list \\\/mnt\\\/goofys\\\/borg1\\\/\\nborg check --debug -p --verify-data \\\/mnt\\\/goofys\\\/borg1\\\/<\/code><\/pre>\n<p><\/p>\n<p>In questo modo verifichiamo i file con l'antivirus (post-fatto). Infatti, gli utenti caricano vari contenuti su Nextcloud e non tutti hanno un antivirus. Controllare durante il caricamento richiede troppo tempo e ostacola il business.<\/p>\n<p><\/p>\n<p>La scalabilit\u00e0 si ottiene avviando runner su nodi diversi con tag diversi.<br \/>\nNel nostro monitoraggio raccogliamo gli stati dei backup tramite API GitLab in un'unica finestra, e i problemi vengono notati facilmente e localizzati altrettanto facilmente.<\/p>\n<p><\/p>\n<h2 id=\"zaklyuchenie\">Zaklju\u010dek<\/h2>\n<p><\/p>\n<p>Di conseguenza, sappiamo con certezza che effettuiamo backup, che i nostri backup sono validi, e i problemi che sorgono richiedono poco tempo e vengono risolti a livello di amministratore di turno. I backup occupano realmente poco spazio rispetto a tar.gz o Bacula.<\/p>\n<p>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/508758\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 Nextcloud \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445. \u042f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0421\u0422\u041e \u0432 \u00ab\u041c\u043e\u043b\u043d\u0438\u044f \u0410\u041a\u00bb, \u0433\u0434\u0435 \u043c\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u0441\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c IT \u0441\u0438\u0441\u0442\u0435\u043c, \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Nextcloud. \u0412 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435, \u0441 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439, \u0441 \u0440\u0435\u0437\u0435\u0440\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u044b\u0442\u0435\u043a\u0430\u044e\u0449\u0438\u0435 \u0438\u0437 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0438\u043d\u0441\u0442\u0430\u043b\u043b\u044f\u0446\u0438\u0439 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e. [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":86905,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-86904","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 Nextcloud \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"sl_SI\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a GitLab \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0431\u044d\u043a\u0430\u043f\u044b \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 NextCloud | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 Nextcloud \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-07-01T05:42:30+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-07-01T05:42:30+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Come GitLab aiuta a fare backup di grandi archivi NextCloud | ProHoster","description":"Ciao, Habr! Oggi voglio raccontarvi della nostra esperienza nell'automazione del backup di grandi archivi di dati di Nextcloud in varie configurazioni.","canonical_url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sl_SI","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a GitLab \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0431\u044d\u043a\u0430\u043f\u044b \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 NextCloud | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 Nextcloud \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445.","og:url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-gitlab-pomogaet-delat-bekapy-bolshih-hranilishh-nextcloud","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-07-01T05:42:30+00:00","article:modified_time":"2020-07-01T05:42:30+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"86904","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 14:03:54","updated":"2022-10-06 09:05:46","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/86904","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/comments?post=86904"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/86904\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media\/86905"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media?parent=86904"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/categories?post=86904"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/tags?post=86904"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}