Kako GitLab pomaže u izradi sigurnosnih kopija velikih spremišta NextCloud

Hello, Habr!

Danes želim spregovoriti o našem iskustvu automatizacije sigurnosnog kopiranja velikih podataka skladišta Nextcloud u različitim konfiguracijama. Radim kao CTO u „Mladost AK“, gdje se bavimo upravljanjem konfiguracijama IT sustava, a za pohranu podataka koristimo Nextcloud. Uključujući i distribuiranu strukturu s rezervacijom.

Problemi proizlaze iz specifičnosti instalacija, budući da podataka ima mnogo. Verzija koju nudi Nextcloud, rezervacija, subjektivni razlozi i ostalo stvaraju mnogo duplikata.

Pozadina

Pri administraciji Nextclouda, neophodno se pojavljuje problem organizacije učinkovitog backup-a koji mora biti šifriran, jer su podaci dragocjeni.

Nudimo opcije za pohranu backup-a kod nas ili kod klijenta na njegovim odvojenim mašinama od Nextclouda, što zahtijeva fleksibilan automatizirani pristup administraciji.

Klijenata ima mnogo, svi oni imaju različite konfiguracije, i svi su na svojim lokacijama s vlastitim karakteristikama. Ovdje standardna metoda kada cijela lokacija pripada vama i backup se pravi iz krona slabo odgovara.

Za početak, pogledajmo na ulazne podatke. Potrebno nam je:

  • Skalabilnost u smislu jedne ili više nodova. Za velike instalacije koristimo minio kao skladište.
  • Informirati se o problemima sa izvršenjem backup-a.
  • Backup treba pohranjivati kod klijenata i/ili kod nas.
  • Brzo i lako se nositi s problemima.
  • Klijenti i instalacije se drastično razlikuju, a postizanje uniformnosti nije moguće.
  • Brzina oporavka treba biti minimalna prema dva scenarija: potpuno oporavljenje (katastrofa), jedna mapa - slučajno obrisana.
  • Funkcija deduplifikacije je obavezna.

Kako GitLab pomaže u izradi sigurnosnih kopija velikih spremišta NextCloud

Za rješavanje zadatka upravljanja backup-ima, integrirali smo GitLab. Detalji će biti obrađeni kasnije.

Naravno, nismo prvi koji rješavaju sličan problem, ali smatramo da bi naše praktično stečeno iskustvo moglo biti zanimljivo i spremni smo ga podijeliti.

Budući da je u našoj kompaniji prihvaćena politika opensource, rješenje smo tražili isključivo s otvorenim izvorom. S druge strane, dijelimo svoje razvojne projekte i objavljujemo ih. Na primjer, na GitHub-u postoji naš plugin za Nextcloud, koji instaliramo klijentima, jačajući sigurnost podataka u slučaju slučajnog ili namjernog brisanja.

Sredstva za backupiranje

Iskanje načinov reševanja smo začeli z izbiro orodja za ustvarjanje varnostnih kopij.

Običajen tar + gzip deluje slabo — podatki se podvajajo. Inkrementalni varnostni kopiji pogosto vsebujejo zelo malo sprememb, večina podatkov znotraj enega datoteke je ponovljenih.
Obstaja še ena težava — odvečnost porazdeljenega shranjevanja podatkov. Uporabljamo minio in njegovi podatki so načeloma odvečni. Bodisi bi morali varnostno kopirati prek samega minio – obremeniti ga in uporabiti vse vmesnike med datotečnim sistemom, prav tako pa obstaja tveganje, da pozabimo na del vedrov in meta-informacij. Bodisi uporabiti deduplikacijo.

Orodja za varnostno kopiranje z deduplikacijo so na voljo v odprtokodni različici (na habru so članka o tej temi) in naši finalisti so postali Borg in Restic. O naši primerjavi dveh aplikacij spodaj, a najprej povemo, kako smo organizirali celoten sistem.

Upravljanje ustvarjanja varnostnih kopij

Borg in Restic sta dobra, vendar noben od teh produktov nima centraliziranega mehanizma za upravljanje. Za namen upravljanja in nadzora smo izbrali orodje, ki ga že imamo implementirano, brez katerega si ne predstavljamo svojega dela, vključno z avtomatizacijo – to je znani CI/CD – GitLab.

Ideja je v naslednjem: na vsak vozlišče, ki hrani podatke Nextcloud, namestimo gitlab-runner. Runner po urniku zažene skripto, ki spremlja postopek varnostnega kopiranja, in ta zažene Borg ali Restic.

Kaj smo pridobili? Povratne informacije o izvedbi, udoben nadzor nad spremembami, podrobnosti v primeru napake.

Evo tukaj na GitHubu smo objavili primere skripte za različne naloge, na koncu pa smo jo priključili na varnostno kopijo ne samo Nextcloud, ampak tudi številnih drugih storitev. Tam je tudi načrtovalnik, če se vam ne da ročno nastavljati (mi se ne želimo) in .gitlab-ci.yml.

V API-ju GitLaba za zdaj ni možnosti za spreminjanje časovne omejitve CI/CD, in ta je tam majhna. Treba jo je povečati, recimo na 1d.

GitLab na srečo zna zagnati ne samo ob commitih, temveč tudi po urniku, točno to, kar potrebujemo.

Zdaj o obleki skripte.

Postavili smo takšne pogoje za to skripto:

  • Mora se zagnati tako kot runner kot tudi ročno iz konzole z enakim funkcionalnostjo.
  • Obvezno morajo biti obravnavalniki napak:
  • return code.
  • iskanje niza v logu. Na primer, za nas je napaka lahko sporočilo, ki ga program ne šteje za usodno.
  • Obravnavanje timeout. Čas izvedbe mora biti razumen.
  • Potrebujemo podroben dnevnik. Ampak le v primeru napake.
  • Izvede se tudi vrsta testov pred začetkom.
  • Majhne funkcionalnosti za udobje, ki smo jih našli uporabne med podporo:
  • Zagon in zaključek se beležita v sistemskem dnevniku lokalne naprave. To pomaga povezati sistemske napake in delovanje varnostne kopije.
  • Del dnevnika napak, ko te obstajajo, se izpiše v stdout, celoten dnevnik pa se zapiše v ločeno datoteko. Mogoče je takoj preveriti v CI in oceniti napako, če je trivialna.
  • Načini za odpravljanje napak.

Celoten dnevnik se shrani kot artefakt v GitLabu, če napak ni, se dnevnik izbriše. Skript pišemo v bashu.

Vsa predloga in pripombe glede odprtokodnih projektov bomo z veseljem razmislili — dobrodošli.

Kako to funkcionira

Na node, ki se varnostno kopira, se zažene runner z bash izvrševalnikom. Po načrtovalniku se v posebni repozitoriju zažene CI/CD naloga. Runner zažene skript univerzalne ovitke za takšne naloge, kjer se preverijo veljavnost repozitorija varnostne kopije, montažne točke in vse, kar si želimo, nato pa se izvede varnostno kopiranje in čiščenje starega. Končna varnostna kopija se pošlje na S3.

Delujemo po tej shemi — to je zunanji ponudnik AWS ali ruski analog (to je hitreje in podatki ne zapustijo RF). Ali pa stranki postavimo poseben minio kluster na njihovi lokaciji za te namene. Običajno tako ravnamo iz varnostnih razlogov, ko stranka noče, da bi podatki zapuščali njihov krog.

Nismo uporabili funkcije pošiljanja varnostne kopije preko ssh. To ne povečuje varnosti, omrežne možnosti ponudnika S3 pa so veliko višje od naše enotne ssh naprave.

Da bi se zaščitili pred hekerji na lokalni napravi — saj lahko izbrišejo podatke na S3, je nujno vključiti verzioniranje.
Vse varnostne kopije vedno šifriramo.

Borg ima način brez šifriranja none, toda tega kategorično ne priporočamo. V tem načinu ne bo le šifriranja, ampak se ne izračunava niti kontrolna vsota tega, kar se zapisuje, kar pomeni, da celovitosti ni mogoče preveriti razen posredno, po indeksih.

Na ločenem načrtovalniku poteka preverjanje varnostnih kopij na celovitost indeksov in vsebine. Preverjanje se izvaja počasi in dolgo, zato jo izvajamo ločeno enkrat na mesec. Lahko traja nekaj dni.

Readme v ruščini

Glavne funkcije

  • prepare priprava
  • testcheck preverjanje pripravljenosti
  • maincommand osnovna ukazna
  • forcepostscript funkcija, ki se izvede na koncu ali ob napaki. Uporabljamo za odmontiranje particije.

Funkcije storitve

  • cleanup zapisujemo napake ali brišemo log datoteko.
  • checklog parsing log za vsesavanje vrstice z napako.
  • ret izhodni obdelovalec.
  • checktimeout preverjanje za časovno omejitev.

Okolje

  • VERBOSE=1 takoj izpisujemo napake na zaslon (stdout).
  • SAVELOGSONSUCCES=1 shranimo log pri uspehu.
  • INIT_REPO_IF_NOT_EXIST=1 Ustvarimo repozitorij, če ga ni bilo. Privzeto je izklopljeno.
  • TIMEOUT maksimalen čas za glavno operacijo. Lahko ga nastavite kot 'm', 'h' ali 'd' na koncu.

Način shranjevanja starih kopij. Privzeto:

  • KEEP_DAILY=7
  • KEEP_WEEKLY=4
  • KEEP_MONTHLY=6

Spremenljivke znotraj skripte

  • ERROR_STRING — niz za preverjanje v logu za napako.
  • EXTRACT_ERROR_STRING — izraz za prikaz vrstice, če je napaka.
  • KILL_TIMEOUT_SIGNAL — signal za ubijanje, če pride do časovne omejitve.
  • TAIL — koliko vrstic z napakami na zaslonu.
  • COLORMSG — barva sporočila (privzeto rumena).

Ta skripta, ki se imenuje wordpress, se imenuje pogojno, njena značilnost je, da še vedno dela varnostne kopije baze mysql. Zato jo je mogoče uporabiti za enodnevne nastavitve Nexcloud, kjer lahko poleg tega varnostno kopiramo tudi bazo. Udobje ni le v tem, da je vse na enem mestu, ampak je vsebina baze blizu vsebini datotek, saj je razlika v času minimalna.

Restic vs Borg

Primerjava Borg in Restic je med drugim tukaj na Habré, in nismo imeli naloge, da bi naredili le še eno, ampak svojo. Pomembno nam je bilo, kako bo izgledalo na naših podatkih, z našo specifikacijo. Na njih se sklicujemo.

Naši kriteriji izbire, poleg že omenjenih (de-duplication, hitro obnovitev itd.):

  • Odpornost na nedokončano delo. Preverjanje na kill -9.
  • Velikost na disku.
  • Zahtevnost po virih (CPU, pomnilnik).
  • Velikost shranjenih blobov.
  • Delo z S3.
  • Preverjanje celovitosti.

Za testiranje smo vzeli enega od strank z resničnimi podatki in skupno velikostjo 1,6TB.
Pogoji.

Borg ne zna neposredno delati z S3, zato smo ga montirali kot fuse disk, preko goofys. Restic je pošiljal v S3 sam.

Goofys deluje zelo hitro in dobro, in ima modul diska v predpomnilniku, kar še bolj pospešuje delo. Nahaja se v beta fazi, in, priznamo, je v testiranju padal z izgubo podatkov (drugih). Vendar je prednost v tem, da sama postopek varnostne kopije ne zahteva velikega branja, ampak predvsem zapisovanje, zato predpomnilnik uporabljamo le med preverjanjem celovitosti.

Da bi zmanjšali vpliv omrežja, smo uporabili lokalnega ponudnika — Yandex Cloud.

Rezultati testiranja primerjave.

  • Kill -9 je bil uspešno izveden z nadaljnjim ponovnim zagonom.
  • Velikost na disku. Borg zna stisniti, zato so pričakovani rezultati.

Backuper
Dimenzije

Borg
562Gb

Restic
628Gb

  • Po CPU
    Borg sam po sebi porabi malo, z privzetim stiskanjem, a treba ga je oceniti skupaj s procesom goofys. Skupaj sta primerljiva in izkoristita približno 1,2 jedra na isti testni virtualki.
  • Pomnilnik. Restic približno 0,5Gb, Borg okoli 200Mb. Toda to je vse zanemarljivo v primerjavi s sistemskim datotečnim predpomnilnikom. Tako da je priporočljivo dodeliti več pomnilnika.
  • Razlika v velikosti blobov se je izkazala za drastično.

Backuper
Dimenzije

Borg
približno 500Mb

Restic
približno 5Mb

  • Delo s S3 z Restic je odlično. Delo Borg preko goofys ne povzroča težav, vendar je bilo opaženo, da je priporočljivo po zaključenem varnostnem kopiranju izvesti umount, da se popolnoma ponastavi predpomnilnik. Posebnost delovanja S3 je v tem, da nedotovljeni kosi nikoli ne bodo poslani v vedro, kar pomeni, da nedokončani podatki povzročajo velike poškodbe.
  • Preverjanje celovitosti deluje dobro v obeh primerih, vendar se hitrost znatno razlikuje.
    Restic – 3,5 ure.
    Borg, s 100Gb SSD predpomnilnikom – 5 ur. Približno enaki rezultati glede hitrosti, če so podatki na lokalnem disku.
    Borg bere neposredno iz S3 brez predpomnilnika 33 ure. Ogromno dolgo.

Na koncu Borg zna stisniti in ima večje bloke – kar poceni shranjevanje in operacije GET/PUT v S3. Toda za to je treba plačati z bolj zapletenim in počasnejšim preverjanjem. Kar zadeva hitrost obnove – nismo opazili razlike. Kasnejša varnostna kopiranja (po prvem) restic traja malo dlje, vendar ne znatno.

Velikost skupnosti ni bila zadnja stvar pri izbiri.

In izbrali smo Borg.

Par besed o stiskanju

Borg ima v svojem arzenalu odličen nov algoritem za stiskanje – zstd. Po kakovosti stiskanja ni slabši od gzip, a je znatno hitrejši. In primerljiv po hitrosti s privzetim lz4.

Na primer, dump MySQL baze se stisne dvakrat bolje kot lz4 pri enaki hitrosti. Vendar pa izkušnje s pravimi podatki kažejo na zelo majhno razliko v stopnji stiskanja pri nodi Nextcloud.

V Borgu je precej bonus način stiskanja – če ima datoteka visoko entropijo, stiskanje sploh ne deluje, kar povečuje hitrost delovanja. Aktivira se z možnostjo pri ustvarjanju
-C auto,zstd
za algoritem zstd
Tako da smo s to možnostjo v primerjavi s privzetim stiskanjem dobili
560 Gb in 562 Gb rispettivamente. I dati dell'esempio sopra, ricordo, senza compressione, danno un risultato di 628 Gb. Il risultato con 2 Gb di differenza è stato piuttosto sorprendente, ma abbiamo deciso di scegliere comunque. auto,zstd.

Metodo di verifica del backup

La macchina virtuale viene avviata direttamente presso il fornitore o dal cliente tramite il pianificatore, riducendo notevolmente il carico di rete. Almeno è più economico rispetto a sollevare i costi di traffico.

goofys --cache "--free:5%:\/mnt\/cache" -o allow_other --endpoint https:\/\/storage.yandexcloud.net --file-mode=0666 --dir-mode=0777 xxxxxxx.com \/mnt\/goofys
export BORG_PASSCOMMAND="cat \/home\/borg\/.borg-passphrase"
borg list \/mnt\/goofys\/borg1\/
borg check --debug -p --verify-data \/mnt\/goofys\/borg1\/

In questo modo verifichiamo i file con l'antivirus (post-fatto). Infatti, gli utenti caricano vari contenuti su Nextcloud e non tutti hanno un antivirus. Controllare durante il caricamento richiede troppo tempo e ostacola il business.

La scalabilità si ottiene avviando runner su nodi diversi con tag diversi.
Nel nostro monitoraggio raccogliamo gli stati dei backup tramite API GitLab in un'unica finestra, e i problemi vengono notati facilmente e localizzati altrettanto facilmente.

Zaključek

Di conseguenza, sappiamo con certezza che effettuiamo backup, che i nostri backup sono validi, e i problemi che sorgono richiedono poco tempo e vengono risolti a livello di amministratore di turno. I backup occupano realmente poco spazio rispetto a tar.gz o Bacula.

Izvor: habr.com

Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki 🔥 Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki | ProHoster