Smanjite sigurnosne kopije za 99.5% uz hashget

hashget — je besplatni, open-source deduplicačni alat — sličan arhivatoru, koji značajno smanjuje veličinu sigurnosnih kopija, kao i organizuje sheme inkrementalnog i diferencijalnog backup-a i još više.

Ovo je pregledna članka koja opisuje mogućnosti. Sama upotreba hashget-a (prilično jednostavna) opisana je u README projekta i wiki dokumentaciji.

Upoređivanje

Po zakonu žanra, odmah ću početi s intrigom — poređenjem rezultata:

Uzorak podataka
razpakovana veličina
.tar.gz
hashget .tar.gz

WordPress-5.1.1
43 Mb
11 Mb (26%)
155 Kb ( 0.3% )

Linux kernel 5.0.4
934 Mb
161 Mb (20%)
4.7 Mb ( 0.5% )

Debian 9 (LAMP) LXC VM
724 Mb
165 Mb (23%)
4.1 Mb ( 0.5% )

Predistorija, kakav bi trebao biti idealan i efikasan backup

Svaki put kada bih napravio sigurnosnu kopiju svježe kreirane virtuelne mašine, nisam mogao da se otarasim osećaja da nešto radim pogrešno. Zašto dobijam tako težak backup sistema u kojem mog dragocenog netaknutog dela — jednostrani index.html sa tekstom 'Hello world'?

Zašto u mojoj sigurnosnoj kopiji postoji 16-megabajtni /usr/sbin/mysqld? Da li je moj zadatak da čuvam ovaj važan fajl, a ako ne uspem — on će biti izgubljen za čovečanstvo? Verovatno ne. On se čuva na veoma pouzdanim serverima debiana (pouzdanost i dostupnost kojih se ne mogu upoređivati s onim što mogu obezbediti ja), kao i u rezervnim kopijama (milionima njih) drugih administratora. Da li nam je zaista potrebno da kreiramo 10,000,000 + 1 verziju ovog važnog fajla za povećanje pouzdanosti?

U suštini hashget i rešava ovaj problem. Tokom pakovanja — stvara vrlo malu sigurnosnu kopiju. Tokom raspakivanja — potpuno raspakovani sistem, sličan onome koji bi bio pri tar -c / tar -x. (Drugim rečima, ovo je bezgubitno pakovanje)

Kako funkcioniše hashget

U hashget-u postoji pojam Package i HashPackage, uz koje vrši dedupliciranje.

Package (paket). Fajl (obično arhiva .deb ili .tar.gz) koji se može sigurno preuzeti sa interneta i iz kojeg se može dobiti jedan ili više fajlova.

HashPackage — mali JSON fajl koji predstavlja Package, uključujući URL paketa i heš-sume (sha256) fajlova iz njega. Na primer, za paket mariadb-server-core veličine 5 megabajta, veličina hashpackage-a je samo 6 kilobajta. Približno hiljadu puta manje.

Dedupikacija — kreiranje arhive bez dupliciranih fajlova (ako deduplikač zna gde se može preuzeti original paketa, smanjuje duplikate iz arhive).

Pakovanje

Prilikom pakovanja pregledaju se svi fajlovi iz pakovanog direktorijuma, računaju se njihovi heš-ukupni, i ako se ukupna vrednost pronađe u jednom od poznatih HashPackage, tada se metapodaci o fajlu (ime, heš, prava pristupa itd.) čuvaju u posebnom fajlu .hashget-restore.json, koji će takođe biti uključen u arhivu.

Samo pakovanje u najjednostavnijem slučaju izgleda ne složenije od tar-a:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

Raspakivanje

Raspakivanje se vrši u dva koraka. Prvo, obična tar raspakivanje:

tar -xf mybackup.tar.gz -C /path/to/data

zatim obnova iz mreže:

hashget -u /path/to/data

Tokom obnove, hashget čita fajl .hashget-restore.json, preuzima potrebne pakete, raspakuje ih i izvlači potrebne fajlove, postavljajući ih na odgovarajuće putanje, sa potrebnim vlasnikom/grupom/pravima.

Složenije stvari

Ono što je opisano iznad već je dovoljno za one kojima "želim kao tar, ali da upakuje moj Debian u 4 megabajta". Dalje ćemo pogledati složenije stvari.

Indeksiranje

Ako hashget nije imao nijedan HashPackage, on ne bi mogao ništa da deduplikuje.

HashPackage se može kreirati i ručno (prosto: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), ali postoji lakši put.

Da bi se dobili potrebni hashpackage, postoji faza indeksiranja (ona se automatski izvršava prilikom komande --pack) i heuristike. Tokom indeksiranja hashget „hrani“ svaki pronađeni fajl svim dostupnim heuristikama koje ga zanimaju. Heuristike tada mogu indeksirati neki Package kako bi stvorile HashPackage.

Na primer, debian heuristika voli fajl /var/lib/dpkg/status i otkriva instalirane debian pakete, i ako nisu indeksirani (za njih nisu kreirani HashPackage), preuzima i indeksira ih. Dobija se vrlo prijatan efekat — hashget će uvek efikasno deduplikuju debian OS, čak i ako imaju najnovije pakete.

Fajlovi-savetnici (hints)

Ako u vašoj mreži koristi neki vaš proprijetarni paket ili javni paket koji nije uključen u heuristike hashget-a, možete dodati jednostavan hint-fajl hashget-hint.json prema uzoru:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

Zatim, svaki put kada se kreira arhiva, paket će biti indeksiran (ako prethodno nije bio) i datoteke paketa će biti deduplicirane iz arhive. Nije potrebno nikakvo programiranje, sve se može obaviti iz vim-a i uštedjeti prilikom svake sigurnosne kopije. Imajte na umu da zahvaljujući pristupu putem hash suma, ako se neke datoteke paketa promijene lokalno (na primjer, promijenjena datoteka konfiguracije) — te promijenjene datoteke će se sačuvati u arhivi „onakve kakve jesu“ i neće biti skraćene.

Ako se neki vaš vlastiti paket periodično ažurira, ali promjene nisu velike, možete raditi hint samo za glavne verzije. Na primjer, u verziji 1.0 napravljen je hint koji se odnosi na mypackage-1.0.tar.gz, a on će se potpuno deduplicirati, zatim je objavljena verzija 1.1, koja se malo razlikuje, a hint nije ažuriran. Nema veze. Dedupliciraju se samo datoteke koje se podudaraju (koje se mogu obnoviti) s verzijom 1.0.

Heuristika koja obrađuje hint datoteku — dobar je primjer za razumijevanje unutarnjeg mehanizma rada heuristika. Ona obrađuje samo datoteke hashget-hint.json (ili .hashget-hint.json s tačkom) i ignoriše sve ostale. Prema ovoj datoteci određuje koji URL paketa treba biti indeksiran, a hashget ga indeksira (ako to prethodno nije učinjeno)

HashServer

Bilo bi prilično mukotrpno prilikom kreiranja sigurnosnih kopija potpuno izvršavati indeksiranje. Za to je potrebno preuzeti svaku paketu, raspakirati, indeksirati. Zbog toga hashget koristi shemu sa HashServer. Kada se otkrije instalirani debian paket, ako ga ne pronađe u lokalnim HashPackage, prvo se pokušava jednostavno preuzeti HashPackage s hash servera. I samo ako to ne uspije — hashget sam preuzima i hashira paket (i učitava ga na hashserver, kako bi ga hashserver kasnije pružio).

HashServer — nije obavezni element sheme, nije kritičan, služi isključivo za ubrzavanje i smanjenje opterećenja na repozitorijima. Lako se isključuje (opcija --hashserver bez parametara). Pored toga, lako možete napraviti svoj vlastiti hashserver.

Inkrementalne i diferencijalne sigurnosne kopije, planirano zastaranje

hashget omogućava veoma lako pravljenje sheme inkrementalnih i diferencijalnih sigurnosnih kopija. Zašto ne bismo indeksirali našu sigurnosnu kopiju (sa svim našim jedinstvenim datotekama)? Jedna komandna --submit i sve je spremno! Sljedeća sigurnosna kopija koju će kreirati hashget neće uključivati datoteke iz ovog arhiva.

Ali to nije baš dobar pristup, jer se može dogoditi da prilikom vraćanja moramo povući sve hashget-sigurnosne kopije iz cijele povijesti (ako u svakoj bude barem jedna jedinstvena datoteka). Za to postoji mehanizam planiranog isteka sigurnosnih kopija. Prilikom indeksiranja možete navesti datum isteka HashPackage --expires 2019-06-01, a kada taj datum dođe (od 00:00), neće se koristiti. Sam arhiv nakon tog datuma ne treba brisati (iako hashget može prikazati URL-ove svih sigurnosnih kopija koje su nam istekle/istekne na ovaj ili onaj dan).

Na primjer, ako prvog dana u mjesecu napravite punu sigurnosnu kopiju i indeksirate je s vremenom trajanja do kraja mjeseca — dobit ćete shemu diferencijalne sigurnosne kopije.

Ako takođe budemo indeksirali i nove sigurnosne kopije — dobit ćemo shemu inkrementalnih sigurnosnih kopija.

Za razliku od tradicionalnih shema, hashget omogućava korištenje više osnovnih izvora. Sigurnosna kopija bit će skraćena i zahvaljujući skraćivanju datoteka iz prethodnih sigurnosnih kopija (ako postoje), kao i zahvaljujući javnim datotekama (ono što se može preuzeti).

Ako iz bilo kojeg razloga ne vjerujemo u pouzdanost debianovih resursa (https://snapshot.debian.org/) ili koristimo drugu distribuciju, jednostavno možemo jednom napraviti punu sigurnosnu kopiju sa svim paketima, i dalje se oslanjati već na nju (isključujući heuristiku). Tako, ako svi serveri naših distribucija postanu nedostupni (u suvenirskom internetu ili za vrijeme zombi apokalipse), ali naši sigurnosni kopije budu u redu — moći ćemo se obnoviti iz bilo koje kratke diferncijalne sigurnosne kopije koja se oslanja samo na naše ranije sigurnosne kopije.

Hashget se oslanja samo na pouzdane izvore oporavka prema VAŠEM nahođenju. Kakve smatrate pouzdanim — one će biti korištene.

FilePool i Glacier

Mehanizam FilePool omogućava da se ne obraćate stalno vanjskim serverima za preuzimanje paketa, nego da koristite pakete iz lokalnog kataloga ili korporativnog servera, na primjer:

$ hashget -u . --pool /tmp/pool

ili

$ hashget -u . --pool http://myhashdb.example.com/

Da biste napravili pool u lokalnom katalogu, dovoljno je samo da kreirate katalog i dodate datoteke, hashget će sam po hash-ima pronaći ono što mu je potrebno. Da biste učinili pool dostupnim preko HTTP-a, potrebno je na poseban način napraviti simbolične linkove, što se radi jednom komandom (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). Sam HTTP FilePool su statične datoteke, tako da ih može opsluživati bilo koji najjednostavniji web server, opterećenje na serveru je skoro nula.

Zahvaljujući FilePool-u kao osnovne resurse možete koristiti ne samo resurse na http(s), već i, na primjer, Amazon Glacier.

Nakon upload-a backupa na glacier dobijamo njegov Upload ID i koristimo ga kao URL. Na primjer:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

Sada će novi (diferencijalni) backupovi biti oslonjeni na ovaj backup i bit će kraći. Nakon raspakivanja difbackup-a možemo pogledati na koje resurse se oslanja:

hashget --info /tmp/unpacked/ list

i jednostavno shell-scriptom skinuti iz glacier-a sve te datoteke u pool i pokrenuti običan oporavak: hashget -u /tmp/unpacked --pool /tmp/pool

Da li je ovca vredna kože?

U najjednostavnijem slučaju - jednostavno ćete manje plaćati za backupe (ako ih čuvate negde u oblaku uz naknadu). Možda čak - mnogo, mnogo manje.

Ali to nije jedino. Količina prelazi u kvalitet. Možete to iskoristiti da dobijete kvalitetno unapređenje sheme backup-a. Na primjer, s obzirom na to da su backup-i sada kraći - možete raditi ne mesečne backup-e, već dnevne. Čuvati ih ne pola godine, kao ranije, već 5 godina. Ranije ste čuvali u sporom, ali jeftinom 'hladnom' skladištu (Glacier), sada možete čuvati u toplom, odakle možete uvek brzo skinuti backup i oporaviti se za nekoliko minuta, a ne za dan.

Možete povećati pouzdanost čuvanja backup-a. Ako ih sada čuvamo u jednom skladištu, smanjenjem obima backup-a - moći ćemo čuvati u 2-3 skladišta i bezbolno preživjeti ako jedno od njih ošteti.

Kako isprobati i početi koristiti?

Idemo na GitLab stranicu https://gitlab.com/yaroslaff/hashget, instaliramo jednom komandom (pip3 install hashget[plugins]) i jednostavno pratimo quick-start. Mislim da će jednostavni zadaci potrajati oko 10-15 minuta. Nakon toga, možete probati smanjiti svoje virtualne instance, napraviti, ako je potrebno, hint datoteke kako bi se dodatno smanjilo, igrati se s poolovima, lokalnom bazom hešova i heš serverom, ako će vas to zanimati, a sutradan pogledati koliki će biti veličina inkrementalnog backup-a na jučerašnjem.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster