hashget - et ass gratis, Open Source deduplicator ass en Utility ähnlech wéi en Archiver, deen Iech erlaabt d'Gréisst vun de Backups wesentlech ze reduzéieren, souwéi inkrementell an differentiell Backupschemaen a méi z'organiséieren.

Dëst ass en Iwwerbléck Artikel fir d'Features ze beschreiwen. Déi aktuell Notzung vum Hashtag (zimmlech einfach) gëtt an README Projet an wiki Dokumentatioun.

Verglach

Geméiss dem Gesetz vum Genre fänken ech direkt mat der Intrig un - d'Resultater vergläichen:

Daten Echantillon
ausgepackt Gréisst
.tar.gz
hashget.tar.gz

WordPress-5.1.1
43 Mb
11 Mb (26%)
155 Kb (eng. 0.3% )

Linux kernel 5.0.4
934 Mb
161 Mb (20%)
4.7 Mb ( 0.5% )

Debian 9 (LAMP) LXC VM
724 Mb
165 Mb (23%)
4.1 Mb ( 0.5% )

Hannergrond iwwer wat en idealen an effektive Backup soll sinn

All Kéier wann ech e Backup vun enger frësch erstallt virtueller Maschinn gemaach hunn, hunn ech d'Gefill begeeschtert datt ech eppes falsch maachen. Firwat kréien ech e kräftege Backup vum System, wou meng onerwaart, onvergiesslech Kreativitéit en One-line index.html mam Text "Hallo Welt" ass?

Firwat enthält mäi Backup eng 16MB grouss /usr/sbin/mysqld Datei? Sinn ech wierklech deejéinegen op dëser Welt, deen d'Éier huet, dës wichteg Datei ze späicheren, a wann ech et net packen, geet se dann der Mënschheet verluer? Wahrscheinlech net. Si ass op héichséchere Serveren gespäichert. debian (déi hir Zouverlässegkeet an Uptime mat deem, wat ech liwwere kann, net ze vergläichen sinn), souwéi an de Backup-Kopie (Millioune dovun) vun aneren Administrateuren. Musse mir wierklech iwwer 10.000.000 Kopie vun dëser wichteger Datei erstellen, fir d'Zouverlässegkeet ze erhéijen?

Allgemeng hashget a léist dëse Problem. Wann gepackt, erstellt et e ganz klenge Backup. Beim Auspacken - e komplett ausgepackte System, ähnlech wéi et wier wann tar -c / tar -x. (An anere Wierder, dëst ass lossless Verpackung)

Wéi hashget funktionnéiert

hashget huet d'Konzepter vu Package an HashPackage, mat hirer Hëllef mécht et Deduplikatioun.

Pak (Plastikstut). E Fichier (normalerweis en .deb oder .tar.gz Archiv) dee sécher vum Internet erofgeluede ka ginn, an aus deem een ​​oder méi Dateie kritt kënne ginn.

HashPackage - eng kleng JSON-Datei representéiert e Package, dorënner d'Package-URL an Hash-Zommen (sha256) vun Dateien dovun. Zum Beispill, fir e 5 Megabyte mariadb-Server-Core Package, ass d'Hashpackagegréisst nëmme 6 Kilobytes. Ongeféier dausend mol manner.

Deduplication - en Archiv erstellen ouni Duplikatdateien (wann den Deduplikator weess wou den urspréngleche Package erofgeluede ka ginn, reduzéiert et Duplikaten aus dem Archiv).

Verpakung

Beim Verpakung ginn all Dateien aus dem Verzeechnes gepackt gescannt, hir Hash Zomme ginn berechent, a wann d'Zomm an engem vun de bekannten HashPackages fonnt gëtt, da gi Metadaten iwwer d'Datei (Numm, Hash, Zougangsrechter, etc.) gespäichert. an enger spezieller Datei .hashget-restore.json, déi och am Archiv opgeholl gëtt.

Am einfachsten Fall gesäit d'Verpakung selwer net méi komplizéiert aus wéi Teer:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

Auszepaken

Auspackung gëtt an zwou Etappe gemaach. Als éischt déi üblech Teer Auspackung:

tar -xf mybackup.tar.gz -C /path/to/data

da restauréiert aus dem Netz:

hashget -u /path/to/data

Beim Restauréieren, hashget liest d'.hashget-restore.json Datei, luet déi néideg Paketen erof, packt se aus an extrahéiert déi néideg Dateien, installéiert se op déi erfuerderlech Weeër, mat dem erfuerderleche Besëtzer / Grupp / Permissiounen.

Méi schwéier Saachen

Wat uewe beschriwwe gëtt, ass scho genuch fir déi, déi et "wéi Teer wëllen, awer datt et vu menge Leit gepackt gëtt". Debian "a 4 Megabyte." Als nächst wäerte mir eis méi komplex Saachen ukucken.

Indexéieren

Wann hashget guer net een eenzegen HashPackage hätt, da wier et einfach näischt fäeg ze deduplizéieren.

Dir kënnt och en HashPackage manuell erstellen (einfach: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), awer et gëtt e méi praktesche Wee.

Fir dat néidegt Hashpackage ze kréien, gëtt et eng Bühn Indexéierung (et gëtt automatesch mam Kommando ausgefouert --pack) an heuristesch. Beim Indexéieren, hashget "feeds" all Datei fonnt op all verfügbare Heuristiken déi drun interesséiert sinn. Heuristics kann dann all Package indexéieren fir en HashPackage ze kreéieren.

Zum Beispill, d'Heuristiken vun Debian hunn d'Datei /var/lib/dpkg/status gär a erkennen installéiert Dateien. debian Paketen, a wa se net indexéiert sinn (et gouf kee HashPackage dofir erstallt), luet et se erof an indexéiert se. Dëst resultéiert an engem ganz agreablen Effekt: Hashget wäert ëmmer effektiv Debian Betribssystemer deduplizéieren, och wa se déi lescht Paketen hunn.

Hiweis Fichieren

Wann Ären Netz e puer vun Äre propriétaire Packagen oder en ëffentleche Package benotzt deen net an der hashget-Heuristik abegraff ass, kënnt Dir eng einfach hashget-hint.json Hiweisdatei esou addéieren:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

Als nächst, all Kéier wann en Archiv erstallt gëtt, gëtt de Package indexéiert (wann et net virdru war), an d'Packagedateien ginn aus dem Archiv deduplizéiert. Keng Programméierung ass néideg, alles kann aus vim gemaach ginn a späicheren an all Backup. Notéiert w.e.g. datt dank der Hash Sum Approche, wann e puer Dateien aus dem Package lokal geännert ginn (zum Beispill eng Konfiguratiounsdatei gëtt geännert), da ginn déi geännert Dateien am Archiv "wéi ass" gespäichert a ginn net ofgeschnidden.

Wann e puer vun Ären eegene Packagen periodesch aktualiséiert ginn, awer d'Ännerunge sinn net ganz grouss, kënnt Dir nëmme fir grouss Versiounen hinzeweisen. Zum Beispill, an der Versioun 1.0 hunn se en Hiweis op mypackage-1.0.tar.gz gemaach, an et gëtt komplett deduplizéiert, duerno hunn se d'Versioun 1.1 verëffentlecht, wat liicht anescht ass, awer den Hiweis gouf net aktualiséiert. Et ass ok. Nëmme Dateien déi passen (kënne restauréiert ginn) Versioun 1.0 ginn deduplizéiert.

D'Heuristik déi d'Hippdatei veraarbecht ass e gutt Beispill fir den internen Mechanismus ze verstoen wéi d'Heuristik funktionnéiert. Et veraarbecht nëmmen hashget-hint.json Dateien (oder .hashget-hint.json mat engem Punkt) an ignoréiert all aner. Vun dëser Datei bestëmmt et wéi eng Package URL soll indexéiert ginn, an den hashget indexéiert se (wann et net scho gemaach huet)

HashServer

Et wier zimmlech Aarbechtsintensiv fir voll Indexéierung ze maachen wann Dir Backups erstellt. Fir dëst ze maachen, musst Dir all Package eroflueden, auspacken an indexéieren. Dofir hashget benotzt engem Schema mat HashServerWann en installéiert ass debianWann keen Hashpackage am lokalen HashPackage fonnt gëtt, probéiert en als éischt den Hashpackage einfach vum Hashserver erofzelueden. Nëmmen wann dat net klappt, luet den Hashget de Package selwer erof an hasht en (an luet en op den Hashserver erop, sou datt den Hashserver en dann servéiere kann).

HashServer ass en optionalen Element vum Schema, net kritesch, et déngt eleng fir d'Laascht op de Repositories ze beschleunegen an ze reduzéieren. Einfach behënnert (optional --hashserver ouni Parameteren). Zousätzlech, kënnt Dir einfach maacht Ären eegene hashserver.

Inkrementell an differentiell Backups, geplangten Obsoleszenz

hashget mécht et ganz einfach en Diagramm ze maachen inkrementell an differentiell Backups. Firwat indexéiere mir net eise Backup selwer (mat all eisen eenzegaartegen Dateien)? Eng Equipe --submit an du bass fäerdeg! De nächste Backup deen den hashget erstellt enthält keng Dateien aus dësem Archiv.

Awer dëst ass net eng ganz gutt Approche, well et ka sech erausstellen datt mir beim Restauréieren all hashget-Backups an der ganzer Geschicht musse zéien (wann all op d'mannst eng eenzegaarteg Datei enthält). Et gëtt e Mechanismus fir dëst geplangt obsolescence vun Backupsatellit. Beim Indexéiere kënnt Dir den Verfallsdatum vum HashPackage uginn --expires 2019-06-01, an no dësem Datum (vun 00:00) gëtt et net benotzt. D'Archiv selwer kann no dësem Datum net geläscht ginn (Obwuel hashget bequem d'URLen vun all Backups ka weisen, déi am Moment oder op all Datum verfault sinn / wäerte sinn).

Zum Beispill, wa mir e komplette Backup op den 1 maachen an et mat enger Liewensdauer bis Enn vum Mount indexéieren, kréie mir en Differential-Backup-Schema.

Wa mir nei Backups op déiselwecht Manéier indexéieren, gëtt et e Schema vun inkrementelle Backups.

Am Géigesaz zu traditionelle Schemaen, erlaabt hashget Iech verschidde ënnerierdesch Quellen ze benotzen. De Backup gëtt reduzéiert souwuel duerch d'Reduktioun vun Dateie vu fréiere Backups (wann iwwerhaapt) an duerch ëffentlech Dateien (wat kann erofgeluede ginn).

Wa mir aus iergendengem Grond d'Zouverlässegkeet vun Debian Ressourcen net trauen (https://snapshot.debian.org/) oder eng aner Verdeelung benotzt, kënne mir einfach e komplette Backup mat all de Packagen maachen, an dann drop vertrauen (andeems d'Heuristik auszeschalten). Elo, wann all d'Server vun eise Verdeelunge fir eis net verfügbar sinn (um Souvenir Internet oder während enger Zombie-Apokalypse), awer eis Backupe sinn an der Rei, kënne mir eis vun all kuerzen Diff-Backup erholen, deen nëmmen op eise fréiere Backups hänkt .

Hashget hänkt nëmmen op vertrauenswürdege Erhuelungsquellen no ÄRem Diskretioun. Déi, déi Dir als zouverléisseg betruecht, gi benotzt.

FilePool a Glacier

Механизм FilePool erlaabt Iech net permanent extern Serveren ze kontaktéieren fir Pakete erofzelueden, awer Pakete vun engem lokalen Verzeechnes oder Firmenserver benotzen, zum Beispill:

$ hashget -u . --pool /tmp/pool

oder

$ hashget -u . --pool http://myhashdb.example.com/

Fir e Pool an engem lokalen Verzeechnes ze maachen, musst Dir just e Verzeechnes erstellen an Dateien dran werfen, den hashget selwer fënnt wat et brauch mat den hashes. Fir de Pool iwwer HTTP zougänglech ze maachen, musst Dir Symlinks op eng speziell Manéier erstellen, dëst gëtt mat engem Kommando gemaach (;hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). HTTP FilePool selwer ass statesch Dateien, sou datt all einfache Webserver et kann déngen, d'Laascht op de Server ass bal null.

Dank FilePool kënnt Dir net nëmmen http(en) Ressourcen als Basisressourcen benotzen, awer och Zum Beispill, Amazon Gletscher.

Nodeems mir de Backup op de Gletscher eropgelueden hunn, kréie mir seng Upload ID a benotzen se als URL. Zum Beispill:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

Elo ginn nei (differenziell) Backups op dësem Backup baséiert a wäerte méi kuerz sinn. Nodeems mir den Diffbackup ausgepackt hunn, kënne mir gesinn op wéi eng Ressourcen et hänkt:

hashget --info /tmp/unpacked/ list

a benotzt just e Shell-Skript fir all dës Dateien vum Glacier an de Pool erofzelueden an déi üblech Erhuelung auszeféieren: hashget -u /tmp/unpacked —pool /tmp/pool

Ass d'Spill d'Käerz wäert?

Am einfachsten Fall wäert Dir einfach manner fir Backups bezuelen (wann Dir se iergendwou an der Wollek fir Suen späichert). Vläicht vill, vill manner.

Mä dat ass net dat eenzegt. Quantitéit gëtt an Qualitéit. Dir kënnt dëst benotze fir e qualitativ héichwäerteg Upgrade op Äre Backupschema ze kréien. Zum Beispill, well eis Backups elo méi kuerz sinn, kënne mir net monatlecht Backups maachen, awer alldeeglech. Späichert se net fir sechs Méint, wéi virdrun, awer fir 5 Joer. Virdrun hutt Dir et a luesen awer bëllegen "kale" Lagerung (Gletscher) gespäichert, elo kënnt Dir et an enger waarmer Späichere späicheren, vu wou Dir ëmmer séier e Backup eroflueden an a Minutten restauréiere kënnt, net an engem Dag.

Dir kënnt d'Zouverlässegkeet vun der Backupsatellit erhéijen. Wa mir se am Moment an enger Lagerung späicheren, da kënne mir se duerch d'Reduktioun vum Volume vun de Backups an 2-3 Späicheranlagen späicheren a schmerzlos iwwerliewen wann ee vun hinnen beschiedegt gëtt.

Wéi probéieren ech ze benotzen?

Gitt op d'gitlab Säit https://gitlab.com/yaroslaff/hashget, installéiere mat engem Kommando (pip3 install hashget[plugins]) a just liesen an ausféieren Quick-Start. Ech mengen et dauert 10-15 Minutten fir all déi einfach Saachen ze maachen. Da kënnt Dir probéieren Är virtuell Maschinnen ze kompriméieren, Hiweisdateien ze maachen wann néideg fir d'Kompressioun méi staark ze maachen, Spill mat Poolen, enger lokaler Hash-Datebank an engem Hash-Server wann Dir interesséiert sidd, an den nächsten Dag kuckt wat d'Gréisst vum inkrementelle Backup ass. wäert uewen op gëschter sinn.

Source: will.com