â Ă€r en gratis, öppen kĂ€llkods deduplicator â en verktyg som liknar en kompressor och gör det möjligt att avsevĂ€rt minska storleken pĂ„ sĂ€kerhetskopior, samt organisera scheman för inkrementell och differentiell sĂ€kerhetskopiering och mer.
Detta Àr en översiktsartikel för att beskriva funktionerna. SjÀlva anvÀndningen av hashget (ganska enkel) beskrivs i projektet och .
JÀmförelse
Enligt genrens lagar, lĂ„t oss börja direkt med spĂ€nningen â jĂ€mförelsen av resultaten:
Dataprover
uppackad storlek
.tar.gz
hashget .tar.gz
WordPress-5.1.1
43 Mb
11 Mb ( 26% )
155 Kb ( 0.3% )
Linux-kÀrna 5.0.4
934 Mb
161 Mb ( 20% )
4.7 Mb ( 0.5% )
Debian 9 (LAMP) LXC VM
724 Mb
165 Mb ( 23% )
4.1 Mb ( 0.5% )
Bakgrund, hur en ideal och effektiv sÀkerhetskopiering bör se ut
Varje gÄng jag gjorde en sÀkerhetskopiering av en ny skapad virtuell maskin kunde jag inte skaka av mig kÀnslan av att jag gjorde nÄgot fel. Varför fÄr jag en tung sÀkerhetskopiering frÄn systemet dÀr min ovÀrderliga odödliga skapelse Àr en rad index.html med texten 'Hello world'?
Varför innehĂ„ller min sĂ€kerhetskopiering en 16 megabyte stor /usr/sbin/mysqld? Ăr det verkligen min Ă€ra att bevara denna viktiga fil, och om jag misslyckas â kommer den att gĂ„ förlorad för mĂ€nskligheten? Troligen inte. Den lagras pĂ„ pĂ„litliga Debian-servrar (vars tillförlitlighet och oavbruten drift inte kan jĂ€mföras med vad jag kan erbjuda), samt i sĂ€kerhetskopior (miljoner av dem) frĂ„n andra administratörer. MĂ„ste vi verkligen skapa en 10 000 000 + 1:a kopia av denna viktiga fil för att öka tillförlitligheten?
I allmĂ€nhet och löser detta problem. Vid packning skapar den en mycket liten sĂ€kerhetskopiering. Vid uppackning â ett fullt utpackat system, som skulle ha varit vid tar -c / tar -x. (Med andra ord, detta Ă€r lossless packning)
Hur hashget fungerar
I hashget finns begreppen Package och HashPackage, med deras hjÀlp utför den deduplicering.
Package (paket). En fil (vanligtvis en .deb eller .tar.gz arkiv), som kan laddas ner pÄ ett sÀkert sÀtt frÄn nÀtet, och frÄn vilken en eller flera filer kan extraheras.
HashPackage â en liten JSON-fil som representerar Package, inklusive URL till paketet och hash-summor (sha256) av filerna i det. Till exempel, för paketet mariadb-server-core med en storlek av 5 megabyte Ă€r storleken pĂ„ hashpackage endast 6 kilobyte. Cirka tusen gĂ„nger mindre.
Deduplicering â skapa ett arkiv utan duplicerade filer (om deduplicatorn vet var den ursprungliga paketet kan laddas ner, minskar den duplikater frĂ„n arkivet).
Packning
Vid packningen kontrolleras alla filer i den packade katalogen, deras hash-summor berÀknas, och om summan hittas i en av de kÀnda HashPackage, sparas metadata om filen (namn, hash, behörigheter etc.) i en sÀrskild fil .hashget-restore.json, som ocksÄ kommer att ingÄ i arkivet.
SjÀlva packningen ser i enklaste fall inte mer komplicerad ut Àn tar:
hashget -zf /tmp/mybackup.tar.gz --pack /path/to/dataPacka upp
Uppackningen görs i tvÄ steg. Först vanlig tar-uppackning:
tar -xf mybackup.tar.gz -C /path/to/datadÀrefter ÄterstÀllning frÄn nÀtverket:
hashget -u /path/to/dataVid ÄterstÀllning lÀser hashget filen .hashget-restore.json, laddar ner nödvÀndiga paket, packar upp dem och extraherar nödvÀndiga filer, vilket placerar dem pÄ rÀtt platser, med rÀtt owner/group/permissions.
Mer komplicerade saker
Det som beskrivits ovan Àr redan tillrÀckligt för dem som "vill ha det som tar, men vill packa mitt Debian pÄ 4 megabyte". Vi gÄr nu vidare till mer komplicerade saker.
Indexerande
Om hashget inte har haft nÄgot HashPackage, skulle den helt enkelt inte kunna deduplicera nÄgot.
Ett HashPackage kan ocksÄ skapas manuellt (enkelt: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), men det finns en enklare vÀg.
För att fÄ de nödvÀndiga hashpaketen, finns det ett steg indexering (det utförs automatiskt vid kommandot --pack) och heuristik. Vid indexering "matas" hashget varje hittad fil till alla befintliga heuristiker som den Àr intresserad av. Heuristikerna kan sedan indexera nÄgot paket för att skapa ett HashPackage.
Till exempel, Debian-heuristiken Ă€lskar filen /var/lib/dpkg/status och upptĂ€cker installerade Debian-paket, och om de inte Ă€r indexerade (om HashPackage inte har skapats för dem), laddar den ner och indexerar dem. Resultatet blir en mycket trevlig effekt â hashget kommer alltid att deduplicera Debian-operativsystem effektivt, Ă€ven om de har de nyaste paketen.
Hint-filer
Om ditt nÀtverk anvÀnder nÄgot eget proprietÀrt paket eller ett offentligt paket som inte ingÄr i hashgets heuristik, kan du lÀgga till en enkel hint-fil hashget-hint.json enligt mönstret:
{
"project": "wordpress.org",
"url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}Varje gĂ„ng ett arkiv skapas kommer paketet att indexeras (om det inte redan har gjorts) och filerna i paketet kommer att dedupliceras frĂ„n arkivet. Ingen programmering krĂ€vs, allt kan göras frĂ„n vim och spara i varje backup. Observera att tack vare metoden med hashkontroller, om nĂ„gra filer i paketet har Ă€ndrats lokalt (till exempel om en konfigurationsfil har Ă€ndrats) â dĂ„ kommer de Ă€ndrade filerna att bevaras i arkivet "som de Ă€r" och inte beskĂ€ras.
Om nÄgot av dina egna paket uppdateras regelbundet, men Àndringarna inte Àr sÄ stora, kan du göra ett hint endast för huvudversionerna. Till exempel, i version 1.0 gjordes en hint som pekade pÄ mypackage-1.0.tar.gz, och den kommer att dedupliceras helt, sedan slÀpptes version 1.1, som skiljer sig nÄgot, men hintet uppdaterades inte. Inga problem. Endast filer som matchar (de som kan ÄterstÀllas) med version 1.0 kommer att dedupliceras.
Heuristiken som behandlar hint-filen Àr ett bra exempel för att förstÄ det interna mekanismen i heuristiker. Den behandlar endast filer hashget-hint.json (eller .hashget-hint.json med en punkt) och ignorerar alla andra. Genom denna fil bestÀmmer den vilken URL för paketet som ska indexeras, och hashget indexerar den (om det inte redan har gjorts).
HashServer
Det skulle vara ganska arbetskrĂ€vande att helt utföra indexering vid skapande av sĂ€kerhetskopior. För detta mĂ„ste varje paket laddas ner, packas upp och indexeras. DĂ€rför anvĂ€nder hashget ett schema med . Vid upptĂ€ckten av ett installerat debian-paket, om det inte hittas i lokala HashPackage, görs först ett försök att bara ladda ner HashPackage frĂ„n hashservern. Och endast om detta misslyckas â laddar hashget ner och hashar paketet sjĂ€lv (och laddar upp det till hashservern för att senare hashservern ska tillhandahĂ„lla det).
HashServer Àr inte ett obligatoriskt element i schemat, det Àr inte kritiskt och tjÀnar enbart till att pÄskynda och minska belastningen pÄ lagren. Det kan enkelt stÀngas av (med alternativet --hashserver utan parametrar). Dessutom kan man enkelt .
Inkrementella och differeniala sÀkerhetskopior, schemalagd nedgradering
möjliggör mycket enkelt att skapa ett schema . Varför inte indexera vÄr egen backup (med alla vÄra unika filer)? Ett kommando --submit Och allt Àr klart! NÀsta backup som hashget skapar kommer inte att inkludera filer frÄn detta arkiv.
Men det hÀr Àr inte en bra metod, eftersom det kan hÀnda att vi vid ÄterstÀllning mÄste hÀmta alla hashget-backuper genom historien (om varje backup innehÄller minst en unik fil). För detta finns det en mekanism . Vid indexering kan man ange datumet för HashPackages förfall --expires 2019-06-01, och nÀr detta datum intrÀffar (frÄn 00:00) kommer det inte att anvÀndas. SjÀlva arkivet behöver inte tas bort efter detta datum (Àven om hashget kan bekvÀmt visa URL:er för alla backuper som har förfallit/förfaller vid detta tillfÀlle eller pÄ ett specifikt datum).
Till exempel, om vi gör en fullstĂ€ndig backup den 1:a och indexerar den med en livslĂ€ngd till slutet av mĂ„naden â fĂ„r vi ett schema för differentierad backup.
Om vi ocksĂ„ indexerar nya backuper pĂ„ detta sĂ€tt â kommer vi att fĂ„ ett schema för inkrementella backuper.
Till skillnad frÄn traditionella scheman tillÄter hashget anvÀndning av flera baskÀllor. Backupen kommer att minskas bÄde genom att exkludera filer frÄn tidigare backuper (om sÄdana finns) och genom offentliga filer (det som kan laddas ner).
Om vi av nĂ„gon anledning inte litar pĂ„ tillförlitligheten hos Debian-resurser () eller anvĂ€nder en annan distribution, kan vi helt enkelt göra en fullstĂ€ndig backup med alla paket en gĂ„ng, och sedan förlita oss pĂ„ den (). Nu, om alla servrar för vĂ„ra distributioner skulle vara otillgĂ€ngliga för oss (i det nostalgiska Internet eller vid zombieapokalypsen), men vĂ„ra backuper Ă€r i ordning â kan vi Ă„terstĂ€lla frĂ„n vilken kort diff-backup som helst, som bara förlitar sig pĂ„ vĂ„ra tidigare backuper.
Hashget förlitar sig endast pĂ„ pĂ„litliga Ă„terstĂ€llningskĂ€llor enligt DITT omdöme. De du anser pĂ„litliga â de kommer att anvĂ€ndas.
FilePool och Glacier
Mekanismen möjliggör att inte stÀndigt behöva kontakta externa servrar för att ladda ner paket, utan att anvÀnda paket frÄn en lokal katalog eller företagsserver, till exempel:
$ hashget -u . --pool /tmp/pooleller
$ hashget -u . --pool http://myhashdb.example.com/För att skapa en pool i en lokal katalog rÀcker det med att skapa en katalog och lÀgga filer i den, hashget hittar automatiskt det den behöver via hasharna. För att göra poolen tillgÀnglig via HTTP mÄste du skapa symboliska lÀnkar pÄ ett speciellt sÀtt, detta görs med ett kommando (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). HTTP FilePool bestÄr av statiska filer, sÄ vilken enkel webbserver som helst kan betjÀna den, belastningen pÄ servern Àr nÀstintill obefintlig.
Tack vare FilePool kan du anvÀnda inte bara resurser pÄ http(s) som basresurser, utan Àven, , Amazon Glacier.
Efter att ha laddat upp backupen till Glacier fÄr vi dess Upload ID och anvÀnder det som URL. Till exempel:
hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01Nu kommer nya (differentiella) backuper att baseras pÄ denna backup och bli kortare. Efter tar-uppackning av diffbackupen kan vi se vilka resurser den beror pÄ:
hashget --info /tmp/unpacked/ listoch med ett enkelt shell-skript kan vi ladda ner alla dessa filer frÄn Glacier till poolen och starta en vanlig ÄterstÀllning: hashget -u /tmp/unpacked --pool /tmp/pool
Ăr det vĂ€rt besvĂ€ret?
I det enklaste fallet kommer du helt enkelt att betala mindre för backuper (om du lagrar dem nÄgonstans i molnet mot avgift). Kanske mycket, mycket mindre.
Men detta Àr inte det enda. Kvantitet övergÄr till kvalitet. Du kan anvÀnda detta för att fÄ en kvalitativ uppgradering av backup-schema. Till exempel, nu nÀr backuperna Àr kortare kan du göra dagliga backuper istÀllet för mÄnadsbackuper. Lagra dem inte i sex mÄnader som tidigare, utan i fem Är. Tidigare lagrades de i lÄngsamt men billigt "kallt" lagringsutrymme (Glacier), nu kan du lagra dem i varmt utrymme, dÀr du kan ladda ner backupen snabbt och ÄterstÀlla pÄ minuter istÀllet för en dag.
Du kan öka pÄlitligheten hos backup-lagringen. Om vi nu lagrar dem i en lagring, kan vi genom att minska backup-volymen lagra dem i 2-3 lagringssystem och utan problem klara av om en av dem skadas.
Hur kan du prova och börja anvÀnda?
GÄ till vÄr GitLab-sida , installera med ett kommando (pip3 install hashget[plugins]) och bara lÀser och utför quick-start. Jag tror att det borde ta ungefÀr 10-15 minuter att göra de enkla sakerna. Sedan kan man försöka komprimera sina virtuella maskiner, göra hint-filer om det behövs sÄ att de komprimeras Ànnu mer, leka med pooler, den lokala hash-databasen och hashservern om det skulle vara intressant, och nÀsta dag kolla hur stor den inkrementella backupen blir ovanpÄ gÄrdagens.
KĂ€lla: habr.com
