hashget — see tasuta, avatud lähtekoodiga deduplikator — arhiivijaga sarnane utiliit, mis võimaldab oluliselt vähendada varukoopiate suurust ning korraldada inkrementaalse ja diferentsiaalse varukoopia skeeme ja mitte ainult.

See on ülevaateartikkel võimaluste kirjeldamiseks. Hashgeti kasutamine (üsna lihtne) on kirjas README projektis ja wiki-dokumendil.

Võrdlus

Žanri seaduse kohaselt alustan kohe intriigi — võrreldes tulemustega:

Andmeproov
lahustatud suurus
.tar.gz
hashget .tar.gz

WordPress-5.1.1
43 Mb
11 Mb ( 26% )
155 Kb ( 0.3% )

Linux kernel 5.0.4
934 Mb
161 Mb ( 20% )
4.7 Mb ( 0.5% )

Debian 9 (LAMP) LXC VM
724 Mb
165 Mb ( 23% )
4.1 Mb ( 0.5% )

Eelstory, milline peaks olema ideaalne ja tõhus varukoopia

Iga kord, kui tegin värskelt loodud virtuaalmasinast varukoopia, ei andnud mulle rahu tunne, et teen midagi valesti. Miks saan ma mahuka varukoopia süsteemist, kus minu hindamatust ajatusest on ainult üks rida index.html tekstiga «Hello world»?

Miks on minu varukoopias 16-megabaidiline /usr/sbin/mysqld? Kas just mulle on antud au hoida seda olulist faili, ja kui ma ei suuda sellega toime tulla — siis see kaob inimkonnale? Tõenäoliselt ei. See on hoitud usaldusväärsetel Debian serveritel (kui tõhusus ja katkematus, mida nad pakuvad, ei saa võrreldagi sellega, mida mina suudan pakkuda), ning ka teiste administraatorite varukoopiatena (miljonites). Kas meil tõesti on vaja luua 10 000 000 + 1. koopia sellest olulise failist usaldusväärsuse tõstmiseks?

Üldiselt hashget ja lahendab selle probleemi. Arhiivimise ajal — loob ta väga väikese varukoopia. Lahtipakkimise ajal — täielikult lahti pakitud süsteemi, mis sarnaneb sellele, mis oleks olnud tar -c / tar -x. (Teisisõnu, see on lossless pakkimine)

Kuidas hashget töötab

Hashget sisaldab mõisted Package ja HashPackage, mille abil ta teostab deduplitseerimist.

Paketid (pakett). Fail (tavaliselt .deb või .tar.gz arhiiv), mida saab usaldusväärselt Internetist alla laadida, ja mille põhjal saab saada ühe või rohkem faile.

HashPackage — väike JSON-fail, mis esindab paketti, sealhulgas sisaldab paketi URL-i ja failide sha256 kontrolsummasid. Näiteks, mariadb-server-core paketi suurus on 5 megabaiti, hashpackage suurus on kokku 6 kilobaiti. Umbes tuhat korda väiksem.

Deduplication — arhiivi loomine ilma dubleerivate failideta (kui deduplicaator teab, kust originaalpaki alla laadida, vähendab ta arhiivis dubliikate arvu).

Pakendamine

Pakendamise käigus vaadatakse üle kõik pakendatavas kataloogis olevad failid, arvutatakse nende kontrollsummad ja kui summa leitakse ühes tuntud HashPackage'is, salvestatakse faili metaandmed (nimi, hash, õigused jne) eraldi failisse .hashget-restore.json, mis samuti lisatakse arhiivi.

Ise pakendamine näeb kõige lihtsamal juhul välja mitte keerulisem kui tar:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

Lahtipakkimine

Lahtipakkimine toimub kahes etapis. Esiteks tavaline tar lahtipakkimine:

tar -xf mybackup.tar.gz -C /path/to/data

seejärel taastamine võrgust:

hashget -u /path/to/data

Taastamise käigus loeb hashget faili .hashget-restore.json, allalaadib vajalikud paketid, lahtipakib need ja ekstraktib vajalikud failid, paigutades need õigetesse kohtadesse, vajalike omaniku/grupi/õigustega.

Täpsemad asjad

Ülaltoodud kirjeldus on juba piisav neile, kes soovivad, et "tahaks nagu tar, aga et pakiks minu Debian 4 megabaidiks". Edasi liigume keeruliste asjade juurde.

Indekseerimine

Kui hashget'il polnud ühtegi HashPackage't, ei oleks ta suutnud midagi dedupliceerida.

HashPackage'i saab luua ka käsitsi (lihtsalt: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), kuid on ka mugavam tee.

Selleks, et saada vajalikke hashpackage'e, on etapp indekseerimine (see toimub automaatselt käsu --pack) ja heuristikate. Indekseerimise käigus "toimetab" hashget iga leitud faili kõigi olemasolevate heuristikate juurde, mis teda huvitavad. Heuristikad saavad seejärel indekseerida mõne Paketi, et luua HashPackage.

Näiteks debian'e heuristika armastab faili /var/lib/dpkg/status ja tuvastab installitud debian pakette, ja kui need ei ole indekseeritud (neile ei ole loodud HashPackage't), siis allalaadib ja indekseerib need. Tulemus on väga meeldiv — hashget suudab alati tõhusalt dedupliceerida debian OS'e, isegi kui neil on kõige uuemad paketid.

Failihinnangud (hints)

Kui teie võrgus kasutatakse mõnda teie enda patendi omandi paketti või avalikku paketti, mis ei kuulu hashgeti heuristikasse, võite lisada selle juurde lihtsa vihje faili hashget-hint.json järgmise näidise järgi:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

Edasi, iga kord, kui arhiivi luuakse, indekseeritakse pakett (kui seda pole varem tehtud), ja paketi failid dedupeeritakse arhiivist. Programmimist pole vaja, kõik on võimalik teha vim-is ja säästa igas varukoopias. Pange tähele, et tänu hash-summade lähenemisele, kui mõni paketi fail muutub kohalikult (näiteks konfiguratsioonifaili muutmine) — siis muudetud failid jäävad arhiivi „nagu on“ ja ei vähenenud.

Kui teie määratud paketid uuendatakse regulaarselt, kuid muudatused ei ole suured, siis saab teha hint ainult põhiliste versioonide jaoks. Näiteks, versioonis 1.0 tehti hint viidates mypackage-1.0.tar.gz, ja see dedupereeritakse täielikult; seejärel, kui ilmus versioon 1.1, mis erines veidi, ei uuendatud hinti. Pole probleemi. Dedupereeritakse ainult need failid, mis kattuvad (mida saab taastada) versiooniga 1.0.

Heuristika, mis töötleb hint-faili, on hea näide, et mõista heuristikate sisemist toimimise mehhanismi. See töötleb ainult faile hashget-hint.json (või .hashget-hint.json punktiga) ja ignoreerib kõiki teisi. Selle faili põhjal määrab ta, milline paketi URL tuleks indekseerida, ja hashget indekseerib selle (kui seda pole varem tehtud).

HashServer

Kõikide varukoopiate loomisel oleks üsna töömahukas täielikult indekseerida. Selleks on vaja alla laadida iga pakett, lahti pakkida, indekseerida. Seetõttu kasutab hashget skeemi, mille kohaselt HashServer. Kui avastatakse, et debian'i paketid on installitud ja kui neid kohalikest HashPackage'ist ei leia, siis proovib esmalt lihtsalt alla laadida HashPackage'i hash-serverilt. Ja ainult siis, kui see ei õnnestu, laadib hashget paketi alla ja hash'ib selle (ning laadib hashserverisse, et hashserver saaks seda hiljem edastada).

HashServer ei ole skeemi kohustuslik element, vaid mitte kriitiline, see on mõeldud ainult reposteede koormuse vähendamiseks ja kiirusel hoidmiseks. Seda saab hõlpsasti välja lülitada (valiku --hashserver ilma parameetriteta). Lisaks on kerge luua omaenda hashserver.

Inkrementaalsed ja diferentsiaalsed varukoopiad, kavandatud aegumise

hashget võimaldab väga lihtsalt moodustada skeemi inkrementaalsetest ja diferentsiaalsetest varukoopiatest. Miks mitte indekseerida oma varukaudu (kõik meie ainulaadsed failid)? Üks käsk --submit ja kõik on valmis! Järgmine varukoopia, mille hashget loob, ei sisalda faili sellest arhiivist.

Kuid see pole väga hea lähenemine, sest taastamisel võib juhtuda, et peame võtma kõik hashget-varukoopiad kogu ajaloo vältel (kui igas on vähemalt üks ainulaadne fail). Selleks on olemas mehhanism planeeritud varundamise aegumise aeg. Indekseerimise käigus saab määrata HashPackage aegumiskuupäeva --expires 2019-06-01, ja selle kuupäeva saabumisel (kell 00:00) ei kasutata seda enam. Arhiivi ei pea pärast seda kuupäeva kustutama (kuigi hashget võib mugavalt näidata URL-e kõigile varundustele, mis on aegunud või aeguvad hetkel või mis tahes kuupäeval).

Näiteks, kui 1. kuupäeval teha täisvarundus ja indekseerida see kuupäevas kuni kuu lõpuni — saame diferentsiaalsete varunduste plaani.

Kui indekseerida ka uusi varundusi — saame inkrementaalsete varunduste plaani.

Erinevalt traditsioonilistest plaanidest, võimaldab hashget kasutada mitmeid põhiallikasid. Varundus väheneb ka varasemate varunduste failide lisamise ja avalike failide (seda, mis on alla laaditav) kaudu.

Kui mingil põhjusel ei usalda me debiani ressursside usaldusväärsust (https://snapshot.debian.org/) või kasutame teist levitust, võime üks kord teha täieliku varunduse koos kõikide pakettidega ja seejärel toetuda sellele (deaktiveerides heuristika). Nüüd, kui kõik meie levitamise serverid ei ole meile ligipääsetavad (sarnaselt suveniiride Internetile või zombie-apokalüpsise korral), kuid meie varukoopiad on korras — saame taastuda mis tahes lühikesest diff-varukoopiatest, toetudes ainult meie varasematele varukoopiatele.

Hashget toetub ainult usaldusväärsetele taastamisallikatele VEESEDRI VALIKUL. Milliseid te usaldusväärseteks peate — need ka kasutatakse.

FilePool ja Glacier

Mehhanism FilePool võimaldab mitte pöörduda pidevalt väliste serverite poole pakettide allalaadimiseks, vaid kasutada pakette kohalikust kataloogist või ettevõtte serverist, näiteks:

$ hashget -u . --pool /tmp/pool

või

$ hashget -u . --pool http://myhashdb.example.com/

Kohalikku katalooge, mis moodustab puuli, on piisav lihtsalt luua kataloog ja sinna faile visata, hashget leiab ise vajaliku ülesande lõpuks. HTTP kaudu juurdepääsetava puu jaoks peab looma spetsiaalsed sümboolsed lingid, seda saab teha ühe käsklusega (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). HTTP FilePool ise on staatilised failid, seega saab selle teenindamiseks kasutada igasuguseid lihtsamaid veebiservereid, koormus serverile on peaaegu null.

FilePool võimaldab kasutada baasesemetena mitte ainult http(s) ressursse, vaid ka näiteks, Amazon Glacierit.

Pärast varukoopia üleslaadimist glaatsierisse saame selle Upload ID ja kasutame seda URL-ina. Näiteks:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

Nüüd toetuvad uued (diferentsiaalsed) varukoopiad sellele varukoopiale ja on lühemad. Pärast tar-i lahti pakkimist saame vaadata, millistele ressurssidele see toetub:

hashget --info /tmp/unpacked/ list

ja lihtsalt shell-skripti abil allalaadida glaatsierist kõik need failid puudu ja käivitada tavaline taastamine: hashget -u /tmp/unpacked --pool /tmp/pool

Kas see on vaeva väärt

Lihtsaimal juhul peate lihtsalt vähem maksma varukoopiate eest (kui hoidate neid kuskil pilves tasu eest). Võib-olla – palju vähem.

Kuid see ei ole veel kõik. Kvaliteet tuleneb hulgast. Saate seda kasutada, et saada kvaliteetset varukoopiate süsteemi uuendust. Näiteks kuna meie varukoopiad on nüüd lühemad — saab teha mitte igakuist, vaid igapäevast varukoopiat. Säilitada neid mitte kuue kuu, vaid viis aastat. Varem hoiti neid aeglases, kuid odavas „külmas” salvestuses (Glacier), nüüd saate hoida kuumas, kust saate alati kiiresti varukoopia alla laadida ja taastuda minutite jooksul, mitte päevade jooksul.

Saame suurendada varukoopiate salvestamise usaldusväärsust. Kui me praegu hoiame neid ühes salvestuses, siis vähendades varukoopiate mahtu — saame salvestada 2-3 salvestusse ja ellu jääda, kui üks neist kahjustub.

Kuidas proovida ja alustada kasutamist?

Mine GitLabi lehele https://gitlab.com/yaroslaff/hashget, installime ühe käsuga (pip3 install hashget[plugins]) ja lihtsalt loe ja tee seda quick-start. Arvan, et kõik lihtsad asjad saame teha — see võtab umbes 10-15 minutit. Seejärel saad proovida oma virtuaalmasinaid tihendada, teha, kui vajalik, viitamisi, et tihendamine oleks tugevam, mängida basseinide, kohaliku hash-databaasi ja hash-serveriga, kui see huvi pakub, ning järgmisel päeval vaadata, mis on inkrementaalse varukoopia suurus eile öösel.

Allikas: habr.com