hashget on tasuta, avatud lähtekoodiga dedupleerija on arhiivijat meenutav utiliit, mis võimaldab oluliselt vähendada varukoopiate suurust ning korraldada inkrementaalsete ja diferentseeritud varukoopiate skeeme ja muud.

See on ülevaateartikkel funktsioonide kirjeldamiseks. Hashget'i kasutamine (ka üsna lihtne) on kirjeldatud näiteks, mis kuvatakse armatuurlaudade peal koos Prometheuse päringutega, mis täidavad armatuure. projekti ja wiki-dokumendis.

Võrdlus

Žanri seadusena alustan kohe intriigiga — tulemuste võrdlemisega:

Andmeproov
lahti pakkimise suurus
.tar.gz
hashget .tar.gz

WordPress-5.1.1
43 Mb
11 Mb ( 26% )
155 Kb ( 0.3% )

Linux kernel 5.0.4
934 Mb
161 Mb ( 20% )
4.7 Mb ( 0.5% )

Debian 9 (LAMP) LXC VM
724 Mb
165 Mb ( 23% )
4.1 Mb ( 0.5% )

Eellugu, milline peab olema ideaalne ja tõhus varukoopia

Iga kord, kui olen teinud varukoopia värskelt loodud virtuaalmasinast, ei andnud mulle rahu tunne, et ma teen midagi valesti. Miks on mul süsteemist, kus minu hindamatust surematust loomingust on ainult ühekordne index.html tekstiga "Tere maailm", massiivne varukoopia?

Miks on minu varukoopas 16-megabaidine /usr/sbin/mysqld? Kas tõesti just mulle on usaldatud selle olulise faili hoidmine, ja kui ma ei tule sellega toime - siis see kaob inimkonnale? Tõenäoliselt mitte. See on salvestatud usaldusväärsetesse debiani serveritesse (mille usaldusväärsus ja töökindlus ei ole võrreldav sellega, mida mina suudan pakkuda), ning ka teiste administraatorite varukoopiate (miljonite) hulka. Kas tõesti peame looma selle olulise faili 10 000 000 + 1’da koopia, et suurendada usaldusväärsust?

Üldiselt hashget lahendab selle probleemi. Pakendamisel - see loob väga väikese varukoopia. Lahtipakkimisel - täielikult lahti pakitud süsteemi, mis on sarnane sellele, mis oleks tar -c / tar -x. (Teisisõnu, tegemist on kaotamatult pakkimisega)

Kuidas hashget töötab

Hashget'il on mõisted Package ja HashPackage, millega see teostab dedupleerimist.

Package (pakett). Fail (tavaliselt .deb või .tar.gz arhiiv), mille saab usaldusväärselt veebist alla laadida ja mille põhjal saab ühe või rohkem faili.

HashPackage on väike JSON-fail, mis esindab Package'i, sealhulgas sisaldab paketi URL-i ja failide hashsumme (sha256) sellest. Näiteks mariadb-server-core paketi suurus on 5 megabaidi ja hashpackage suurus kokku vaid 6 kilobaiti. Umbes tuhat korda väiksem.

Dedupleerimine on arhiivi loomine ilma dubleeritud failideta (kui dedupleerija teab, kust originaalpaketti alla laadida, vähendab see arhiivis dubletteid).

Pakendamine

Pakkimisel vaadatakse üle kõik failid pakitavas kataloogis, arvutatakse nende hash-summad ja kui summa leitakse mõnest tuntud HashPackage'ist, salvestatakse faili metaandmed (nimi, hash, õigused jne) eraldi faili .hashget-restore.json, mis lisatakse samuti arhiivi.

Pakkimine iseenesest näeb kõige lihtsamal juhul välja nii nagu tar:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

Lahtipakkimine

Pakkimise taastamine toimub kahes etapis. Esiteks toimub tavaline tar'i pakkimine:

tar -xf mybackup.tar.gz -C /path/to/data

seejärel taastamine võrgust:

hashget -u /path/to/data

Taastamise käigus loeb hashget faili .hashget-restore.json, laadib vajalikud paketid alla, pakib need lahti ja ekstraheerib vajalikud failid, paigaldades need õigetele radadele soovitud omanik/gruppe/õigustega.

Rohkem keerulisi asju

See, mis eespool kirjas, on juba piisavalt hea neile, kes ütlevad: "tahan nagu tar, aga et pakiks mu Debiani 4 megabaidiga". Edasi vaatame keerulisemaid asju.

Indekseerimine

Kui hashget'il pole olnud ühtegi HashPackage'it, ei suudaks ta midagi deduplication'ida.

HashPackage'i saab luua ka käsitsi (lihtsalt: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), kuid on olemas mugavam tee.

Selleks, et saada vajalikud hashpackage'id, on etapp indekseerimine (see toimub automaatselt käsu juures --pack) ja heuristikas. Indekseerimise käigus "toidab" hashget iga leitud faili kõigile olemasolevatele heuristikatele, mis teda huvitavad. Heuristikad võivad seejärel indeksida mõne paketi, et luua HashPackage.

Näiteks, debian'i heuristika armastab faili /var/lib/dpkg/status ja tuvastab paigaldatud debian pakette ning kui neid ei ole indekseeritud (nende jaoks ei ole loodud HashPackage't), laadib ta need alla ja indekseerib. Tulemuseks on väga meeldiv efekt — hashget deduplication'i tõhusus debiani OS-idel, isegi kui nende peal on kõige uuemad paketid.

Viidatud failid (hint'id)

Kui teie võrgus kasutatakse mingit teie enda patenteeritud paketti või avalikku paketti, mis ei kuulu hashget'i heuristikasse, saate lisada sellesse lihtsa hint-faili hashget-hint.json järgmise näidisena:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

Edasi, iga kord, kui arhiivi luuakse, indekseeritakse pakett (kui see pole varem tehtud) ja paketi failid eemaldatakse arhiivist. Ei ole vajalik programmeerimine, kõik saab teha vim'i abil ja säästa igas varukoopia. Pange tähele, et tänu hash-skeemile, kui mõni paketi fail on lokaalselt muudetud (näiteks konfiguratsioonifail on muudetud), salvestatakse muudetud failid arhiivi "nagu on", neid ei vähendata.

Kui teie enda pakett uuendatakse regulaarsete vahega, kuid muudatused pole väga suured, saate anda vihje ainult põhiversioonide jaoks. Näiteks versioonis 1.0 tehti vihje, mis näitab mypackage-1.0.tar.gz, ning see indekseeritakse täielikult. Siis anti välja versioon 1.1, mis on veidi erinev, ja vihjet ei uuendatud. Ei ole hullu. Eemaldatakse ainult failid, mis kattuvad (mida saab taastada) versiooniga 1.0.

Viitamine, mis töötleb vihje-faili, on hea näide sisemise töö mehhanismist. See töötleb ainult failid hashget-hint.json (või .hashget-hint.json punktiga) ja ignoreerib kõike muud. Selle faili järgi määrab ta, milline paketi URL peab olema indekseeritud, ja hashget indekseerib selle (kui see pole varem tehtud).

HashServer

Arhiivide loomisel oleks üsna töömahukas täielikult indekseerimist teostada. Selleks peaks alla tõmbama iga paketi, lahtipakkima, indekseerima. Seetõttu kasutab hashget skeemi koos HashServer. Kui leitud on olemasolev debian'i pakett, kui seda ei leita kohalikest HashPackage'dest, üritatakse esmalt lihtsalt alla laadida HashPackage hash-serverist. Ja alles siis, kui see ei õnnestu, laadib hashget paketi alla ja hashib selle (ning laadib selle hashserverisse, et tulevikus hashserver seda edastaks).

HashServer ei ole skeemi kohustuslik element, see ei ole kriitiline, vaid teenib vaid kiirendamise ja koormuse vähendamise eesmärki hoidlatele. Kergesti deaktiveeritav (valiku abil --hashserver ilma parameetriteta). Lisaks saab hõlpsasti luua omaenda hashserveri.

Inkrementaalne ja diferentseeritud varukoopiad, planeeritud aegumine

hashget kergendab väga hõlpsasti skeemi inkrementaalsete ja diferentseeritud varukoopiate. Miks mitte indekseerida oma varukoopia (koos meie ainulaadsete failidega)? Üks käsk --submit Ja kõik on valmis! Järgmine varukoopia, mille hashget loob, ei sisalda selle arhiivi faile.

Kuid see ei ole väga hea lähenemine, sest võib juhtuda, et taastamisel peame läbi vaatama kõik hashget varukoopiad kogu ajaloo vältel (kui igas neist on vähemalt üks ainulaadne fail). Selle jaoks on olemas mehhanism plaanitud varukoopiate vananemiseks. Indekseerimisel saab määrata HashPackage'i vananemise kuupäeva --expires 2019-06-01, ja selle kuupäeva saabudes (kell 00:00) ei kasutata seda enam. Tõeliselt arhiivimist pärast seda kuupäeva pole vaja (kuigi hashget võib mugavalt näidata URL-e kõigile varukoopiatele, mis on meil kehtetu/dalev kas olnud või mis lähevad kehtetuks igal kuupäeval).

Näiteks, kui esimesel päeval teha täisvarukoopia ja indekseerida see eluajaga kuu lõpuni — saame diferentsiaalsete varukoopiate skeemi.

Kui indekseerime ka uusi varukoopiaid — siis on tegemist inkrementaalsete varukoopiate skeemiga.

Erinevalt traditsioonilistest skeemidest võimaldab hashget kasutada mitmeid põhiallikate allikaid. Varukoopia vähendatakse ka eelnevate varukoopiate (kui neid on) failide vähendamise tõttu ja avalike failide (need, mida saab alla laadida) tõttu.

Kui mingil põhjusel ei usalda me debiani ressursside usaldusväärsust (https://snapshot.debian.org/) või kasutame teist distributsiooni, saame lihtsalt ühe korra teha täisvarukoopia koos kõigi pakettidega ja toimetada vaid selle pealt (deaktiveerides heuristiku). Nüüd, kui kõik meie distributsioonide serverid osutuvad meile kättesaamatuks (suveniiride Internetis või zombiapokalüpsises), kuid meie varukoopiad on korras — saame taastuda igast lühikesest diff-varukoopiast, tuginedes ainult meie varasematele varukoopiatele.

Hashget toetub ainult teie valikul usaldusväärsetele taastamisallikatele. Milliseid te usaldusväärseteks peate — need ka kasutatakse.

FilePool ja Glacier

Mehhanism FilePool kõrvaldab vajaduse pidevalt välistele serveritele pöörduda, et alla laadida pakette, ning võimaldab kasutada pakette kohalikust kataloogist või ettevõtte serverist, näiteks:

$ hashget -u . --pool /tmp/pool

või

$ hashget -u . --pool http://myhashdb.example.com/

Kohalikus kataloogis poodi loomiseks on piisav lihtsalt katalooge luua ja sinna faile visata, hashget leiab ise vajalikud failid seotud hash'ide kaudu. HTTP kaudu kergesti kätte saadava poori loomiseks peab loomisel spetsiaalselt sümboolseid linke seadistama, selleks piisab ühest käsklusest (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). HTTP FilePool on staatilised failid, seega võib seda teenindada ükskõik milline lihtne veebiserver, serveri koormus on peaaegu olematu.

FilePooli tõttu saab kasutada baassaidena mitte ainult http(s) ressursse, vaid ka, näiteks, Amazon Glacierit.

Pärast varukoopia üleslaadimist glaciaresse saame Upload ID ja kasutame seda URL-ina. Näiteks:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

Nüüd tuginevad uued (diferentsiaal) varukoopiad sellele varukoopiale ja need on lühemad. Pärast tar'i lahtipakkimist saame vaadata, millele see tugineb:

hashget --info /tmp/unpacked/ list

ja lihtsalt shell-skripti abil alla laadida need failid glaciersist poodi ja käivitada tavaline taastamine: hashget -u /tmp/unpacked --pool /tmp/pool

Kas see on seda väärt?

Lihtsas olukorras maksate lihtsalt vähem varukoopiate eest (kui salvestate neid kuskile pilves, mis maksab). Võib-olla isegi palju vähem.

Aga see pole veel kõik. Hulka muudete kvaliteediks. Saate seda kasutada, et saavutada kvaliteetne varukoopiate uuendus. Näiteks, kuna varukoopiad on nüüd lühemad - saate teha mitte igakuist varukoopiat, vaid igapäevast. Hoida neid mitte kuue kuu, vaid viie aasta jooksul. Varem hoiti aeglasemas, kuid odavas "külmas" salvestuses (Glacier), nüüd saate hoida kuumas, kust varukoopiaid saab alati kiiresti alla laadida ja taastuda minutitega, mitte päeva.

Saate suurendada varukoopiate säilitamise usaldusväärsust. Kui praegu hoiame neid ühes salvestuses, siis lühendades varukoopiate mahtu - saame hoida 2-3 salvestuses ja taluda ilma probleemideta, kui üks neist kahjustub.

Kuidas proovida ja alustada kasutamist?

Külastage GitLabi lehte https://gitlab.com/yaroslaff/hashget, installige see ühe käsklusega (pip3 install hashget[plugins]) ja lihtsalt loeme ja järgime quick-start'i. Arvan, et kõik lihtsad asjad, mida teha — võtavad 10-15 minutit. Siis saab proovida oma virtuaalmasinaid tihendada, teha vajadusel hint-faile, et nõrgem tihendamine ei toimuks, mängida basseinide, kohaliku hash'i andmebaasi ja hash-serveriga, kui see huvi pakub, ja järgmisel päeval vaadata, kui suur on inkrementaalse varukoopia suurus eelmise päeva peale.

Allikas: habr.com