hashget — это бесплатный, оперсорсный deduplicator ndi chida chofanana ndi chosungira chomwe chimakupatsani mwayi wochepetsera kukula kwa zosunga zobwezeretsera, komanso kukonza njira zosunga zobwezeretsera ndi zina zambiri.

Это обзорная статья для описания возможностей. Само использование hashget (довольно простое) описано в YERENGANI polojekiti ndi wiki zolemba.

Kuyerekeza

Malinga ndi lamulo la mtunduwo, ndiyamba nthawi yomweyo ndi chiwembu - kuyerekeza zotsatira:

Zitsanzo za data
saizi yosapakidwa
.tar.gz
hashget.tar.gz

WordPress-5.1.1
43 Mb
11 Mb (26%)
155 KB ( 0.3% )

Linux kernel 5.0.4
934 Mb
161 Mb (20%)
4.7 MB ( 0.5% )

Debian 9 (LAMP) LXC VM
724 Mb
165 Mb (23%)
4.1 MB ( 0.5% )

Предыстория, каким должен быть идеальный и эффективный бэкап

Nthawi zonse ndikapanga zosunga zobwezeretsera zamakina omwe adangopangidwa kumene, ndidakhumudwa ndikumva kuti ndikuchita cholakwika. Chifukwa chiyani ndimapeza zosunga zobwezeretsera kuchokera kudongosolo, pomwe luso langa lamtengo wapatali, losawonongeka ndi index.html ya mzere umodzi wokhala ndi mawu akuti "Moni dziko"?

Chifukwa chiyani pali 16 MB /usr/sbin/mysqld pakusunga kwanga? Kodi ndizotheka kuti padziko lapansi pano ndili ndi ulemu wosunga fayilo yofunikayi, ndipo ngati ndilephera, idzatayika kwa anthu? Mosakayika ayi. Zimasungidwa pa ma seva odalirika a debian (kudalirika ndi nthawi yake yomwe sikungafanane ndi zomwe ndingapereke), komanso muzosunga (mamiliyoni) a ma admins ena. Kodi tifunikadi kupanga 10+ 000st kopi ya fayilo yofunikayi kuti ikhale yodalirika?

Nthawi zambiri hashget ndikuthetsa vutoli. Ikadzaza, imapanga zosunga zobwezeretsera zazing'ono. Mukamasula - dongosolo losatsegulidwa kwathunthu, lofanana ndi momwe zingakhalire ngati tar -c / tar -x. (Mwa kuyankhula kwina, uku ndi kuyika kwapang'onopang'ono)

Как работает hashget

hashget ili ndi malingaliro a Package ndi HashPackage, mothandizidwa ndi iwo imachita kubwereza.

phukusi (thumba la pulasitiki). Fayilo (kawirikawiri ndi .deb kapena .tar.gz archive) yomwe imatha kutsitsidwa motetezedwa kuchokera pa intaneti, ndi komwe fayilo imodzi kapena angapo angapezeke.

HashPackage — небольшой JSON файл, представляющий Package, в том числе содержащий URL пакета и хеш-суммы (sha256) файлов из него. Например, для пакета mariadb-server-core размером 5 мегабайт размер hashpackage всего 6 килобайт. Примерно в тысячу раз меньше.

Kuchepetsa - kupanga zolemba zakale popanda mafayilo obwereza (ngati deduplicator akudziwa komwe phukusi loyambirira lingatsitsidwe, limachepetsa zobwerezedwa kuchokera pazosungidwa).

Kupaka

При запаковке просматриваются все файлы из пакуемого каталога, считаются их хеш-суммы, и если сумма найдена в одном из известных HashPackage, то метаданные о файле (имя, хеш, права доступа итд) сохраняются в особый файл .hashget-restore.json, который тоже будет включен в архив.

Mwachidule, kulongedza pakokha kumawoneka kosavuta kuposa tar:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

Kutulutsa

Kumasula kumachitika m'magawo awiri. Choyamba, kuchotsa phula kwachizolowezi:

tar -xf mybackup.tar.gz -C /path/to/data

kenako bwezeretsani kuchokera pa netiweki:

hashget -u /path/to/data

При восстановлении hashget читает файл .hashget-restore.json, скачивает необходимые пакеты, распаковывает их, и извлекает необходимые файлы, устанавливая их на нужные пути, с нужными owner/group/permissions.

Zinthu zovuta kwambiri

Zomwe zafotokozedwa pamwambapa ndizokwanira kwa iwo omwe "akufuna ngati phula, koma kunyamula Debian yanga kukhala ma megabytes 4." Tiyeni tione zinthu zovuta kwambiri pambuyo pake.

Kufotokozera

Ngati hashget inalibe HashPackage imodzi, ndiye kuti sikanatha kubwereza chilichonse.

Mutha kupanganso HashPackage pamanja (mwachidule: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), koma pali njira ina yabwino.

Kuti mupeze hashpackage yofunikira, pali siteji indexing (zimangochitika zokha ndi lamulo --pack) ndi эвристики. При индексировании hashget «скармливает» каждый найденный файл всем имеющимся эвристикам, которым он интересен. Эвристики затем могут проиндексировать какой-либо Package, чтобы создать HashPackage.

Mwachitsanzo, Debian heuristic imakonda fayilo /var/lib/dpkg/status ndipo imazindikira phukusi la debian, ndipo ngati silinalembedwe (palibe HashPackage yomwe idapangidwira), koperani ndikuwalozera. Zotsatira zake ndi zabwino kwambiri - hashget nthawi zonse imatulutsa ma Debian OSes, ngakhale atakhala ndi mapaketi aposachedwa.

Fayilo zowonetsera

Ngati netiweki yanu imagwiritsa ntchito zina mwazinthu zanu kapena phukusi la anthu onse lomwe silinaphatikizidwe mu hashget heuristics, mutha kuwonjezera fayilo yosavuta ya hashget-hint.json motere:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

Kenako, nthawi iliyonse pomwe zosungira zimapangidwira, phukusili liziwonetsedwa (ngati silinakhalepo kale), ndipo mafayilo a phukusi adzachotsedwa pankhokwe. Palibe mapulogalamu omwe amafunikira, chilichonse chikhoza kuchitika kuchokera ku vim ndikusunga pazosunga zonse. Chonde dziwani kuti chifukwa cha njira ya hash sum, ngati mafayilo ena a phukusi asinthidwa kwanuko (mwachitsanzo, fayilo yosinthira yasinthidwa), ndiye kuti mafayilo osinthidwa adzasungidwa muakale "monga momwe aliri" ndipo sadzadulidwa.

Если какой-то ваш собственный пакет обновляется периодически, но изменения не очень большие, можно делать hint только для основных версий. Например, в версии 1.0 сделали хинт с указанием на mypackage-1.0.tar.gz, и она будет полностью дедуплицироваться, затем выпустили версию 1.1, которая немного отличается, а хинт не обновили. Ничего страшного. Дедуплицируются только файлы, которые совпадают (которые можно восстановить) с версией 1.0.

The heuristic yomwe imayendetsa fayilo yachidziwitso ndi chitsanzo chabwino chomvetsetsa momwe ma heuristics amagwirira ntchito. Imangokonza mafayilo a hashget-hint.json (kapena .hashget-hint.json yokhala ndi kadontho) ndikunyalanyaza ena onse. Kuchokera pafayiloyi, imatsimikizira kuti ndi URL yanji yomwe iyenera kulembedwa, ndikuyika hashget (ngati sinatero kale)

HashServer

Zingakhale zovutirapo kwambiri kuti mupange indexing yonse popanga zosunga zobwezeretsera. Kuti muchite izi, muyenera kutsitsa phukusi lililonse, kulimasula, ndikulilozera. Chifukwa chake hashget amagwiritsa ntchito chiwembu ndi HashServer. Phukusi la Debian likapezeka, ngati silipezeka mu HashPackage yakomweko, kuyesa kumapangidwa koyamba kutsitsa HashPackage kuchokera pa seva ya hashi. Ndipo pokhapokha ngati izi sizikugwira ntchito, hashget imatsitsa ndikutsitsa phukusi (ndikuyika ku hashserver, kotero kuti hashserver imakupatsirani mtsogolo).

HashServer ndichinthu chosankha pachiwembu, osati chovuta, chimangothandiza kufulumizitsa ndikuchepetsa katundu pazosungira. Zoyimitsidwa mosavuta (posankha --hashserver popanda magawo). Komanso, inu mosavuta pangani hashserver yanu.

Zosunga zobwezeretsera zowonjezera komanso zosiyana, zomwe zidakonzedweratu

hashget zimapangitsa kukhala kosavuta kupanga chojambula ma backups owonjezera komanso osiyanasiyana. Почему бы нам не проиндексировать сам наш бэкап (со всеми нашими уникальными файлами)? Одна команда --submit ndipo mwamaliza! Zosunga zobwezeretsera zomwe hashget imapanga siziphatikiza mafayilo omwe ali patsamba lino.

Koma iyi si njira yabwino kwambiri, chifukwa zitha kuwoneka kuti pakubwezeretsa tidzayenera kukoka ma backups onse a hashget m'mbiri yonse (ngati iliyonse ili ndi fayilo imodzi yokha). Pali njira ya izi kutha kwa zosunga zobwezeretsera. При индексировании можно указать дату устаревания HashPackage --expires 2019-06-01, и по наступлению этой даты (c 00:00), он не будет использован. Сам архив можно после этой даты не удалять (Хотя hashget может удобно показать URLы всех бекапов, которые у нас протухли/протухнут на данный момент или на любую дату).

Например, если 1го числа делать фулл бэкап, и индексировать его со временем жизни до конца месяца — мы получим схему дифференциального бэкапа.

Ngati tilozera zosunga zobwezeretsera zatsopano mwanjira yomweyo, padzakhala chiwembu cha zosunga zobwezeretsera zowonjezera.

Mosiyana ndi machitidwe azikhalidwe, hashget imakupatsani mwayi wogwiritsa ntchito magwero angapo. Kusungako kudzachepetsedwa pochepetsa mafayilo kuchokera pazosunga zakale (ngati zilipo) komanso mafayilo apagulu (zomwe zingatsitsidwe).

Ngati pazifukwa zina sitikhulupirira kudalirika kwa zinthu za Debian (https://snapshot.debian.org/) или использует другой дистрибутив, мы просто можем один раз сделать полный бэкап со всеми пакетами, и далее опираться уже на него (mwa kulepheretsa heuristics). Tsopano, ngati ma seva onse omwe timagawira sapezeka kwa ife (pa intaneti yachikumbutso kapena panthawi ya zombie apocalypse), koma zosunga zobwezeretsera zathu zili m'dongosolo, titha kuchira ku zosunga zobwezeretsera zazifupi zomwe zimadalira zosunga zathu zakale. .

Hashget imangodalira magwero odalirika obwezeretsa pakufuna KWANU. Zomwe mukuwona kuti ndi zodalirika zidzagwiritsidwa ntchito.

FilePool ndi Glacier

Njira FilePool позволяет не обращаться постоянно к внешним серверам для скачивания пакетов, а использовать пакеты из локального каталога или корпоративного сервера, например:

$ hashget -u . --pool /tmp/pool

kapena

$ hashget -u . --pool http://myhashdb.example.com/

Kuti mupange dziwe muzolemba zakomweko, muyenera kungopanga chikwatu ndikuponyamo mafayilo; hashget yokha ipeza zomwe ikufunika pogwiritsa ntchito ma hashes. Kuti dziwe lipezeke kudzera pa HTTP, muyenera kupanga ma symlink mwapadera; izi zimachitika ndi lamulo limodzi (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). HTTP FilePool palokha ndi mafayilo osasunthika, kotero seva iliyonse yosavuta ya intaneti imatha kuigwiritsa ntchito, katundu pa seva ndi pafupifupi zero.

Благодаря FilePool в качестве базовых ресурсов можно использовать не только ресурсы на http(s), но и, Mwachitsanzo, Amazon Glacier.

Pambuyo pokweza zosunga zobwezeretsera ku glacier, timapeza ID yake Yotsitsa ndikuigwiritsa ntchito ngati ulalo. Mwachitsanzo:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

Tsopano zosunga zobwezeretsera zatsopano (zosiyana) zidzatengera zosunga zobwezeretsera izi ndipo zidzakhala zazifupi. Pambuyo potsegula diffbackup, titha kuwona zomwe zimadalira:

hashget --info /tmp/unpacked/ list

и просто шелл-скриптом скачать из гласьера все эти файлы в pool и запустить обычное восстановление: hashget -u /tmp/unpacked —pool /tmp/pool

Kodi masewerawa ndi ofunika kandulo?

Muzosavuta, mudzangolipira zochepa pazosunga zosunga zobwezeretsera (ngati muwasunga kwinakwake mumtambo kuti mupeze ndalama). Mwina kwambiri, mocheperapo.

Koma si chinthu chokhacho. Kuchuluka kumasanduka khalidwe. Mutha kugwiritsa ntchito izi kuti mukweze kukweza kwapamwamba kwambiri ku dongosolo lanu losunga zobwezeretsera. Mwachitsanzo, popeza zosunga zathu ndizofupikitsa, sitingathe kupanga zosunga zobwezeretsera pamwezi, koma tsiku lililonse. Osawasunga kwa miyezi isanu ndi umodzi, monga kale, koma zaka 5. M'mbuyomu, mudasunga pang'onopang'ono koma motsika mtengo "ozizira" yosungirako (Glacier), tsopano mukhoza kuisunga kumalo otentha, kumene mungathe kukopera mwamsanga zosunga zobwezeretsera ndikuzibwezeretsa mumphindi, osati tsiku limodzi.

Mutha kuwonjezera kudalirika kwa zosunga zobwezeretsera. Ngati pakali pano tikuzisunga m'malo amodzi osungira, ndiye kuti pochepetsa kuchuluka kwa zosunga zobwezeretsera, tidzatha kuzisunga m'malo osungiramo 2-3 ndikupulumuka mopanda ululu ngati imodzi mwazowonongeka.

Momwe mungayesere ndikuyamba kugwiritsa ntchito?

Pitani ku tsamba la gitlab https://gitlab.com/yaroslaff/hashget, ikani ndi lamulo limodzi (pip3 install hashget[plugins]) ndipo ingowerengani ndikuyambitsa mwachangu. Ndikuganiza kuti zidzatenga mphindi 10-15 kuchita zinthu zosavuta zonse. Ndiye mutha kuyesa kufinya makina anu enieni, pangani mafayilo amalingaliro ngati kuli kofunikira kuti kukakamiza kukhale kolimba, kusewera ndi maiwe, malo osungirako zinthu zakale ndi seva ya hashi ngati mukufuna, ndipo tsiku lotsatira muwone kukula kwa zosunga zobwezeretsera. adzakhala pamwamba pa dzulo.

Source: www.habr.com