ハッシュゲット - 無料のオープンソースです 重複排除機能 はアーカイバに似たユーティリティで、バックアップのサイズを大幅に削減したり、増分および差分バックアップ スキームなどを整理したりできます。

機能を説明する概要記事です。 hashget の実際の使用法 (非常に単純) は、次のとおりです。 README プロジェクトと ウィキドキュメント.

比較

ジャンルの法則に従って、すぐに陰謀から始めます - 結果を比較します。

データサンプル
開梱後のサイズ
.tar.gz
ハッシュゲット.tar.gz

WordPress-5.1.1
43 Mb
11MB (26%)
155 KB ( 視聴者の３８%が )

Linuxカーネル5.0.4
934 Mb
161MB (20%)
4.7MB ( 視聴者の３８%が )

Debian 9 (LAMP) LXC VM
724 Mb
165MB (23%)
4.1MB ( 視聴者の３８%が )

理想的かつ効果的なバックアップとはどのようなものであるべきかの背景

新しく作成した仮想マシンのバックアップを作成するたびに、何か間違ったことをしているという感覚に悩まされました。 私の貴重で朽ちることのない創造性が「Hello world」というテキストが含まれた XNUMX 行のindex.html であるシステムから、なぜ大量のバックアップを取得するのでしょうか?

バックアップに 16 MB の /usr/sbin/mysqld があるのはなぜですか? この世界で私がこの重要なファイルを保管する栄誉に浴することが本当に可能でしょうか？もし失敗したら、それは人類に失われることになるでしょうか？ おそらくノーです。 これは、信頼性の高い Debian サーバー (その信頼性と継続性は私が提供できるものとは比較できません) と、他の管理者のバックアップ (数百万台) に保存されています。 信頼性を向上させるために、この重要なファイルの最初のコピーを 10 個以上作成する必要があるでしょうか?

一般的に ハッシュゲット そしてこの問題を解決します。 圧縮すると、非常に小さなバックアップが作成されます。 開梱時 - 完全に開梱されたシステム。 tar -c / tar -x。 (つまり、ロスレスパッケージングです)

ハッシュゲットの仕組み

hashget には Package と HashPackage の概念があり、それらを利用して重複排除を実行します。

パッケージ （ビニール袋）。 インターネットから安全にダウンロードでき、XNUMX つ以上のファイルを取得できるファイル (通常は .deb または .tar.gz アーカイブ)。

ハッシュパッケージ — パッケージを表す小さな JSON ファイル。パッケージ URL とそこからのファイルのハッシュ サム (sha256) が含まれます。 たとえば、5 メガバイトの mariadb-server-core パッケージの場合、ハッシュパッケージのサイズはわずか 6 キロバイトです。 約XNUMX分のXNUMX以下です。

重複排除 — 重複ファイルのないアーカイブを作成します (重複排除ツールが元のパッケージをダウンロードできる場所を知っている場合、アーカイブから重複を減らします)。

包装

パックする際、パックされるディレクトリのすべてのファイルがスキャンされ、そのハッシュ合計が計算され、その合計が既知の HashPackage のいずれかで見つかった場合は、ファイルに関するメタデータ (名前、ハッシュ、アクセス権など) が保存されます。特別なファイル .hashget-restore.json 内にあり、これもアーカイブに含まれます。

最も単純なケースでは、パッケージ化自体は tar と同じように複雑に見えます。

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

Распаковка

開梱は XNUMX 段階で行われます。 まず通常の tar の解凍です。

tar -xf mybackup.tar.gz -C /path/to/data

次に、ネットワークから復元します。

hashget -u /path/to/data

復元するとき、hashget は .hashget-restore.json ファイルを読み取り、必要なパッケージをダウンロードして解凍し、必要なファイルを抽出して、必要な所有者、グループ、アクセス許可を使用して必要なパスにインストールします。

もっと難しいこと

「tar のようにしたいが、Debian を 4 メガバイトに詰め込みたい」人にとっては、上で説明した内容ですでに十分です。 後でさらに複雑なことを見てみましょう。

インデックス作成

hashget に単一の HashPackage がまったくない場合、何も重複を排除することはできません。

HashPackage を手動で作成することもできます (単純に: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my) ですが、もっと便利な方法があります。

必要なハッシュパッケージを取得するには、次の段階があります。 インデックス作成 (コマンドで自動的に実行されます) --pack）そして、 経験則。 インデックス作成時に、hashget は見つかった各ファイルを、そのファイルに関心のある利用可能なすべてのヒューリスティックに「フィード」します。 ヒューリスティックにより、任意の Package にインデックスを付けて HashPackage を作成できます。

たとえば、Debian ヒューリスティックはファイル /var/lib/dpkg/status を愛し、インストールされている Debian パッケージを検出し、インデックスが作成されていない場合 (それらに対して HashPackage が作成されていない場合)、ダウンロードしてインデックスを作成します。 その結果、非常に素晴らしい効果が得られます。hashget は、たとえ最新のパッケージを持っていたとしても、Debian OS を常に効果的に重複排除します。

ヒントファイル

ネットワークが独自のパッケージの一部、またはハッシュゲット ヒューリスティックに含まれていないパブリック パッケージを使用している場合は、次のように単純な hashget-hint.json ヒント ファイルをネットワークに追加できます。

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

次に、アーカイブが作成されるたびに、パッケージのインデックスが作成され (以前に作成されていない場合)、パッケージ ファイルがアーカイブから重複排除されます。 プログラミングは必要なく、vim からすべてを実行でき、すべてのバックアップに保存できます。 ハッシュサムアプローチのおかげで、パッケージの一部のファイルがローカルで変更された場合（たとえば、構成ファイルが変更された場合）、変更されたファイルは「そのまま」アーカイブに保存され、切り捨てられないことに注意してください。

独自のパッケージの一部が定期的に更新されるものの、変更がそれほど大きくない場合は、メジャー バージョンについてのみヒントを与えることができます。 たとえば、バージョン 1.0 では、mypackage-1.0.tar.gz を指すヒントが作成され、完全に重複排除されます。その後、わずかに異なるバージョン 1.1 がリリースされましたが、ヒントは更新されませんでした。 大丈夫です。 バージョン 1.0 に一致する (復元できる) ファイルのみが重複排除されます。

ヒント ファイルを処理するヒューリスティックは、ヒューリスティックがどのように機能するかの内部メカニズムを理解するための良い例です。 hashget-hint.json ファイル (またはドット付きの .hashget-hint.json) のみが処理され、その他はすべて無視されます。 このファイルから、どのパッケージ URL にインデックスを付ける必要があるかを決定し、hashget によってインデックスが作成されます (まだインデックスが作成されていない場合)。

ハッシュサーバー

バックアップを作成するときに完全なインデックス作成を実行すると、非常に労力がかかります。 これを行うには、各パッケージをダウンロードし、解凍し、インデックスを作成する必要があります。 したがって、hashget は次のスキームを使用します。 ハッシュサーバー。 インストールされた Debian パッケージが検出されたときに、それがローカルの HashPackage に見つからない場合は、まずハッシュ サーバーから HashPackage をダウンロードする試みが行われます。 これが機能しない場合にのみ、hashget 自体がパッケージをダウンロードしてハッシュします (そして、ハッシュサーバーにアップロードして、将来ハッシュサーバーがパッケージを提供します)。

HashServer はスキームのオプションの要素であり、重要ではありません。リポジトリの高速化と負荷の軽減のみを目的としています。 簡単に無効化 (オプション) --hashserver パラメータなし)。 さらに、簡単に 独自のハッシュサーバーを作成する.

増分バックアップと差分バックアップ、計画的な廃止

ハッシュゲット 図を作るのがとても簡単になります 増分バックアップと差分バックアップ。 バックアップ自体 (すべての一意のファイルを含む) にインデックスを付けてみませんか? XNUMXチーム --submit これで完了です！ hashget が作成する次回のバックアップには、このアーカイブのファイルは含まれません。

しかし、これはあまり良いアプローチではありません。復元するときに、履歴全体のすべてのハッシュジェット バックアップを取得する必要があることが判明する可能性があるからです (それぞれに少なくとも XNUMX つの一意のファイルが含まれている場合)。 これには仕組みがあります バックアップの計画的廃止。 インデックス作成時にHashPackageの有効期限を指定できます --expires 2019-06-01、この日付以降 (00:00 以降) は使用されなくなります。 この日付以降はアーカイブ自体を削除することはできません (ただし、hashget は、現時点または任意の日付で壊れている/壊れる予定のすべてのバックアップの URL を便利に表示できます)。

たとえば、1 日に完全バックアップを作成し、月末までの有効期間でインデックスを作成すると、差分バックアップ スキームが得られます。

新しいバックアップに同じ方法でインデックスを付けると、増分バックアップのスキームが作成されます。

従来のスキームとは異なり、hashget では複数の基礎となるソースを使用できます。 バックアップは、以前のバックアップからのファイル (存在する場合) とパブリック ファイル (ダウンロードできるもの) の両方によって削減されます。

何らかの理由で Debian リソースの信頼性が信頼できない場合 (https://snapshot.debian.org/) または別のディストリビューションを使用する場合は、すべてのパッケージを含む完全バックアップを XNUMX 回作成し、それを信頼することができます (ヒューリスティックを無効にすることで）。 これで、ディストリビューションのすべてのサーバーが (記念インターネット上またはゾンビの黙示録で) 利用できなくなった場合でも、バックアップが整っている場合は、以前のバックアップのみに依存する短い差分バックアップから回復できます。 。

Hashget は、お客様の裁量により、信頼できる回復ソースのみに依存します。 信頼できると判断したものが使用されます。

ファイルプールと氷河

Механизм ファイルプール これにより、パッケージをダウンロードするために常に外部サーバーに接続する必要がなく、ローカル ディレクトリまたは企業サーバーからパッケージを使用できます。次に例を示します。

$ hashget -u . --pool /tmp/pool

または

$ hashget -u . --pool http://myhashdb.example.com/

ローカル ディレクトリにプールを作成するには、ディレクトリを作成してそこにファイルを投入するだけです。hashget 自体がハッシュを使用して必要なものを見つけます。 HTTP 経由でプールにアクセスできるようにするには、特別な方法でシンボリックリンクを作成する必要があります。これは XNUMX つのコマンド (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool）。 HTTP FilePool 自体は静的ファイルであるため、単純な Web サーバーであればどれでもサービスを提供でき、サーバーの負荷はほぼゼロです。

FilePool のおかげで、http(s) リソースをベース リソースとして使用できるだけでなく、 例えば、アマゾン氷河。

バックアップを氷河にアップロードした後、そのアップロード ID を取得し、それを URL として使用します。 例えば：

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

現在、新しい (差分) バックアップはこのバックアップに基づいており、より短くなります。 tar で diffbackup を解凍すると、依存しているリソースがわかります。

hashget --info /tmp/unpacked/ list

そして、シェル スクリプトを使用して、これらすべてのファイルを Glacier からプールにダウンロードし、通常のリカバリを実行するだけです: hashget -u /tmp/unpacked —pool /tmp/pool

そのゲームにはろうそくの価値があるだろうか？

最も単純なケースでは、バックアップに支払う費用が単純に安くなります (バックアップをお金のためにクラウドのどこかに保存する場合)。 おそらくそれよりずっと少ないかもしれません。

しかし、それだけではありません。 量は質に変わります。 これを使用して、バックアップ スキームを高品質にアップグレードできます。 たとえば、バックアップが短くなったので、毎月のバックアップではなく、毎日のバックアップを作成できるようになりました。 以前のように5か月ではなく、XNUMX年間保管します。 以前は、速度は遅いが安価な「コールド」ストレージ (Glacier) に保存していましたが、現在はホット ストレージに保存できるようになり、そこからいつでもバックアップをすばやくダウンロードして、XNUMX 日ではなく数分で復元できます。

バックアップストレージの信頼性を高めることができます。 現在 2 つの保管施設に保管している場合、バックアップの量を減らすことで、3 ～ XNUMX つの保管施設に保管し、そのうちの XNUMX つが破損しても問題なく対処できるようになります。

試して使い始めるにはどうすればよいですか？

gitlabページに移動します https://gitlab.com/yaroslaff/hashget、コマンド XNUMX つでインストール (pip3 install hashget[plugins]) を読んで、クイックスタートを実行するだけです。 簡単な作業で10～15分程度かかると思います。 次に、仮想マシンの圧縮を試し、必要に応じて圧縮を強化するためにヒント ファイルを作成し、興味があればプール、ローカル ハッシュ データベース、ハッシュ サーバーを試し、翌日には増分バックアップのサイズを確認します。昨日の上位になります。

出所： habr.com