NILFS2 - /home 用の防弾ファイル システム

ご存知のとおり、トラブルが起こる可能性があるなら、それは間違いなく起こります。 おそらく誰もが、最近の重要なファイルを誤って消去したり、テキスト エディタで誤ってテキストを選択して破壊したりした経験があるでしょう。

あなたがホスティング者または Web サイトの所有者であれば、おそらくユーザー アカウントまたは Web サイトのハッキングに遭遇したことがあるでしょう。 このような場合、時系列を復元し、攻撃者が使用した侵入方法と脆弱性を特定することが重要です。

NILFS2 ファイル システムは、このような問題を解決するのに最適です。

Linux カーネルにはバージョン 2.6.30 から存在しています。

このファイル システムの特徴は、バージョン管理システムに似ていることです。いつでもシステムの状態をロールバックして、少し前の状態を確認することができます。

この機能を提供するには、Cron スクリプトを構成したり、スナップショットを取得したりする必要はありません。 NILFS2 ファイル システムは、これをすべて単独で実行します。 十分なディスク空き容量がある場合は、古いデータを上書きすることはなく、常にディスクの新しい領域に書き込みます。 コピーオンライトの原則に完全に従っています。

実際、ファイルに変更を加えると、ファイル システムの新しいスナップショットが自動的に作成されるため、この FS をタイム マシンとして使用して、ファイルの状態を巻き戻すことができます。

ストーリー

NILFS2 は、 日本電信電話株式会社、実際、国有（経営権を持っている）であり日本最大の通信会社です。 具体的には、サイバースペース研究所のリーダーシップのもと、 小西隆介.

正確に何のために開発されたのかは不明ですが、「タイムマシン」機能を備えたこのような FS は、諜報機関が事件の全体像を再生するために掘り下げたいと考えているデータを保存するのに理想的であると推測できます。 SMS、電子メールなど...

NILFS2 は、メール データベース内の削除されたすべての手紙を復元できるため、内部セキュリティ サービスにとって非常に価値のあるツールになる可能性があります。これにより、後でファイルを削除または変更して隠蔽しようとする従業員の側枠を明らかにすることができます。

通信履歴全体を追跡するにはどうすればよいですか?Linux サーバー (内部セキュリティの目的で NILFS2 をインストールする必要があるサーバー) では、電子メールを保存するファイル方式が電子メール メッセージの保存によく使用されます。 いわゆるフォーマット Maildir形式。 入れるのに十分 宅配便メールサーバー そして、Maildir にメール ストレージを設定します。 その他の形式 mbox は、個々のメッセージに簡単に解析できる大きなテキスト ファイルです。

メールサーバーがデータベースを使用している場合、NILFS2 を使用すると、データベース変更の正確なタイミングを復元し、任意の時点でデータベースを復元できるようになります。 そして、データベース ツールを使用して、その時点で何が入っていたかを確認する必要があります...

しかし、何か問題が発生しました。 日本政府が（ヤロバヤの原則に従って）全員を監視することに方針を変えたか、従来の HDD での NILFS2 のパフォーマンスが標準以下であることが判明し、NILFS2 は GPL ライセンスの下でリリースされ、すぐに Linux カーネルに組み込まれたかのどちらかです。 Linux カーネルの開発者がそれを持っていなかったので、高度に修飾された日本語で書かれたコードについては特に不満はありませんでした。

NILFS2ってどんな感じですか？

使用の観点から: バージョン管理システム上で SVN。 各 FS チェックポイントは、削除、ファイルの内容の変更、アクセス権の変更など、何らかの変更があるたびに、ユーザーの知らないうちに自動的に作成されるコミットです。 各コミットには直線的に増加する番号が付いています。

プログラマーの観点から見ると、循環バッファーです。 ファイル システムは変更を蓄積し、約 8 MB (2000 * 4096、2000 はブロック内の要素の数、4096 はメモリ ページのサイズ) に相当するチャンクに書き込みます。 ディスク全体がこのようなチャンクに分割されます。 録音は順次進められます。 空き領域がなくなると、最も古いスナップショットが削除され、チャンクが上書きされます。

NILFS2 の基本グッズ

• バージョン管理!!!
• 障害後にファイル システムを復元する手順は簡単です。ロード時に、正しいチェックサムを持つ最後のチャンクが検索され、そこにスーパーブロックがインストールされます。 これはほぼ瞬時の操作です。
• 記録は常に直線的に進行するため、次のようになります。
  • ランダム書き込みが遅い SSD で実行すると良好な結果が得られます。
  • NILFS2 は書き込み倍率がほとんどないため、SSD リソースを節約します。
    より正確には、2 を超えません。実際、ディスク全体を周期的に書き換える場合、NILFS2 は変更不可能なデータを新しい部分 (チャンク) に転送します。

    ディスク上に 10% の不変データがある場合、10 回の完全な書き換えで 1% の書き込み増加が得られます。 ディスクの 50 回の完全な書き換えでは、デバイスの使用率が 50% の場合、1% 増加します。

    最大書き込みゲインは 2 です。すべてが順次書き込まれることを考慮すると、これは非常に低くなります。 一般に、書き込みアニメーションは、4096 バイトのセクターを持つ従来の断片化されたファイル システムよりも短くなります。 (インスピレーションを受けて考えた コメント).

• リモート NILFS2 FS へのレプリケーションの実装が容易になる可能性

/home 用 NILFS2

Unix 系のオペレーティング システムでは、通常、ユーザー データが保存される /home フォルダーがあります。 さまざまなプログラムがユーザー固有の設定をこのフォルダーに保存します。

そして、ユーザーではないとしても、最も頻繁に間違いを犯すのは誰でしょうか? したがって、彼らが言うように、神ご自身が /home で NILFS2 を使用するように命じました。

さらに、SSD の普及により、CoW ファイル システムを使用する際の深刻なドローダウンを心配する必要がなくなりました。

はい、ZFS と BTRFS では何度でも FS スナップショットを作成できますが、ファイルの変更がスナップショットの間に失われるリスクが常にあります。 そして、写真は依然として管理する必要があり、古い写真は削除する必要があります。 NILFS2 では、これらすべてが文字通り数秒ごとに自動的に行われます。

lvcreate を使用して論理ボリュームを作成しました (nvme ボリューム グループ、シン プール Thin)。 後で簡単に拡張できるため、lvm ボリューム上に作成することをお勧めします。 バージョンの深さを適切に保つために、NILFS50 では 2% の空きディスク容量を確保することをお勧めします。

lvcreate -V10G -T nvme/thin -n home

NILFS2でフォーマットしました：

mkfs.nilfs2 -L nvme_home /dev/nvme/home

mkfs.nilfs2 (nilfs-utils 2.1.5)
Start writing file system initial data to the device
      Blocksize:4096  Device:/dev/nvme/home1  Device Size:10737418240
File system initialization succeeded !!

この後、現在の /home からすべてのデータをコピーする必要があります。

これは、コンピューターを起動した直後、自分のアカウントに root ユーザーとしてログインする前に実行しました。 自分のユーザーとしてログインすると、一部のプログラムがユーザーの /home/user フォルダー内のソケットやファイルを開いてしまうため、クリーン コピーが困難になります。 ご存知のとおり、root ユーザーのホーム フォルダーは通常 /root パス上にあるため、/home パーティションではファイルは開きません。

mkdir /mnt/newhome
mount -t nilfs2 /dev/nvme/home /mnt/newhome
cp -a /home/. /mnt/newhome

最後の行については、を参照してください。 статью.

次に、/home のファイル システムがマウントされている /etc/fstab を次のように編集します。

/dev/disk/by-label/nvme_home /home nilfs2    noatime 0 0

オプション noatime ファイルにアクセスするたびに atime が変化しないようにパフォーマンスを向上させるために必要でした。 次に再起動します。

NILFS2 の画像の種類。

削除の影響を受けない通常のスナップショットは、チェックポイントまたは回復ポイントと呼ばれます。
自動削除から保護されたスナップショットはスナップショットと呼ばれ、単にスナップショットと呼ばれます。

チェックポイントの表示は、lscp コマンドを使用して行われます。

スナップショットの表示 lscp -s

以下を使用して、いつでもスナップショットとチェックポイントを自分で作成できます。

mkcp [-s] устройство

データを復元いたします。

NILFS を使用すると、メイン FS ブランチの操作と並行して、古いスナップショットを必要なだけマウントできます。 ただし読み取りモードのみ。

すべてはこのように配置されています。 NILFS2 が作成する通常のチェックポイントはいつでも (ディスク容量がなくなったとき、または nilfs_cleanerd ルールに従って) 自動的に削除できるため、インストール前にチェックポイントをスナップショットに変換するか、ロシア語でスナップショットをキャプチャする必要があります。

chcp ss номер_чекпоинта

その後、たとえば次のようにスナップショットをマウントできます。

mount -t nilfs2 -r -o cp=номер_чекпоинта /dev/nvme/home /mnt/nilfs/номер_чекпоинта

その後、復元されたファイルをスナップショットから /home にコピーします。
次に、将来自動ガベージ コレクターが古いデータを削除できるように、スナップショットから削除不可フラグを削除します。

chcp cp номер_чекпоинта

NILFS2用ユーティリティ

しかし、これが問題なのです。 はい、もちろん、ファイル システムの作成、オンラインでのサイズ変更、チャレンジポイントのリストの表示、作成と削除を行うことができます。 nilfs2-utils パッケージは、最小限の紳士セットを提供します。

NTT が資金を削減したため、ファイルの変更履歴を表示したり、スナップショット間の差分を作成したりできる、高速で低レベルのユーティリティはありません。

私のn2uユーティリティ

この真空を埋めるために私は書きました n2u ユーティリティ、特定のファイル/ディレクトリへの変更履歴を表示できます。

n2u log filename

出力は次のようになります。

          CHECKPOINT        DATE     TIME     TYPE          SIZE  MODE
             1787552  2019-11-24 22:08:00    first          7079    cp
             1792659  2019-11-25 23:09:05  changed          7081    cp

これは、選択した実装方法で非常に迅速に機能します。二分法を使用してファイル間の差異を検索し、異なるスナップショット内のファイル/ディレクトリを迅速にマウントして比較します。

キーを使用してチェックポイントの範囲を設定できます -cp CP1:CP2 または -cp {YEAR-MM-DD}:{YEAR-MM-DD}.

特定のファイルまたはディレクトリのチェックポイント間の違いを確認することもできます。

n2u diff -r cp1:cp2 filename

変更の全体的な年表、つまり特定のファイル/ディレクトリのチェックポイント間のすべての相違点を表示できます。

n2u blame [-r cp1:cp2] filename

このコマンドの日付間隔もサポートされています。

開発者への叫び

ハブレには多くの専門家がいます。 NILFS2を終了してください。 レプリケーション、リビジョン間の低レベルの高速差分、reflink などの優れた機能を作成します。

リファレンス

ニルフガード公式サイト.

リポジトリ:
ニルフス2.
NILFS2 ユーティリティとモジュール.

ニュースレター:
NILFS2開発者向け電子メールニュースレター。 linux-nilfs サブスクリプションの ID。
ニュースレターのアーカイブ.

nilfs_cleanerd セットアップガイド.
EXT4、Btrfs、XFS、NILFS2 パフォーマンス テストのベンチマーク.

ありがとう：

• NILFS2 開発者: 小西隆介、佐藤幸治、上村成彦、木原誠司、天貝良治、一二三久、森合聡。 他の主な寄稿者は、アンドレアス・ローナー、ダン・マギー、デヴィッド・アーレント、デヴィッド・スミッド、デクセン・デブリーズ、ドミトリー・スミルノフ、エリック・サンディーン、関場次郎、マッテオ・フリゴ、三竹仁、岩井隆、ヴャチェスラフ・ドゥベイコです。
• アンブリン・エンターテインメントとユニバーサル・ピクチャーズの素晴らしい映画シリーズに感謝します。 "バック・トゥ・ザ・フューチャー"。 投稿の最初の写真は映画『バック・トゥ・ザ・フューチャー3』からのもの。
• 企業 RUVDS サポートとハブレのブログで公開する機会を求めてください。

PS 間違いに気づいた場合は、プライベート メッセージで送信してください。 このために私はカルマを増やします。

次のサイトから仮想マシンを注文することで、NILFS2 を試すことができます。 RUVDS 下記クーポン付き。 すべての新規クライアントには 3 日間の無料試用期間があります。

出所： habr.com