NILFS2 - kuulkaitsefailisüsteem /home jaoks

Nagu teada, kui on oht, et midagi halba juhtub, siis see kindlasti juhtub. Ehk on igaühel olnud juhtumeid, kui oluline uus fail on kogemata kustutatud või kui tekst on juhuslikult tekstiredaktoris välja valitud ja hävitatud.

Kui olete hostija või veebisaidi omanik, siis olete tõenäoliselt kokku puutunud kasutajakontode või oma saidi häkkimisega. Sellistes olukordades on oluline taastada ajaloo, leida sisse tungimise viis ja haavatavus, mida kurjategija kasutas.

Sarnaste probleemide lahendamiseks sobib suurepäraselt failisüsteem NILFS2.

See on olemas Linuxi tuumas alates versioonist 2.6.30.

Selle failisüsteemi eripära on see, et see sarnaneb versioonihaldussüsteemile: saate alati süsteemi olekule tagasi rullida ja vaadata, milline see mõni aeg tagasi oli.

Selle funktsionaalsuse tagamiseks ei ole teil vaja seadistada Cron-skeeme, teha snapshots jne. Failisüsteem NILFS2 teeb kõike ise. See ei kunagi üle kirjuta vanu andmeid ja kirjutab alati uusi andmeid uutesse ketta piirkondadesse, kui piisavalt kettaruum on vaba. Täpselt kooskõlas Copy-on-Write põhimõttega.

Tegelikult toob faili iga muutmine automaatselt kaasa uue failisüsteemi pildi loomise, seega saate kasutada seda failisüsteemi kui ajakapslit ja tagasi rullida failide olekuid.

Ajalugu

NILFS2 töötati välja Nippon Telegraph and Telephone Corporation, mis on tegelikult riigihankija (tal on kontrollpakett) ja Jaapani suurim telekommunikatsiooniettevõte. Täpsemalt CyberSpace Laboratories laboris, Ryusuke Konishi juhendamisel. Kuidas konkreetselt seda arendati, ei ole teada, kuid võib eeldada, et sarnane failisüsteem, millel on "ajamasina" funktsioon, on ideaalne andmete salvestamiseks, kuhu võivad spetsiaalsed teenistused soovida süüvida, et taasesitada kogu SMS-ide, e-kirjade jne ajalugu....

NILFS2 on samuti potentsiaalselt väga väärtuslik tööriist sisejulgeoleku teenistuste jaoks, kuna see võimaldab taastada kõik kustutatud kirjad postituse andmebaasis, paljastada töötajate eksimusi, kes võivad hiljem proovida neid varjata, kustutades või muutes oma faile.

Kuidas jälgida kogu suhtluse ajalugu.

Kuidas saada jälgida kogu suhtluse ajaluguLinuxi serverites (just sinna on soovitatav paigaldada NILFS2 sisemise turvalisuse eesmärkidel) kasutatakse e-kirjade salvestamiseks väga tihti failipõhist salvestusmeetodit. Nii nimetatud formaat Maildir. Piisab, kui seadistada Courier Mail Server ja konfigureerida kirjade salvestamine Maildir'is. Teine formaat mbox on suur tekstifail, mida on kerge analüüsida eraldi sõnumiteks.

Kui aga postiserver kasutab andmebaasi, siis NILFS2 annab võimaluse taastada täpse muudatuste ajakava andmebaasis ning võimaluse taastada andmebaasi igal hetkel. Ja seejärel tuleb kasutada andmebaasi tööriistu, et vaadata, mis sellel ajal seal oli...

Siiski läks midagi valesti. Kas Jaapani valitsus otsustas mitte kõiki jälgida (nagu Jarovõi põhimõte), või oli NILFS2 jõudlus traditsioonilistel HDD-del äärmiselt madal ning NILFS2 vabastati GPL litsentsi alusel ning jõudis kiiresti Linuxi tuumasse, kuna arendajatel ei olnud erilisi pretensioone kõrge kvalifikatsiooniga jaapanlaste kirjutatud koodi suhtes.

Millele sarnaneb NILFS2?

Kasutamise seisukohalt: versioonihaldussüsteemile SVN. Iga FS kontrollpunkt on automaatselt tehtud commit, mis toimub ilma kasutaja teadmata igasuguste muudatuste korral: olgu need siis failide kustutamine, sisu muutmine või õiguste muutmine. Igal commit'il on number, mis suureneb lineaarselt.

Programmeeri vaatepunktist: ringikujuline puhversüsteem. Failisüsteem kogub muudatusi ja salvestab need tükki, mis on enam-vähem 8 MB (2000 * 4096, kus 2000 on elemendid plokis ja 4096 on mälu lehe suurus). Kogu ketas on jagatud sellisteks tükkideks. Kirjutamine toimub järjestikku. Kui vabade kohtade maht lõppeb, siis vanimad pildid kustutatakse ja tükid kirjutatakse üle.

NILFS2 peamised eelised

• Versioonilisus!!!
• Failisüsteemi taaste protseduur pärast riket on elementaarne: laadimise ajal otsitakse viimane tükk, millel on õige kontrollsumm ja sellele installitakse superplokk. See on praktiliselt hetkeline operatsioon.
• Kuna kirjutamine toimub alati lineaarselt, siis:
  • võib näidata häid tulemusi SSD-dega töötamisel, aeglase juhusliku kirjutamise korral.
  • NILFS2 säästab SSD ressurssi, kuna kirjutamise mitmekordistumise tegur on praktiliselt puudulik.
    Täpsemalt öeldes ei ületa see 2.As a result of cyclically rewriting the entire disk, NILFS2 will move immutable data to new chunks.

    If we have 10% of unchanging data on the disk, we will see a 10% increase in writing after one full rewrite. And a 50% increase when the device is 50% full during one full disk rewrite.

    The maximum write amplification factor is 2. This is quite low considering that everything is written sequentially. Overall, write amplification will be less than that of a regular fragmented FS with a 4096-byte sector. comment).

• The potential simplicity of implementing replication on a remote NILFS2 FS

NILFS2 for /home

In Unix-like OS, there is usually a /home folder where user data is stored. Various programs save their settings related to specific users in this folder.

And who, if not users, usually makes mistakes? So, as they say, it’s a divine command to use NILFS2 on /home.

Moreover, with the widespread adoption of SSDs, we no longer have to worry about significant drops in performance when using CoW file systems.

Yes, we can create snapshots of the FS as often as we want in ZFS and BTRFS, but there's always a risk that a lost file change will be between snapshots. And snapshots need to be managed: deleting the old ones. In NILFS2, all this happens automatically, literally every few seconds.

I created a logical volume using lvcreate (in the nvme volume group, thin pool). I recommend creating it specifically on an LVM volume, as it can be easily expanded later. I suggest keeping 50% of free disk space on NILFS2 for a decent versioning depth.

lvcreate -V10G -T nvme/thin -n home

and formatted it to NILFS2:

mkfs.nilfs2 -L nvme_home /dev/nvme/home

mkfs.nilfs2 (nilfs-utils 2.1.5)
Start writing filesystem initial data to the device
      Blocksize: 4096  Device: /dev/nvme/home1  Device Size: 10737418240
Filesystem initialization succeeded !!

After that, you need to copy all data from the current /home.

Tehtud kohe pärast arvuti käivitamist, enne oma kontole sisenemist, kasutades root-kasutajat. Kui ma oleksin sisse loginud oma kasutajaga, oleksid mõned programmid avanud sokid ja failid minu kasutaja /home/user kaustas, mis oleks teinud puhta kopeerimise keeruliseks. Nagu on teada, asub root-kasutaja kodukaust tavaliselt teel /root, seega ei avata mitte mingeid faile /home jaos.

mkdir /mnt/newhome
mount -t nilfs2 /dev/nvme/home /mnt/newhome
cp -a /home/. /mnt/newhome

Seoses viimase reaga vt. artiklit.

Seejärel muudame /etc/fstab, kus on määratud failisüsteem /home jaoks, aadressil

/dev/disk/by-label/nvme_home /home nilfs2    noatime 0 0

Valik noatime on vajalik jõudluse suurendamiseks, et failide juurde pääsemisel ei muudetaks atime’i. Seejärel taaskäivitage.

NILFS2 pilditüübid.

Tavalist pilti ilma kustutamise immuunsuseta nimetatakse kontrollpunktiks (checkpoint või taastamiskoht).
Pilt, millel on kaitse automaatse kustutamise eest, nimetatakse jäädvustamiseks (snapshot), edaspidi lihtsalt pildiks.

Kontrollpunktide vaatamine toimub käsu lscp abil

Piltide (jäädvustuste) vaatamine lscp -s

Saame ka ise luua pilte ja kontrollpunkte igal ajal, kasutades:

mkcp [-s] seade

Taastame andmed.

NILFS võimaldab meil monteerida nii palju vanu pilte paralleelselt põhiharudega, kuid ainult lugemisrežiimis.

Kogu süsteem on selline. Tavalised kontrollpunktid, mida NILFS2 loob, võivad igal hetkel automaatselt kustutada (kui kettaruumi on vähe või nilfs_cleanerd'i reeglite tõttu), seega peame enne monteerimist kontrollpunkti jäädvustama, ehk siis kindlustama pildi.

chcp ss kontrollpunkti_numbr

Pärast seda saame pildi monteerida, näiteks nii:

mount -t nilfs2 -r -o cp=kontrollpunkti_numbr /dev/nvme/home /mnt/nilfs/kontrollpunkti_numbr

Seejärel kopeerime taastatavad failid pildist /home.
Ja hiljem eemaldame pildi kustutamatuse lipu, et tulevikus saaks automaatne prügi koguja eemaldada vanarenenud andmed:

chcp cp kontrollpunkti_numbr

NILFS2 tööriistad

Kuid see on keeruline. Jah, me saame luua failisüsteeme, muuta selle suurust reaalajas, vaadata kontrollpunktide loendit, neid luua ja kustutada. Pakett nilfs2-utils pakub minimaalset meeste komplekti.

Kuna NTT lõpetas rahastamise, on kiirem madalama taseme utiliitide puudumine, mis võimaldaks näidata failide muudatuste ajalugu ja teha erinevusi sõnumite vahel.

Minu utiliit n2u

Selle tühimiku täitmiseks kirjutasin oma utiliidi n2u, mis oskab näidata konkreetse faili/katalooge muudatuste ajalugu:

n2u log filename

Välja on enam-vähem selline:

          CHECKPOINT        DATE     TIME     TYPE          SIZE  MODE
             1787552  2019-11-24 22:08:00    first          7079    cp
             1792659  2019-11-25 23:09:05  changed          7081    cp

See töötab üsna kiiresti valitud rakendusmeetodi jaoks: otsib failide erinevusi binaarse otsingumeetodiga, kiiresti mountides ja võrreldes faili/katalooge erinevates sõnumites.

Saate määrata kontrollpunktide vahemiku kasutades võtit -cp CP1:CP2 või -cp {YEAR-MM-DD}:{YEAR-MM-DD}.

Saate vaadata erinevusi kontrollpunktide vahel teatud faili või katalooge jaoks:

n2u diff -r cp1:cp2 filename

Saate kuvada kogu muudatuste ajalugu: kõik erinevused teatud faili/katalooge kontrollpunktide vahel:

n2u blame [-r cp1:cp2] filename

Selles käsklus toetatakse ka kuupäevavahemikke.

Kutse arendajatele

Habré on palju spetsialiste. Palun, viimistlege NILFS2. Tehke replikatsioon, madalmaise taseme kiire erinevus versioonide vahel, reflink ja muid hüvesid!

Viidatud lingid

NILFS ametlik veebisait.

Reposiidid:
NILFS2.
NILFS2 utiliidid ja moodulid.

Meililistid:
E-post arendajatele NILFS2. Telli ID linux-nilfs.
Meililiidu arhiiv.

NILFS_cleanerd seadistamise juhend.
Tulemuskatsetused EXT4, Btrfs, XFS & NILFS2.

Tänud:

• NILFS2 arendajad: Ryusuke Konishi, Koji Sato, Naruhiko Kamimura, Seiji Kihara, Yoshiji Amagai, Hisashi Hifumi ja Satoshi Moriai. Teised peamised panustajad on: Andreas Rohner, Dan McGee, David Arendt, David Smid, dexen deVries, Dmitry Smirnov, Eric Sandeen, Jiro SEKIBA, Matteo Frigo, Hitoshi Mitake, Takashi Iwai, Vyacheslav Dubeyko.
• Ettevõtetele Amblin Entertainment ja Universal Pictures suurepärase filmisarja eest ‘Tagasi tulevikku’. Esimene postitus pilt on pärit filmist ‘Tagasi tulevikku — 3’.
• Ettevõttele RUVDS toetuse ja võimaluse eest avaldada oma blogis Habras.

P.S. Tuvastatud vead suunake isikliku sõnumi kaudu. Tõstame selle eest karmaat.

Saate NILFS2 katsetada, tellides virtuaalse masina RUVDS alloleva kupongiga. Kõikidele uutele klientidele on tasuta prooviperiood 3 päeva.

Allikas: habr.com