NILFS2 — en kulsprutebeständig filsystem för /home

Som bekant, om något dåligt kan hända, så kommer det att hända. Sannolikt har alla varit med om att ett viktigt fil oavsiktligt blivit raderat, eller att text oavsiktligt markerats och raderats i en textredigerare.

Om du är en hostingleverantör eller webbplatsägare har du säkert stött på hackade användarkonton eller din egen webbplats. I sådana fall är det viktigt att återställa tidslinjen, hitta ingångssättet och sårbarheten som användes av gärningspersonen.

För att lösa sådana problem passar filsystemet NILFS2 utmärkt.

Det ingår i Linux-kärnan sedan version 2.6.30.

En särskiljande faktor för detta filsystem är att det liknar versionskontrollsystem: du kan alltid återställa systemets tillstånd tillbaka och se hur det var för en tid sedan.

För att säkerställa denna funktion behöver du inte ställa in Cron-skript, göra snapshots och så vidare. Filsystemet NILFS2 gör allt detta själv. Det skriver aldrig över gamla data och skriver alltid till nya områden på disken om det finns tillräckligt med ledigt diskutrymme. Helt i linje med principen Copy-on-Write.

Faktum är att varje ändring av en fil leder till automatisk skapelse av en ny snapshot av filsystemet, så du kan använda detta filsystem som en tidsmaskin och gå tillbaka till tidigare filers tillstånd.

Historien

NILFS2 utvecklades inom Nippon Telegraph and Telephone Corporation, som faktiskt är ett statligt företag (det har kontroll över aktiemajoriteten) och Japans största teletjänsteföretag. Mer specifikt vid CyberSpace Laboratories under ledning av Ryusuke Konishi..

Vad det utvecklades konkret för är okänt, men man kan anta att ett sådant filsystem, med dess funktion som "tidsmaskin" är perfekt för att lagra data som säkerhetstjänster kan tänkas vilja gräva i, för att återskapa hela bilden av SMS, e-post och så vidare...

NILFS2 är också potentiellt ett mycket värdefullt verktyg för interna säkerhetstjänster, eftersom det möjliggör återställning av alla raderade e-postmeddelanden i databasen, avslöja anställningsbrister som anställda senare kan försöka dölja genom att radera eller ändra sina filer.

Hur man kan spåra hela kommunikationshistoriken.I Linux-servrar (dit NILFS2 bör installeras för intern säkerhet) används ofta en filbaserad metod för lagring av e-postmeddelanden. Den så kallade format Maildir. Det räcker med att installera Courier Mail Server och konfigurera lagringen av meddelanden i Maildir. Ett annat format mbox är en stor textfil som enkelt kan parsas till separata meddelanden.

Om e-postservern använder en databas, så kommer NILFS2 att ge möjlighet att återställa den exakta tidslinjen för ändringar i databasen och återställa databasen till vilket av dessa ögonblick som helst. Därefter måste man använda databasverktyg för att se vad som fanns där vid den tidpunkten...

Men något gick fel. Antingen ändrade den japanska regeringen sig om att övervaka alla (liknande Jarovys princip), eller så visade sig prestandan hos NILFS2 på traditionella HDD vara mycket låg, och NILFS2 släpptes under GPL-licens och kom snabbt in i Linux-kärnan, eftersom det inte fanns några särskilda invändningar mot koden som skrevs av högutbildade japaner från Linux-kärnans utvecklare.

Vad liknar NILFS2?

Ur användningssynpunkt: som ett versionskontrollsystem. SVNVarje checkpoint i filsystemet är en commit som görs automatiskt utan användarens vetskap vid varje ändring: vare sig det handlar om borttagning, ändring av filinnehåll eller åtkomsträttigheter. Varje commit har ett nummer som ökar linjärt.

Ur programmerarens perspektiv: som en cirkulär buffert. Filsystemet samlar förändringar och skriver dem till en bit som är ungefär 8 MB (2000 * 4096, där 2000 är antalet element i blocket och 4096 är storleken på minnessidan). Hela disken är uppdelad i sådana bitar. Skrivning sker sekventiellt. När det fria utrymmet tar slut, raderas de äldsta snapshoten och bitarna skrivs över.

Huvudfördelarna med NILFS2

• Versionshantering!!!
• Återställningsproceduren för filsystemet efter ett fel är enkel: vid start söks den senaste biten med giltig kontrollsumma, och superblocket installeras på den. Detta är praktiskt taget en omedelbar operation.
• Eftersom skrivningen alltid sker linjärt, så:
  • kan den visa bra resultat vid arbete på SSD, med långsam slumpmässig skrivning.
  • NILFS2 sparar resurser på SSD eftersom faktorn för skrivmultiplikation nästan är obefintlig.
    Mer exakt, den är inte mer än 2.Saken är den att vid cyklisk omskrivning av hela disken flyttar NILFS2 oföränderliga data till nya block.

    Om vi har 10% oföränderliga data på disken får vi 10% ökad skrivning vid 1 fullständig omskrivning. Och 50% ökning vid 50% fyllning av enheten vid 1 fullständig omskrivning av disken.

    Den maximala skrivförstärkningsfaktorn är 2. Detta är mycket lågt med tanke på att allt skrivs sekventiellt. Generellt kommer skrivmultipliceringen att vara mindre än för ett vanligt fragmenterat filsystem med en sektor på 4096 byte. (Detta väcker tankar kommentaren).

• Den potentiella enkelheten i att implementera replikering till en fjärr-NILFS2-fil

NILFS2 för /home

I Unix-liknande operativsystem finns vanligtvis en mapp /home där användardata lagras. Olika program sparar sina inställningar i denna mapp som rör den specifika användaren.

Och vem annars än användarna strular till det? Så, som man säger, Gud har befalt att använda NILFS2 för /home.

Dessutom, med den breda spridningen av SSD behöver vi inte längre oroa oss för kraftiga nedgångar vid användning av CoW-filsystem.

Ja, vi kan skapa filsystem snapshots hur ofta som helst i ZFS och BTRFS, men det finns alltid en risk att förlorad filändring hamnar mellan snapshot:arna. Och snapshots måste också administreras: radera gamla. I NILFS2 sker allt detta automatiskt, bokstavligen varje några sekunder.

Jag skapade en logisk volym med hjälp av lvcreate (i volymgruppen nvme, tunnt lager). Jag rekommenderar att skapa på en LVM-volym, då den lätt kan utökas senare. Jag rekommenderar att ha 50% ledigt utrymme på disken med NILFS2 för anständig versionsdjup.

lvcreate -V10G -T nvme/thin -n home

och formaterade den i NILFS2:

mkfs.nilfs2 -L nvme_home /dev/nvme/home

mkfs.nilfs2 (nilfs-utils 2.1.5)
Börjar skriva systemets initialdata till enheten
      Blockstorlek: 4096  Enhet: /dev/nvme/home1  Enhetsstorlek: 10737418240
Filssysteminitialisering lyckades!!

Efter detta måste alla data kopieras från den nuvarande /home.

Jag gjorde det direkt efter att ha startat datorn, innan jag loggade in på mitt konto, under användaren root. Om jag hade loggat in som min användare skulle några program ha öppnat sockets och filer i min användares mapp /home/user, vilket skulle ha gjort en ren kopiering besvärlig. Som bekant ligger hemkatalogen för användaren root vanligtvis på sökvägen /root, så inga filer på partitionen /home kommer att öppnas.

mkdir /mnt/newhome
mount -t nilfs2 /dev/nvme/home /mnt/newhome
cp -a /home/. /mnt/newhome

Angående den sista raden se. artikeln.

Därefter redigerar vi /etc/fstab, där filsystemet för /home monteras, till

/dev/disk/by-label/nvme_home /home nilfs2    noatime 0 0

Alternativ noatime är nödvändigt för att förbättra prestandan, så att atime inte ändras vid varje filåtkomst. Därefter startar vi om.

Typer av snapshots i NILFS2.

En vanlig snapshot utan skydd mot radering kallas checkpoint (checkpoint eller återställningspunkt).
En snapshot med skydd mot automatisk radering kallas snapshot, härefter bara snapshot.

Visning av checkpoints görs med kommandot lscp

Visning av snapshots (snapshots) lscp -s

Vi kan också skapa snapshots och checkpoints när som helst med hjälp av:

mkcp [-s] enhet

Återställer data.

NILFS tillåter oss att montera så många gamla snapshots som vi vill parallellt med arbetet i huvudgrenen av FS. Men endast i läsläge.

Det är ordnat så här. Vanliga checkpoints som NILFS2 gör kan automatiskt tas bort när som helst (när diskutrymme tar slut eller enligt reglerna för nilfs_cleanerd), därför måste vi före monteringen konvertera checkpointen till en snapshot eller, på ryska, fasta en snapshot.

chcp ss checkpointnummer

Efter detta kan vi montera snapshoten, till exempel så här:

mount -t nilfs2 -r -o cp=checkpointnummer /dev/nvme/home /mnt/nilfs/checkpointnummer

Efter det kopierar vi de återställda filerna från snapshoten till /home.
Och senare tar vi bort flaggan för att undvika radering från snapshoten, så att den automatiska skräpsamlaren kan ta bort föråldrad data i framtiden:

chcp cp checkpointnummer

Verktyg för NILFS2

Men här är det ett problem. Ja, självklart kan vi skapa FS, ändra dess storlek online, visa listan över checkpoints, skapa och ta bort dem. Paketet nilfs2-utils erbjuder en minimal gentleman-set.

Eftersom NTT har dragit tillbaka finansieringen finns det inga snabba låg-nivå verktyg som gör det möjligt att visa historik över filändringar eller göra diff mellan snapshots.

Mitt verktyg n2u

För att fylla detta vakuum skrev jag mitt verktyg n2u, som kan ge historik över ändringar för en specifik fil/directory:

n2u log filnamn

Utdatan ser ungefär ut så här:

          CHECKPOINT        DATUM     TID     TYP          STORLEK  LÄGE
             1787552  2019-11-24 22:08:00    första          7079    cp
             1792659  2019-11-25 23:09:05  ändrad          7081    cp

Det fungerar ganska snabbt för det valda implementeringssättet: den söker efter skillnader mellan filer med hjälp av bisektionsmetoden, monterar snabbt och jämför fil/directory i olika snapshots.

Ett intervall av checkpoints kan anges med nyckeln -cp CP1:CP2 eller -cp {ÅR-MÅN-DAG}:{ÅR-MÅN-DAG}.

Det går också att se skillnaden mellan checkpoints för en specifik fil eller directory:

n2u diff -r cp1:cp2 filnamn

All histori över förändringar kan visas: alla skillnader mellan checkpoints av en viss fil/directory:

n2u blame [-r cp1:cp2] filnamn

Datumintervallet stöds också i detta kommando.

Anrop till utvecklarna

Det finns många experter på Habré. Jag ber er, förbättra NILFS2. Skapa replikation, låg-nivå snabb diff mellan revideringar, reflink och andra funktioner!

Länkar

NILFS officiella webbplats.

Repository:
NILFS2.
NILFS2 verktyg och moduler.

Nyhetsbrev:
E-postnyhetsbrev till NILFS2 utvecklarna. Identifierare för prenumeration linux-nilfs.
Arkiv för nyhetsbrev.

Guide för att konfigurera nilfs_cleanerd.
Prestandajämförelser EXT4, Btrfs, XFS & NILFS2.

Tack:

• Utvecklarna av NILFS2: Ryusuke Konishi, Koji Sato, Naruhiko Kamimura, Seiji Kihara, Yoshiji Amagai, Hisashi Hifumi och Satoshi Moriai. Andra viktiga bidragsgivare är: Andreas Rohner, Dan McGee, David Arendt, David Smid, dexen deVries, Dmitry Smirnov, Eric Sandeen, Jiro SEKIBA, Matteo Frigo, Hitoshi Mitake, Takashi Iwai, Vyacheslav Dubeyko.
• Företagen Amblin Entertainment och Universal Pictures för den fantastiska filmserien «Tillbaka till framtiden». Den första bilden i inlägget är hämtad från filmen «Tillbaka till framtiden – 3».
• Företaget RUVDS för stöd och möjligheten att publicera på sin blogg på Habré.

P.S. Rapportera eventuella upptäckta fel till mig. Jag ökar din karma för det.

Du kan experimentera med NILFS2 genom att beställa en virtuell maskin hos RUVDS med kupongen nedan. För alla nya kunder finns det ett gratis testperiod på 3 dagar.

Källa: habr.com