Utgåvan ZFS on Linux 0.8.0, implementationen av ZFS för Linux-kärnan

Efter nästan två års utveckling presenteras utgivning ZFS på Linux 0.8.0, implementeringen av filsystemet ZFS, utformat som en modul för Linux-kärnan. Modulen har testats med Linux-kärnor från 2.6.32 till 5.1. Färdiga installationspaket kommer snart. att förberedas för de större distributionerna av Linux, inklusive Debian, Ubuntu, Fedora, RHEL/CentOS. Modulen ZFS på Linux ingår redan i distributionerna Debian, Ubuntu, Gentoo, Sabayon Linux och ALT Linux.

Inom ramen för ZFS på Linux har det förberetts en implementering av ZFS-komponenter kopplade till både filsystemets funktion och volymhanterarens funktion. Särskilt har komponenterna SPA (Storage Pool Allocator), DMU (Data Management Unit), ZVOL (ZFS Emulated Volume) och ZPL (ZFS POSIX Layer) implementerats. Dessutom har projektet möjliggjort användning av ZFS som backend för det klusterbaserade filsystemet Lustre. Projektets arbete bygger på den ursprungliga ZFS-koden, importerad från OpenSolaris-projektet och utvidgad med förbättringar och rättelser från Illumos-gemenskapen. Projektet utvecklas med deltagande av anställda vid Livermore National Laboratory under kontrakt med USA:s energidepartement.

Koden distribueras under den fria licensen CDDL, vilken inte är kompatibel med GPLv2, vilket förhindrar att ZFS på Linux integreras i den huvudsakliga grenen av Linux-kärnan, eftersom blandning av kod under GPLv2- och CDDL-licenser är oacceptabelt. För att kringgå denna licenskonflikt har det beslutats att distribuera produkten helt under CDDL-licensen som en separat nedladdningsbar modul, som levereras separat från kärnan. Stabiliteten i kodbasen för ZFS på Linux bedöms vara jämförbar med andra filsystem för Linux.

Huvudsakliga förändringar:

• Inbyggt stöd för kryptering av lagrade data på filsystem- och partitionsnivå har lagts till. Som standard används algoritmen aes-256-ccm för kryptering. För att ladda krypteringsnycklar föreslås kommandot «zfs load-key»;
• Möjligheten att överföra krypterade data vid utförandet av kommandona «zfs send» och «zfs receive» har implementerats. När alternativet «-w» anges överförs redan krypterade data i poolen till en annan pool som de är, utan mellanliggande dekryptering. Vid liknande kopiering förblir data skyddade av avsändarens nyckel, vilket gör att denna läge kan användas för säkerhetskopiering på otillförlitliga system (i händelse av att mottagaren komprometteras, kan angriparen utan nyckel inte få tillgång till datan);
• Stöd för att ta bort primära enheter från lagringspoolen har lagts till, både anslutna individuellt och som del av ett spegel. Borttagning sker med kommandot „zpool remove“. Under borttagningen kopieras data från den uteslutna enheten till de kvarvarande primära enheterna i poolen;
• Kommandot „zpool checkpoint“ har lagts till för att spara det aktuella tillståndet av poolen med möjlighet att återgå till den sparade tidpunkten (en snapshot av hela poolen skapas). Denna funktion kan vara användbar vid potentiellt farliga, komplexa administrativa uppgifter som normalt leder till oåterkalleliga förändringar (till exempel aktivering av flaggor för ny ZFS-funktionalitet eller rensning av data);
• Kommandot „zpool trim“ har lagts till, vilket gör det möjligt att informera de enheter som används i poolen om sektorer som inte längre används. Användningen av TRIM-operationen gör att man kan öka effektiviteten hos SSD-enheter och förhindra degradering av deras prestanda. För att aktivera en kontinuerlig bakgrundsprocess för överföring av TRIM-kommandon har en ny egenskap „autotrim“ föreslagits;
• Kommandot „zpool initialize“ har lagts till för att initiera hela den oallokerade diskytan, vilket gör att den omedelbart är redo att användas utan prestandaförlust vid första åtkomsten (till exempel vid placering av virtualiserade lagringssystem som VMware VMDK);
• Stöd för projektredovisning och kvoter har lagts till, vilket kompletterar de tidigare tillgängliga kvoterna på användar- och gruppnivå. I grund och botten är projekten ett separat rum för objekt kopplade till ett specifikt ID (project ID). Kopplingen definieras genom operationen ‘chattr -p’ eller genom arv av attribut. Kommandona „zfs project“ och „zfs projectspace“ har lagts till för att hantera skapandet av projekt och sätta gränser för diskytan;
• Möjligheten att skapa Lua-skript för automatisering av olika arbeten med ZFS har lagts till. Skripten körs i speciella isolerade miljöer med hjälp av kommandot „zpool program“;
• En ny bibliotek har implementerats pyzfs, som tillhandahåller ett stabilt API för administration av ZFS från applikationer skrivna i Python. Biblioteket är en kapsling av libzfs_core och erbjuder en identisk uppsättning funktioner men använder mer Python-liknande datatyper;
• Kompatibilitet med verktygen arcstat, arcsummary och dbufstat för Python 3 har säkerställts. Verktygen arcstat.py, arc_summary.py och dbufstat.py har döpts om till varianter utan filändelsen «.py»;
• Stöd för Linux-kernelets Direct IO (O_DIRECT) har lagts till, vilket möjliggör åtkomst till data utan buffring och utan att använda cache;
• Prestandaoptimeringar har presenterats:
  • Arbetet med kommandona «scrub» och «resilver» har påskyndats genom att dela upp dem i två faser (en separat fas för att skanna metadata och bestämma platsen för datablok på disken, vilket gör det möjligt att utföra ytterligare verifiering med hjälp av sekventiell datainläsning);
  • Stöd för datalokalisering (Allocation classes) har lagts till,
    vilket gör det möjligt att inkludera relativt små SSD-enheter i poolen och använda dem för lagring av endast specifika typer av ofta använda block, som metadata, DDT-data och små filblock;
  • Prestandan för administrativa kommandon, såsom
    «zfs list» och «zfs get», har ökat genom cachning av de metadata som krävs för deras funktion;
  • Stöd för parallellisering av blockallokeringsoperationer har lagts till genom att starta separata «allocator»-processer för varje metaslab-grupp. På vanliga system noteras en prestandaförbättring på nivåer av 5–10 %, men på stora system (8 128 GB SSD, 24-kärnig NUMA, 256 GB RAM) kan prestandaförbättringen vid blockallokering nå upp till 25%;
  • Möjligheten till fördröjd körning av kommandot «resilver» (omstrukturering av datalokalisering med hänsyn till förändringar i lagringskonfigurationen) har lagts till — om den nya operationen startas innan den föregående har slutförts börjar den nya bearbetaren inte köras förrän den föregående är klar;
  • Optimeringar har införts i ZIL-loggen (ZFS Intent Log) som möjliggör skapande och bearbetning av block även när block fortfarande bearbetas av lagringen;
  • Tiden för registrering av partitioner (zvol) i systemet har minskats. När poolen innehåller ett stort antal partitioner blir de nu tillgängliga omedelbart efter att «zpool import» har genomförts;
  • Stöd för hårdvaruaccelerering av SHA256-hashberäkningar och AES-GCM-krypteringsoperationer har lagts till med användning av chip som stöder Intel QAT (Quick Assist Technology). Stöd för hårdvaruaccelereringsverktyg från Intel C62x-chipset och CPU Atom C3000 har lagts till.

Källa: opennet.ru