OpenZFS 2.2 Veröffentlichung, die Umsetzung von ZFS für Linux und FreeBSD

Nach mehr als zwei Jahren Entwicklung wurde die Version 2.2 des OpenZFS-Projekts veröffentlicht, das die Implementierung des ZFS-Dateisystems für Linux und FreeBSD weiterentwickelt. Das Projekt ist bekannt geworden als „ZFS on Linux“ und beschränkte sich zuvor auf die Entwicklung eines Moduls für den Linux-Kernel, wurde aber nach der Unterstützung von FreeBSD als die Hauptimplementierung von OpenZFS anerkannt und umbenannt.

OpenZFS wurde mit Linux-Kernen von 3.10 bis 6.5 und allen Versionen von FreeBSD, beginnend mit 12.2-RELEASE, getestet. Der Code wird unter der freien Lizenz CDDL vertrieben. OpenZFS wird bereits in FreeBSD verwendet und ist Teil der Distributionen Debian, Ubuntu, Gentoo, Sabayon Linux und ALT Linux. Pakete mit der neuen Version werden in Kürze für die gängigen Linux-Distributionen, einschließlich Debian, Ubuntu, Fedora, RHEL/CentOS, vorbereitet.

OpenZFS bietet eine Implementierung von ZFS-Komponenten, die sowohl mit der Funktionsweise des Dateisystems als auch mit dem Betrieb des Volume-Managers verbunden sind. Insbesondere sind die Komponenten SPA (Storage Pool Allocator), DMU (Data Management Unit), ZVOL (ZFS Emulated Volume) und ZPL (ZFS POSIX Layer) implementiert. Zusätzlich stellt das Projekt die Möglichkeit zur Verfügung, ZFS als Backend für das Cluster-Dateisystem Lustre zu verwenden. Die Entwicklungen des Projekts basieren auf dem Original-ZFS-Code, der aus dem OpenSolaris-Projekt importiert und durch Verbesserungen und Korrekturen aus der Illumos-Community erweitert wurde. Das Projekt wird mit der Unterstützung von Mitarbeitern des Lawrence Livermore National Laboratory im Rahmen eines Vertrags mit dem US-Energieministerium weiterentwickelt.

Der Code wird unter der Open-Source-Lizenz CDDL verbreitet, die mit GPLv2 inkompatibel ist. Dies verhindert die Integration von OpenZFS in den Hauptzweig des Linux-Kernels, da eine Mischung von Code unter den Lizenzen GPLv2 und CDDL unzulässig ist. Um diese Lizenzinkompatibilität zu umgehen, wurde die Entscheidung getroffen, das Produkt vollständig unter der Lizenz CDDL als separat ladbares Modul bereitzustellen, das unabhängig vom Kernel geliefert wird. Die Stabilität der OpenZFS-Codebasis wird als vergleichbar mit anderen Dateisystemen für Linux eingeschätzt.

Hauptänderungen:

• Ein Blockklonmechanismus wurde hinzugefügt, der es ermöglicht, eine Kopie einer Datei oder eines Teils davon zu erstellen, ohne Daten zu duplizieren, indem in der zweiten Kopie Verweise auf bereits vorhandene Datenblöcke der ursprünglichen Datei verwendet werden, ohne sie tatsächlich zu kopieren. Wenn Änderungen an der ursprünglichen Datei oder ihrer Kopie vorgenommen werden, erfolgt das Kopieren der Blöcke und das Einfügen der Änderungen in die erstellten Kopien (Copy-on-Write-Modus auf Dateiebene). Auf der Grundlage des Klonmechanismus wurde die reflink-Operation implementiert, die in verschiedenen Kopierwerkzeugen zur automatischen Erstellung von Klonen verwendet werden kann, z. B. in den neuen Versionen von /bin/cp in Linux.
• Die Unterstützung von Technologien, die für die Containerisolierung in Linux verwendet werden, wie der Systemaufruf renameat, das Overlay-Dateisystem overlayfs, das Mapping von Benutzeridentifikatoren beim Mounten und die Delegation von Namensräumen für Container, wurde hinzugefügt.
• Ein Fehlerprotokoll wurde implementiert, das Fehler aufzeigt, die bei der Durchführung von Prüfoperationen für Prüfziffern (Scrub) entdeckt wurden. Bei Ausführung des Befehls „zpool status“ werden Informationen zu allen Dateisystemen, Snapshots und Klonen ausgegeben, die vom beschädigten Block betroffen sind. Um bekannte beschädigte Blöcke schnell wiederherzustellen, kann der Befehl „zpool scrub -e“ verwendet werden.
• Die Möglichkeit, die kryptografische Hash-Funktion BLAKE3 für Prüfziffern zu verwenden, wurde hinzugefügt, die sich durch eine sehr hohe Hash-Berechnungsgeschwindigkeit auszeichnet (drei Mal schneller als Edon-R und deutlich schneller als sha256 und sha512) bei gleichzeitiger Sicherstellung der Zuverlässigkeit auf dem Niveau von SHA-3.
• Die Operation „zfs receive -c“ wurde implementiert, die zur Wiederherstellung beschädigter Daten (nicht Metadaten) im Dateisystem, in Snapshots und Klonen verwendet werden kann, wenn ein repliziertes Backup vorhanden ist, das zuvor mit dem Befehl „zfs send“ erstellt wurde.
• Die Unterstützung für die programmatische Festlegung und das Lesen von Eigenschaften für einzelne virtuelle Festplatten vdev wurde hinzugefügt.
• Es wurde die Möglichkeit zur Bindung von beliebigen benutzerdefinierten Eigenschaften an vdev und zpool hinzugefügt, ähnlich wie bei benutzerdefinierten Eigenschaften für zfs-Datasets.
• Die Implementierung des adaptiven Caches ARC (Adaptive Replacement Cache) wurde verbessert, was die Leistung bei Lesevorgängen erhöht. ARC passt sich jetzt besser an hohe Lasten an und minimiert die Notwendigkeit einer manuellen Optimierung der Einstellungen.
• Die Unterstützung für Hardwarebeschleunigungsmechanismen zur Berechnung von SHA2-Checksummen wurde hinzugefügt.
• Die Implementierung der Edon-R-Checksummen wurde neu geschrieben und optimiert.
• Bei der Verwendung des zstd-Algorithmus zur Datenkompression wurde die Bestimmung von Situationen beschleunigt, in denen eine Kompression sinnlos ist (Daten sind nicht komprimierbar).
• Es wurden Verbesserungen am Mechanismus der Vorabladung (Prefetch) vorgenommen, die die Leistung bei intensivem Ein-/Ausgabeverkehr erhöhen.
• Es wurden eine Reihe allgemeiner Optimierungen vorgenommen, die die Leistung steigern.

Quelle: opennet.ru