Reiser5 kündigt Unterstützung für Burst Buffers (Data Tiering) an

Eduard Schischkin angekündigt Im Rahmen des Reiser5-Projekts wurden neue Möglichkeiten entwickelt. Reiser5 Es stellt Eine deutlich überarbeitete Version des ReiserFS-Dateisystems, bei der die Unterstützung für parallel skalierbare logische Volumes auf Dateisystemebene und nicht auf Blockgeräteebene implementiert ist, sodass Sie Daten effizient über ein logisches Volume verteilen können.

Zu den kürzlich entwickelten Innovationen gehört die Bereitstellung von
die Möglichkeit für den Benutzer, eine kleine Hochleistungsanlage hinzuzufügen
Blockgerät (z. B. NVRAM) aufgerufen Proxy-FestplatteAuf
relativ großes logisches Volumen, bestehend aus langsamen
Budget-Laufwerke. Dies wird den Eindruck erwecken, dass alles
Das Volumen besteht aus der gleichen teuren Hochleistungsmaschine
Geräte, wie eine „Proxy-Festplatte“.

Die implementierte Methode basierte auf der einfachen Beobachtung, dass in der Praxis nicht ständig auf die Festplatte geschrieben wird und die I/O-Lastkurve die Form von Spitzen aufweist. In der Zeitspanne zwischen solchen „Spitzen“ ist es immer möglich, Daten von der Proxy-Festplatte zurückzusetzen und alle Daten (oder nur einen Teil) im Hintergrund in den „langsamen“ Hauptspeicher neu zu schreiben. Somit ist die Proxy-Festplatte immer bereit, einen neuen Teil der Daten zu empfangen.

Diese Technik (bekannt als Burst Buffers) hat ihren Ursprung in
Bereichen des Hochleistungsrechnens (HPC). Es stellte sich aber auch heraus, dass es für gewöhnliche Anwendungen gefragt ist, insbesondere für solche, die erhöhte Anforderungen an die Datenintegrität stellen (normalerweise verschiedene Arten von Datenbanken). Solche Anwendungen führen alle Änderungen in jeder Datei auf atomare Weise durch, nämlich:

  • zunächst wird eine neue Datei erstellt, die die geänderten Daten enthält;
  • diese neue Datei wird dann mit fsync(2) auf die Festplatte geschrieben;
  • Danach wird die neue Datei automatisch in die alte umbenannt
    Gibt Blöcke frei, die mit alten Daten belegt sind.

    Alle diese Schritte haben bis zu einem gewissen Grad erhebliche Auswirkungen
    Leistungseinbußen auf jedem Dateisystem. Situation
    verbessert sich, wenn die neue Datei zuerst in die zugewiesene Datei geschrieben wird
    Hochleistungsgerät, und genau das geschieht in
    Dateisystem mit Burst Buffers-Unterstützung.

    In Reiser5 ist geplant, optional nicht nur zu versenden
    neue logische Blöcke der Datei, aber auch alle schmutzigen Seiten im Allgemeinen. Darüber hinaus,
    nicht nur Seiten mit Daten, sondern auch mit Metadaten
    werden in den Schritten (2) und (3) geschrieben.

    Der Support für Proxy-Festplatten erfolgt im Rahmen der regulären Arbeit mit
    Reiser5 logische Bände, angekündigt am Anfang des Jahres. Also,
    Das Gesamtsystem „Proxy-Festplatte – Hauptspeicher“ ist normal
    logisches Volume mit dem einzigen Unterschied, dass die Proxy-Festplatte Vorrang hat
    unter anderen Volume-Komponenten in der Richtlinie zur Zuweisung von Festplattenadressen.

    Das Hinzufügen einer Proxy-Festplatte zu einem logischen Volume ist nicht mit einem solchen verbunden
    Neuausrichtung der Daten, und ihre Entfernung erfolgt auf genau die gleiche Weise wie
    Entfernen einer normalen Festplatte. Alle Proxy-Festplattenoperationen sind atomar.
    Fehlerbehandlung und Systembereitstellung (auch nach einem Systemabsturz) erfolgen auf genau die gleiche Weise, als ob die Proxy-Festplatte eine reguläre Komponente wäre
    logisches Volumen.

    Nach dem Hinzufügen einer Proxy-Festplatte die Gesamtkapazität des logischen Volumes
    erhöht sich um die Kapazität dieser Festplatte. Freiraumüberwachung
    Proxy-Festplatte wird auf die gleiche Weise wie für andere Volume-Komponenten durchgeführt, d. h. mit dem Dienstprogramm volume.reiser4(8).

    Die Proxy-Festplatte muss regelmäßig gereinigt werden, d. h. Daten zurücksetzen von
    es in den Hauptspeicher. Nach Erreichen der Beta-Stabilität Reiser5
    Die Reinigung soll automatisch erfolgen (sie wird von verwaltet).
    spezieller Kernel-Thread). In dieser Phase liegt die Verantwortung für die Reinigung
    liegt beim Benutzer. Zurücksetzen der Daten von der Proxy-Festplatte auf die Hauptfestplatte
    Der Speicher wird durch einfachen Aufruf des Dienstprogramms volume.reiser4 mit der Option erzeugt
    "-B". Als Argument müssen Sie den Einhängepunkt der logischen Datei angeben
    Bände Natürlich müssen Sie daran denken, regelmäßig eine Reinigung durchzuführen. Für
    Sie können dazu ein einfaches Shell-Skript schreiben.

    Wenn auf der Proxy-Festplatte kein freier Speicherplatz vorhanden ist, werden alle Daten gelöscht
    werden automatisch in den Hauptspeicher geschrieben. Gleichzeitig standardmäßig
    Die Gesamtleistung des FS wird reduziert (aufgrund ständiger Anrufe).
    Verfahren zum Festschreiben aller vorhandenen Transaktionen). Optional können Sie einstellen
    Modus ohne Leistungsverlust. In diesem Fall jedoch die Festplatte
    Der Speicherplatz des Proxy-Geräts wird weniger effizient genutzt.
    Es ist praktisch, einen Metadaten-Unterabschnitt (Brick) als Proxy-Datenträger zu verwenden, sofern dieser auf einem ausreichend leistungsstarken Blockgerät erstellt wird.

    Source: opennet.ru

  • Kommentar hinzufügen