Der Quellcode des verteilten Dateisystems TernFS wurde veröffentlicht

Das Unternehmen XTX Markets hat den Quellcode des Dateisystems TernFS veröffentlicht, das für die Erstellung eines verteilten Speichers konzipiert wurde, der mehrere geografisch getrennte Rechenzentren abdeckt und in der Lage ist, bis zu Dutzende Exabytes an Daten, Billionen von Dateien und Hunderten von Milliarden von Verzeichnissen zu speichern, mit denen Millionen von Kunden gleichzeitig interagieren können. Der Code des Projekts ist in C++ und Go geschrieben und wird unter der GPLv2-Lizenz verteilt. Die Protokollspezifikationen und die Clientbibliotheken werden unter der Apache 2.0-Lizenz bereitgestellt.

Das Dateisystem ist für die Arbeitslasten optimiert, die für maschinelles Lernen typisch sind – das Schreiben und Lesen von Dateien, die nach der Erstellung nicht mehr verändert werden und mehrere Megabyte an Daten enthalten. Das Dateisystem ist nicht für häufige Erstellung neuer Verzeichnisse oder häufige Verschiebung von Dateien zwischen Verzeichnissen ausgelegt. Es gibt Funktionen sowohl zur Wiederherstellung versehentlich gelöschter Dateien oder Verzeichnisse als auch zur Konfiguration von Richtlinien für die vollständige, unwiderrufliche Löschung. Der Inhalt des Dateisystems kann zwischen mehreren Rechenzentren in verschiedenen Regionen repliziert werden. Die Speicherknoten können verschiedene Arten von Speicher (auf der Basis von Festplatten und Flash-Speicher) umfassen.

Eine der Anforderungen bei der Gestaltung war das Fehlen eines Single Points of Failure und die Gewährleistung einer hohen Zuverlässigkeit der Speicherung – Stromausfälle dürfen nicht zu Beschädigungen des Dateisystems führen, und Dateien dürfen nicht teilweise geschrieben werden (es sind nur vollständig geschriebene Dateien zum Lesen verfügbar). Das System ist gegenüber dem Ausfall einzelner Speichergeräte, Metadatenknoten und Speicherknoten robust. Die Wartung des Speichers kann durchgeführt werden, ohne den Betrieb zu unterbrechen.

Die Implementierung des Speichers auf Basis von TernFS bei XTX Markets begann im Sommer 2023, nach anderthalb Jahren Entwicklung des FS. Mitte 2024 wurden alle Systeme des maschinellen Lernens von XTX Markets auf TernFS umgestellt. Derzeit umfasst der Speicher mehr als 30.000 Festplatten und 10.000 Flash-Laufwerke, die in drei Rechenzentren untergebracht sind. Das gesamte Speichervolumen wird auf 500 Petabyte geschätzt, und die Spitzenleistung beträgt mehrere Petabyte pro Sekunde. Der Speicher wird in einem Cluster verwendet, das mehr als 100.000 Rechenknoten umfasst. In den zwei Jahren des Betriebs gab es keine Vorfälle, die zu Datenverlust führten.

Zu den Einschränkungen von TernFS gehören: Geschriebene Dateien können nicht verändert werden; geringe Effizienz bei Dateien mit einer Größe von weniger als 2 MB; niedrige Leistung bei der Erstellung und Löschung von Verzeichnissen; fehlende Trennung der Zugriffsrechte.

Komponenten, die das TernFS-Speichercluster bilden:

• Metadatenknoten, die für die Verwaltung der Informationen über die Verzeichnisstruktur und die Dateiattribute verantwortlich sind.
• Koordinierungsnoden (CDC — Cross-Directory Coordinator), die Transaktionen über verschiedene Verzeichnisse ausführen.
• Speicherdienste, die die Speicherung des Inhalts von Dateien gewährleisten.
• Ein Register, das Informationen über alle anderen Dienste enthält und deren Betrieb überwacht.
• Kundenservices für den Zugriff der Benutzer auf das FS:
  • ternweb — Zugriff auf den Speicher über die Web-API.
  • terncli — Befehlszeilenschnittstelle.
  • ternfs.ko — Modul für den Linux-Kernel, das es ermöglicht, den Speicher als lokale FS zu mounten.
  • ternfuse — Implementierung eines Clients für die Arbeit mit dem FS, der das FUSE-Subsystem verwendet.
  • terns3 — Implementierung der Amazon S3 API.
• Hintergrundprozesse:
  • GC — Garbage Collector, der abgelaufene Snapshots (gelöschte, aber nicht bereinigte Dateien) freigibt und Blöcke für unverzüglich zu löschende Dateien bereinigt.
  • scrubber — Erkennung von Datenverschlechterung und Wiederherstellung.
  • migrator — Ausschluss fehlerhafter Festplatten aus dem Speicher.

Quelle: opennet.ru