{"id":143998,"date":"2025-09-23T05:12:23","date_gmt":"2025-09-23T03:12:24","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs"},"modified":"2025-09-23T05:12:23","modified_gmt":"2025-09-23T03:12:24","slug":"otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","title":{"rendered":"Der Quellcode des verteilten Dateisystems TernFS wurde ver\u00f6ffentlicht","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Das Unternehmen XTX Markets hat den Quellcode des Dateisystems TernFS ver\u00f6ffentlicht, das f\u00fcr die Erstellung eines verteilten Speichers konzipiert wurde, der mehrere geografisch getrennte Rechenzentren abdeckt und in der Lage ist, bis zu Dutzende Exabytes an Daten, Billionen von Dateien und Hunderten von Milliarden von Verzeichnissen zu speichern, mit denen Millionen von Kunden gleichzeitig interagieren k\u00f6nnen. Der Code des Projekts ist in C++ und Go geschrieben und wird unter der GPLv2-Lizenz verteilt. Die Protokollspezifikationen und die Clientbibliotheken werden unter der Apache 2.0-Lizenz bereitgestellt. <\/p>\n

Das Dateisystem ist f\u00fcr die Arbeitslasten optimiert, die f\u00fcr Systeme des maschinellen Lernens typisch sind \u2013 das Schreiben und Lesen von Dateien, die nach der Erstellung nicht ge\u00e4ndert werden und mehr als einige Megabyte an Daten enthalten. Das Dateisystem ist nicht f\u00fcr h\u00e4ufiges Erstellen neuer Verzeichnisse und h\u00e4ufiges Verschieben von Dateien zwischen Verzeichnissen ausgelegt. Es gibt M\u00f6glichkeiten zur Wiederherstellung versehentlich gel\u00f6schter Dateien oder Verzeichnisse sowie zur Konfiguration von Richtlinien f\u00fcr die vollst\u00e4ndige unwiderrufliche L\u00f6schung. Der Inhalt des Dateisystems kann zwischen mehreren Rechenzentren in verschiedenen Regionen repliziert werden. Die Speicherknoten k\u00f6nnen verschiedene Arten von Speichern (auf der Basis von Festplatten und Flash-Speichern) umfassen. <\/p>\n

Eine der Anforderungen beim Design war das Fehlen eines einzelpunktigen Ausfalls und die Gew\u00e4hrleistung einer hohen Zuverl\u00e4ssigkeit des Speichers \u2013 Stromausf\u00e4lle d\u00fcrfen nicht zu Besch\u00e4digungen des Dateisystems f\u00fchren, und Dateien d\u00fcrfen nicht teilweise geschrieben werden (zum Lesen sind nur vollst\u00e4ndig geschriebene Dateien verf\u00fcgbar). Das System ist widerstandsf\u00e4hig gegen den Ausfall einzelner Speicher, Metadatenknoten und Speicherknoten. Eine Wartung des Speichers kann ohne Betriebsunterbrechung durchgef\u00fchrt werden. <\/p>\n

Die Implementierung des TernFS-basierten Speichers bei der Firma XTX Markets begann im Sommer 2023, nach anderthalb Jahren Entwicklung des Dateisystems. Mitte 2024 wurden alle Systeme des maschinellen Lernens von XTX Markets auf TernFS umgestellt. Derzeit umfasst der Speicher mehr als 30.000 Festplatten und 10.000 Flash-Speicher, die in drei Rechenzentren untergebracht sind. Das gesamte Volumen der gespeicherten Daten wird auf 500 Petabyte gesch\u00e4tzt, und die Spitzenleistung liegt bei mehreren Petabyte pro Sekunde. Der Speicher wird in einem Cluster verwendet, der mehr als 100.000 Rechenknoten umfasst. In zwei Jahren Betrieb gab es keine Vorf\u00e4lle, die zu Datenverlust f\u00fchrten. <\/p>\n

Zu den Einschr\u00e4nkungen von TernFS geh\u00f6ren: Geschriebene Dateien k\u00f6nnen nicht ver\u00e4ndert werden; geringe Effizienz bei Dateien mit einer Gr\u00f6\u00dfe von weniger als 2 MB; niedrige Leistung bei der Erstellung und L\u00f6schung von Verzeichnissen; fehlende Trennung der Zugriffsrechte. <\/p>\n

Komponenten, die das TernFS-Speichercluster bilden: <\/p>\n