{"id":143998,"date":"2025-09-23T05:12:23","date_gmt":"2025-09-23T03:12:24","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs"},"modified":"2025-09-23T05:12:23","modified_gmt":"2025-09-23T03:12:24","slug":"otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","title":{"rendered":"Der Code des verteilten Dateisystems TernFS ist jetzt verf\u00fcgbar.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Das Unternehmen XTX Markets hat den Quellcode des Dateisystems TernFS ver\u00f6ffentlicht, das f\u00fcr die Erstellung eines verteilten Speichers konzipiert wurde, der mehrere geografisch getrennte Rechenzentren abdeckt und in der Lage ist, bis zu Dutzende Exabyte an Daten, Billionen von Dateien und Hunderte von Milliarden von Verzeichnissen zu speichern, auf die Millionen von Kunden gleichzeitig zugreifen k\u00f6nnen. Der Projektcode ist in C++ und Go geschrieben und wird unter der GPLv2-Lizenz verbreitet. Die Protokollspezifikationen und die Client-Bibliotheken werden unter der Apache 2.0-Lizenz bereitgestellt. <\/p>\n

Das Dateisystem ist optimiert f\u00fcr die Anforderungen von Machine-Learning-Systemen \u2013 das hei\u00dft f\u00fcr die Lese- und Schreibvorg\u00e4nge von Dateien, die nach Erstellung unver\u00e4ndert bleiben und mehr als mehrere Megabyte Daten enthalten. Es ist nicht f\u00fcr h\u00e4ufige Erstellung neuer Verzeichnisse und das h\u00e4ufige Verschieben von Dateien zwischen Verzeichnissen ausgelegt. Das System bietet sowohl M\u00f6glichkeiten zur Wiederherstellung versehentlich gel\u00f6schter Dateien oder Verzeichnisse als auch zur Konfiguration von Richtlinien f\u00fcr die vollst\u00e4ndige und irreversible L\u00f6schung. Der Inhalt des Dateisystems kann zwischen mehreren Rechenzentren in verschiedenen Regionen repliziert werden. Die Speicherorte k\u00f6nnen verschiedene Arten von Speichermedien umfassen (basierend auf Festplatten und Flash-Speicher). <\/p>\n

Eine der Anforderungen bei der Planung war das Fehlen eines einzelnen Punktes des Ausfalls und die Gew\u00e4hrleistung einer hohen Zuverl\u00e4ssigkeit der Speicherung \u2013 unerwartete Stromausf\u00e4lle d\u00fcrfen nicht zu Besch\u00e4digungen des Dateisystems f\u00fchren, und Dateien d\u00fcrfen nicht teilweise geschrieben werden (es sind nur vollst\u00e4ndig geschriebene Dateien lesbar). Das System ist resistent gegen den Ausfall einzelner Speicherger\u00e4te und Knoten mit Metadaten sowie Speicherknoten. Die Wartung der Speicherung kann durchgef\u00fchrt werden, ohne den Betrieb zu unterbrechen. <\/p>\n

Die Implementierung des Speichers auf Basis von TernFS bei XTX Markets begann im Sommer 2023, nach anderthalb Jahren Entwicklungszeit f\u00fcr das Dateisystem. Mitte 2024 wurden alle Systeme des maschinellen Lernens bei XTX Markets auf TernFS umgestellt. Aktuell bildet der Speicher \u00fcber 30.000 Festplatten und 10.000 Flash-Laufwerke, die in drei Rechenzentren untergebracht sind. Das Gesamtvolumen der gespeicherten Daten wird auf 500 Petabyte gesch\u00e4tzt, w\u00e4hrend die Spitzenleistung mehrere Petabyte pro Sekunde betr\u00e4gt. Der Speicher wird in einem Cluster mit \u00fcber 100.000 Recheneinheiten verwendet. In den zwei Jahren Betrieb gab es keine Vorf\u00e4lle, die zu Datenverlust f\u00fchrten. <\/p>\n

Zu den Einschr\u00e4nkungen von TernFS geh\u00f6ren: Aufgenommene Dateien k\u00f6nnen nicht ge\u00e4ndert werden; geringe Effizienz bei der Verarbeitung von Dateien kleiner als 2 MB; geringe Leistung bei der Erstellung und L\u00f6schung von Verzeichnissen; keine Aufteilung der Zugriffsrechte. <\/p>\n

Die Komponenten, die den TernFS-Speichercluster bilden: <\/p>\n