{"id":143998,"date":"2025-09-23T05:12:23","date_gmt":"2025-09-23T03:12:24","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs"},"modified":"2025-09-23T05:12:23","modified_gmt":"2025-09-23T03:12:24","slug":"otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/news\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","title":{"rendered":"Le code du syst\u00e8me de fichiers distribu\u00e9 TernFS est ouvert","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

La soci\u00e9t\u00e9 XTX Markets a ouvert le code source du syst\u00e8me de fichiers TernFS, con\u00e7u pour cr\u00e9er un stockage distribu\u00e9 couvrant plusieurs centres de donn\u00e9es g\u00e9ographiquement s\u00e9par\u00e9s et capable de stocker des dizaines d'exaoctets de donn\u00e9es, des trillions de fichiers et des centaines de milliards de r\u00e9pertoires, pouvant \u00eatre simultan\u00e9ment acc\u00e9d\u00e9s par des millions de clients. Le code du projet est \u00e9crit en C++ et Go et est distribu\u00e9 sous la licence GPLv2. Les sp\u00e9cifications du protocole et les biblioth\u00e8ques clientes sont fournies sous la licence Apache 2.0. <\/p>\n

Le syst\u00e8me de fichiers est optimis\u00e9 pour les charges de travail typiques des syst\u00e8mes d'apprentissage automatique \u2014 la lecture et l'\u00e9criture de fichiers qui ne sont pas modifi\u00e9s apr\u00e8s cr\u00e9ation et qui contiennent plus de quelques m\u00e9gaoctets de donn\u00e9es. Le syst\u00e8me de fichiers n'est pas con\u00e7u pour la cr\u00e9ation fr\u00e9quente de nouveaux r\u00e9pertoires et le d\u00e9placement fr\u00e9quent de fichiers entre r\u00e9pertoires. Il offre des fonctionnalit\u00e9s pour la r\u00e9cup\u00e9ration de fichiers ou de r\u00e9pertoires supprim\u00e9s par erreur, ainsi que pour la configuration de politiques de suppression irr\u00e9versible compl\u00e8te. Le contenu du syst\u00e8me de fichiers peut \u00eatre r\u00e9pliqu\u00e9 entre plusieurs centres de donn\u00e9es dans diff\u00e9rentes r\u00e9gions. Les n\u0153uds de stockage peuvent inclure diff\u00e9rents types de dispositifs de stockage (bas\u00e9s sur des disques et de la m\u00e9moire flash). <\/p>\n

L'une des exigences lors de la conception \u00e9tait l'absence de point de d\u00e9faillance unique et l'assurance d'une haute fiabilit\u00e9 du stockage \u2014 les pannes de courant ne doivent pas endommager le syst\u00e8me de fichiers, et les fichiers ne peuvent pas \u00eatre enregistr\u00e9s partiellement (seuls les fichiers enti\u00e8rement enregistr\u00e9s sont disponibles en lecture). Le syst\u00e8me est r\u00e9sistant \u00e0 la d\u00e9faillance d'unit\u00e9s individuelles, de n\u0153uds de m\u00e9tadonn\u00e9es et de n\u0153uds de stockage. La maintenance de stockage peut \u00eatre effectu\u00e9e sans arr\u00eater le fonctionnement. <\/p>\n

L'impl\u00e9mentation du stockage bas\u00e9 sur TernFS dans la soci\u00e9t\u00e9 XTX Markets a commenc\u00e9 \u00e0 l'\u00e9t\u00e9 2023, apr\u00e8s un an et demi de d\u00e9veloppement du syst\u00e8me de fichiers. \u00c0 la mi-2024, tous les syst\u00e8mes d'apprentissage automatique de XTX Markets ont \u00e9t\u00e9 transf\u00e9r\u00e9s sur TernFS. Actuellement, le stockage se compose de plus de 30 000 disques et 10 000 dispositifs de m\u00e9moire flash, r\u00e9partis dans trois centres de donn\u00e9es. Le volume total des donn\u00e9es stock\u00e9es est estim\u00e9 \u00e0 500 p\u00e9taoctets, avec une performance de pointe de plusieurs p\u00e9taoctets par seconde. Le stockage est utilis\u00e9 dans un cluster comptant plus de 100 000 n\u0153uds de calcul. Aucun incident entra\u00eenant une perte de donn\u00e9es ne s'est produit au cours des deux ann\u00e9es d'exploitation. <\/p>\n

Parmi les limitations de TernFS : les fichiers enregistr\u00e9s ne peuvent pas \u00eatre modifi\u00e9s ; faibles performances avec des fichiers de moins de 2 Mo ; faible efficacit\u00e9 lors de la cr\u00e9ation et de la suppression de r\u00e9pertoires ; absence de s\u00e9paration des droits d'acc\u00e8s. <\/p>\n

Composants formant le cluster de stockage TernFS : <\/p>\n