{"id":143998,"date":"2025-09-23T05:12:23","date_gmt":"2025-09-23T03:12:24","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs"},"modified":"2025-09-23T05:12:23","modified_gmt":"2025-09-23T03:12:24","slug":"otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","title":{"rendered":"Aperto il codice del file system distribuito TernFS.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

L'azienda XTX Markets ha aperto il codice sorgente del file system TernFS, progettato per creare uno storage distribuito che copre pi\u00f9 data center geograficamente separati e in grado di archiviare fino a decine di exabyte di dati, trilioni di file e centinaia di miliardi di directory, ai quali possono interagire contemporaneamente milioni di clienti. Il codice del progetto \u00e8 scritto in C++ e Go e viene distribuito sotto licenza GPLv2. Le specifiche del protocollo e le librerie client sono fornite sotto licenza Apache 2.0. <\/p>\n

Il file system \u00e8 ottimizzato per carichi tipici dei sistemi di machine learning \u2014 scrittura e lettura di file che non vengono modificati dopo la creazione e che contengono pi\u00f9 di qualche megabyte di dati. Il file system non \u00e8 progettato per la creazione frequente di nuove cartelle e per il frequente spostamento di file tra cartelle. Sono presenti funzionalit\u00e0 sia per il recupero di file o cartelle eliminate per errore, sia per la configurazione delle politiche di cancellazione totale e irrevocabile. Il contenuto del file system pu\u00f2 essere replicato tra diversi data center in varie regioni. I nodi di storage possono includere diversi tipi di supporti (basati su dischi e memoria flash). <\/p>\n

Uno dei requisiti nella progettazione era l'assenza di un singolo punto di guasto e l'assicurazione di un'alta affidabilit\u00e0 dello storage \u2014 le interruzioni di corrente non devono portare a danni al file system, e i file non possono risultare scritti parzialmente (sono disponibili solo file completamente scritti). Il sistema \u00e8 resistente al guasto di singoli supporti, nodi di metadati e nodi di storage. \u00c8 possibile eseguire la manutenzione dello storage senza interrompere il funzionamento. <\/p>\n

L'implementazione dello storage basato su TernFS nella societ\u00e0 XTX Markets \u00e8 iniziata nell'estate del 2023, dopo un anno e mezzo di sviluppo del file system. A met\u00e0 del 2024, tutti i sistemi di machine learning di XTX Markets erano stati trasferiti su TernFS. Attualmente, lo storage \u00e8 composto da oltre 30.000 dischi e 10.000 unit\u00e0 flash, posizionate in tre data center. Il volume totale dei dati memorizzati \u00e8 stimato in 500 petabyte, con una capacit\u00e0 di picco di diversi petabyte al secondo. Lo storage \u00e8 utilizzato in un cluster che comprende pi\u00f9 di 100.000 nodi computazionali. Negli ultimi due anni di utilizzo non si sono verificati incidenti che hanno portato a perdite di dati. <\/p>\n

Tra i limiti di TernFS: i file registrati non possono essere modificati; bassa efficienza nella gestione di file di dimensioni inferiori a 2 MB; scarse prestazioni nelle operazioni di creazione e cancellazione di directory; assenza di separazione dei diritti di accesso. <\/p>\n

I componenti che costituiscono il cluster di storage TernFS: <\/p>\n