{"id":143998,"date":"2025-09-23T05:12:23","date_gmt":"2025-09-23T03:12:24","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs"},"modified":"2025-09-23T05:12:23","modified_gmt":"2025-09-23T03:12:24","slug":"otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/news\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","title":{"rendered":"Rilasciato il codice del file system distribuito TernFS","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

L\u2019azienda XTX Markets ha aperto il codice sorgente del file system TernFS, progettato per creare uno storage distribuito che copre diversi data center territorialmente separati e capace di memorizzare fino a decine di exabyte di dati, trilioni di file e centinaia di miliardi di cataloghi, con i quali possono interagire simultaneamente milioni di clienti. Il codice del progetto \u00e8 scritto nei linguaggi C++ e Go e distribuito sotto licenza GPLv2. Le specifiche del protocollo e le librerie client sono fornite sotto licenza Apache 2.0. <\/p>\n

Il filesystem \u00e8 ottimizzato per i carichi tipici dei sistemi di apprendimento automatico\u2014registrazione e lettura di file non modificabili dopo la creazione e contenenti pi\u00f9 di qualche megabyte di dati. Il filesystem non \u00e8 progettato per la creazione frequente di nuove directory e il frequente spostamento di file tra directory. Sono presenti funzionalit\u00e0 sia per il ripristino di file o directory eliminati per errore, sia per la configurazione di politiche di cancellazione definitiva. Il contenuto del filesystem pu\u00f2 essere replicato tra pi\u00f9 data center in diverse regioni. I nodi di archiviazione possono includere diversi tipi di supporti (basati su dischi e memoria flash). <\/p>\n

Uno dei requisiti nella progettazione era l'assenza di un singolo punto di guasto e la garanzia di una elevata affidabilit\u00e0 dell'archiviazione\u2014le interruzioni di corrente non devono causare danni al filesystem, e i file non possono risultare scritti parzialmente (sono disponibili per la lettura solo file completamente scritti). Il sistema \u00e8 resistente al guasto di singoli supporti, nodi di metadati e nodi di archiviazione. \u00c8 possibile eseguire la manutenzione dell'archiviazione senza fermare il funzionamento. <\/p>\n

L'implementazione di un'archiviazione basata su TernFS nella societ\u00e0 XTX Markets \u00e8 iniziata nell'estate del 2023, dopo un anno e mezzo di sviluppo del filesystem. A met\u00e0 del 2024, tutti i sistemi di apprendimento automatico di XTX Markets sono stati trasferiti su TernFS. Attualmente, l'archiviazione comprende oltre 30.000 dischi e 10.000 unit\u00e0 flash, collocati in tre data center. Il volume totale dei dati archiviati \u00e8 stimato in 500 petabyte, con una prestazione di picco di diversi petabyte al secondo. L'archiviazione \u00e8 utilizzata in un cluster con oltre 100.000 nodi di calcolo. Non si sono verificati incidenti che hanno portato a perdite di dati nei due anni di utilizzo. <\/p>\n

Tra i limiti di TernFS: i file registrati non possono essere modificati; bassa efficienza nel lavoro con file inferiori a 2 MB; bassa produttivit\u00e0 nelle operazioni di creazione e eliminazione di directory; assenza di separazione dei diritti di accesso. <\/p>\n

I componenti che formano il cluster di archiviazione TernFS: <\/p>\n