Compania XTX Markets a deschis codul sursă al sistemului de fișiere TernFS, proiectat pentru a crea un stocaj distribuit ce acoperă mai multe centre de date geografic distincte și capabil să stocheze zeci de exabyte de date, trilioane de fișiere și sute de miliarde de directoare, cu care pot interacționa simultan milioane de clienți. Codul proiectului este scris în C++ și Go și este distribuit sub licența GPLv2. Specificațiile protocolului și bibliotecile client sunt furnizate sub licența Apache 2.0.
Sistemul de fișiere este optimizat pentru sarcini specifice sistemelor de învățare automată – scrierea și citirea fișierelor care nu sunt modificate după crearea lor și care conțin mai mult de câțiva megabytes de date. Sistemul de fișiere nu este destinat creării frecvente de noi directoare și mutării frecvente a fișierelor între directoare. Există funcționalități atât pentru recuperarea fișierelor sau directoarelor șterse din greșeală, cât și pentru configurarea politicilor de ștergere permanentă. Conținutul sistemului de fișiere poate fi replicat între mai multe centre de date în diferite regiuni. Nodurile de stocare pot include diferite tipuri de medii de stocare (pe baza discurilor și a memoriei flash).
Una dintre cerințele la proiectare a fost absența unui punct unic de eșec și asigurarea unei fiabilități ridicate a stocării – întreruperile de alimentare nu trebuie să conducă la coruperea sistemului de fișiere, iar fișierele nu pot fi scrise parțial (doar fișierele complet scrise sunt disponibile pentru citire). Sistemul este rezistent la defectarea unor medii de stocare individuale, noduri cu metadate și noduri de stocare. Este posibilă efectuarea întreținerii stocării fără oprirea funcționării.
Implementarea stocării bazate pe TernFS în compania XTX Markets a început în vara anului 2023, după un an și jumătate de dezvoltare a sistemului de fișiere. În mijlocul anului 2024, toate sistemele de învățare automată ale XTX Markets au fost migrate pe TernFS. În prezent, stocarea formează peste 30.000 de discuri și 10.000 de medii de stocare flash, amplasate în trei centre de date. Volumul total de date stocate este evaluat la 500 petabytes, iar performanța de vârf – la câteva petabytes pe secundă. Stocarea este utilizată într-un cluster care cuprinde mai mult de 100.000 de noduri de calcul. Nu au existat incidente care să ducă la pierderi de date în cei doi ani de utilizare.
Printre restricțiile TernFS: fișierele salvate nu pot fi modificate; eficiență scăzută în gestionarea fișierelor de dimensiuni mai mici de 2 MB; performanță scăzută în operațiunile de creare și ștergere a directoarelor; lipsa separării drepturilor de acces.
Componentele care formează clusterul de stocare TernFS:
- Noduri de stocare a metadatelor, responsabile cu gestionarea informațiilor despre structura directoriilor și a atributelor fișierelor.
- Noduri de coordinare a operațiunilor (CDC - Cross-Directory Coordinator), care efectuează tranzacții ce acoperă directoare diferite.
- Servicii de stocare care asigură păstrarea conținutului fișierelor.
- Registru care conține informații despre toate celelalte servicii și monitorizează activitatea acestora.
- Servicii client pentru accesarea FS:
- ternweb - acces la stocare prin Web API.
- terncli - interfață de linie de comandă.
- ternfs.ko - modul pentru kernelul Linux, care permite montarea stocării pentru a funcționa ca un FS local.
- ternfuse - implementarea clientului pentru a lucra cu FS, folosind subsistemul FUSE.
- terns3 - implementarea API-ului Amazon S3.
- Procese în background:
- GC - colector de gunoi, care eliberează instantanee expirate (fișiere șterse, dar necurățate) și curăță blocurile pentru fișierele șterse ireversibil.
- scrubber - identificarea degradării datelor și recuperarea.
- migrator - excluzând din stocare discurile defecte.
Sursa: opennet.ro
