{"id":143998,"date":"2025-09-23T05:12:23","date_gmt":"2025-09-23T03:12:24","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs"},"modified":"2025-09-23T05:12:23","modified_gmt":"2025-09-23T03:12:24","slug":"otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","title":{"rendered":"De code van het gedistribueerde bestandssysteem TernFS is geopend","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Het bedrijf XTX Markets heeft de broncode van het TernFS-bestandssysteem vrijgegeven, dat is ontworpen voor het cre\u00ebren van een gedistribueerde opslag die meerdere geografisch gescheiden datacenters beslaat en in staat is om tot tientallen exabytes aan gegevens, triljarden bestanden en honderden miljarden mappen op te slaan, waarmee miljoenen klanten tegelijkertijd kunnen interageren. De projectcode is geschreven in C++ en Go en wordt verspreid onder de GPLv2-licentie. De specificaties van het protocol en de clientbibliotheken worden geleverd onder de Apache 2.0-licentie. <\/p>\n

Het bestandssysteem is geoptimaliseerd voor workloads die typisch zijn voor machines leersystemen \u2014 het schrijven en lezen van bestanden die na creatie niet worden gewijzigd en die meer dan enkele megabytes aan gegevens bevatten. Het bestandssysteem is niet ontworpen voor frequente creatie van nieuwe mappen en vaak verplaatsen van bestanden tussen mappen. Het biedt mogelijkheden voor zowel het herstellen van per ongeluk verwijderde bestanden of mappen als voor het instellen van beleidsregels voor volledige en onomkeerbare verwijdering. De inhoud van het bestandssysteem kan worden gerepliceerd tussen verschillende datacenters in verschillende regio's. Opslagnodes kunnen verschillende soorten opslagmedia bevatten (op basis van schijven en flash-geheugen). <\/p>\n

Een van de vereisten bij het ontwerp was het ontbreken van een enkelvoudig punt van falen en het waarborgen van hoge betrouwbaarheid van de opslag \u2014 stroomuitval mag niet leiden tot beschadiging van het bestandssysteem, en bestanden mogen niet gedeeltelijk worden geschreven (voor lezen zijn alleen volledig geschreven bestanden toegankelijk). Het systeem is bestand tegen de uitval van afzonderlijke schijven, metadata-nodes en opslagnodes. Onderhoud van de opslag is mogelijk zonder de werking te onderbreken. <\/p>\n

De implementatie van de TernFS-gebaseerde opslag bij XTX Markets begon in de zomer van 2023, na anderhalf jaar ontwikkeling van het bestandssysteem. Halverwege 2024 zijn alle systemen voor machine learning van XTX Markets overgezet naar TernFS. Momenteel bestaat de opslag uit meer dan 30.000 schijven en 10.000 Flash-geheugen, verdeeld over drie datacenters. De totale opgeslagen gegevens worden geschat op 500 petabyte, met een piekprestaties van enkele petabyte per seconde. De opslag wordt gebruikt in een cluster met meer dan 100.000 rekeneenheden. Er hebben zich in twee jaar tijd geen incidenten voorgedaan die leidden tot gegevensverlies. <\/p>\n

Onder de beperkingen van TernFS vallen: geregistreerde bestanden kunnen niet worden gewijzigd; lage effici\u00ebntie bij het werken met bestanden kleiner dan 2 MB; lage prestaties bij het aanmaken en verwijderen van mappen; afwezigheid van toegangscontrole. <\/p>\n

De componenten die de opslagcluster TernFS vormen: <\/p>\n