{"id":143998,"date":"2025-09-23T05:12:23","date_gmt":"2025-09-23T03:12:24","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs"},"modified":"2025-09-23T05:12:23","modified_gmt":"2025-09-23T03:12:24","slug":"otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/news\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","title":{"rendered":"Koden f\u00f6r det distribuerade filsystemet TernFS har \u00f6ppnats","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

F\u00f6retaget XTX Markets har \u00f6ppnat k\u00e4llkoden f\u00f6r filsystemet TernFS, som \u00e4r designat f\u00f6r att skapa en distribuerad lagring som sp\u00e4nner \u00f6ver flera geografiskt separerade datacenter och kan lagra upp till tiotals exabyte data, triljoner filer och hundratals miljarder kataloger, som samtidigt kan interagera med miljontals kunder. Projektets kod \u00e4r skriven i C++ och Go och distribueras under GPLv2-licensen. Protokolls-specifikationer och klientbibliotek tillhandah\u00e5lls under Apache 2.0-licensen. <\/p>\n

FS \u00e4r optimerad f\u00f6r belastningar som \u00e4r typiska f\u00f6r maskininl\u00e4rningssystem \u2013 skriv- och l\u00e4sfiler som inte \u00e4ndras efter skapande och som inneh\u00e5ller mer \u00e4n n\u00e5gra megabyte data. FS \u00e4r inte avsedd f\u00f6r frekvent skapande av nya kataloger och frekvent flyttning av filer mellan kataloger. Det finns m\u00f6jligheter f\u00f6r b\u00e5de \u00e5terst\u00e4llning av felaktigt raderade filer eller kataloger samt f\u00f6r att konfigurera policyer f\u00f6r fullst\u00e4ndig och o\u00e5terkallelig radering. Inneh\u00e5llet i FS kan replikeras mellan flera datacenter i olika regioner. Lagringsnoder kan inkludera olika typer av lagringsenheter (baserade p\u00e5 h\u00e5rddiskar och flashminnen). <\/p>\n

Ett av kraven vid utformningen var avsaknaden av en enskild felpunkt och att s\u00e4kerst\u00e4lla h\u00f6g tillf\u00f6rlitlighet i lagringen \u2013 str\u00f6mavbrott f\u00e5r inte leda till skador p\u00e5 FS, och filer f\u00e5r inte bli delvis skrivna (endast helt skrivna filer \u00e4r tillg\u00e4ngliga f\u00f6r l\u00e4sning). Systemet \u00e4r motst\u00e5ndskraftigt mot fel p\u00e5 enskilda lagringsenheter, metadata-noder och lagringsnoder. Underh\u00e5ll av lagringen kan utf\u00f6ras utan att driften avbryts. <\/p>\n

Implementeringen av lagringssystemet baserat p\u00e5 TernFS i f\u00f6retaget XTX Markets p\u00e5b\u00f6rjades sommaren 2023, efter ett och ett halvt \u00e5rs utveckling av FS. I mitten av 2024 hade alla maskininl\u00e4rningssystem p\u00e5 XTX Markets migrerats till TernFS. F\u00f6r n\u00e4rvarande best\u00e5r lagringen av mer \u00e4n 30 000 h\u00e5rddiskar och 10 000 flash-enheter, placerade i tre datacenter. Den totala m\u00e4ngden lagrade data uppskattas till 500 petabyte, och den maximala prestandan \u00e4r flera petabyte per sekund. Lagringen anv\u00e4nds i en kluster med mer \u00e4n 100 000 ber\u00e4kningsnoder. Inga incidenter som lett till f\u00f6rlust av data har intr\u00e4ffat under tv\u00e5 \u00e5rs drift. <\/p>\n

Bland begr\u00e4nsningarna f\u00f6r TernFS: skrivna filer kan inte \u00e4ndras; l\u00e5g effektivitet vid arbete med filer som \u00e4r mindre \u00e4n 2 MB; l\u00e5g prestanda vid skapande och borttagning av kataloger; avsaknad av r\u00e4ttighetsuppdelning. <\/p>\n

Komponenterna som utg\u00f6r TernFS lagringskluster: <\/p>\n