{"id":143998,"date":"2025-09-23T05:12:23","date_gmt":"2025-09-23T03:12:24","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs"},"modified":"2025-09-23T05:12:23","modified_gmt":"2025-09-23T03:12:24","slug":"otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/otkryt-kod-raspredelyonnoj-fajlovoj-sistemy-ternfs","title":{"rendered":"Otwarty kod rozproszonego systemu plik\u00f3w TernFS","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Firma XTX Markets otworzy\u0142a kod \u017ar\u00f3d\u0142owy systemu plik\u00f3w TernFS, zaprojektowanego do tworzenia rozproszonego przechowywania, obejmuj\u0105cego kilka geograficznie rozdzielonych centr\u00f3w danych i mog\u0105cego przechowywa\u0107 do dziesi\u0105tek eksabajt\u00f3w danych, bilion\u00f3w plik\u00f3w oraz setek miliard\u00f3w katalog\u00f3w, z kt\u00f3rymi mo\u017ce jednocze\u015bnie wsp\u00f3\u0142pracowa\u0107 miliony klient\u00f3w. Kod projektu napisany jest w j\u0119zykach C++ i Go i jest udost\u0119pniany na licencji GPLv2. Specyfikacje protoko\u0142u oraz biblioteki klienckie s\u0105 dostarczane na licencji Apache 2.0. <\/p>\n

System plik\u00f3w jest zoptymalizowany pod k\u0105tem obci\u0105\u017ce\u0144 charakterystycznych dla system\u00f3w uczenia maszynowego \u2014 zapisywania i odczytywania plik\u00f3w, kt\u00f3re nie s\u0105 modyfikowane po utworzeniu i maj\u0105 wi\u0119cej ni\u017c kilka megabajt\u00f3w danych. System plik\u00f3w nie jest przeznaczony do cz\u0119stego tworzenia nowych katalog\u00f3w i cz\u0119stego przenoszenia plik\u00f3w mi\u0119dzy katalogami. Istniej\u0105 mo\u017cliwo\u015bci zar\u00f3wno przywracania przypadkowo usuni\u0119tych plik\u00f3w lub katalog\u00f3w, jak i ustawiania polityk ca\u0142kowitego nieodwracalnego usuwania. Zawarto\u015b\u0107 systemu plik\u00f3w mo\u017ce by\u0107 replikowana mi\u0119dzy wieloma centrami danych w r\u00f3\u017cnych regionach. W\u0119z\u0142y pami\u0119ci mog\u0105 obejmowa\u0107 r\u00f3\u017cne typy no\u015bnik\u00f3w (na bazie dysk\u00f3w i pami\u0119ci flash). <\/p>\n

Jednym z wymaga\u0144 projektowych by\u0142o brak pojedynczego punktu awarii i zapewnienie wysokiej niezawodno\u015bci przechowywania \u2014 awarie zasilania nie mog\u0105 prowadzi\u0107 do uszkodzenia systemu plik\u00f3w, a pliki nie mog\u0105 by\u0107 zapisane cz\u0119\u015bciowo (do odczytu s\u0105 dost\u0119pne tylko ca\u0142kowicie zapisane pliki). System jest odporny na awari\u0119 poszczeg\u00f3lnych no\u015bnik\u00f3w, w\u0119z\u0142\u00f3w metadanych i w\u0119z\u0142\u00f3w przechowuj\u0105cych. Mo\u017cliwe jest wykonywanie konserwacji pami\u0119ci bez zatrzymywania pracy. <\/p>\n

Wdro\u017cenie pami\u0119ci opartej na TernFS w firmie XTX Markets rozpocz\u0119\u0142o si\u0119 latem 2023 roku, po p\u00f3\u0142tora roku rozwoju systemu plik\u00f3w. W po\u0142owie 2024 roku wszystkie systemy uczenia maszynowego XTX Markets zosta\u0142y przeniesione na TernFS. Obecnie pami\u0119\u0107 sk\u0142ada si\u0119 z ponad 30 tysi\u0119cy dysk\u00f3w i 10 tysi\u0119cy no\u015bnik\u00f3w flash, umiejscowionych w trzech centrach danych. Ca\u0142kowita pojemno\u015b\u0107 przechowywanych danych szacowana jest na 500 petabajt\u00f3w, a maksymalna wydajno\u015b\u0107 \u2014 na kilka petabajt\u00f3w na sekund\u0119. Pami\u0119\u0107 jest u\u017cywana w klastrze licz\u0105cym ponad 100 tysi\u0119cy w\u0119z\u0142\u00f3w obliczeniowych. W ci\u0105gu dw\u00f3ch lat eksploatacji nie wyst\u0105pi\u0142y incydenty prowadz\u0105ce do utraty danych. <\/p>\n

Ograniczenia TernFS: zapisane pliki nie mog\u0105 by\u0107 zmieniane; niska wydajno\u015b\u0107 przy pracy z plikami o rozmiarze mniejszym ni\u017c 2 MB; niska wydajno\u015b\u0107 operacji tworzenia i usuwania katalog\u00f3w; brak podzia\u0142u uprawnie\u0144 dost\u0119pu. <\/p>\n

Sk\u0142adniki tworz\u0105ce klaster przechowywania TernFS: <\/p>\n