{"id":52513,"date":"2019-11-10T00:00:00","date_gmt":"2019-11-09T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/obnovlenie-klasternoj-fajlovoj-sistemy-lizardfs-3-13-0-rc2"},"modified":"2020-02-18T14:00:15","modified_gmt":"2020-02-18T11:00:15","slug":"obnovlenie-klasternoj-fajlovoj-sistemy-lizardfs-3-13-0-rc2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/obnovlenie-klasternoj-fajlovoj-sistemy-lizardfs-3-13-0-rc2","title":{"rendered":"Aktualizacja klastra systemu plik\u00f3w LizardFS 3.13.0-rc2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Po rocznej przerwie w rozwoju wznowiono<\/a><\/noindex> prace nad now\u0105 ga\u0142\u0119zi\u0105 systemu rozproszonego plik\u00f3w odpornego na awarie LizardF 3.13<\/a><\/noindex> i opublikowano<\/a><\/noindex> drugi kandydat na wydanie. Niedawno nast\u0105pi\u0142o<\/a><\/noindex> po zmianie w\u0142a\u015bcicieli firmy rozwijaj\u0105cej LizardFS, nowe kierownictwo i programi\u015bci zmienili si\u0119. W ci\u0105gu ostatnich dw\u00f3ch lat projekt oddali\u0142 si\u0119 od spo\u0142eczno\u015bci i nie po\u015bwi\u0119cano mu odpowiedniej uwagi, ale nowy zesp\u00f3\u0142 ma zamiar przywr\u00f3ci\u0107 dawne relacje z spo\u0142eczno\u015bci\u0105 i ustanowi\u0107 z ni\u0105 blisk\u0105 wsp\u00f3\u0142prac\u0119. Kod projektu napisany jest w j\u0119zykach C i C++ i rozpowszechniany<\/a><\/noindex> obj\u0119ty licencj\u0105 GPLv3. <\/p>\n

LizardFS jest<\/a><\/noindex> to rozproszony klastrowy system plik\u00f3w, kt\u00f3ry pozwala na rozmieszczenie danych na r\u00f3\u017cnych serwerach, ale prezentuje dost\u0119p do nich w formie jednego du\u017cego udzia\u0142u, z kt\u00f3rym pracuje si\u0119 analogicznie do tradycyjnych partycji dyskowych. W zamontowanym udziale LizardFS wspierane s\u0105 atrybuty plik\u00f3w POSIX, ACL, blokady, gniazda, kana\u0142y, pliki urz\u0105dze\u0144, dowi\u0105zania symboliczne i twarde. System nie ma jednego punktu awarii, wszystkie komponenty s\u0105 rezerwowane. Wspierane jest r\u00f3wnoleg\u0142e przetwarzanie operacji na danych (kilku klient\u00f3w mo\u017ce r\u00f3wnocze\u015bnie uzyskiwa\u0107 dost\u0119p do plik\u00f3w).<\/p>\n

Aby zapewni\u0107 odporno\u015b\u0107 na awarie, dane s\u0105 dzielone na kopie, kt\u00f3re s\u0105 rozdzielane na r\u00f3\u017cne w\u0119z\u0142y z rezerwacj\u0105 (na r\u00f3\u017cnych w\u0119z\u0142ach znajduje si\u0119 kilka kopii) \u2014 w przypadku awarii w\u0119z\u0142\u00f3w lub no\u015bnik\u00f3w, system kontynuuje prac\u0119 bez utraty informacji i automatycznie przemieszcza dane z uwzgl\u0119dnieniem pozosta\u0142ych w\u0119z\u0142\u00f3w. Aby rozszerzy\u0107 pami\u0119\u0107, wystarczy pod\u0142\u0105czy\u0107 do niej nowe w\u0119z\u0142y bez przerywania pracy na serwis (system sam replikuje cz\u0119\u015b\u0107 danych na nowe serwery i r\u00f3wnowa\u017cy pami\u0119\u0107 bior\u0105c pod uwag\u0119 nowe serwery). Podobnie mo\u017cna post\u0105pi\u0107 przy zmniejszeniu rozmiaru klastra \u2014 wystarczy po prostu od\u0142\u0105czy\u0107 przestarza\u0142y sprz\u0119t, kt\u00f3ry ma zosta\u0107 wycofany z u\u017cycia.<\/p>\n

Dane i metadane s\u0105 przechowywane oddzielnie. Do pracy zaleca si\u0119 zainstalowanie dw\u00f3ch serwer\u00f3w metadanych dzia\u0142aj\u0105cych w trybie master-slave, a tak\u017ce przynajmniej dw\u00f3ch serwer\u00f3w pami\u0119ci danych (chunkserver). Dodatkowo, w celu zapewnienia rezerwacji metadanych, mo\u017cna stosowa\u0107 serwery log\u00f3w, kt\u00f3re przechowuj\u0105 informacje o zmianach metadanych i pozwalaj\u0105 na przywr\u00f3cenie dzia\u0142ania w przypadku uszkodzenia wszystkich dost\u0119pnych serwer\u00f3w metadanych. Ka\u017cdy plik jest dzielony na bloki (chunk) o rozmiarze do 64 MB. Bloki s\u0105 rozdzielane pomi\u0119dzy serwery pami\u0119ci zgodnie z wybranym trybem replikacji: standardowym (jawne okre\u015blenie liczby kopii do umieszczenia na r\u00f3\u017cnych w\u0119z\u0142ach, w tym odnosz\u0105c si\u0119 do poszczeg\u00f3lnych katalog\u00f3w \u2014 dla wa\u017cnych danych liczba kopii mo\u017ce by\u0107 zwi\u0119kszona, a dla mniej istotnych zmniejszona), XOR (RAID5) i EC (RAID6).<\/p>\n

Magazyn mo\u017ce by\u0107 skalowany do rozmiar\u00f3w petabajtowych. W\u015br\u00f3d zastosowa\u0144 wymienia si\u0119 prowadzenie archiw\u00f3w, przechowywanie obraz\u00f3w maszyn wirtualnych, danych multimedialnych, kopii zapasowych, u\u017cycie jako DRC (Centrum Odzyskiwania po Awarii) oraz jako magazyn w klastrach wysokowydajnych oblicze\u0144. LizardFS zapewnia bardzo wysok\u0105 pr\u0119dko\u015b\u0107 odczytu plik\u00f3w dowolnego rozmiaru, a podczas zapisu wykazuje dobr\u0105 wydajno\u015b\u0107 przy zapisie ca\u0142ych du\u017cych i \u015brednich plik\u00f3w, gdy nie ma sta\u0142ej modyfikacji, intensywnej pracy z otwartymi plikami oraz jednorazowych operacji z du\u017c\u0105 liczb\u0105 ma\u0142ych plik\u00f3w.<\/p>\n

\"Aktualizacja<\/a><\/noindex><\/center><\/p>\n

W\u015br\u00f3d cech systemu plik\u00f3w mo\u017cna r\u00f3wnie\u017c zauwa\u017cy\u0107 wsparcie dla migawek, kt\u00f3re odzwierciedlaj\u0105 stan plik\u00f3w w okre\u015blonym czasie, oraz wbudowan\u0105 realizacj\u0119 «kosza» (pliki nie s\u0105 usuwane od razu i przez pewien czas s\u0105 dost\u0119pne do odzyskania). Dost\u0119p do sekcji mo\u017ce by\u0107 ograniczony za pomoc\u0105 adresu IP lub has\u0142a (analogicznie do NFS). Istniej\u0105 mechanizmy kwot i zarz\u0105dzania jako\u015bci\u0105 us\u0142ug, kt\u00f3re pozwalaj\u0105 na ograniczenie rozmiaru i przepustowo\u015bci dla niekt\u00f3rych kategorii u\u017cytkownik\u00f3w. Mo\u017cliwe jest tworzenie rozproszonych geograficznie magazyn\u00f3w, segmenty kt\u00f3rych s\u0105 umieszczone w r\u00f3\u017cnych centrach danych. <\/p>\n

Projekt LizardFS zosta\u0142 za\u0142o\u017cony w 2013 roku jako fork MooseFS<\/a><\/noindex>, i r\u00f3\u017cni si\u0119 g\u0142\u00f3wnie obecno\u015bci\u0105 trybu replikacji opartego na kodach korekcji b\u0142\u0119d\u00f3w Reeda-Solomona (analog raidzN), rozszerzon\u0105 obs\u0142ug\u0105 ACL, dost\u0119pem do klienta na platform\u0119 Windows, dodatkowymi optymalizacjami (na przyk\u0142ad, przy wsp\u00f3\u0142pracy klienta i serwera przechowywania, bloki s\u0105 w miar\u0119 mo\u017cliwo\u015bci oddawane z bie\u017c\u0105cego w\u0119z\u0142a, a metadane s\u0105 buforowane w pami\u0119ci), bardziej elastycznym systemem konfiguracji, wsparciem dla prefetchingu danych, limitami na katalogi oraz wewn\u0119trznymi przer\u00f3bkami.<\/p>\n

Wydanie LizardFS 3.13.0 planowane jest na koniec grudnia. G\u0142\u00f3wn\u0105 nowo\u015bci\u0105 LizardFS 3.13 jest zastosowanie algorytmu osi\u0105gania konsensusu do zapewnienia odporno\u015bci na awarie (prze\u0142\u0105czanie serwer\u00f3w g\u0142\u00f3wnych w przypadku awarii). Raft<\/a><\/noindex> (zastosowana jest w\u0142asna implementacja uRaft, kt\u00f3ra wcze\u015bniej by\u0142a u\u017cywana w produktach komercyjnych). U\u017cycie uRaft upraszcza konfiguracj\u0119 i skraca op\u00f3\u017anienia przy przywracaniu po awarii, ale wymaga co najmniej trzech dzia\u0142aj\u0105cych w\u0119z\u0142\u00f3w, z kt\u00f3rych jeden jest u\u017cywany do osi\u0105gni\u0119cia kworum. <\/p>\n

Z innych zmian: nowy klient oparty na systemie FUSE3, rozwi\u0105zanie problem\u00f3w z korekcj\u0105 b\u0142\u0119d\u00f3w, wtyczka nfs-ganesha zosta\u0142a przepisana w j\u0119zyku C. W aktualizacji 3.13.0-rc2 naprawiono kilka krytycznych b\u0142\u0119d\u00f3w, kt\u00f3re czyni\u0142y wcze\u015bniejsze wydania testowe wersji 3.13 ma\u0142o u\u017cytecznymi (poprawki dla wersji 3.12 nie zosta\u0142y jeszcze opublikowane, a aktualizacja z 3.12 do 3.13 wci\u0105\u017c prowadzi do ca\u0142kowitej utraty danych).<\/p>\n

W 2020 roku prace b\u0119d\u0105 koncentrowa\u0107 si\u0119 na rozwoju
\nAgama<\/a><\/noindex>, nowego, ca\u0142kowicie przepisane rdzenia LizardFS, kt\u00f3re, wed\u0142ug zapewnie\u0144 deweloper\u00f3w, zapewni trzykrotny wzrost wydajno\u015bci w por\u00f3wnaniu z wersj\u0105 3.12. W Agama nast\u0105pi przej\u015bcie na architektur\u0119 sterowan\u0105 zdarzeniami (event driven), asynchroniczny wej\u015bcie\/wyj\u015bcie oparte na asio<\/a><\/noindex>, g\u0142\u00f3wnie w przestrzeni u\u017cytkownika (aby zmniejszy\u0107 zale\u017cno\u015b\u0107 od mechanizm\u00f3w buforowania j\u0105dra). Dodatkowo oferowany b\u0119dzie nowy system debugowania oraz analizator aktywno\u015bci sieciowej z automatycznym dostrajaniem wydajno\u015bci. <\/p>\n

Klient LizardFS otrzyma pe\u0142ne wsparcie dla wersjonowania operacji zapisu, co zwi\u0119kszy niezawodno\u015b\u0107 odzyskiwania po awarii, rozwi\u0105\u017ce problemy zwi\u0105zane z r\u00f3wnoczesnym dost\u0119pem r\u00f3\u017cnych klient\u00f3w do tych samych danych oraz pozwoli na znaczne zwi\u0119kszenie wydajno\u015bci. Klient zostanie przeniesiony na w\u0142asny system sieciowy dzia\u0142aj\u0105cy w przestrzeni u\u017cytkownika. Pierwszy dzia\u0142aj\u0105cy prototyp LizardFS oparty na Agama planowany jest do przygotowania w drugim kwartale 2020 roku. W tym samym czasie obiecuj\u0105 wdro\u017cy\u0107 \u015brodki integracji LizardFS z platform\u0105 Kubernetes.<\/p>\n

<\/a><\/noindex><\/p>\n

\u0179r\u00f3d\u0142o: opennet.ru<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u043e\u0441\u043b\u0435 \u0433\u043e\u0434\u0438\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u0442\u0438\u0448\u044c\u044f \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432\u043e\u0437\u043e\u0431\u043d\u043e\u0432\u0438\u043b\u0430\u0441\u044c \u0440\u0430\u0431\u043e\u0442\u0430 \u043d\u0430\u0434 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0442\u043a\u043e\u0439 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b LizardF 3.13 \u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u0430\u043d\u0434\u0430\u0434\u0430\u0442 \u0432 \u0440\u0435\u043b\u0438\u0437\u044b. \u041d\u0435\u0434\u0430\u0432\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430 \u0441\u043c\u0435\u043d\u0430 \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0435\u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u044e\u0449\u0435\u0439 LizardFS, \u0431\u044b\u043b\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u043d\u043e\u0432\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u0438 \u0441\u043c\u0435\u043d\u0438\u043b\u0438\u0441\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0434\u0432\u0430 \u0433\u043e\u0434\u0430 \u043f\u0440\u043e\u0435\u043a\u0442 \u043e\u0442\u0441\u0442\u0440\u0430\u043d\u0438\u043b\u0441\u044f \u043e\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043d\u0435 \u0443\u0434\u0435\u043b\u044f\u043b \u0435\u043c\u0443 \u0434\u043e\u043b\u0436\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043d\u043e \u043d\u043e\u0432\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u0430 \u0432\u043e\u0437\u0440\u043e\u0434\u0438\u0442\u044c \u043f\u0440\u0435\u0436\u043d\u0438\u0435 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":52514,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-52513","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Aktualizacja klastra systemu plik\u00f3w LizardFS 3.13.0-rc2 | ProHoster","description":"Po rocznej przerwie w pracach wznowiono prace nad now\u0105 ga\u0142\u0119zi\u0105 odporn\u0105 na awarie rozproszonego systemu plik\u00f3w.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/news\/obnovlenie-klasternoj-fajlovoj-sistemy-lizardfs-3-13-0-rc2","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043d\u043e\u0439 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b LizardFS 3.13.0-rc2 | ProHoster","og:description":"\u041f\u043e\u0441\u043b\u0435 \u0433\u043e\u0434\u0438\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u0442\u0438\u0448\u044c\u044f \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432\u043e\u0437\u043e\u0431\u043d\u043e\u0432\u0438\u043b\u0430\u0441\u044c \u0440\u0430\u0431\u043e\u0442\u0430 \u043d\u0430\u0434 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0442\u043a\u043e\u0439 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439.","og:url":"https:\/\/prohoster.info\/pl\/blog\/news\/obnovlenie-klasternoj-fajlovoj-sistemy-lizardfs-3-13-0-rc2","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-11-09T21:00:00+00:00","article:modified_time":"2020-02-18T11:00:15+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"52513","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 03:51:39","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 17:15:56","updated":"2026-01-24 03:51:39","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/52513","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=52513"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/52513\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/52514"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=52513"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=52513"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=52513"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}