LizardFS 3.13.0-rc2 ക്ലസ്റ്റർ ഫയൽ സിസ്റ്റം അപ്ഡേറ്റ്

വികസനത്തിൽ ഒരു വർഷത്തെ ഇടവേളയ്ക്ക് ശേഷം പുനരാരംഭിച്ചു ഒരു തെറ്റ്-സഹിഷ്ണുതയുള്ള വിതരണം ചെയ്ത ഫയൽ സിസ്റ്റത്തിന്റെ ഒരു പുതിയ ശാഖയിൽ പ്രവർത്തിക്കുന്നു LizardF 3.13 и പ്രസിദ്ധീകരിച്ചു രണ്ടാം റിലീസ് സ്ഥാനാർത്ഥി. അടുത്തിടെ സംഭവിച്ചു LizardFS വികസിപ്പിക്കുന്ന കമ്പനിയുടെ ഉടമസ്ഥരുടെ മാറ്റം, പുതിയ മാനേജ്മെന്റ് സ്വീകരിക്കുകയും ഡവലപ്പർമാരെ മാറ്റിസ്ഥാപിക്കുകയും ചെയ്തു. കഴിഞ്ഞ രണ്ട് വർഷമായി, പദ്ധതി സമൂഹത്തിൽ നിന്ന് പിൻവലിക്കുകയും വേണ്ടത്ര ശ്രദ്ധ നൽകാതിരിക്കുകയും ചെയ്തു, എന്നാൽ സമൂഹവുമായുള്ള മുൻ ബന്ധം പുനരുജ്ജീവിപ്പിക്കാനും അതുമായി അടുത്ത ബന്ധം സ്ഥാപിക്കാനും പുതിയ ടീം ഉദ്ദേശിക്കുന്നു. പ്രോജക്റ്റ് കോഡ് C, C++ എന്നീ ഭാഷകളിൽ എഴുതിയിരിക്കുന്നു വിതരണം ചെയ്തത് GPLv3 ലൈസൻസിന് കീഴിൽ.

പല്ലി FS അത് ഒരു ഡിസ്ട്രിബ്യൂട്ടഡ് ക്ലസ്റ്റർ ഫയൽ സിസ്റ്റം, വിവിധ സെർവറുകളിലുടനീളം ഡാറ്റ വിതരണം ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു, എന്നാൽ പരമ്പരാഗത ഡിസ്ക് പാർട്ടീഷനുകൾക്ക് സമാനമായ രീതിയിൽ പ്രവർത്തിക്കുന്ന ഒരു വലിയ പാർട്ടീഷന്റെ രൂപത്തിൽ അവയിലേക്ക് ആക്സസ് നൽകുന്നു. LizardFS ഉള്ള ഒരു മൗണ്ടഡ് പാർട്ടീഷൻ POSIX ഫയൽ ആട്രിബ്യൂട്ടുകൾ, ACL-കൾ, ലോക്കുകൾ, സോക്കറ്റുകൾ, പൈപ്പുകൾ, ഉപകരണ ഫയലുകൾ, പ്രതീകാത്മകവും ഹാർഡ് ലിങ്കുകളും പിന്തുണയ്ക്കുന്നു. സിസ്റ്റത്തിന് പരാജയത്തിന്റെ ഒരു പോയിന്റും ഇല്ല; എല്ലാ ഘടകങ്ങളും അനാവശ്യമാണ്. ഡാറ്റ പ്രവർത്തനങ്ങളുടെ സമാന്തരവൽക്കരണം പിന്തുണയ്ക്കുന്നു (നിരവധി ക്ലയന്റുകൾക്ക് ഒരേസമയം ഫയലുകൾ ആക്സസ് ചെയ്യാൻ കഴിയും).

തെറ്റ് സഹിഷ്ണുത ഉറപ്പാക്കാൻ, ഡാറ്റയെ പകർപ്പുകളായി തിരിച്ചിരിക്കുന്നു, അവ ആവർത്തനത്തോടെ വിവിധ നോഡുകളിൽ വിതരണം ചെയ്യുന്നു (നിരവധി പകർപ്പുകൾ വ്യത്യസ്ത നോഡുകളിൽ സ്ഥാപിച്ചിരിക്കുന്നു); നോഡുകളോ ഡ്രൈവുകളോ പരാജയപ്പെടുകയാണെങ്കിൽ, സിസ്റ്റം വിവരങ്ങൾ നഷ്ടപ്പെടാതെ പ്രവർത്തിക്കുന്നത് തുടരുകയും ഡാറ്റ യാന്ത്രികമായി പുനർവിതരണം ചെയ്യുകയും ചെയ്യുന്നു. ശേഷിക്കുന്ന നോഡുകൾ കണക്കിലെടുക്കുന്നു. സംഭരണം വിപുലീകരിക്കുന്നതിന്, അറ്റകുറ്റപ്പണികൾക്കായി ജോലി നിർത്താതെ അതിലേക്ക് പുതിയ നോഡുകൾ കണക്റ്റുചെയ്‌താൽ മതിയാകും (സിസ്റ്റം തന്നെ ഡാറ്റയുടെ ഒരു ഭാഗം പുതിയ സെർവറുകളിലേക്ക് പകർത്തുകയും പുതിയ സെർവറുകൾ കണക്കിലെടുത്ത് സംഭരണം ബാലൻസ് ചെയ്യുകയും ചെയ്യുന്നു). ക്ലസ്റ്ററിന്റെ വലുപ്പം കുറയ്ക്കുന്നതിന് നിങ്ങൾക്ക് ഇത് ചെയ്യാൻ കഴിയും - സിസ്റ്റത്തിൽ നിന്ന് നീക്കം ചെയ്യുന്ന കാലഹരണപ്പെട്ട ഉപകരണങ്ങൾ നിങ്ങൾക്ക് പ്രവർത്തനരഹിതമാക്കാം.

ഡാറ്റയും മെറ്റാഡാറ്റയും വെവ്വേറെ സൂക്ഷിക്കുന്നു. പ്രവർത്തനത്തിനായി, മാസ്റ്റർ-സ്ലേവ് മോഡിൽ പ്രവർത്തിക്കുന്ന രണ്ട് മെറ്റാഡാറ്റ സെർവറുകളും അതുപോലെ കുറഞ്ഞത് രണ്ട് ഡാറ്റ സ്റ്റോറേജ് സെർവറുകളും (ചങ്ക്സെർവർ) ഇൻസ്റ്റാൾ ചെയ്യാൻ ശുപാർശ ചെയ്യുന്നു. കൂടാതെ, മെറ്റാഡാറ്റ ബാക്കപ്പ് ചെയ്യുന്നതിന്, മെറ്റാഡാറ്റയിലെ മാറ്റങ്ങളെക്കുറിച്ചുള്ള വിവരങ്ങൾ സംഭരിക്കാനും നിലവിലുള്ള എല്ലാ മെറ്റാഡാറ്റ സെർവറുകളിലും കേടുപാടുകൾ സംഭവിച്ചാൽ പ്രവർത്തനം പുനഃസ്ഥാപിക്കാൻ നിങ്ങളെ അനുവദിക്കാനും ലോഗ് സെർവറുകൾ ഉപയോഗിക്കാനാകും. ഓരോ ഫയലും 64 MB വരെ വലിപ്പമുള്ള ബ്ലോക്കുകളായി (ചങ്കുകൾ) തിരിച്ചിരിക്കുന്നു. തിരഞ്ഞെടുത്ത റെപ്ലിക്കേഷൻ മോഡിന് അനുസൃതമായി സ്റ്റോറേജ് സെർവറുകൾക്കിടയിൽ ബ്ലോക്കുകൾ വിതരണം ചെയ്യുന്നു: സ്റ്റാൻഡേർഡ് (വ്യക്തിഗത ഡയറക്‌ടറികളുമായി ബന്ധപ്പെട്ടതുൾപ്പെടെ വിവിധ നോഡുകളിൽ സ്ഥാപിക്കേണ്ട പകർപ്പുകളുടെ എണ്ണത്തിന്റെ വ്യക്തമായ നിർണ്ണയം - പ്രധാനപ്പെട്ട ഡാറ്റയ്‌ക്കായി പകർപ്പുകളുടെ എണ്ണം വർദ്ധിപ്പിക്കാൻ കഴിയും, കൂടാതെ അപ്രധാന ഡാറ്റ കുറച്ചു), XOR (RAID5), EC (RAID6).

സംഭരണത്തിന് പെറ്റാബൈറ്റ് വലുപ്പം വരെ സ്കെയിൽ ചെയ്യാം. ആർക്കൈവിംഗ്, വെർച്വൽ മെഷീൻ ഇമേജുകളുടെ സംഭരണം, മൾട്ടിമീഡിയ ഡാറ്റ, ബാക്കപ്പുകൾ, ഡിആർസി (ഡിസാസ്റ്റർ റിക്കവറി സെന്റർ) ആയി ഉപയോഗിക്കൽ, ഉയർന്ന പ്രവർത്തനക്ഷമതയുള്ള കമ്പ്യൂട്ടിംഗ് ക്ലസ്റ്ററുകളിലെ സംഭരണം എന്നിവ ആപ്ലിക്കേഷന്റെ മേഖലകളിൽ ഉൾപ്പെടുന്നു. LizardFS ഏത് വലുപ്പത്തിലുള്ള ഫയലുകൾക്കും വളരെ ഉയർന്ന വായനാ വേഗത നൽകുന്നു, എഴുതുമ്പോൾ, വലിയതും ഇടത്തരവുമായ മുഴുവൻ ഫയലുകളും എഴുതുമ്പോൾ, സ്ഥിരമായ പരിഷ്‌ക്കരണം ഇല്ലാത്തപ്പോൾ, തുറന്ന ഫയലുകളുള്ള തീവ്രമായ ജോലി, ഒറ്റത്തവണ പ്രവർത്തനങ്ങൾ എന്നിവ മികച്ച പ്രകടനം കാണിക്കുന്നു. ചെറിയ ഫയലുകളുടെ ഒരു കൂട്ടം.

FS-ന്റെ സവിശേഷതകളിൽ, സ്നാപ്പ്ഷോട്ടുകൾക്കുള്ള പിന്തുണയുടെ സാന്നിധ്യം, ഒരു നിശ്ചിത സമയത്ത് ഫയലുകളുടെ അവസ്ഥയെ പ്രതിഫലിപ്പിക്കുക, "റീസൈക്കിൾ ബിൻ" (ഫയലുകൾ ഉടനടി ഇല്ലാതാക്കില്ല, അവ ലഭ്യമാണ്. കുറച്ച് സമയത്തേക്ക് വീണ്ടെടുക്കൽ). ഒരു പാർട്ടീഷനിലേക്കുള്ള പ്രവേശനം IP വിലാസം അല്ലെങ്കിൽ പാസ്വേഡ് (NFS-ന് സമാനമായത്) വഴി പരിമിതപ്പെടുത്താവുന്നതാണ്. ചില വിഭാഗത്തിലുള്ള ഉപയോക്താക്കൾക്കായി വലുപ്പവും ബാൻഡ്‌വിഡ്ത്തും പരിമിതപ്പെടുത്താൻ നിങ്ങളെ അനുവദിക്കുന്ന സേവന മാനേജുമെന്റ് മെക്കാനിസങ്ങളുടെ ക്വാട്ടയും ഗുണനിലവാരവും ഉണ്ട്. ഭൂമിശാസ്ത്രപരമായി വിതരണം ചെയ്ത സംഭരണ ​​​​സൌകര്യങ്ങൾ സൃഷ്ടിക്കാൻ സാധിക്കും, അവയുടെ സെഗ്മെന്റുകൾ വ്യത്യസ്ത ഡാറ്റാ സെന്ററുകളിൽ സ്ഥിതിചെയ്യുന്നു.

LizardFS പ്രോജക്റ്റ് 2013 ൽ ഒരു ഫോർക്ക് ആയി സ്ഥാപിതമായി മൂസ്എഫ്എസ്, കൂടാതെ Reed-Solomon പിശക് തിരുത്തൽ കോഡുകൾ (raidzN ന് സാമ്യമുള്ളത്), വിപുലീകരിച്ച ACL പിന്തുണ, Windows പ്ലാറ്റ്‌ഫോമിനായുള്ള ഒരു ക്ലയന്റ് സാന്നിധ്യം, അധിക ഒപ്റ്റിമൈസേഷനുകൾ (ഉദാഹരണത്തിന്, ഒരു ക്ലയന്റ് സംയോജിപ്പിക്കുമ്പോൾ ഒപ്പം ഒരു സ്റ്റോറേജ് സെർവർ, ബ്ലോക്കുകൾ, സാധ്യമെങ്കിൽ, നിലവിലെ നോഡ് ഉപയോഗിച്ച് അയയ്‌ക്കുന്നു, കൂടാതെ മെറ്റാഡാറ്റ മെമ്മറിയിൽ കാഷെ ചെയ്‌തിരിക്കുന്നു), കൂടുതൽ വഴക്കമുള്ള കോൺഫിഗറേഷൻ സിസ്റ്റം, ഡാറ്റ റീഡ്-എഹെഡ്, ഡയറക്‌ടറി ക്വാട്ടകൾ, ആന്തരിക പുനർനിർമ്മാണം എന്നിവയ്ക്കുള്ള പിന്തുണ.

LizardFS 3.13.0 ഡിസംബർ അവസാനത്തോടെ പുറത്തിറങ്ങും. LizardFS 3.13-ന്റെ പ്രധാന കണ്ടുപിടുത്തം തെറ്റ് സഹിഷ്ണുത ഉറപ്പാക്കാൻ ഒരു സമവായ അൽഗോരിതം ഉപയോഗിക്കുന്നു (പരാജയപ്പെട്ടാൽ മാസ്റ്റർ സെർവറുകൾ മാറുന്നത്) തുഴയൽ (മുമ്പ് വാണിജ്യ ഉൽപ്പന്നങ്ങളിൽ ഉപയോഗിച്ചിരുന്ന uRaft-ന്റെ സ്വന്തം നടപ്പാക്കൽ ഉപയോഗിക്കുന്നു). uRaft ഉപയോഗിക്കുന്നത് കോൺഫിഗറേഷൻ ലളിതമാക്കുകയും പരാജയം വീണ്ടെടുക്കൽ കാലതാമസം കുറയ്ക്കുകയും ചെയ്യുന്നു, എന്നാൽ കുറഞ്ഞത് മൂന്ന് വർക്കിംഗ് നോഡുകളെങ്കിലും ആവശ്യമാണ്, അവയിലൊന്ന് കോറത്തിന് ഉപയോഗിക്കുന്നു.

മറ്റ് മാറ്റങ്ങൾ: FUSE3 സബ്സിസ്റ്റം അടിസ്ഥാനമാക്കിയുള്ള ഒരു പുതിയ ക്ലയന്റ്, പിശക് തിരുത്തലിലെ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നു, nfs-ganesha പ്ലഗിൻ C ഭാഷയിൽ മാറ്റിയെഴുതിയിരിക്കുന്നു. അപ്ഡേറ്റ് 3.13.0-rc2, 3.13 ബ്രാഞ്ചിന്റെ മുമ്പത്തെ ടെസ്റ്റ് റിലീസുകൾ ഉപയോഗശൂന്യമാക്കിയ നിരവധി നിർണായക ബഗുകൾ പരിഹരിച്ചു (3.12 ബ്രാഞ്ചിന്റെ പരിഹാരങ്ങൾ ഇതുവരെ പ്രസിദ്ധീകരിച്ചിട്ടില്ല, 3.12 മുതൽ 3.13 വരെയുള്ള അപ്ഡേറ്റ് ഇപ്പോഴും പൂർണ്ണമായ ഡാറ്റ നഷ്ടത്തിലേക്ക് നയിക്കുന്നു).

2020 ൽ, പ്രവർത്തനങ്ങൾ വികസിപ്പിക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കും
അഗാമ, പൂർണ്ണമായും മാറ്റിയെഴുതിയ പുതിയ LizardFS കേർണൽ, ഡെവലപ്പർമാരുടെ അഭിപ്രായത്തിൽ, ബ്രാഞ്ച് 3.12 നെ അപേക്ഷിച്ച് പ്രകടനത്തിൽ മൂന്നിരട്ടി വർദ്ധനവ് നൽകും. അഗമ ഒരു ഇവന്റ്-ഡ്രൈവ് ആർക്കിടെക്ചറിലേക്ക് മാറും, അസിൻക്രണസ് ഇൻപുട്ട്/ഔട്ട്പുട്ട് അടിസ്ഥാനമാക്കി അസിയോ, പ്രാഥമികമായി ഉപയോക്തൃ സ്ഥലത്ത് പ്രവർത്തിക്കുക (കേർണൽ കാഷിംഗ് മെക്കാനിസങ്ങളെ ആശ്രയിക്കുന്നത് കുറയ്ക്കുന്നതിന്). കൂടാതെ, ഒരു പുതിയ ഡീബഗ്ഗിംഗ് സബ്സിസ്റ്റവും പെർഫോമൻസ് ഓട്ടോ-ട്യൂണിങ്ങിനുള്ള പിന്തുണയുള്ള നെറ്റ്‌വർക്ക് ആക്റ്റിവിറ്റി അനലൈസറും വാഗ്ദാനം ചെയ്യും.

LizardFS ക്ലയന്റ് വേർഷനിംഗ് റൈറ്റ് ഓപ്പറേഷനുകൾക്ക് പൂർണ്ണ പിന്തുണ നൽകും, അത് ദുരന്ത വീണ്ടെടുക്കലിന്റെ വിശ്വാസ്യത മെച്ചപ്പെടുത്തും, വ്യത്യസ്ത ക്ലയന്റുകൾ ഒരേ ഡാറ്റയിലേക്ക് ആക്‌സസ് പങ്കിടുമ്പോൾ ഉണ്ടാകുന്ന പ്രശ്നങ്ങൾ പരിഹരിക്കുകയും കാര്യമായ പ്രകടന മെച്ചപ്പെടുത്തലുകൾ അനുവദിക്കുകയും ചെയ്യും. ഉപയോക്തൃ സ്ഥലത്ത് പ്രവർത്തിക്കുന്ന സ്വന്തം നെറ്റ്‌വർക്ക് സബ്സിസ്റ്റത്തിലേക്ക് ക്ലയന്റ് മാറ്റപ്പെടും. അഗമയെ അടിസ്ഥാനമാക്കിയുള്ള LizardFS-ന്റെ ആദ്യ വർക്കിംഗ് പ്രോട്ടോടൈപ്പ് 2020 ന്റെ രണ്ടാം പാദത്തിൽ തയ്യാറാക്കാൻ പദ്ധതിയിട്ടിരിക്കുന്നു. അതേസമയം, ലിസാർഡ്‌എഫ്‌എസിനെ കുബർനെറ്റസ് പ്ലാറ്റ്‌ഫോമുമായി സംയോജിപ്പിക്കുന്നതിനുള്ള ഉപകരണങ്ങൾ നടപ്പിലാക്കുമെന്ന് അവർ വാഗ്ദാനം ചെയ്യുന്നു.

അവലംബം: opennet.ru