TernFS ഡിസ്ട്രിബ്യൂട്ടഡ് ഫയൽ സിസ്റ്റം കോഡ് ഓപ്പൺ സോഴ്‌സ് ആണ്.

ഭൂമിശാസ്ത്രപരമായി വിതരണം ചെയ്ത ഒന്നിലധികം ഡാറ്റാ സെന്ററുകളിലായി വ്യാപിച്ചുകിടക്കുന്ന വിതരണ സംഭരണം സൃഷ്ടിക്കുന്നതിനായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നതും പതിനായിരക്കണക്കിന് എക്സാബൈറ്റ് ഡാറ്റ, ട്രില്യൺ കണക്കിന് ഫയലുകൾ, നൂറുകണക്കിന് ബില്യൺ ഡയറക്ടറികൾ എന്നിവ സംഭരിക്കാൻ കഴിവുള്ളതുമായ ടെർൺഎഫ്എസ് ഫയൽ സിസ്റ്റത്തെ എക്സ് ടി എക്സ് മാർക്കറ്റ്സ് ഓപ്പൺ സോഴ്‌സ് ചെയ്‌തിരിക്കുന്നു, ഇവയെല്ലാം ദശലക്ഷക്കണക്കിന് ക്ലയന്റുകൾക്ക് ഒരേസമയം ആക്‌സസ് ചെയ്യാൻ കഴിയും. പ്രോജക്റ്റിന്റെ കോഡ് സി ++, ഗോ എന്നിവയിൽ എഴുതിയിരിക്കുന്നു, കൂടാതെ ജിപിഎൽവി 2 പ്രകാരം ലൈസൻസ് ചെയ്‌തിരിക്കുന്നു. പ്രോട്ടോക്കോൾ സ്പെസിഫിക്കേഷനുകളും ക്ലയന്റ് ലൈബ്രറികളും അപ്പാച്ചെ 2.0 ലൈസൻസിന് കീഴിലാണ് ലൈസൻസ് ചെയ്‌തിരിക്കുന്നത്.

മെഷീൻ ലേണിംഗ് സിസ്റ്റങ്ങളുടെ സാധാരണ വർക്ക്‌ലോഡുകൾക്കായി ഫയൽ സിസ്റ്റം ഒപ്റ്റിമൈസ് ചെയ്‌തിരിക്കുന്നു - സൃഷ്ടിച്ചതിനുശേഷം മാറ്റമില്ലാത്തതും കുറച്ച് മെഗാബൈറ്റിലധികം ഡാറ്റ അടങ്ങിയിരിക്കുന്നതുമായ ഫയലുകൾ എഴുതുന്നതിനും വായിക്കുന്നതിനും. പുതിയ ഡയറക്‌ടറികൾ പതിവായി സൃഷ്ടിക്കുന്നതിനോ ഡയറക്‌ടറികൾക്കിടയിൽ പതിവായി ഫയൽ കൈമാറ്റം ചെയ്യുന്നതിനോ ഫയൽ സിസ്റ്റം രൂപകൽപ്പന ചെയ്‌തിട്ടില്ല. ആകസ്മികമായി ഇല്ലാതാക്കിയ ഫയലുകളുടെയോ ഡയറക്‌ടറികളുടെയോ വീണ്ടെടുക്കൽ, സ്ഥിരമായ ഇല്ലാതാക്കലിനുള്ള നയങ്ങളുടെ കോൺഫിഗറേഷൻ എന്നിവ സവിശേഷതകളിൽ ഉൾപ്പെടുന്നു. വ്യത്യസ്ത പ്രദേശങ്ങളിലെ ഒന്നിലധികം ഡാറ്റാ സെന്ററുകൾക്കിടയിൽ ഫയൽ സിസ്റ്റം ഉള്ളടക്കങ്ങൾ പകർത്താൻ കഴിയും. സ്റ്റോറേജ് നോഡുകളിൽ വിവിധ തരം സംഭരണം (ഡിസ്ക് അധിഷ്ഠിതവും ഫ്ലാഷ് മെമ്മറിയും) ഉൾപ്പെടാം.

ഡിസൈൻ ആവശ്യകതകളിൽ ഒന്ന് ഒരൊറ്റ പരാജയ പോയിന്റിന്റെ അഭാവവും ഉയർന്ന സംഭരണ ​​വിശ്വാസ്യതയുമായിരുന്നു. വൈദ്യുതി തടസ്സങ്ങൾ ഫയൽ സിസ്റ്റത്തിന് കേടുപാടുകൾ വരുത്തരുത്, കൂടാതെ ഫയലുകൾ ഭാഗികമായി എഴുതാനും കഴിയില്ല (പൂർണ്ണമായി എഴുതിയ ഫയലുകൾ മാത്രമേ ആക്‌സസ് ചെയ്യാൻ കഴിയൂ). വ്യക്തിഗത ഡ്രൈവുകൾ, മെറ്റാഡാറ്റ നോഡുകൾ, സംഭരണ ​​നോഡുകൾ എന്നിവയുടെ പരാജയത്തെ സിസ്റ്റം പ്രതിരോധിക്കും. പ്രവർത്തനങ്ങൾ തടസ്സപ്പെടുത്താതെ സംഭരണ ​​പരിപാലനം സാധ്യമാണ്.

ഒന്നര വർഷത്തെ വികസനത്തിന് ശേഷം, 2023 ലെ വേനൽക്കാലത്ത് XTX മാർക്കറ്റുകൾ TernFS-അധിഷ്ഠിത സംഭരണം നടപ്പിലാക്കാൻ തുടങ്ങി. 2024 മധ്യത്തോടെ, XTX മാർക്കറ്റുകളുടെ എല്ലാ മെഷീൻ ലേണിംഗ് സിസ്റ്റങ്ങളും TernFS-ലേക്ക് മൈഗ്രേറ്റ് ചെയ്തു. നിലവിൽ സ്റ്റോറേജിൽ 30-ത്തിലധികം ഡിസ്കുകളും 10 ഫ്ലാഷ് ഡ്രൈവുകളും ഉൾപ്പെടുന്നു, മൂന്ന് ഡാറ്റാ സെന്ററുകളിലായി ഇവ സൂക്ഷിച്ചിരിക്കുന്നു. സംഭരിച്ചിരിക്കുന്ന മൊത്തം ഡാറ്റ വോളിയം 500 പെറ്റാബൈറ്റുകളായി കണക്കാക്കപ്പെടുന്നു, പീക്ക് പ്രകടനം സെക്കൻഡിൽ നിരവധി പെറ്റാബൈറ്റുകളിൽ എത്തുന്നു. 100-ത്തിലധികം കമ്പ്യൂട്ടിംഗ് നോഡുകളുടെ ഒരു ക്ലസ്റ്ററിലാണ് സംഭരണം ഉപയോഗിക്കുന്നത്. രണ്ട് വർഷത്തെ പ്രവർത്തനത്തിനിടയിൽ ഡാറ്റ നഷ്ടത്തിന് കാരണമായ സംഭവങ്ങളൊന്നും സംഭവിച്ചിട്ടില്ല.

TernFS പരിമിതികളിൽ ഇവ ഉൾപ്പെടുന്നു: എഴുതിയ ഫയലുകൾ പരിഷ്കരിക്കാൻ കഴിയില്ല; 2 MB-യിൽ താഴെയുള്ള ഫയലുകളിൽ പ്രവർത്തിക്കുമ്പോൾ കുറഞ്ഞ കാര്യക്ഷമത; ഡയറക്ടറി സൃഷ്ടിക്കൽ, ഇല്ലാതാക്കൽ പ്രവർത്തനങ്ങളുടെ കുറഞ്ഞ പ്രകടനം; അനുമതികൾ വേർതിരിക്കാനുള്ള കഴിവില്ലായ്മ.

ഒരു TernFS സ്റ്റോറേജ് ക്ലസ്റ്ററിൽ ഉൾപ്പെടുന്ന ഘടകങ്ങൾ ഇവയാണ്:

• ഡയറക്ടറി ഘടനകളെയും ഫയൽ ആട്രിബ്യൂട്ടുകളെയും കുറിച്ചുള്ള വിവരങ്ങൾ കൈകാര്യം ചെയ്യുന്നതിന് ഉത്തരവാദിത്തമുള്ള മെറ്റാഡാറ്റ സ്റ്റോറേജ് നോഡുകൾ.
• വ്യത്യസ്ത ഡയറക്ടറികളിലുടനീളം ഇടപാടുകൾ നടത്തുന്ന ക്രോസ്-ഡയറക്ടറി കോർഡിനേറ്റർ (CDC) നോഡുകൾ.
• ഫയൽ ഉള്ളടക്കങ്ങളുടെ സംഭരണം നൽകുന്ന സംഭരണ ​​സേവനങ്ങൾ.
• മറ്റെല്ലാ സേവനങ്ങളെയും കുറിച്ചുള്ള വിവരങ്ങൾ ഉൾക്കൊള്ളുന്നതും അവയുടെ പ്രവർത്തനം നിരീക്ഷിക്കുന്നതുമായ ഒരു രജിസ്ട്രി.
• എഫ്എസ് ആക്സസ് ചെയ്യുന്നതിനുള്ള ഉപയോക്താക്കൾക്ക് ക്ലയന്റ് സേവനങ്ങൾ:
  • ടേൺവെബ് — വെബ് API വഴി സംഭരണത്തിലേക്കുള്ള പ്രവേശനം.
  • terncli ഒരു കമാൻഡ്-ലൈൻ ഇന്റർഫേസാണ്.
  • ternfs.ko — модуль для ядра Linux, позволяющий монтировать хранилище для работы как с локальной ФС.
  • FUSE സബ്സിസ്റ്റം ഉപയോഗിച്ച് FS-നൊപ്പം പ്രവർത്തിക്കുന്നതിനുള്ള ഒരു ക്ലയന്റ് ഇംപ്ലിമെന്റേഷനാണ് ternfuse.
  • terns3 എന്നത് Amazon S3 API യുടെ ഒരു ഇംപ്ലിമെന്റേഷനാണ്.
• പശ്ചാത്തല പ്രക്രിയകൾ:
  • കാലഹരണപ്പെട്ട സ്നാപ്പ്ഷോട്ടുകൾ (ഇല്ലാതാക്കിയെങ്കിലും ശുദ്ധീകരിക്കാത്ത ഫയലുകൾ) സ്വതന്ത്രമാക്കുകയും ശാശ്വതമായി ഇല്ലാതാക്കിയ ഫയലുകൾക്കായി ബ്ലോക്കുകൾ വൃത്തിയാക്കുകയും ചെയ്യുന്ന ഒരു മാലിന്യ ശേഖരണമാണ് ജിസി.
  • സ്‌ക്രബ്ബർ — ഡാറ്റ ഡീഗ്രഡേഷൻ കണ്ടെത്തലും വീണ്ടെടുക്കലും.
  • മൈഗ്രേറ്റർ - സംഭരണത്തിൽ നിന്ന് പരാജയപ്പെട്ട ഡിസ്കുകൾ ഒഴിവാക്കുക.

അവലംബം: opennet.ru