Linux 0.8.0-ൽ ZFS-ന്റെ റിലീസ്, ലിനക്സ് കേർണലിനുള്ള ZFS-ന്റെ ഒരു നിർവ്വഹണം

ഏകദേശം രണ്ട് വർഷത്തെ വികസനത്തിന് ശേഷം അവതരിപ്പിച്ചു പ്രകാശനം Linux 0.8.0-ൽ ZFS, ZFS ഫയൽ സിസ്റ്റത്തിൻ്റെ ഒരു നിർവ്വഹണം, Linux കേർണലിനായി ഒരു മൊഡ്യൂളായി രൂപകൽപ്പന ചെയ്തിരിക്കുന്നു. 2.6.32 മുതൽ 5.1 വരെയുള്ള ലിനക്സ് കേർണലുകൾ ഉപയോഗിച്ച് മൊഡ്യൂൾ പരീക്ഷിച്ചു. റെഡി ഇൻസ്റ്റലേഷൻ പാക്കേജുകൾ ഉടൻ വരുന്നു തയ്യാറാക്കും Debian, Ubuntu, Fedora, RHEL/CentOS എന്നിവയുൾപ്പെടെയുള്ള പ്രധാന ലിനക്സ് വിതരണങ്ങൾക്കായി. Debian, Ubuntu, Gentoo, Sabayon Linux, ALT Linux വിതരണങ്ങളിൽ ലിനക്സ് മൊഡ്യൂളിലെ ZFS ഇതിനകം ഉൾപ്പെടുത്തിയിട്ടുണ്ട്.

Linux-ലെ ZFS-ൻ്റെ ഭാഗമായി, ഫയൽ സിസ്റ്റത്തിൻ്റെ പ്രവർത്തനവും വോളിയം മാനേജറിൻ്റെ പ്രവർത്തനവുമായി ബന്ധപ്പെട്ട ZFS ഘടകങ്ങളുടെ നടപ്പാക്കൽ തയ്യാറാക്കിയിട്ടുണ്ട്. പ്രത്യേകിച്ചും, ഇനിപ്പറയുന്ന ഘടകങ്ങൾ നടപ്പിലാക്കുന്നു: SPA (സ്റ്റോറേജ് പൂൾ അലോക്കേറ്റർ), DMU (ഡാറ്റ മാനേജ്മെൻ്റ് യൂണിറ്റ്), ZVOL (ZFS എമുലേറ്റഡ് വോളിയം), ZPL (ZFS POSIX ലെയർ). കൂടാതെ, ലസ്റ്റർ ക്ലസ്റ്റർ ഫയൽ സിസ്റ്റത്തിനുള്ള ഒരു ബാക്കെൻഡായി ZFS ഉപയോഗിക്കാനുള്ള കഴിവ് പ്രോജക്റ്റ് നൽകുന്നു. ഓപ്പൺ സോളാരിസ് പ്രോജക്റ്റിൽ നിന്ന് ഇമ്പോർട്ടുചെയ്‌ത് ഇല്ലുമോസ് കമ്മ്യൂണിറ്റിയിൽ നിന്നുള്ള മെച്ചപ്പെടുത്തലുകളും പരിഹാരങ്ങളും ഉപയോഗിച്ച് വിപുലീകരിച്ച യഥാർത്ഥ ZFS കോഡിനെ അടിസ്ഥാനമാക്കിയുള്ളതാണ് പ്രോജക്റ്റിൻ്റെ പ്രവർത്തനം. യുഎസ് ഊർജ വകുപ്പുമായുള്ള കരാർ പ്രകാരം ലിവർമോർ നാഷണൽ ലബോറട്ടറിയിലെ ജീവനക്കാരുടെ പങ്കാളിത്തത്തോടെയാണ് പദ്ധതി വികസിപ്പിക്കുന്നത്.

GPLv2 ന് പൊരുത്തമില്ലാത്ത ഒരു സൗജന്യ CDDL ലൈസൻസിന് കീഴിലാണ് കോഡ് വിതരണം ചെയ്യുന്നത്, GPLv2, CDDL ലൈസൻസുകൾക്ക് കീഴിലുള്ള കോഡ് മിശ്രണം ചെയ്യുന്നത് അസ്വീകാര്യമായതിനാൽ, Linux-ലെ ZFS-നെ ലിനക്സ് കേർണലിൻ്റെ പ്രധാന ശാഖയിലേക്ക് സംയോജിപ്പിക്കാൻ അനുവദിക്കുന്നില്ല. ഈ ലൈസൻസിംഗ് പൊരുത്തക്കേട് ഒഴിവാക്കാൻ, കേർണലിൽ നിന്ന് പ്രത്യേകം വിതരണം ചെയ്യുന്ന ഒരു പ്രത്യേക ഡൗൺലോഡ് ചെയ്യാവുന്ന മൊഡ്യൂളായി മുഴുവൻ ഉൽപ്പന്നവും CDDL ലൈസൻസിന് കീഴിൽ വിതരണം ചെയ്യാൻ തീരുമാനിച്ചു. Linux കോഡ്ബേസിലെ ZFS-ൻ്റെ സ്ഥിരത Linux-നുള്ള മറ്റ് ഫയൽ സിസ്റ്റങ്ങളുമായി താരതമ്യപ്പെടുത്താവുന്നതാണ്.

പ്രധാന മാറ്റങ്ങൾ:

• ഫയൽ സിസ്റ്റത്തിലും പാർട്ടീഷൻ തലങ്ങളിലും സംഭരിച്ചിരിക്കുന്ന ഡാറ്റയുടെ എൻക്രിപ്ഷനുള്ള ബിൽറ്റ്-ഇൻ പിന്തുണ ചേർത്തു. ഡിഫോൾട്ട് എൻക്രിപ്ഷൻ അൽഗോരിതം aes-256-ccm ആണ്. എൻക്രിപ്ഷൻ കീകൾ ലോഡ് ചെയ്യാൻ, "zfs ലോഡ്-കീ" കമാൻഡ് നിർദ്ദേശിക്കപ്പെടുന്നു;
• "zfs send", "zfs receive" എന്നീ കമാൻഡുകൾ എക്സിക്യൂട്ട് ചെയ്യുമ്പോൾ എൻക്രിപ്റ്റ് ചെയ്ത ഡാറ്റ ട്രാൻസ്മിറ്റ് ചെയ്യാനുള്ള കഴിവ് നടപ്പിലാക്കി. “-w” ഓപ്‌ഷൻ വ്യക്തമാക്കുമ്പോൾ, പൂളിൽ ഇതിനകം എൻക്രിപ്റ്റ് ചെയ്‌ത ഡാറ്റ ഇൻ്റർമീഡിയറ്റ് ഡീക്രിപ്ഷൻ കൂടാതെ മറ്റൊരു പൂളിലേക്ക് മാറ്റുന്നു. അത്തരം പകർത്തൽ സമയത്ത്, അയയ്‌ക്കുന്ന കക്ഷിയുടെ കീ ഉപയോഗിച്ച് ഡാറ്റ പരിരക്ഷിക്കപ്പെടും, ഇത് വിശ്വസനീയമല്ലാത്ത സിസ്റ്റങ്ങളിലേക്ക് ബാക്കപ്പുചെയ്യുന്നതിന് ഈ മോഡ് ഉപയോഗിക്കാൻ അനുവദിക്കുന്നു (സ്വീകർത്താവ് വിട്ടുവീഴ്ച ചെയ്യുകയാണെങ്കിൽ, കീ ഇല്ലാതെ ആക്രമണകാരിക്ക് ഡാറ്റ ആക്‌സസ് ചെയ്യാൻ കഴിയില്ല);
• ഒരു സ്റ്റോറേജ് പൂളിൽ നിന്ന് പ്രാഥമിക ഡ്രൈവുകൾ നീക്കം ചെയ്യുന്നതിനുള്ള പിന്തുണ ചേർത്തു, വ്യക്തിഗതമായോ മിററിൻ്റെ ഭാഗമായോ ബന്ധിപ്പിച്ചിരിക്കുന്നു. "zpool remove" കമാൻഡ് ഉപയോഗിച്ചാണ് നീക്കം ചെയ്യുന്നത്. ഇല്ലാതാക്കൽ പ്രക്രിയയിൽ, നീക്കം ചെയ്ത ഡ്രൈവിൽ നിന്നുള്ള ഡാറ്റ പൂളിലെ ശേഷിക്കുന്ന പ്രാഥമിക ഡ്രൈവുകളിലേക്ക് പകർത്തുന്നു;
• സംരക്ഷിച്ച പോയിൻ്റിലേക്ക് കൂടുതൽ മാറ്റങ്ങൾ തിരികെ കൊണ്ടുവരാനുള്ള കഴിവോടെ പൂളിൻ്റെ നിലവിലെ അവസ്ഥ സംരക്ഷിക്കാൻ "zpool ചെക്ക്‌പോയിൻ്റ്" കമാൻഡ് ചേർത്തു (മുഴുവൻ പൂളിൻ്റെയും ഒരു സ്‌നാപ്പ്‌ഷോട്ട് സൃഷ്‌ടിക്കപ്പെട്ടിരിക്കുന്നു). സാധാരണഗതിയിൽ മാറ്റാനാകാത്ത മാറ്റങ്ങളിലേക്ക് നയിക്കുന്ന അപകടസാധ്യതയുള്ള സങ്കീർണ്ണമായ അഡ്മിനിസ്ട്രേറ്റീവ് ജോലികൾ നിർവഹിക്കുന്ന പ്രക്രിയയിൽ അവതരിപ്പിച്ച ഫീച്ചർ ഉപയോഗപ്രദമായേക്കാം (ഉദാഹരണത്തിന്, പുതിയ ZFS പ്രവർത്തനത്തിനായി ഫ്ലാഗുകൾ സജീവമാക്കൽ അല്ലെങ്കിൽ ഡാറ്റ മായ്ക്കൽ);
• ഇപ്പോൾ ഉപയോഗത്തിലില്ലാത്ത സെക്ടറുകളെക്കുറിച്ച് ഒരു പൂളിൽ ഉപയോഗിക്കുന്ന ഡ്രൈവുകളെ അറിയിക്കാൻ "zpool trim" കമാൻഡ് ചേർത്തു. TRIM ഓപ്പറേഷൻ ഉപയോഗിക്കുന്നത് SSD ഡ്രൈവുകളുടെ കാര്യക്ഷമത വർദ്ധിപ്പിക്കുന്നതിനും അവയുടെ പ്രകടനത്തിൻ്റെ അപചയം തടയുന്നതിനും സാധ്യമാക്കുന്നു. TRIM കമാൻഡുകൾ കൈമാറുന്നതിനുള്ള തുടർച്ചയായ പശ്ചാത്തല പ്രക്രിയ പ്രവർത്തനക്ഷമമാക്കുന്നതിന്, ഒരു പുതിയ പ്രോപ്പർട്ടി "ഓട്ടോട്രിം" നിർദ്ദേശിക്കപ്പെട്ടിരിക്കുന്നു;
• അനുവദിക്കാത്ത എല്ലാ ഡിസ്‌ക് സ്‌പെയ്‌സും സമാരംഭിക്കുന്നതിന് "zpool initialize" കമാൻഡ് ചേർത്തു, ആദ്യ ആക്‌സസിലെ പ്രകടനത്തെ ബാധിക്കാതെ അത് ഉടൻ ഉപയോഗത്തിന് തയ്യാറാണെന്ന് ഉറപ്പാക്കുന്നു (ഉദാഹരണത്തിന്, VMware VMDK പോലുള്ള വെർച്വലൈസ്ഡ് സ്റ്റോറേജ് ഹോസ്റ്റുചെയ്യുമ്പോൾ);
• മുമ്പ് ലഭ്യമായ ഉപയോക്തൃ, ഗ്രൂപ്പ് ലെവൽ ക്വാട്ടകൾ പൂർത്തീകരിക്കുന്ന പ്രോജക്റ്റ്-ലെവൽ അക്കൗണ്ടിംഗിനും ക്വാട്ടകൾക്കുമുള്ള പിന്തുണ ചേർത്തു. അടിസ്ഥാനപരമായി, പ്രോജക്റ്റുകൾ ഒരു പ്രത്യേക ഐഡൻ്റിഫയറുമായി (പ്രോജക്റ്റ് ഐഡി) ബന്ധപ്പെട്ട വസ്തുക്കളുടെ ഒരു പ്രത്യേക ഇടമാണ്. ബൈൻഡിംഗ് നിർണ്ണയിക്കുന്നത് 'chattr -p' ഓപ്പറേഷൻ വഴിയോ ആട്രിബ്യൂട്ട് ഇൻഹെറിറ്റൻസ് വഴിയോ ആണ്. പ്രോജക്റ്റുകൾ കൈകാര്യം ചെയ്യുന്നതിനായി, "zfs project", "zfs projectspace" എന്നീ കമാൻഡുകൾ നൽകിയിരിക്കുന്നു, ഇത് പ്രോജക്റ്റുകളുടെ നിർമ്മാണം നിയന്ത്രിക്കാനും അവയ്ക്ക് ഡിസ്ക് സ്പേസ് പരിധി നിശ്ചയിക്കാനും നിങ്ങളെ അനുവദിക്കുന്നു;
• ZFS ഉപയോഗിച്ച് വിവിധ ജോലികൾ ഓട്ടോമേറ്റ് ചെയ്യുന്നതിന് Lua സ്ക്രിപ്റ്റുകൾ സൃഷ്ടിക്കാനുള്ള കഴിവ് ചേർത്തു. "zpool പ്രോഗ്രാം" കമാൻഡ് ഉപയോഗിച്ച് പ്രത്യേക ഒറ്റപ്പെട്ട പരിതസ്ഥിതികളിൽ സ്ക്രിപ്റ്റുകൾ സമാരംഭിക്കുന്നു;
• പുതിയ ലൈബ്രറി നടപ്പാക്കി pyzfs, ഇത് പൈത്തൺ ആപ്ലിക്കേഷനുകളിൽ നിന്ന് ZFS നിയന്ത്രിക്കുന്നതിന് ഒരു സ്ഥിരതയുള്ള API നൽകുന്നു. ലൈബ്രറി libzfs_core-ന് മുകളിലുള്ള ഒരു റാപ്പറാണ്, കൂടാതെ സമാനമായ ഒരു കൂട്ടം ഫംഗ്ഷനുകൾ നൽകുന്നു, പക്ഷേ പൈത്തണിന് അടുത്തുള്ള തരങ്ങൾ ഉപയോഗിക്കുന്നു;
• arcstat, arcsummary, dbufstat യൂട്ടിലിറ്റികൾ ഇപ്പോൾ പൈത്തൺ 3-ന് അനുയോജ്യമാണ്. arcstat.py, arc_summary.py, dbufstat.py എന്നീ യൂട്ടിലിറ്റികൾ “.py” വിപുലീകരണമില്ലാത്ത പതിപ്പുകളിലേക്ക് പുനർനാമകരണം ചെയ്‌തു;
• Linux Direct IO (O_DIRECT) കേർണൽ ഇൻ്റർഫേസിനുള്ള പിന്തുണ ചേർത്തു, ഇത് ബഫറിംഗ് കൂടാതെ ഡാറ്റ ആക്സസ് ചെയ്യാനും കാഷെ ബൈപാസ് ചെയ്യാനും നിങ്ങളെ അനുവദിക്കുന്നു;
• അവതരിപ്പിച്ച പ്രകടന ഒപ്റ്റിമൈസേഷനുകൾ:
  • “സ്‌ക്രബ്”, “റിസിൽവർ” കമാൻഡുകളുടെ പ്രവർത്തനം രണ്ട് ഘട്ടങ്ങളായി വിഭജിച്ച് ത്വരിതപ്പെടുത്തി (മെറ്റാഡാറ്റ സ്കാൻ ചെയ്യുന്നതിനും ഡിസ്കിലെ ഡാറ്റ ബ്ലോക്കുകളുടെ സ്ഥാനം നിർണ്ണയിക്കുന്നതിനും ഒരു പ്രത്യേക ഘട്ടം അനുവദിച്ചിരിക്കുന്നു, ഇത് തുടർച്ചയായ ഡാറ്റ റീഡിംഗ് ഉപയോഗിച്ച് കൂടുതൽ സ്ഥിരീകരണം അനുവദിക്കുന്നു) ;
  • അലോക്കേഷൻ ക്ലാസുകൾക്കുള്ള പിന്തുണ ചേർത്തു,
    താരതമ്യേന ചെറിയ എസ്എസ്ഡി ഡ്രൈവുകൾ ഒരു പൂളിൽ ഉൾപ്പെടുത്താനും മെറ്റാഡാറ്റ, ഡിഡിടി ഡാറ്റ, ഫയലുകളുള്ള ചെറിയ ബ്ലോക്കുകൾ എന്നിങ്ങനെ പതിവായി ഉപയോഗിക്കുന്ന ചില ബ്ലോക്കുകൾ മാത്രം സംഭരിക്കുന്നതിനും ഉപയോഗിക്കുന്നു;

  • അഡ്‌മിനിസ്‌ട്രേഷനായുള്ള കമാൻഡുകളുടെ പ്രകടനം വർദ്ധിപ്പിച്ചു
    “zfs ലിസ്റ്റ്”, “zfs get”, അവയുടെ പ്രവർത്തനത്തിന് ആവശ്യമായ മെറ്റാഡാറ്റയുടെ കാഷിംഗ് കാരണം;

  • ഓരോ മെറ്റാസ്‌ലാബ് ഗ്രൂപ്പിനും പ്രത്യേകം "അലോക്കേറ്റർ" പ്രക്രിയകൾ സമാരംഭിച്ചുകൊണ്ട് ബ്ലോക്ക് അലോക്കേഷൻ പ്രവർത്തനങ്ങൾ സമാന്തരമാക്കുന്നതിനുള്ള പിന്തുണ ചേർത്തു. സാധാരണ സിസ്റ്റങ്ങളിൽ, 5-10% പ്രകടന വർദ്ധനവ് ഉണ്ട്, എന്നാൽ വലിയവയിൽ (8 GB SSD, 128 കോർ NUMA, 24 GB RAM), ബ്ലോക്ക് അലോക്കേഷൻ പ്രവർത്തനങ്ങളിലെ വർദ്ധനവ് 256% വരെയാകാം;
  • “റിസിൽവർ” കമാൻഡ് നടപ്പിലാക്കാൻ കാലതാമസം വരുത്താനുള്ള സാധ്യത ചേർത്തു (ഡ്രൈവുകളുടെ കോൺഫിഗറേഷനിലെ മാറ്റങ്ങൾ കണക്കിലെടുത്ത് ഡാറ്റ വിതരണം പുനർനിർമ്മിക്കുന്നു) - ഒരു പുതിയ പ്രവർത്തനം ആരംഭിക്കുമ്പോൾ മുമ്പത്തേത് ഇതുവരെ പൂർത്തിയാക്കിയിട്ടില്ലെങ്കിൽ, പുതിയ ഹാൻഡ്‌ലർ മാത്രം എക്‌സിക്യൂട്ട് ചെയ്യാൻ തുടങ്ങും. മുമ്പത്തേത് പൂർത്തിയായ ശേഷം;
  • സ്റ്റോറേജ് പ്രോസസ് ചെയ്യുന്ന ബ്ലോക്കുകൾ ഉള്ളപ്പോൾ ബ്ലോക്കുകൾ സൃഷ്ടിക്കുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനും അനുവദിക്കുന്നതിനായി ZIL (ZFS ഇൻ്റൻ്റ് ലോഗ്) ലോഗിലേക്ക് ഒപ്റ്റിമൈസേഷനുകൾ നടത്തിയിട്ടുണ്ട്;
  • സിസ്റ്റത്തിൽ പാർട്ടീഷനുകൾ (zvol) രജിസ്റ്റർ ചെയ്യുന്നതിനുള്ള സമയം കുറച്ചു. ഒരു പൂളിൽ ധാരാളം പാർട്ടീഷനുകൾ അടങ്ങിയിരിക്കുമ്പോൾ, "zpool ഇറക്കുമതി" നടപ്പിലാക്കിയ ഉടൻ തന്നെ അവ ഇപ്പോൾ ലഭ്യമാകും;
  • Intel QAT (ക്വിക്ക് അസിസ്റ്റ് ടെക്നോളജി) പിന്തുണയ്ക്കുന്ന ചിപ്പുകൾ ഉപയോഗിച്ച് SHA256 ഹാഷ് കണക്കുകൂട്ടലുകളുടെയും AES-GSM എൻക്രിപ്ഷൻ പ്രവർത്തനങ്ങളുടെയും ഹാർഡ്‌വെയർ ത്വരിതപ്പെടുത്തുന്നതിനുള്ള പിന്തുണ ചേർത്തു. Intel C62x ചിപ്‌സെറ്റിനും ആറ്റം C3000 സിപിയുവിനുമുള്ള ഹാർഡ്‌വെയർ ആക്സിലറേഷൻ ടൂളുകൾക്കുള്ള പിന്തുണ ചേർത്തു.

അവലംബം: opennet.ru