ചെറിയ ഫയലുകളുടെ ഒതുക്കമുള്ള സംഭരണത്തിനുള്ള സെർവറായ wZD 1.0.0-ന്റെ ആദ്യ പതിപ്പ്

ലഭ്യമാണ് ആദ്യ പതിപ്പ് wZD 1.0.0 - പുറത്ത് നിന്ന് നോക്കിയാൽ ഒരു സാധാരണ WebDAV സെർവർ പോലെ കാണപ്പെടുന്ന കോം‌പാക്റ്റ് രൂപത്തിൽ ധാരാളം ഫയലുകൾ കാര്യക്ഷമമായി സംഭരിക്കുന്നതിനുള്ള ഒരു സെർവർ. സംഭരണത്തിനായി പരിഷ്കരിച്ച പതിപ്പ് ഉപയോഗിക്കുന്നു BoltDB. പ്രോജക്റ്റ് കോഡ് Go എന്നതിൽ എഴുതിയിരിക്കുന്നു വിതരണം ചെയ്തത് BSD ലൈസൻസിന് കീഴിൽ.

സെർവർ ഇത് അനുവദിക്കുന്നു പൂർണ്ണ ലോക്കിംഗ് പിന്തുണയുള്ള റെഗുലർ അല്ലെങ്കിൽ ക്ലസ്റ്റേർഡ് ഫയൽ സിസ്റ്റങ്ങളിലെ ചെറിയ ഫയലുകളുടെ എണ്ണം ഗണ്യമായി കുറയ്ക്കുക. wZD ഡവലപ്പർമാർ പിന്തുണയ്ക്കുന്ന ക്ലസ്റ്റർ ക്ലസ്റ്റർ ഫയൽ സിസ്റ്റത്തിൽ 250 ദശലക്ഷം ഡയറക്ടറികളിലായി വിതരണം ചെയ്യുന്ന 15 ദശലക്ഷം ചെറിയ ഫയലുകൾ സംഭരിക്കുന്നു. മൂസ്എഫ്എസ്.

ഡയറക്‌ടറികളിലെ ഉള്ളടക്കങ്ങൾ BoltDB ഫോർമാറ്റിലുള്ള ആർക്കൈവുകളിലേക്ക് നീക്കുന്നത് (ആർക്കൈവ്) സാധ്യമാക്കുന്നു, തുടർന്ന് ഈ ആർക്കൈവുകളിൽ നിന്ന് ഈ ഫയലുകൾ വിതരണം ചെയ്യുക (അല്ലെങ്കിൽ PUT രീതി ഉപയോഗിച്ച് ഫയലുകൾ ആർക്കൈവുകളിൽ സ്ഥാപിക്കുക), ഫയൽ സിസ്റ്റത്തിലെ ഫയലുകളുടെ എണ്ണം ഗണ്യമായി കുറയ്ക്കുകയും ചെയ്യുന്നു. മെറ്റാഡാറ്റ സംഭരിക്കുന്നതിന്റെ ഓവർഹെഡ് കുറയ്ക്കുന്നു. വലിയ ഫയലുകൾ പ്രോസസ്സ് ചെയ്യുന്നതിനുള്ള കാര്യക്ഷമത വർദ്ധിപ്പിക്കുന്നതിന്, അത്തരം ഫയലുകൾ ബോൾട്ട് ആർക്കൈവുകളിൽ നിന്ന് പ്രത്യേകം സംരക്ഷിക്കാൻ കഴിയും. ഫയൽ സിസ്റ്റത്തിലെ ഐനോഡുകളുടെ എണ്ണത്തിൽ പരിധിയില്ലാതെ ഒരു വലിയ എണ്ണം ചെറിയ ഫയലുകളുടെ സംഭരണം സംഘടിപ്പിക്കാൻ ഈ സമീപനം നിങ്ങളെ അനുവദിക്കുന്നു.

കീ/മൂല്യം ഫോർമാറ്റിലുള്ള ഡാറ്റയ്‌ക്കോ (ഡയറക്‌ടറി ഘടനയെ അടിസ്ഥാനമാക്കിയുള്ള ഷാർഡിംഗ് ഉള്ളത്) അല്ലെങ്കിൽ ഡാറ്റാബേസിൽ നിന്ന് മുൻകൂട്ടി സൃഷ്‌ടിച്ച html അല്ലെങ്കിൽ json പ്രമാണങ്ങൾ വിതരണം ചെയ്യുന്നതിനും സെർവർ ഒരു NoSQL ഡാറ്റാബേസ് ആയി ഉപയോഗിക്കാം. പ്രകടനത്തിന്റെ കാര്യത്തിൽ, ബോൾട്ട് ആർക്കൈവുകൾ ഉപയോഗിച്ച് ഡാറ്റ അയയ്‌ക്കുന്നതും എഴുതുന്നതും വായിക്കുമ്പോൾ ലേറ്റൻസി ഏകദേശം 20-25% വരെയും എഴുതുമ്പോൾ 40-50% വരെയും വർദ്ധിപ്പിക്കുന്നു. ഫയൽ വലുപ്പം ചെറുതാണെങ്കിൽ, ലേറ്റൻസിയിലെ വ്യത്യാസം ചെറുതാണ്.

പ്രധാന അവസരങ്ങൾ:

• മൾട്ടിത്രെഡിംഗ്;
• മൾട്ടിസെർവർ, തെറ്റ് സഹിഷ്ണുതയും ലോഡ് ബാലൻസും നൽകുന്നു;
• ഉപയോക്താവിനോ ഡവലപ്പർക്കോ വേണ്ടിയുള്ള പരമാവധി സുതാര്യത;
• പിന്തുണയ്ക്കുന്ന HTTP രീതികൾ: GET, HEAD, PUT, DELETE;
• ക്ലയന്റ് ഹെഡറുകൾ വഴി വായിക്കുന്നതിനും എഴുതുന്നതിനുമുള്ള പെരുമാറ്റത്തിന്റെ നിയന്ത്രണം;
• ഫ്ലെക്സിബിൾ വെർച്വൽ ഹോസ്റ്റുകൾക്കുള്ള പിന്തുണ;
• എഴുതുമ്പോൾ / വായിക്കുമ്പോൾ CRC ഡാറ്റ സമഗ്രതയ്ക്കുള്ള പിന്തുണ;
• കുറഞ്ഞ മെമ്മറി ഉപഭോഗത്തിനും ഒപ്റ്റിമൽ നെറ്റ്‌വർക്ക് പെർഫോമൻസ് ട്യൂണിംഗിനുമുള്ള സെമി-ഡൈനാമിക് ബഫറുകൾ;
• മാറ്റിവെച്ച ഡാറ്റ പാക്കേജിംഗ്;
• കൂടാതെ, ഒരു മൾട്ടി-ത്രെഡ് ആർക്കൈവർ വാഗ്ദാനം ചെയ്യുന്നു wZA സേവനം നിർത്താതെ തന്നെ ബോൾട്ട് ആർക്കൈവുകളിലേക്ക് ഫയലുകൾ നീക്കാൻ.

നിലവിലെ റിലീസിന്റെ ചില പരിമിതികൾ: മൾട്ടിപാർട്ട്, POST രീതി, HTTPS പ്രോട്ടോക്കോൾ, പ്രോഗ്രാമിംഗ് ഭാഷകൾക്കുള്ള ബൈൻഡിംഗുകൾ, ഡയറക്‌ടറികളുടെ ആവർത്തന ഇല്ലാതാക്കൽ, WebDAV അല്ലെങ്കിൽ FUSE, ഫയലുകൾ വഴി ഫയൽ സിസ്റ്റത്തിലേക്ക് ഒരു ഘടന മൗണ്ട് ചെയ്യുന്നതിന് പിന്തുണയില്ല. ഒരു സിസ്റ്റം ഉപയോക്താവിന് കീഴിൽ സംഭരിച്ചിരിക്കുന്നു. സ്റ്റോറേജ് ഫോർമാറ്റ് ആർക്കിടെക്ചർ നിർദ്ദിഷ്ടമാണ്, ലിറ്റിൽ എൻഡിയൻ, ബിഗ് എൻഡിയൻ സിസ്റ്റങ്ങൾക്കിടയിൽ പോർട്ടബിൾ അല്ല. WZD സെർവർ HTTP പ്രോട്ടോക്കോളിനുള്ള പിന്തുണ നടപ്പിലാക്കുന്നുണ്ടെങ്കിലും, nginx, haproxy പോലുള്ള റിവേഴ്സ് പ്രോക്സികളുടെ മറവിൽ മാത്രമേ ഇത് സമാരംഭിക്കാവൂ.

അവലംബം: opennet.ru