SSD-കൾക്കായി ഒപ്റ്റിമൈസ് ചെയ്ത മൈക്രോൺ ഓപ്പൺ കോഡ് HSE സ്റ്റോറേജ് എഞ്ചിൻ

DRAM, ഫ്ലാഷ് മെമ്മറി എന്നിവയുടെ നിർമ്മാണത്തിൽ സ്പെഷ്യലൈസ് ചെയ്ത ഒരു കമ്പനിയായ മൈക്രോൺ ടെക്നോളജി, представила പുതിയ സ്റ്റോറേജ് എഞ്ചിൻ HSE (Heterogeneous-memory Storage Engine), NAND ഫ്ലാഷ് (X100, TLC, QLC 3D NAND) അല്ലെങ്കിൽ പെർമനന്റ് മെമ്മറി (NVDIMM) അടിസ്ഥാനമാക്കിയുള്ള SSD-കളിൽ ഉപയോഗിക്കുന്നതിനായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. മറ്റ് ആപ്ലിക്കേഷനുകളിലേക്ക് ഉൾച്ചേർക്കുന്നതിനുള്ള ഒരു ലൈബ്രറിയുടെ രൂപത്തിലാണ് എഞ്ചിൻ നിർമ്മിച്ചിരിക്കുന്നത് കൂടാതെ കീ-വാല്യൂ ഫോർമാറ്റിൽ ഡാറ്റ പ്രോസസ്സിംഗ് പിന്തുണയ്ക്കുന്നു. HSE കോഡ് C ഭാഷയിലും എഴുതിയിരിക്കുന്നു വിതരണം ചെയ്തത് അപ്പാച്ചെ 2.0 പ്രകാരം ലൈസൻസ്.

എഞ്ചിൻ പ്രയോഗത്തിന്റെ മേഖലകളിൽ, NoSQL DBMS, സോഫ്റ്റ്‌വെയർ സ്റ്റോറേജുകൾ (SDS, സോഫ്റ്റ്‌വെയർ-നിർവചിക്കപ്പെട്ട സ്റ്റോറേജ്), Ceph, Scality RING, വലിയ അളവിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിനുള്ള പ്ലാറ്റ്‌ഫോമുകൾ (ബിഗ് ഡാറ്റ) എന്നിവയിൽ താഴ്ന്ന നിലയിലുള്ള ഡാറ്റ സംഭരണത്തിനായി ഇത് ഉപയോഗിക്കുന്നു. , ഉയർന്ന പ്രകടനമുള്ള കമ്പ്യൂട്ടിംഗ് (HPC), ഇന്റർനെറ്റ് ഉപകരണങ്ങൾ ഓഫ് തിംഗ്സ് (IoT), മെഷീൻ ലേണിംഗ് സിസ്റ്റങ്ങൾക്കുള്ള പരിഹാരങ്ങൾ.

പരമാവധി പ്രകടനത്തിന് മാത്രമല്ല, വിവിധ തരം എസ്എസ്ഡികളിലുടനീളം ദീർഘായുസ്സിനും HSE ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നു. ഹൈബ്രിഡ് സ്റ്റോറേജ് മോഡലിലൂടെയാണ് ഉയർന്ന വേഗത കൈവരിക്കുന്നത് - ഏറ്റവും കാലികമായ ഡാറ്റ റാമിൽ കാഷെ ചെയ്യപ്പെടുന്നു, ഇത് ഡ്രൈവിലേക്കുള്ള ആക്‌സസുകളുടെ എണ്ണം കുറയ്ക്കുന്നു. മൂന്നാം കക്ഷി പ്രോജക്റ്റുകളിലേക്ക് ഒരു പുതിയ എഞ്ചിൻ സംയോജിപ്പിക്കുന്നതിനുള്ള ഉദാഹരണമായി തയ്യാറാക്കി ഡോക്യുമെന്റ്-ഓറിയന്റഡ് ഡിബിഎംഎസ് മോംഗോഡിബിയുടെ ഒരു വകഭേദം, എച്ച്എസ്ഇ ഉപയോഗിക്കാൻ വിവർത്തനം ചെയ്തു.

സാങ്കേതികമായി, HSE ഒരു അധിക കേർണൽ മൊഡ്യൂളിനെ ആശ്രയിക്കുന്നു കുളം, സോളിഡ്-സ്റ്റേറ്റ് ഡ്രൈവുകൾക്കായി ഒരു പ്രത്യേക ഒബ്ജക്റ്റ് സ്റ്റോറേജ് ഇന്റർഫേസ് നടപ്പിലാക്കുന്നു, അവയുടെ കഴിവുകളും സവിശേഷതകളും കണക്കിലെടുക്കുന്നു, ഇത് അടിസ്ഥാനപരമായി വ്യത്യസ്തമായ പ്രകടനവും ഈടുനിൽക്കുന്ന സവിശേഷതകളും നേടാൻ നിങ്ങളെ അനുവദിക്കുന്നു. എംപൂൾ മൈക്രോൺ ടെക്നോളജിയുടെ ഒരു വികസനം കൂടിയാണ്, എച്ച്എസ്ഇയുടെ അതേ സമയം തുറന്നതാണ്, എന്നാൽ ഒരു സ്വതന്ത്ര ഇൻഫ്രാസ്ട്രക്ചർ പ്രോജക്റ്റായി വേർതിരിച്ചിരിക്കുന്നു. Mpool ഉപയോഗം അനുമാനിക്കുന്നു സ്ഥിരമായ മെമ്മറി и സോൺ സംഭരണം, എന്നാൽ പരമ്പരാഗത എസ്എസ്ഡികൾ മാത്രമാണ് നിലവിൽ പിന്തുണയ്ക്കുന്നത്.

ഒരു പാക്കേജ് ഉപയോഗിച്ച് പ്രകടന പരിശോധന വൈ.സി.എസ്.ബി (Yahoo Cloud Serving Benchmark) 2KB ബ്ലോക്ക് പ്രോസസ്സിംഗിനൊപ്പം 1TB സ്റ്റോറേജ് ഉപയോഗിക്കുമ്പോൾ കാര്യമായ പ്രകടന നേട്ടങ്ങൾ കാണിച്ചു. വായന, എഴുത്ത് പ്രവർത്തനങ്ങളുടെ ഏകീകൃത വിതരണമുള്ള ടെസ്റ്റിൽ പ്രകടനത്തിൽ പ്രത്യേകിച്ച് ഗണ്യമായ വർദ്ധനവ് നിരീക്ഷിക്കപ്പെടുന്നു (ഗ്രാഫിലെ ടെസ്റ്റ് "എ").

ഉദാഹരണത്തിന്, എച്ച്എസ്ഇ എഞ്ചിനുമൊത്തുള്ള മോംഗോഡിബി സ്റ്റാൻഡേർഡ് വയർഡ്ടൈഗർ എഞ്ചിനുള്ള പതിപ്പിനേക്കാൾ 8 മടങ്ങ് വേഗതയുള്ളതായി മാറി, കൂടാതെ എച്ച്എസ്ഇ എഞ്ചിൻ റോക്ക്സ്ഡിബി ഡിബിഎംഎസിനെ 6 തവണയിലധികം മറികടന്നു. 95% റീഡുകളും 5% മാറ്റങ്ങളും കൂട്ടിച്ചേർക്കലുകളും (ഗ്രാഫുകളിലെ "B", "D" ടെസ്റ്റുകൾ) ഉൾപ്പെടുന്ന ടെസ്റ്റുകളിലും മികച്ച പ്രകടനം കാണുന്നു. റീഡ് ഓപ്പറേഷനുകൾ മാത്രം അനുമാനിക്കുന്ന "സി" ടെസ്റ്റ് ഏകദേശം 40% നേട്ടം കാണിക്കുന്നു. RocksDB അടിസ്ഥാനമാക്കിയുള്ള പരിഹാരവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ റൈറ്റ് ഓപ്പറേഷനുകളിൽ SSD ഡ്രൈവുകളുടെ അതിജീവനത്തിന്റെ വർദ്ധനവ് 7 മടങ്ങ് കണക്കാക്കുന്നു.

എച്ച്എസ്ഇയുടെ പ്രധാന സവിശേഷതകൾ:

• കീ/മൂല്യം ഫോർമാറ്റിൽ ഡാറ്റ കൈകാര്യം ചെയ്യുന്നതിനുള്ള ജനറിക്, എക്സ്റ്റൻഡഡ് ഓപ്പറേറ്റർമാർക്കുള്ള പിന്തുണ;
• ഇടപാടുകൾക്കുള്ള പൂർണ്ണ പിന്തുണയും സ്‌നാപ്പ്‌ഷോട്ടുകൾ സൃഷ്‌ടിക്കുന്നതിലൂടെ സ്റ്റോറേജ് സ്‌ലൈസുകൾ വേർതിരിച്ചെടുക്കാനുള്ള കഴിവും (സ്‌നാപ്പ്‌ഷോട്ടുകൾ ഒരു സ്റ്റോറേജിൽ സ്വതന്ത്ര ശേഖരം നിലനിർത്താനും ഉപയോഗിക്കാം);
• സ്നാപ്പ്ഷോട്ട് അധിഷ്‌ഠിത കാഴ്‌ചകളിൽ ഡാറ്റ സഞ്ചരിക്കാൻ കഴ്‌സറുകൾ ഉപയോഗിക്കാനുള്ള കഴിവ്;
• ഒരു സ്റ്റോറേജിൽ മിക്സഡ് ലോഡ് തരങ്ങൾക്കായി ഒപ്റ്റിമൈസ് ചെയ്ത ഡാറ്റ മോഡൽ;
• ഫ്ലെക്സിബിൾ സ്റ്റോറേജ് വിശ്വാസ്യത മാനേജ്മെന്റ് മെക്കാനിസങ്ങൾ;
• ഇഷ്‌ടാനുസൃതമാക്കാവുന്ന ഡാറ്റ ഓർക്കസ്‌ട്രേഷൻ സ്‌കീമുകൾ (സ്‌റ്റോറേജിലുള്ള വിവിധ തരം മെമ്മറികളിലുടനീളം വിതരണം);
• ഏത് ആപ്ലിക്കേഷനിലേക്കും ചലനാത്മകമായി ലിങ്ക് ചെയ്യാൻ കഴിയുന്ന ഒരു C API ഉള്ള ഒരു ലൈബ്രറി;
• ടെറാബൈറ്റ് ഡാറ്റയും സ്‌റ്റോറേജിലുള്ള നൂറുകണക്കിന് ബില്യൺ കീകളും സ്കെയിൽ ചെയ്യാനുള്ള കഴിവ്;
• ആയിരക്കണക്കിന് സമാന്തര പ്രവർത്തനങ്ങളുടെ കാര്യക്ഷമമായ പ്രോസസ്സിംഗ്;
• സാധാരണ ഇതര പരിഹാരങ്ങളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, ത്രോപുട്ടിൽ ഗണ്യമായ വർദ്ധനവ്, കുറഞ്ഞ ലേറ്റൻസി, വിവിധ തരം ലോഡുകൾക്ക് എഴുത്ത്/വായന എന്നിവയുടെ വർദ്ധനവ്;
• പ്രകടനവും ഈടുതലും ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിന് ഒരേ സ്റ്റോറേജിൽ വ്യത്യസ്ത SSD ക്ലാസുകൾ ഉപയോഗിക്കാനുള്ള കഴിവ്.

അവലംബം: opennet.ru