5.8 ദശലക്ഷം IOPS: എന്തുകൊണ്ട് ഇത്ര?

നമസ്കാരം Habr ! ബിഗ് ഡാറ്റയ്ക്കും മെഷീൻ ലേണിംഗിനുമുള്ള ഡാറ്റാ സെറ്റുകൾ ക്രമാതീതമായി വളരുകയാണ്, ഞങ്ങൾ അവയുമായി സമ്പർക്കം പുലർത്തേണ്ടതുണ്ട്. ഹൈ പെർഫോമൻസ് കമ്പ്യൂട്ടിംഗ് (HPC, High Performance Computing) മേഖലയിലെ മറ്റൊരു നൂതന സാങ്കേതികവിദ്യയെക്കുറിച്ചുള്ള ഞങ്ങളുടെ പോസ്റ്റ്, കിംഗ്സ്റ്റൺ ബൂത്തിൽ കാണിച്ചിരിക്കുന്നു സൂപ്പർകമ്പ്യൂട്ടിംഗ്-2019. ഗ്രാഫിക് പ്രോസസ്സിംഗ് യൂണിറ്റുകളും (ജിപിയു) ജിപിയുഡയറക്ട് സ്റ്റോറേജ് ബസ് സാങ്കേതികവിദ്യയും ഉള്ള സെർവറുകളിലെ ഹൈ-എൻഡ് ഡാറ്റ സ്റ്റോറേജ് സിസ്റ്റങ്ങളുടെ (എസ്ഡിഎസ്) ഉപയോഗമാണിത്. സ്റ്റോറേജ് സിസ്റ്റവും ജിപിയുവും തമ്മിലുള്ള നേരിട്ടുള്ള ഡാറ്റാ കൈമാറ്റത്തിന് നന്ദി, സിപിയുവിനെ മറികടന്ന്, ജിപിയു ആക്‌സിലറേറ്ററുകളിലേക്ക് ഡാറ്റ ലോഡുചെയ്യുന്നത് മാഗ്നിറ്റ്യൂഡ് ക്രമത്തിൽ ത്വരിതപ്പെടുത്തുന്നു, അതിനാൽ ജിപിയു നൽകുന്ന പരമാവധി പ്രകടനത്തിൽ ബിഗ് ഡാറ്റ ആപ്ലിക്കേഷനുകൾ പ്രവർത്തിക്കുന്നു. അതാകട്ടെ, HPC സിസ്റ്റം ഡെവലപ്പർമാർക്ക് കിംഗ്സ്റ്റൺ നിർമ്മിച്ചത് പോലെ ഉയർന്ന I/O വേഗതയുള്ള സ്റ്റോറേജ് സിസ്റ്റങ്ങളിലെ പുരോഗതിയിൽ താൽപ്പര്യമുണ്ട്.

GPU പ്രകടനം ഡാറ്റ ലോഡിംഗിനെ മറികടക്കുന്നു

പൊതു-ഉദ്ദേശ്യ ആപ്ലിക്കേഷനുകൾ വികസിപ്പിക്കുന്നതിനുള്ള GPU-അധിഷ്ഠിത ഹാർഡ്‌വെയർ-സോഫ്റ്റ്‌വെയർ സമാന്തര കമ്പ്യൂട്ടിംഗ് ആർക്കിടെക്ചറായ CUDA സൃഷ്ടിച്ചതിനുശേഷം, 2007-ൽ, GPU-കളുടെ ഹാർഡ്‌വെയർ കഴിവുകൾ തന്നെ അവിശ്വസനീയമാംവിധം വളർന്നു. ഇന്ന്, ബിഗ് ഡാറ്റ, മെഷീൻ ലേണിംഗ് (ML), ഡീപ് ലേണിംഗ് (DL) തുടങ്ങിയ HPC ആപ്ലിക്കേഷനുകളിൽ GPU-കൾ കൂടുതലായി ഉപയോഗിക്കുന്നു.

പദങ്ങളുടെ സമാനത ഉണ്ടായിരുന്നിട്ടും, അവസാനത്തെ രണ്ടെണ്ണം അൽഗോരിതപരമായി വ്യത്യസ്തമായ ജോലികളാണെന്ന കാര്യം ശ്രദ്ധിക്കുക. ഘടനാപരമായ ഡാറ്റയെ അടിസ്ഥാനമാക്കി ML കമ്പ്യൂട്ടറിനെ പരിശീലിപ്പിക്കുന്നു, അതേസമയം DL ഒരു ന്യൂറൽ നെറ്റ്‌വർക്കിൽ നിന്നുള്ള ഫീഡ്‌ബാക്ക് അടിസ്ഥാനമാക്കി കമ്പ്യൂട്ടറിനെ പരിശീലിപ്പിക്കുന്നു. വ്യത്യാസങ്ങൾ മനസ്സിലാക്കാൻ സഹായിക്കുന്ന ഒരു ഉദാഹരണം വളരെ ലളിതമാണ്. സ്റ്റോറേജ് സിസ്റ്റത്തിൽ നിന്ന് ലോഡ് ചെയ്യുന്ന പൂച്ചകളുടെയും നായ്ക്കളുടെയും ഫോട്ടോകൾ കമ്പ്യൂട്ടർ വേർതിരിക്കണമെന്ന് നമുക്ക് അനുമാനിക്കാം. ML-നായി, നിങ്ങൾ നിരവധി ടാഗുകളുള്ള ഒരു കൂട്ടം ചിത്രങ്ങൾ സമർപ്പിക്കണം, അവയിൽ ഓരോന്നും മൃഗത്തിന്റെ ഒരു പ്രത്യേക സവിശേഷത നിർവചിക്കുന്നു. DL-ന്, ഒരുപാട് ചിത്രങ്ങൾ അപ്‌ലോഡ് ചെയ്‌താൽ മതിയാകും, എന്നാൽ "ഇത് പൂച്ച" അല്ലെങ്കിൽ "ഇതൊരു നായ" എന്ന ഒറ്റ ടാഗിൽ മാത്രം. കൊച്ചുകുട്ടികളെ പഠിപ്പിക്കുന്ന രീതിയുമായി DL വളരെ സാമ്യമുള്ളതാണ് - പുസ്തകങ്ങളിലും ജീവിതത്തിലും നായ്ക്കളുടെയും പൂച്ചകളുടെയും ചിത്രങ്ങൾ കാണിക്കുന്നു (മിക്കപ്പോഴും, വിശദമായ വ്യത്യാസം പോലും വിശദീകരിക്കാതെ), കുട്ടിയുടെ മസ്തിഷ്കം തന്നെ മൃഗത്തിന്റെ തരം നിർണ്ണയിക്കാൻ തുടങ്ങുന്നു. താരതമ്യത്തിനായി ഒരു നിശ്ചിത നിർണായക എണ്ണം ചിത്രങ്ങൾ (കണക്കുകൾ പ്രകാരം, കുട്ടിക്കാലം മുഴുവൻ നൂറോ രണ്ടോ ഷോകളെക്കുറിച്ചാണ് ഞങ്ങൾ സംസാരിക്കുന്നത്). DL അൽഗോരിതങ്ങൾ ഇതുവരെ അത്ര പരിപൂർണ്ണമല്ല: ഒരു ന്യൂറൽ നെറ്റ്‌വർക്ക് ഇമേജുകൾ തിരിച്ചറിയുന്നതിൽ വിജയകരമായി പ്രവർത്തിക്കുന്നതിന്, ദശലക്ഷക്കണക്കിന് ഇമേജുകൾ ജിപിയുവിലേക്ക് ഫീഡ് ചെയ്യുകയും പ്രോസസ്സ് ചെയ്യുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്.

മുഖവുരയുടെ സംഗ്രഹം: ജിപിയുകളെ അടിസ്ഥാനമാക്കി, നിങ്ങൾക്ക് ബിഗ് ഡാറ്റ, എംഎൽ, ഡിഎൽ എന്നീ മേഖലകളിൽ എച്ച്പിസി ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കാൻ കഴിയും, പക്ഷേ ഒരു പ്രശ്നമുണ്ട് - ഡാറ്റാ സെറ്റുകൾ വളരെ വലുതാണ്, സ്റ്റോറേജ് സിസ്റ്റത്തിൽ നിന്ന് ജിപിയുവിലേക്ക് ഡാറ്റ ലോഡ് ചെയ്യാൻ ചെലവഴിച്ച സമയം. ആപ്ലിക്കേഷന്റെ മൊത്തത്തിലുള്ള പ്രകടനം കുറയ്ക്കാൻ തുടങ്ങുന്നു. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, മറ്റ് ഉപസിസ്റ്റങ്ങളിൽ നിന്നുള്ള വേഗത കുറഞ്ഞ I/O ഡാറ്റ കാരണം വേഗതയേറിയ GPU-കൾ ഉപയോഗശൂന്യമായി തുടരുന്നു. ജിപിയുവിൻറെയും ബസിന്റെയും സിപിയു/സ്റ്റോറേജ് സിസ്റ്റത്തിലേക്കുള്ള I/O വേഗതയിലെ വ്യത്യാസം മാഗ്നിറ്റ്യൂഡിന്റെ ഒരു ക്രമമായിരിക്കാം.

GPUDirect Storage സാങ്കേതികവിദ്യ എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?

കൂടുതൽ പ്രോസസ്സിംഗിനായി സ്റ്റോറേജിൽ നിന്ന് GPU-കളിലേക്ക് ഡാറ്റ ലോഡ് ചെയ്യുന്ന പ്രക്രിയ പോലെ I/O പ്രക്രിയയും CPU ആണ് നിയന്ത്രിക്കുന്നത്. പരസ്പരം വേഗത്തിൽ ആശയവിനിമയം നടത്തുന്നതിന് GPU-കൾക്കും NVMe ഡ്രൈവുകൾക്കുമിടയിൽ നേരിട്ട് പ്രവേശനം നൽകുന്ന സാങ്കേതികവിദ്യയ്ക്കുള്ള അഭ്യർത്ഥനയിലേക്ക് ഇത് നയിച്ചു. NVIDIA ആണ് ആദ്യമായി ഇത്തരമൊരു സാങ്കേതികവിദ്യ വാഗ്ദാനം ചെയ്തത്, അതിനെ GPUDirect സ്റ്റോറേജ് എന്ന് വിളിച്ചു. വാസ്തവത്തിൽ, ഇത് അവർ മുമ്പ് വികസിപ്പിച്ച GPUDirect RDMA (റിമോട്ട് ഡയറക്റ്റ് മെമ്മറി വിലാസം) സാങ്കേതികവിദ്യയുടെ ഒരു വ്യതിയാനമാണ്.

എൻവിഡിയയുടെ സിഇഒ ജെൻസൻ ഹുവാങ്, SC-19-ൽ GPUDirect RDMA-യുടെ ഒരു വകഭേദമായി GPUDirect സ്റ്റോറേജ് അവതരിപ്പിക്കും. ഉറവിടം: എൻവിഡിയ

GPUDirect RDMA-യും GPUDirect സ്റ്റോറേജും തമ്മിലുള്ള വ്യത്യാസം അഡ്രസ്സിങ് നടത്തുന്ന ഉപകരണങ്ങളിലാണ്. GPUDirect RDMA സാങ്കേതികവിദ്യ ഫ്രണ്ട്-എൻഡ് നെറ്റ്‌വർക്ക് ഇന്റർഫേസ് കാർഡിനും (NIC) GPU മെമ്മറിക്കും ഇടയിൽ നേരിട്ട് ഡാറ്റ നീക്കാൻ പുനർനിർമ്മിച്ചിരിക്കുന്നു, കൂടാതെ GPUDirect സ്റ്റോറേജ് പ്രാദേശിക അല്ലെങ്കിൽ വിദൂര സ്റ്റോറേജുകളായ NVMe അല്ലെങ്കിൽ NVMe ഓവർ ഫാബ്രിക്ക് (NVMe-oF) എന്നിവയ്ക്കിടയിൽ നേരിട്ടുള്ള ഡാറ്റാ പാത്ത് നൽകുന്നു. GPU മെമ്മറി.

ജിപിയുഡയറക്ട് ആർഡിഎംഎയും ജിപിയുഡയറക്ട് സ്റ്റോറേജും സിപിയു മെമ്മറിയിലെ ബഫറിലൂടെയുള്ള അനാവശ്യ ഡാറ്റാ ചലനങ്ങൾ ഒഴിവാക്കുകയും നെറ്റ്‌വർക്ക് കാർഡിൽ നിന്നോ സ്റ്റോറേജിൽ നിന്നോ നേരിട്ട് ജിപിയു മെമ്മറിയിലേക്കോ അതിൽ നിന്നോ ഡാറ്റ നീക്കാൻ ഡയറക്ട് മെമ്മറി ആക്‌സസ് (ഡിഎംഎ) മെക്കാനിസത്തെ അനുവദിക്കുകയും ചെയ്യുന്നു - എല്ലാം സെൻട്രൽ സിപിയുവിൽ ലോഡ് കൂടാതെ. GPUDirect സ്റ്റോറേജിനായി, സ്റ്റോറേജിന്റെ സ്ഥാനം പ്രശ്നമല്ല: ഇത് ഒരു GPU യൂണിറ്റിനുള്ളിലോ ഒരു റാക്കിനുള്ളിലോ അല്ലെങ്കിൽ NVMe-oF ആയി നെറ്റ്‌വർക്കിൽ കണക്‌റ്റുചെയ്‌തതോ ആയ NVME ഡിസ്‌ക് ആകാം.

GPUDirect സ്റ്റോറേജിന്റെ പ്രവർത്തന പദ്ധതി. ഉറവിടം: എൻവിഡിയ

NVMe-ലെ ഹൈ-എൻഡ് സ്റ്റോറേജ് സിസ്റ്റങ്ങൾക്ക് HPC ആപ്ലിക്കേഷൻ മാർക്കറ്റിൽ ആവശ്യക്കാരുണ്ട്

GPUDirect സ്റ്റോറേജിന്റെ വരവോടെ, GPU-യുടെ ത്രൂപുട്ടിന് അനുയോജ്യമായ I/O സ്പീഡ് ഉള്ള സ്റ്റോറേജ് സിസ്റ്റങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നതിലേക്ക് വലിയ ഉപഭോക്താക്കളുടെ താൽപ്പര്യം ആകർഷിക്കപ്പെടുമെന്ന് മനസ്സിലാക്കി, SC-19 എക്സിബിഷനിൽ കിംഗ്സ്റ്റൺ ഒരു സിസ്റ്റത്തിന്റെ ഒരു ഡെമോ കാണിച്ചു. NVMe ഡിസ്കുകൾ അടിസ്ഥാനമാക്കിയുള്ള സ്റ്റോറേജ് സിസ്റ്റം, ഒരു സെക്കൻഡിൽ ആയിരക്കണക്കിന് ഉപഗ്രഹ ചിത്രങ്ങൾ വിശകലനം ചെയ്യുന്ന ഒരു GPU ഉള്ള ഒരു യൂണിറ്റ്. 10 DC1000M U.2 NVMe ഡ്രൈവുകളെ അടിസ്ഥാനമാക്കിയുള്ള അത്തരമൊരു സ്റ്റോറേജ് സിസ്റ്റത്തെക്കുറിച്ച് ഞങ്ങൾ ഇതിനകം എഴുതിയിട്ടുണ്ട്. സൂപ്പർ കമ്പ്യൂട്ടർ എക്സിബിഷനിൽ നിന്നുള്ള ഒരു റിപ്പോർട്ടിൽ.

10 DC1000M U.2 NVMe ഡ്രൈവുകളെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു സ്റ്റോറേജ് സിസ്റ്റം ഗ്രാഫിക്‌സ് ആക്സിലറേറ്ററുകളുള്ള ഒരു സെർവറിനെ വേണ്ടത്ര പൂർത്തീകരിക്കുന്നു. ഉറവിടം: കിംഗ്സ്റ്റൺ

ഈ സ്റ്റോറേജ് സിസ്റ്റം ഒരു 1U അല്ലെങ്കിൽ അതിലും വലിയ റാക്ക് യൂണിറ്റായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു, കൂടാതെ DC1000M U.2 NVMe ഡ്രൈവുകളുടെ എണ്ണം അനുസരിച്ച് സ്കെയിൽ ചെയ്യാവുന്നതാണ്, ഓരോന്നിനും 3.84-7.68 TB ശേഷിയുണ്ട്. കിംഗ്‌സ്റ്റണിന്റെ ഡാറ്റാ സെന്റർ ഡ്രൈവുകളിലെ U.1000 ഫോം ഫാക്ടറിലെ ആദ്യത്തെ NVMe SSD മോഡലാണ് DC2M. ഇതിന് ഒരു എൻഡുറൻസ് റേറ്റിംഗ് ഉണ്ട് (DWPD, ഡ്രൈവ് പ്രതിദിനം എഴുതുന്നു), ഇത് ഡ്രൈവിന്റെ ഗ്യാരണ്ടീഡ് ലൈഫിനായി ഒരു ദിവസത്തിൽ ഒരിക്കൽ അതിന്റെ പൂർണ്ണ ശേഷിയിലേക്ക് ഡാറ്റ മാറ്റിയെഴുതാൻ അനുവദിക്കുന്നു.

ഉബുണ്ടു 3.13 LTS ഓപ്പറേറ്റിംഗ് സിസ്റ്റമായ Linux kernel 18.04.3-5.0.0-generic-ലെ fio v31 ടെസ്റ്റിൽ, എക്സിബിഷൻ സ്റ്റോറേജ് സാമ്പിൾ 5.8 ദശലക്ഷം IOPS-ന്റെ ഒരു വായനാ വേഗത (സുസ്ഥിരമായ വായന) കാണിച്ചു, സുസ്ഥിരമായ ത്രൂപുട്ട് (സുസ്ഥിര ബാൻഡ്‌വിഡ്ത്ത്) ) 23.8 Gbit/s.

കിംഗ്സ്റ്റണിലെ എസ്എസ്ഡി ബിസിനസ് മാനേജർ ഏരിയൽ പെരസ്, പുതിയ സ്റ്റോറേജ് സിസ്റ്റങ്ങളെക്കുറിച്ച് പറഞ്ഞു: "സാമ്പ്രദായികമായി സ്റ്റോറേജുമായി ബന്ധപ്പെട്ടിരിക്കുന്ന നിരവധി ഡാറ്റാ ട്രാൻസ്ഫർ തടസ്സങ്ങൾ ഇല്ലാതാക്കുന്നതിന് U.2 NVMe SSD സൊല്യൂഷനുകൾ ഉപയോഗിച്ച് അടുത്ത തലമുറ സെർവറുകളെ സജ്ജമാക്കാൻ ഞങ്ങൾ തയ്യാറാണ്. NVMe SSD ഡ്രൈവുകളുടെയും ഞങ്ങളുടെ പ്രീമിയം സെർവർ പ്രീമിയർ DRAM-ന്റെയും സംയോജനം കിംഗ്‌സ്റ്റണിനെ വ്യവസായത്തിലെ ഏറ്റവും സമഗ്രമായ എൻഡ്-ടു-എൻഡ് ഡാറ്റ സൊല്യൂഷൻ ദാതാക്കളിൽ ഒരാളാക്കി മാറ്റുന്നു.

DC3.13M U.23.8 NVMe ഡ്രൈവുകളിലെ ഡെമോ സ്റ്റോറേജ് സിസ്റ്റത്തിനായി gfio v1000 ടെസ്റ്റ് 2 Gbps ത്രോപുട്ട് കാണിച്ചു. ഉറവിടം: കിംഗ്സ്റ്റൺ

GPUDirect സ്റ്റോറേജ് അല്ലെങ്കിൽ സമാനമായ സാങ്കേതികവിദ്യ ഉപയോഗിച്ച് HPC ആപ്ലിക്കേഷനുകൾക്കുള്ള ഒരു സാധാരണ സിസ്റ്റം എങ്ങനെയിരിക്കും? ഒരു റാക്കിനുള്ളിലെ ഫങ്ഷണൽ യൂണിറ്റുകളുടെ ഫിസിക്കൽ വേർതിരിവുള്ള ഒരു ആർക്കിടെക്ചറാണിത്: റാമിന് ഒന്നോ രണ്ടോ യൂണിറ്റുകൾ, ജിപിയു, സിപിയു കമ്പ്യൂട്ടിംഗ് നോഡുകൾക്കായി നിരവധി യൂണിറ്റുകൾ, സ്റ്റോറേജ് സിസ്റ്റങ്ങൾക്കായി ഒന്നോ അതിലധികമോ യൂണിറ്റുകൾ.

ജിപിയുഡയറക്ട് സ്റ്റോറേജിന്റെ പ്രഖ്യാപനവും മറ്റ് ജിപിയു വെണ്ടർമാരിൽ നിന്ന് സമാനമായ സാങ്കേതിക വിദ്യകളുടെ ആവിർഭാവവും ഉയർന്നതോടെ, ഉയർന്ന പ്രവർത്തനക്ഷമതയുള്ള കമ്പ്യൂട്ടിംഗിൽ ഉപയോഗിക്കുന്നതിനായി രൂപകൽപ്പന ചെയ്ത സ്റ്റോറേജ് സിസ്റ്റങ്ങൾക്കായുള്ള കിംഗ്‌സ്റ്റണിന്റെ ആവശ്യം വർദ്ധിച്ചുകൊണ്ടിരിക്കുകയാണ്. ഒരു GPU ഉള്ള ഒരു കമ്പ്യൂട്ടിംഗ് യൂണിറ്റിലേക്കുള്ള പ്രവേശന കവാടത്തിലെ 40- അല്ലെങ്കിൽ 100-Gbit നെറ്റ്‌വർക്ക് കാർഡുകളുടെ ത്രൂപുട്ടുമായി താരതമ്യപ്പെടുത്താവുന്ന സ്റ്റോറേജ് സിസ്റ്റത്തിൽ നിന്നുള്ള ഡാറ്റ റീഡിംഗ് വേഗതയാണ് മാർക്കർ. അങ്ങനെ, ഫാബ്രിക് വഴിയുള്ള ബാഹ്യ NVMe ഉൾപ്പെടെയുള്ള അൾട്രാ-ഹൈ-സ്പീഡ് സ്റ്റോറേജ് സിസ്റ്റങ്ങൾ, HPC ആപ്ലിക്കേഷനുകൾക്കായി എക്സോട്ടിക് എന്നതിൽ നിന്ന് മുഖ്യധാരയിലേക്ക് പോകും. ശാസ്ത്രവും സാമ്പത്തിക കണക്കുകൂട്ടലുകളും കൂടാതെ, സേഫ് സിറ്റി മെട്രോപൊളിറ്റൻ തലത്തിലുള്ള സുരക്ഷാ സംവിധാനങ്ങൾ അല്ലെങ്കിൽ സെക്കൻഡിൽ ദശലക്ഷക്കണക്കിന് HD ഇമേജുകളുടെ തിരിച്ചറിയലും തിരിച്ചറിയൽ വേഗതയും ആവശ്യമുള്ള ഗതാഗത നിരീക്ഷണ കേന്ദ്രങ്ങൾ പോലെയുള്ള മറ്റ് പല പ്രായോഗിക മേഖലകളിലും അവർ ആപ്ലിക്കേഷൻ കണ്ടെത്തും," രൂപരേഖയിൽ പറയുന്നു. മികച്ച സ്റ്റോറേജ് സിസ്റ്റത്തിന്റെ വിപണി മാടം

കിംഗ്സ്റ്റൺ ഉൽപ്പന്നങ്ങളെക്കുറിച്ചുള്ള കൂടുതൽ വിവരങ്ങൾ ഇവിടെ കാണാം ഔദ്യോഗിക വെബ്സൈറ്റ് കമ്പനി.

അവലംബം: www.habr.com