ക്ലൗഡേറയുടെ പ്രത്യേകത എന്താണ്, അത് എങ്ങനെ പാചകം ചെയ്യാം

വിതരണം ചെയ്ത കമ്പ്യൂട്ടിംഗിന്റെയും വലിയ ഡാറ്റയുടെയും മാർക്കറ്റ്, അനുസരിച്ച് സ്ഥിതിവിവരക്കണക്കുകൾ, പ്രതിവർഷം 18-19% വളരുന്നു. ഇതിനർത്ഥം ഈ ആവശ്യങ്ങൾക്കായി സോഫ്റ്റ്വെയർ തിരഞ്ഞെടുക്കുന്നതിനുള്ള പ്രശ്നം പ്രസക്തമായി തുടരുന്നു എന്നാണ്. ഈ പോസ്റ്റിൽ, ഡിസ്ട്രിബ്യൂട്ടഡ് കമ്പ്യൂട്ടിംഗ് ആവശ്യമായി വരുന്നത് എന്തുകൊണ്ടാണെന്ന് ഞങ്ങൾ ആരംഭിക്കും, സോഫ്‌റ്റ്‌വെയർ തിരഞ്ഞെടുക്കുന്നതിനെക്കുറിച്ച് കൂടുതൽ വിശദാംശങ്ങളിലേക്ക് പോകുക, ക്ലൗഡറ ഉപയോഗിച്ച് ഹഡൂപ്പ് ഉപയോഗിക്കുന്നതിനെക്കുറിച്ച് സംസാരിക്കുക, ഒടുവിൽ ഹാർഡ്‌വെയർ തിരഞ്ഞെടുക്കുന്നതിനെക്കുറിച്ചും അത് വ്യത്യസ്ത രീതികളിൽ പ്രകടനത്തെ എങ്ങനെ ബാധിക്കുന്നുവെന്നും സംസാരിക്കും.

സാധാരണ ബിസിനസ്സിൽ ഡിസ്ട്രിബ്യൂട്ട് കമ്പ്യൂട്ടിംഗ് ആവശ്യമായിരിക്കുന്നത് എന്തുകൊണ്ട്? ഇവിടെ എല്ലാം ഒരേ സമയം ലളിതവും സങ്കീർണ്ണവുമാണ്. ലളിതം - കാരണം മിക്ക കേസുകളിലും ഞങ്ങൾ ഓരോ യൂണിറ്റ് വിവരത്തിനും താരതമ്യേന ലളിതമായ കണക്കുകൂട്ടലുകൾ നടത്തുന്നു. അത്തരം വിവരങ്ങൾ ധാരാളം ഉള്ളതിനാൽ ഇത് ബുദ്ധിമുട്ടാണ്. ഒരുപാട്. തൽഫലമായി, അത് ആവശ്യമാണ് 1000 ത്രെഡുകളിൽ ടെറാബൈറ്റ് ഡാറ്റ പ്രോസസ്സ് ചെയ്യുക. അതിനാൽ, ഉപയോഗ കേസുകൾ തികച്ചും സാർവത്രികമാണ്: ഇതിലും വലിയ ഡാറ്റയിൽ ധാരാളം അളവുകൾ കണക്കിലെടുക്കേണ്ടത് ആവശ്യമുള്ളിടത്തെല്ലാം കണക്കുകൂട്ടലുകൾ ഉപയോഗിക്കാം.

സമീപകാല ഉദാഹരണങ്ങളിൽ ഒന്ന്: പിസേറിയ ശൃംഖല ഡോഡോ പിസ്സ നിർവചിച്ചിരിക്കുന്നത് ഉപഭോക്തൃ ഓർഡർ ഡാറ്റാബേസിന്റെ വിശകലനത്തെ അടിസ്ഥാനമാക്കി, റാൻഡം ടോപ്പിംഗുള്ള ഒരു പിസ്സ തിരഞ്ഞെടുക്കുമ്പോൾ, ഉപയോക്താക്കൾ സാധാരണയായി ആറ് അടിസ്ഥാന ചേരുവകളും കൂടാതെ രണ്ട് ക്രമരഹിതമായ ചേരുവകളും ഉപയോഗിച്ച് മാത്രമേ പ്രവർത്തിക്കൂ. ഇതിന് അനുസൃതമായി, പിസ്സേറിയ അതിന്റെ വാങ്ങലുകൾ ക്രമീകരിച്ചു. കൂടാതെ, ഓർഡറിംഗ് ഘട്ടത്തിൽ ഉപയോക്താക്കൾക്ക് വാഗ്ദാനം ചെയ്യുന്ന അധിക ഉൽപ്പന്നങ്ങൾ മികച്ച രീതിയിൽ ശുപാർശ ചെയ്യാൻ അവൾക്ക് കഴിഞ്ഞു, ഇത് ലാഭം വർദ്ധിപ്പിച്ചു.

ഒരു ഉദാഹരണം കൂടി: വിശകലനം ഉൽപ്പന്ന ഇനങ്ങൾ H&M സ്റ്റോറിനെ വ്യക്തിഗത സ്റ്റോറുകളിലെ ശേഖരം 40% കുറയ്ക്കാൻ അനുവദിച്ചു, അതേസമയം വിൽപ്പന നില നിലനിർത്തി. മോശമായി വിറ്റഴിക്കപ്പെടുന്ന ഇനങ്ങൾ ഒഴിവാക്കിയാണ് ഇത് നേടിയത്, കൂടാതെ കണക്കുകൂട്ടലുകളിൽ സീസണലിറ്റി കണക്കിലെടുക്കുകയും ചെയ്തു.

ടൂൾ തിരഞ്ഞെടുക്കൽ

ഇത്തരത്തിലുള്ള കമ്പ്യൂട്ടിംഗിന്റെ വ്യവസായ നിലവാരം ഹഡൂപ്പ് ആണ്. എന്തുകൊണ്ട്? കാരണം ഹഡൂപ്പ് ഒരു മികച്ച, നന്നായി രേഖപ്പെടുത്തപ്പെട്ട ചട്ടക്കൂടാണ് (അതേ ഹബ്‌ർ ഈ വിഷയത്തിൽ വിശദമായ നിരവധി ലേഖനങ്ങൾ നൽകുന്നു), അതോടൊപ്പം ഒരു കൂട്ടം യൂട്ടിലിറ്റികളും ലൈബ്രറികളും ഉണ്ട്. ഘടനാപരമായതും ഘടനയില്ലാത്തതുമായ ഡാറ്റയുടെ വലിയ സെറ്റുകൾ നിങ്ങൾക്ക് ഇൻപുട്ട് ചെയ്യാൻ കഴിയും, കൂടാതെ സിസ്റ്റം തന്നെ അത് കമ്പ്യൂട്ടിംഗ് പവർക്കിടയിൽ വിതരണം ചെയ്യും. മാത്രമല്ല, ഇതേ ശേഷികൾ എപ്പോൾ വേണമെങ്കിലും വർദ്ധിപ്പിക്കുകയോ പ്രവർത്തനരഹിതമാക്കുകയോ ചെയ്യാം - പ്രവർത്തനത്തിലുള്ള അതേ തിരശ്ചീന സ്കേലബിളിറ്റി.

2017 ൽ, സ്വാധീനമുള്ള കൺസൾട്ടിംഗ് കമ്പനി ഗാർട്ട്നർ നിഗമനത്തിലെത്തിഹദൂപ്പ് താമസിയാതെ കാലഹരണപ്പെടുമെന്ന്. കാരണം തികച്ചും നിസ്സാരമാണ്: കമ്പനികൾ ക്ലൗഡിലേക്ക് കൂട്ടത്തോടെ മൈഗ്രേറ്റ് ചെയ്യുമെന്ന് വിശകലന വിദഗ്ധർ വിശ്വസിക്കുന്നു, കാരണം അവർ കമ്പ്യൂട്ടിംഗ് പവർ ഉപയോഗിക്കുന്നതിനാൽ അവർക്ക് പണമടയ്ക്കാൻ കഴിയും. ഹഡൂപ്പിനെ "അടക്കം" ചെയ്യാൻ കഴിയുന്ന രണ്ടാമത്തെ പ്രധാന ഘടകം അതിന്റെ വേഗതയാണ്. കാരണം Apache Spark അല്ലെങ്കിൽ Google Cloud DataFlow പോലുള്ള ഓപ്ഷനുകൾ MapReduce-നേക്കാൾ വേഗതയുള്ളതാണ്, അത് Hadoop-ന് അടിവരയിടുന്നു.

ഹഡൂപ്പ് നിരവധി തൂണുകളിലാണ് സ്ഥിതിചെയ്യുന്നത്, അവയിൽ ഏറ്റവും ശ്രദ്ധേയമായത് MapReduce സാങ്കേതികവിദ്യകളും (സെർവറുകൾക്കിടയിൽ കണക്കുകൂട്ടലുകൾക്കായി ഡാറ്റ വിതരണം ചെയ്യുന്നതിനുള്ള ഒരു സംവിധാനം) HDFS ഫയൽ സിസ്റ്റവുമാണ്. രണ്ടാമത്തേത് ക്ലസ്റ്റർ നോഡുകൾക്കിടയിൽ വിതരണം ചെയ്യുന്ന വിവരങ്ങൾ സംഭരിക്കുന്നതിന് പ്രത്യേകം രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു: ഒരു നിശ്ചിത വലുപ്പത്തിലുള്ള ഓരോ ബ്ലോക്കും നിരവധി നോഡുകളിൽ സ്ഥാപിക്കാൻ കഴിയും, കൂടാതെ പകർപ്പെടുക്കലിന് നന്ദി, സിസ്റ്റം വ്യക്തിഗത നോഡുകളുടെ പരാജയങ്ങളെ പ്രതിരോധിക്കും. ഒരു ഫയൽ ടേബിളിന് പകരം, നെയിംനോഡ് എന്ന പ്രത്യേക സെർവർ ഉപയോഗിക്കുന്നു.

MapReduce എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് ചുവടെയുള്ള ചിത്രം കാണിക്കുന്നു. ആദ്യ ഘട്ടത്തിൽ, ഡാറ്റ ഒരു നിശ്ചിത മാനദണ്ഡമനുസരിച്ച് വിഭജിക്കപ്പെടുന്നു, രണ്ടാം ഘട്ടത്തിൽ അത് കമ്പ്യൂട്ടിംഗ് പവർ അനുസരിച്ച് വിതരണം ചെയ്യുന്നു, മൂന്നാം ഘട്ടത്തിൽ കണക്കുകൂട്ടൽ നടക്കുന്നു.

MapReduce യഥാർത്ഥത്തിൽ അതിന്റെ തിരയൽ ആവശ്യങ്ങൾക്കായി Google സൃഷ്ടിച്ചതാണ്. തുടർന്ന് MapReduce സൗജന്യ കോഡ് നൽകി, അപ്പാച്ചെ പദ്ധതി ഏറ്റെടുത്തു. ശരി, Google ക്രമേണ മറ്റ് പരിഹാരങ്ങളിലേക്ക് മൈഗ്രേറ്റ് ചെയ്തു. രസകരമായ ഒരു ടിഡ്‌ബിറ്റ്: ഗൂഗിളിന് നിലവിൽ ഗൂഗിൾ ക്ലൗഡ് ഡാറ്റാഫ്ലോ എന്ന ഒരു പ്രോജക്‌റ്റ് ഉണ്ട്, ഹഡൂപ്പിന് ശേഷമുള്ള അടുത്ത ഘട്ടമായി, അതിനുള്ള ദ്രുത പകരമായി.

ഗൂഗിൾ ക്ലൗഡ് ഡാറ്റാഫ്ലോ അപ്പാച്ചെ ബീമിന്റെ ഒരു വ്യതിയാനത്തെ അടിസ്ഥാനമാക്കിയുള്ളതാണെന്ന് സൂക്ഷ്മമായി പരിശോധിച്ചാൽ, അപ്പാച്ചെ ബീമിൽ നന്നായി രേഖപ്പെടുത്തപ്പെട്ട അപ്പാച്ചെ സ്പാർക്ക് ചട്ടക്കൂട് ഉൾപ്പെടുന്നു, ഇത് പരിഹാരങ്ങളുടെ അതേ എക്സിക്യൂഷൻ വേഗതയെക്കുറിച്ച് സംസാരിക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു. ശരി, അപ്പാച്ചെ സ്പാർക്ക് എച്ച്ഡിഎഫ്എസ് ഫയൽ സിസ്റ്റത്തിൽ നന്നായി പ്രവർത്തിക്കുന്നു, ഇത് ഹഡൂപ്പ് സെർവറുകളിൽ വിന്യസിക്കാൻ അനുവദിക്കുന്നു.

Google ക്ലൗഡ് ഡാറ്റാഫ്ലോയ്‌ക്കെതിരായ ഹഡൂപ്പിനും സ്പാർക്കിനുമുള്ള ഡോക്യുമെന്റേഷന്റെയും റെഡിമെയ്ഡ് സൊല്യൂഷനുകളുടെയും അളവ് ഇവിടെ ചേർക്കുക, ടൂളിന്റെ തിരഞ്ഞെടുപ്പ് വ്യക്തമാകും. മാത്രമല്ല, ജോലി, അനുഭവം, യോഗ്യതകൾ എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിച്ച് ഏത് കോഡാണ് - ഹഡൂപ്പിനോ സ്പാർക്കിനോ വേണ്ടി - എഞ്ചിനീയർമാർക്ക് സ്വയം തീരുമാനിക്കാൻ കഴിയും.

ക്ലൗഡ് അല്ലെങ്കിൽ ലോക്കൽ സെർവർ

ക്ലൗഡിലേക്കുള്ള പൊതുവായ പരിവർത്തനത്തിലേക്കുള്ള പ്രവണത ഹഡൂപ്പ്-ആസ്-എ-സർവീസ് പോലുള്ള രസകരമായ ഒരു പദത്തിന് പോലും കാരണമായി. അത്തരമൊരു സാഹചര്യത്തിൽ, ബന്ധിപ്പിച്ച സെർവറുകളുടെ അഡ്മിനിസ്ട്രേഷൻ വളരെ പ്രധാനമായി. കാരണം, അയ്യോ, ജനപ്രീതി ഉണ്ടായിരുന്നിട്ടും, ശുദ്ധമായ ഹഡൂപ്പ് കോൺഫിഗർ ചെയ്യാൻ വളരെ ബുദ്ധിമുട്ടുള്ള ഒരു ഉപകരണമാണ്, കാരണം ഒരുപാട് കാര്യങ്ങൾ കൈകൊണ്ട് ചെയ്യേണ്ടതുണ്ട്. ഉദാഹരണത്തിന്, സെർവറുകൾ വ്യക്തിഗതമായി ക്രമീകരിക്കുക, അവയുടെ പ്രകടനം നിരീക്ഷിക്കുക, കൂടാതെ നിരവധി പാരാമീറ്ററുകൾ ശ്രദ്ധാപൂർവ്വം ക്രമീകരിക്കുക. പൊതുവേ, ജോലി ഒരു അമേച്വർക്കുള്ളതാണ്, എവിടെയെങ്കിലും കുഴപ്പമുണ്ടാക്കുന്നതിനോ എന്തെങ്കിലും നഷ്ടപ്പെടുന്നതിനോ ഒരു വലിയ അവസരമുണ്ട്.

അതിനാൽ, തുടക്കത്തിൽ സൗകര്യപ്രദമായ വിന്യാസവും ഭരണനിർവഹണ ഉപകരണങ്ങളും സജ്ജീകരിച്ചിരിക്കുന്ന വിവിധ വിതരണ കിറ്റുകൾ വളരെ ജനപ്രിയമായി. സ്പാർക്കിനെ പിന്തുണയ്ക്കുകയും എല്ലാം എളുപ്പമാക്കുകയും ചെയ്യുന്ന ഏറ്റവും ജനപ്രിയമായ വിതരണങ്ങളിലൊന്നാണ് ക്ലൗഡേറ. ഇതിന് പണമടച്ചുള്ളതും സൗജന്യവുമായ പതിപ്പുകൾ ഉണ്ട് - രണ്ടാമത്തേതിൽ എല്ലാ അടിസ്ഥാന പ്രവർത്തനങ്ങളും ലഭ്യമാണ്, നോഡുകളുടെ എണ്ണം പരിമിതപ്പെടുത്താതെ.

സജ്ജീകരിക്കുമ്പോൾ, ക്ലൗഡറ മാനേജർ നിങ്ങളുടെ സെർവറുകളിലേക്ക് SSH വഴി കണക്‌റ്റ് ചെയ്യും. രസകരമായ ഒരു കാര്യം: ഇൻസ്റ്റാൾ ചെയ്യുമ്പോൾ, വിളിക്കപ്പെടുന്നവയാണ് ഇത് നടപ്പിലാക്കുന്നതെന്ന് വ്യക്തമാക്കുന്നതാണ് നല്ലത് പാർസലുകൾ: പ്രത്യേക പാക്കേജുകൾ, അവയിൽ ഓരോന്നിനും പരസ്പരം പ്രവർത്തിക്കാൻ ക്രമീകരിച്ചിരിക്കുന്ന ആവശ്യമായ എല്ലാ ഘടകങ്ങളും അടങ്ങിയിരിക്കുന്നു. അടിസ്ഥാനപരമായി ഇത് പാക്കേജ് മാനേജറിന്റെ മെച്ചപ്പെട്ട പതിപ്പാണ്.

ഇൻസ്റ്റാളേഷന് ശേഷം, ഞങ്ങൾക്ക് ഒരു ക്ലസ്റ്റർ മാനേജുമെന്റ് കൺസോൾ ലഭിക്കുന്നു, അവിടെ നിങ്ങൾക്ക് ക്ലസ്റ്റർ ടെലിമെട്രി, ഇൻസ്റ്റാൾ ചെയ്ത സേവനങ്ങൾ എന്നിവ കാണാനാകും, കൂടാതെ നിങ്ങൾക്ക് ഉറവിടങ്ങൾ ചേർക്കാനും / നീക്കം ചെയ്യാനും ക്ലസ്റ്റർ കോൺഫിഗറേഷൻ എഡിറ്റുചെയ്യാനും കഴിയും.

തൽഫലമായി, ബിഗ്ഡാറ്റയുടെ ശോഭനമായ ഭാവിയിലേക്ക് നിങ്ങളെ കൊണ്ടുപോകുന്ന റോക്കറ്റിന്റെ ക്യാബിൻ നിങ്ങളുടെ മുന്നിൽ ദൃശ്യമാകുന്നു. എന്നാൽ "നമുക്ക് പോകാം" എന്ന് പറയുന്നതിന് മുമ്പ് നമുക്ക് ഹുഡിന്റെ കീഴിൽ നീങ്ങാം.

ഹാർഡ്‌വെയർ ആവശ്യകതകൾ

അതിന്റെ വെബ്‌സൈറ്റിൽ, Cloudera സാധ്യമായ വിവിധ കോൺഫിഗറേഷനുകളെ പരാമർശിക്കുന്നു. അവ നിർമ്മിച്ച പൊതുതത്ത്വങ്ങൾ ചിത്രീകരണത്തിൽ കാണിച്ചിരിക്കുന്നു:

MapReduce-ന് ഈ ശുഭാപ്തിവിശ്വാസമുള്ള ചിത്രം മങ്ങിക്കാൻ കഴിയും. മുമ്പത്തെ വിഭാഗത്തിൽ നിന്നുള്ള ഡയഗ്രം നിങ്ങൾ വീണ്ടും നോക്കുകയാണെങ്കിൽ, മിക്കവാറും എല്ലാ സാഹചര്യങ്ങളിലും, ഡിസ്കിൽ നിന്നോ നെറ്റ്‌വർക്കിൽ നിന്നോ ഡാറ്റ വായിക്കുമ്പോൾ MapReduce ജോലിക്ക് ഒരു തടസ്സം നേരിടേണ്ടിവരുമെന്ന് വ്യക്തമാകും. ക്ലൗഡറ ബ്ലോഗിലും ഇക്കാര്യം രേഖപ്പെടുത്തിയിട്ടുണ്ട്. തൽഫലമായി, തത്സമയ കണക്കുകൂട്ടലുകൾക്കായി പലപ്പോഴും ഉപയോഗിക്കുന്ന സ്പാർക്ക് ഉൾപ്പെടെയുള്ള ഏതൊരു ഫാസ്റ്റ് കണക്കുകൂട്ടലുകൾക്കും, I/O വേഗത വളരെ പ്രധാനമാണ്. അതിനാൽ, ഹഡൂപ്പ് ഉപയോഗിക്കുമ്പോൾ, ക്ലസ്റ്ററിൽ സമതുലിതമായതും വേഗതയേറിയതുമായ മെഷീനുകൾ ഉൾപ്പെടുന്നു എന്നത് വളരെ പ്രധാനമാണ്, അത് മിതമായ രീതിയിൽ പറഞ്ഞാൽ, ക്ലൗഡ് ഇൻഫ്രാസ്ട്രക്ചറിൽ എല്ലായ്പ്പോഴും ഉറപ്പാക്കപ്പെടുന്നില്ല.

ശക്തമായ മൾട്ടി-കോർ സിപിയുകളുള്ള സെർവറുകളിൽ ഓപ്പൺസ്റ്റാക്ക് വിർച്ച്വലൈസേഷൻ ഉപയോഗിച്ചാണ് ലോഡ് ഡിസ്ട്രിബ്യൂഷനിൽ ബാലൻസ് നേടുന്നത്. ഡാറ്റാ നോഡുകൾക്ക് അവരുടേതായ പ്രോസസർ ഉറവിടങ്ങളും പ്രത്യേക ഡിസ്കുകളും അനുവദിച്ചിരിക്കുന്നു. ഞങ്ങളുടെ തീരുമാനത്തിൽ അറ്റോസ് കോഡെക്സ് ഡാറ്റ ലേക്ക് എഞ്ചിൻ വൈഡ് വെർച്വലൈസേഷൻ കൈവരിക്കുന്നു, അതുകൊണ്ടാണ് പ്രകടനത്തിന്റെ കാര്യത്തിൽ (നെറ്റ്‌വർക്ക് ഇൻഫ്രാസ്ട്രക്ചറിന്റെ ആഘാതം കുറയ്‌ക്കുന്നു) കൂടാതെ TCO (അധിക ഫിസിക്കൽ സെർവറുകൾ ഇല്ലാതാക്കുന്നു) എന്നിവയിലും ഞങ്ങൾ പ്രയോജനം നേടുന്നു.

BullSequana S200 സെർവറുകൾ ഉപയോഗിക്കുമ്പോൾ, ചില തടസ്സങ്ങളില്ലാതെ ഞങ്ങൾക്ക് വളരെ ഏകീകൃത ലോഡ് ലഭിക്കുന്നു. ഏറ്റവും കുറഞ്ഞ കോൺഫിഗറേഷനിൽ 3 BullSequana S200 സെർവറുകൾ ഉൾപ്പെടുന്നു, ഓരോന്നിനും രണ്ട് JBOD-കൾ ഉണ്ട്, കൂടാതെ നാല് ഡാറ്റ നോഡുകൾ അടങ്ങിയ അധിക S200-കൾ ഓപ്‌ഷണലായി കണക്‌റ്റ് ചെയ്‌തിരിക്കുന്നു. TeraGen ടെസ്റ്റിലെ ലോഡിന്റെ ഒരു ഉദാഹരണം ഇതാ:

വ്യത്യസ്ത ഡാറ്റ വോള്യങ്ങളും റെപ്ലിക്കേഷൻ മൂല്യങ്ങളും ഉള്ള ടെസ്റ്റുകൾ ക്ലസ്റ്റർ നോഡുകൾ തമ്മിലുള്ള ലോഡ് വിതരണത്തിന്റെ കാര്യത്തിൽ സമാന ഫലങ്ങൾ കാണിക്കുന്നു. പ്രകടന പരിശോധനകൾ വഴി ഡിസ്ക് ആക്സസ് വിതരണത്തിന്റെ ഒരു ഗ്രാഫ് ചുവടെയുണ്ട്.

3 BullSequana S200 സെർവറുകളുടെ ഏറ്റവും കുറഞ്ഞ കോൺഫിഗറേഷൻ അടിസ്ഥാനമാക്കിയാണ് കണക്കുകൂട്ടലുകൾ നടത്തിയത്. ഇതിൽ 9 ഡാറ്റ നോഡുകളും 3 മാസ്റ്റർ നോഡുകളും ഓപ്പൺസ്റ്റാക്ക് വിർച്ച്വലൈസേഷനെ അടിസ്ഥാനമാക്കിയുള്ള പരിരക്ഷയുടെ വിന്യാസമുണ്ടെങ്കിൽ റിസർവ് ചെയ്ത വെർച്വൽ മെഷീനുകളും ഉൾപ്പെടുന്നു. TeraSort പരിശോധനാ ഫലം: ബ്ലോക്ക് സൈസ് 512 MB റെപ്ലിക്കേഷൻ ഫാക്ടർ എൻക്രിപ്ഷനോട് കൂടിയ മൂന്നിന് തുല്യമാണ് 23,1 മിനിറ്റ്.

സിസ്റ്റം എങ്ങനെ വിപുലീകരിക്കാം? ഡാറ്റാ ലേക്ക് എഞ്ചിന് വിവിധ തരത്തിലുള്ള വിപുലീകരണങ്ങൾ ലഭ്യമാണ്:

• ഡാറ്റ നോഡുകൾ: ഓരോ 40 TB ഉപയോഗയോഗ്യമായ സ്ഥലത്തിനും
• ഒരു GPU ഇൻസ്റ്റാൾ ചെയ്യാനുള്ള കഴിവുള്ള അനലിറ്റിക്കൽ നോഡുകൾ
• ബിസിനസ്സ് ആവശ്യങ്ങൾ അനുസരിച്ച് മറ്റ് ഓപ്ഷനുകൾ (ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് കാഫ്കയും മറ്റും ആവശ്യമുണ്ടെങ്കിൽ)

അറ്റോസ് കോഡെക്‌സ് ഡാറ്റാ ലേക്ക് എഞ്ചിനിൽ സെർവറുകളും ലൈസൻസുള്ള ക്ലൗഡറ കിറ്റ് ഉൾപ്പെടെ മുൻകൂട്ടി ഇൻസ്റ്റാൾ ചെയ്ത സോഫ്റ്റ്‌വെയറും ഉൾപ്പെടുന്നു; ഹഡൂപ്പ് തന്നെ, RedHat Enterprise Linux കേർണൽ, ഡാറ്റ റെപ്ലിക്കേഷൻ, ബാക്കപ്പ് സിസ്റ്റങ്ങൾ (ഒരു ബാക്കപ്പ് നോഡ്, Cloudera BDR - ബാക്കപ്പ്, ഡിസാസ്റ്റർ റിക്കവറി എന്നിവ ഉൾപ്പെടെ) അടിസ്ഥാനമാക്കിയുള്ള വെർച്വൽ മെഷീനുകളുള്ള ഓപ്പൺസ്റ്റാക്ക്. അറ്റോസ് കോഡെക്‌സ് ഡാറ്റ ലേക് എഞ്ചിൻ സാക്ഷ്യപ്പെടുത്തിയ ആദ്യത്തെ വിർച്ച്വലൈസേഷൻ സൊല്യൂഷനായി മാറി ക്ലൗഡെറ.

നിങ്ങൾക്ക് വിശദാംശങ്ങളിൽ താൽപ്പര്യമുണ്ടെങ്കിൽ, അഭിപ്രായങ്ങളിൽ ഞങ്ങളുടെ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാൻ ഞങ്ങൾ സന്തുഷ്ടരാണ്.

അവലംബം: www.habr.com