ബ്ലൂംബെർഗിന്റെ സ്റ്റോറേജ് സപ്പോർട്ട് ടീം ഓപ്പൺ സോഴ്സ്, എസ്ഡിഎസ് എന്നിവയെ ആശ്രയിക്കുന്നു

അച്ചു ഡി.ആർ.: ബ്ലൂംബെർഗ് സ്റ്റോറേജ് എഞ്ചിനീയറിംഗ് ടീം ആന്തരിക ഉപയോഗത്തിനായി ക്ലൗഡ് സ്റ്റോറേജ് സൃഷ്ടിച്ചു, അത് ഇൻഫ്രാസ്ട്രക്ചറിൽ ഇടപെടുന്നില്ല, കൂടാതെ പകർച്ചവ്യാധി സമയത്ത് ട്രേഡിംഗ് ചാഞ്ചാട്ടത്തിന്റെ കനത്ത ഭാരം നേരിടാൻ കഴിയും.

ബ്ലൂംബെർഗ് സ്‌റ്റോറേജ് എഞ്ചിനീയറിംഗ് ടീമിലെ ടെക്‌നിക്കൽ മാനേജറെന്ന നിലയിൽ തന്റെ ജോലിയെക്കുറിച്ച് സംസാരിക്കുമ്പോൾ മാത്യു ലിയോനാർഡ് പലപ്പോഴും "വെല്ലുവിളി", "തമാശ" എന്നീ വാക്കുകൾ ഉപയോഗിക്കുന്നു. ഏറ്റവും പുതിയ NVMe അടിസ്ഥാനമാക്കിയുള്ള SAN അറേകൾ മുതൽ DevOps-ലെ ഓപ്പൺ സോഴ്‌സ് സോഫ്‌റ്റ്‌വെയർ നിർവ്വചിച്ച സ്റ്റോറേജ് വരെയുള്ള സംഭരണത്തിന്റെ വിശാലമായ വ്യാപ്തിയിൽ നിന്നാണ് വെല്ലുവിളികൾ ഉയരുന്നത്. ഇവിടെയാണ് "തമാശ" ആരംഭിക്കുന്നത് (ഹബ്രെയിലെ എന്റെ അവതാർ കാണുക, ഏകദേശം. വിവർത്തകൻ).

മൈക്കൽ ബ്ലൂംബെർഗിനെ കോടീശ്വരനാക്കിയ സാങ്കേതികവിദ്യയായ ബ്ലൂംബെർഗ് ടെർമിനലിനായി ആപ്ലിക്കേഷനുകൾ വികസിപ്പിക്കുന്ന 25 എഞ്ചിനീയർമാർക്കുള്ള 100 പെറ്റാബൈറ്റിലധികം ശേഷിയും ആന്തരിക ക്ലൗഡും ലിയനാർഡും അദ്ദേഹത്തിന്റെ 6000 സഹപ്രവർത്തകരും മേൽനോട്ടം വഹിക്കുന്നു. ബ്ലൂംബെർഗ് എഞ്ചിനീയറിംഗിനായുള്ള സ്റ്റോറേജ് സിസ്റ്റങ്ങൾ ടീം രൂപകൽപ്പന ചെയ്യുകയും നിർമ്മിക്കുകയും പരിപാലിക്കുകയും ചെയ്യുന്നു.

മറ്റ് ഐടി പ്രൊഫഷനുകളെപ്പോലെ, 2020 സ്റ്റോറേജ് എഞ്ചിനീയറിംഗ് ടീമിലെ അംഗങ്ങൾക്ക് അസാധാരണമായ വർഷമായിരുന്നു, കാരണം COVID-19 അവരെ വിദൂരമായി ജോലി ചെയ്യാൻ നിർബന്ധിതരാക്കി. മുഖാമുഖ ഇടപഴകലുകൾ ഒഴിവാക്കിയതിനാൽ, പാൻഡെമിക് തന്റെ “ഇറുകിയ ടീമിനെ” സാമൂഹികമായി ബാധിച്ചുവെന്നും എന്നാൽ ലാപ്‌ടോപ്പുകളിലും വീഡിയോ കോൺഫറൻസിംഗിലും വീട്ടിലിരുന്ന് ജോലിചെയ്യാൻ ജീവനക്കാർ വളരെ വേഗത്തിൽ പൊരുത്തപ്പെട്ടുവെന്നും ലിയോനാർഡ് പറഞ്ഞു.

അതിശയകരമെന്നു പറയട്ടെ, ഇത് കാര്യങ്ങൾ കൂടുതൽ വഷളാക്കിയില്ല എന്ന് ഞാൻ പറയാൻ ആഗ്രഹിക്കുന്നു. ഒരു ചെറിയ അഡാപ്റ്റേഷൻ കാലയളവ് ഉണ്ടായിരുന്നു - എല്ലാവരും വീട്ടിൽ നിന്ന് ജോലി ചെയ്യാൻ തയ്യാറായില്ല. ഒന്നോ രണ്ടോ ആഴ്ച കഴിഞ്ഞപ്പോൾ എല്ലാവർക്കും ഇത് മനസ്സിലായി. ഈ സമയങ്ങളിൽ ഞങ്ങളെത്തന്നെ തിരക്കിലാക്കാനും ഉപകരണങ്ങൾ വാങ്ങാനും അപ്‌ഗ്രേഡുചെയ്യാനുമുള്ള വഴികൾ കണ്ടെത്താനും കമ്പനിയെ പിന്തുണയ്ക്കുന്നതിനുള്ള ചെലവ് വർദ്ധിപ്പിക്കാനും ഞങ്ങൾക്ക് കഴിഞ്ഞു. ഞങ്ങൾക്ക് ക്രിയേറ്റീവ് ആകേണ്ടതായിരുന്നു, പക്ഷേ ഞങ്ങൾ ഉപദ്രവിച്ചില്ല

ഏറ്റവും വലിയ വെല്ലുവിളി COVID-19 ന്റെ കൊടുമുടിക്ക് മുമ്പായിരിക്കാം. ആഗോള സമ്പദ്‌വ്യവസ്ഥയിൽ പാൻഡെമിക്കിന്റെ ആഘാതത്തെക്കുറിച്ചുള്ള ആശങ്കകൾ കാരണം അസ്ഥിരമായ വിപണി വ്യാപാരമാണ് ഇതിന് കാരണം. ആഗോള മൂലധന വിപണികളിൽ നിന്ന് ബ്ലൂംബെർഗ് ടെർമിനലുകളിലേക്ക് ഒഴുകുന്ന ഡാറ്റയുടെ അളവ് ഏകദേശം ഇരട്ടിയായി, മാർച്ച് അവസാനത്തോടെ ചില ദിവസങ്ങളിൽ 240 ബില്യൺ വിവരങ്ങളിൽ എത്തി. സ്റ്റോറേജ് സിസ്റ്റങ്ങളുടെ ഗുരുതരമായ പരിശോധനയാണിത്.

ഒരു ദിവസം കൊണ്ട് നിങ്ങളുടെ സ്റ്റോറേജ് ആവശ്യകതകൾ തൽക്ഷണം ഇരട്ടിയാക്കുമ്പോൾ, അത് രസകരമായ പ്രശ്നങ്ങൾ സൃഷ്ടിക്കും. ഇത് മറികടക്കാനും ആപ്ലിക്കേഷൻ ഡെവലപ്മെന്റ് ടീമുകൾക്ക് ആവശ്യമായ ഇടവും പ്രകടനവും നൽകിയിട്ടുണ്ടെന്ന് ഉറപ്പാക്കാനും ഞങ്ങൾക്ക് കഴിഞ്ഞു. ഇതിൽ ഭൂരിഭാഗവും സ്റ്റോറേജ് സിസ്റ്റങ്ങളെക്കുറിച്ച് നമ്മൾ എങ്ങനെ ചിന്തിക്കുന്നു എന്നതുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. ഇന്ന് നമ്മൾ ഒന്നും സൃഷ്ടിക്കുന്നില്ല. "ഞങ്ങൾ എബിസി ഉപയോഗിക്കുന്നു, അതിനാൽ ഞങ്ങൾ എബിസിക്കുള്ള അടിസ്ഥാന സൗകര്യങ്ങൾ നിർമ്മിക്കും" എന്ന് ഞങ്ങൾ പറയുന്നില്ല. ഉപയോഗം പ്രവചിക്കുന്നതിനും ഉപയോഗവും പ്രകടന ട്രെൻഡുകളും വിശകലനം ചെയ്യുന്നതിനും സുരക്ഷയെ കുറിച്ചും ഞങ്ങൾ "ഡാറ്റ ബഡ്ജറ്റിംഗ്" എന്ന് വിളിക്കുന്നത് ഞങ്ങളുടെ ടീമുകളോടൊപ്പം ചെയ്യുന്നു. ഇത്തരത്തിലുള്ള ആസൂത്രണവും ചിന്തയും ചിട്ടയായ ജാഗ്രതയും വിയർക്കാതെ കുതിച്ചുചാട്ടത്തിൽ കടുത്ത നടപടിയെടുക്കാൻ നമ്മെ അനുവദിക്കുന്നു. തീർച്ചയായും, ഞാൻ പരിഭ്രാന്തനായിരുന്നു, പക്ഷേ എന്റെ സ്ഥാനത്ത് എനിക്ക് സുഖം തോന്നി.

ഡാറ്റാധിഷ്ഠിത ബിസിനസ്സുകൾക്കായി സംഭരണം കൈകാര്യം ചെയ്യുന്നതിനെക്കുറിച്ച് ലിയോനാർഡ് അടുത്തിടെ SearchStorage-മായി വിശദമായി സംസാരിച്ചു. ബ്ലൂംബെർഗ് ഡാറ്റാ സെന്ററുകളിൽ ഏതെങ്കിലും ഡാറ്റ സൂക്ഷിക്കുമ്പോൾ അതിന്റെ ഉപയോക്താക്കൾക്ക് AWS ഫീച്ചറുകൾ നൽകാനുള്ള കഴിവുള്ള ഒരു സ്വകാര്യ ക്ലൗഡ് സ്റ്റോറേജ് സൊല്യൂഷൻ വാഗ്ദാനം ചെയ്യാൻ എന്താണ് വേണ്ടതെന്ന് അദ്ദേഹം ചർച്ച ചെയ്തു.

ഇനി ഒരു മഹാമാരി ഇല്ലെങ്കിൽ, സ്റ്റോറേജ് കൈകാര്യം ചെയ്യുന്നതിൽ ബ്ലൂംബെർഗ് എഞ്ചിനീയർമാർക്ക് എന്ത് ബുദ്ധിമുട്ടുകൾ ഉണ്ട്?

ഞങ്ങൾക്ക് നിരവധി ആവശ്യങ്ങളുണ്ട്, ഞങ്ങൾ വ്യത്യസ്ത ദിശകളിലേക്ക് കീറിയിരിക്കുന്നു. അതിനാൽ സ്റ്റോറേജിനെക്കുറിച്ച് ആകുലപ്പെടുന്നതിനുപകരം ഞങ്ങളുടെ ആപ്ലിക്കേഷൻ ഡെവലപ്പർമാരെ അവരുടെ ടാസ്ക്കുകളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ സഹായിക്കുന്നതിന് വ്യത്യസ്ത എസ്എൽഎ തലങ്ങളിൽ വ്യത്യസ്ത തരത്തിലുള്ള ഉൽപ്പന്നങ്ങൾ നൽകേണ്ടതുണ്ട്.

പിന്നെ എന്ത് തന്ത്രമാണ് ഇതിനായി നിങ്ങൾ പിന്തുടരുന്നത്?

ഞങ്ങൾ ചെയ്യാൻ ശ്രമിക്കുന്നതിന്റെ ഒരു ഭാഗം സ്റ്റോറേജ് പ്രകടനം മെച്ചപ്പെടുത്തുക എന്നതാണ്. ഒരു ഡെവലപ്‌മെന്റ് എഞ്ചിനീയർ കടന്നുചെല്ലുകയും ഒരു ബട്ടൺ അമർത്തുകയും തുടർന്ന് "ക്ലിക്ക്" എന്നതിന് മാന്ത്രികമായി അവന്റെ പ്രശ്നം പരിഹരിക്കാൻ ശരിയായ സ്റ്റോറേജ് തരം ലഭിക്കുന്ന AWS മോഡലിനെക്കുറിച്ച് ചിന്തിക്കുക.

നിങ്ങളുടെ സ്റ്റോറേജ് ഇൻഫ്രാസ്ട്രക്ചർ എങ്ങനെയിരിക്കും?

ഞങ്ങൾക്ക് വളരെ വൈവിധ്യമാർന്ന ആവാസവ്യവസ്ഥയും നിരവധി വ്യത്യസ്ത ഡെവലപ്പർമാരും ഉള്ളതിനാൽ, ഞങ്ങൾക്ക് ഒരു ഉൽപ്പന്നം പോലും നൽകാൻ കഴിയില്ല. ഞങ്ങൾക്ക് ഒബ്ജക്റ്റ്, ഫയൽ, ബ്ലോക്ക് സ്റ്റോറേജ് എന്നിവയുണ്ട്. ഇവ വ്യത്യസ്‌ത ഉൽപ്പന്നങ്ങളാണ്, അവ ഡെലിവറി ചെയ്യുന്നതിന് ഞങ്ങൾ വിവിധ തരം സാങ്കേതികവിദ്യകൾ വാഗ്ദാനം ചെയ്യുന്നു. ബ്ലോക്കിനായി ഞങ്ങൾ SAN ഉപയോഗിക്കുന്നു. ഞങ്ങൾക്ക് SDS-ഉം ഉണ്ട്, അത് വ്യത്യസ്തമായ പ്രകടന ആവശ്യകതകളുള്ള മറ്റൊരു ബ്ലോക്ക് സ്റ്റോറേജ് ഓപ്‌ഷൻ നൽകുന്നു. ഫയലുകൾക്കായി ഞങ്ങൾ NFS ഉപയോഗിക്കുന്നു. ഒബ്ജക്റ്റ് സ്റ്റോറേജിനും എസ്ഡിഎസ് ഉപയോഗിക്കുന്നു. ബ്ലോക്കും ഒബ്ജക്റ്റ് ഭാഗങ്ങളും കമ്പ്യൂട്ടിംഗിനും സംഭരണത്തിനുമായി ഒരു ആന്തരിക സ്വകാര്യ ക്ലൗഡ് ഉണ്ടാക്കുന്നു.

അപ്പോൾ നിങ്ങൾ പൊതു ക്ലൗഡ് സ്റ്റോറേജ് ഉപയോഗിക്കുന്നില്ലേ?

അത് ശരിയാണ്. ചില വികസന ടീമുകൾക്ക് പൊതു മേഘങ്ങൾ ഉപയോഗിക്കാനുള്ള അനുമതിയുണ്ട്. എന്നാൽ ഞങ്ങളുടെ ബിസിനസ്സിന്റെ സ്വഭാവം കാരണം, ഞങ്ങളുടെ മതിലുകൾ ഉപേക്ഷിക്കുന്ന കാര്യങ്ങളിൽ കൂടുതൽ നിയന്ത്രണം ഉണ്ടായിരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. അതെ, നമ്മുടെ നിയന്ത്രണത്തിലുള്ള നമ്മുടെ സ്വന്തം മേഘങ്ങൾ ഉണ്ട്. ഞങ്ങളുടെ മാനേജുമെന്റിന് കീഴിലുള്ള ഞങ്ങളുടെ ഡാറ്റാ സെന്ററിൽ സ്ഥിതിചെയ്യുന്ന ഉപകരണമാണിത്.

ഞങ്ങളുടെ ഡാറ്റാ സെന്ററുകളിൽ, ഞങ്ങൾ ഒരു മൾട്ടി-വെണ്ടർ തന്ത്രമാണ് തിരഞ്ഞെടുക്കുന്നത്. അവർ വലിയ വിതരണക്കാരാണ്, എന്നാൽ കൃത്യമായി ആരാണെന്ന് ഞങ്ങൾ പറയില്ല (ഒരു വിതരണക്കാരനെയും അംഗീകരിക്കരുതെന്നത് ബ്ലൂംബെർഗിന്റെ നയമാണ്, ഏകദേശം. വിവർത്തകൻ).

നിങ്ങളുടെ സ്വകാര്യ ക്ലൗഡ് നിർമ്മിക്കാൻ നിങ്ങൾ ഹൈപ്പർകൺവേർജ്ഡ് ഇൻഫ്രാസ്ട്രക്ചർ ഉപയോഗിക്കുന്നുണ്ടോ?

ഇല്ല. ബ്ലൂംബെർഗിലെ ഞങ്ങൾ ഹൈപ്പർകൺവെർജൻസിലേക്ക് നീങ്ങാത്ത ഒരു ദിശ തിരഞ്ഞെടുക്കുന്നു. സ്‌റ്റോറേജിൽ നിന്ന് കംപ്യൂട്ടിനെ വേർപെടുത്താൻ ഞങ്ങൾ ശ്രമിക്കുന്നു, അതിനാൽ നമുക്ക് അവയെ സ്വതന്ത്രമായി സ്കെയിൽ ചെയ്യാം. നമ്മൾ നീങ്ങുന്ന ദിശ, പ്രത്യേകിച്ച് നമ്മുടെ ക്ലൗഡിനൊപ്പം, ആ രണ്ട് എന്റിറ്റികളെയും വേർതിരിക്കാനാകും. നമ്മുടെ രാജ്യത്ത് ചില കാര്യങ്ങൾക്ക് തീവ്രമായ കണക്കുകൂട്ടലുകൾ ആവശ്യമാണ്, മറ്റുള്ളവയ്ക്ക് സംഭരണം ആവശ്യമാണ്. നിങ്ങൾ അവയെ തുല്യമായി സ്കെയിൽ ചെയ്യുകയാണെങ്കിൽ, പണമോ ഡാറ്റാ സെന്ററുകളിലെ സ്ഥലമോ അല്ലെങ്കിൽ നിങ്ങൾക്ക് ആവശ്യമില്ലാത്ത കപ്പാസിറ്റി വാങ്ങുന്നതിലൂടെയോ നിങ്ങൾക്ക് വിഭവങ്ങൾ നഷ്ടപ്പെടും. അതുകൊണ്ടാണ് രണ്ട് എന്റിറ്റികൾക്കിടയിൽ ഒരു പൊതു ഇന്റർഫേസ് ഉണ്ടായിരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നത്, എന്നാൽ അവ തികച്ചും വ്യത്യസ്തമായ സിസ്റ്റങ്ങളായിരിക്കുകയും വ്യത്യസ്ത ടീമുകൾ നിയന്ത്രിക്കുകയും ചെയ്യുക.

ഒരു സ്വകാര്യ ക്ലൗഡ് നിർമ്മിക്കുന്നതിന് എന്ത് തടസ്സങ്ങൾ മറികടക്കണം?

സ്കെയിലിന്റെ പ്രശ്നം. മിക്ക കാര്യങ്ങളെയും പോലെ, പിശാച് വിശദാംശങ്ങളിലാണ്. ഈ കാര്യങ്ങൾ എങ്ങനെ പ്രവർത്തിക്കുന്നു, അവയെ എങ്ങനെ പ്രതിരോധിക്കാം, പ്രവർത്തന ലോഡ് എങ്ങനെ കൈകാര്യം ചെയ്യാം, ഫിസിക്കൽ അസറ്റ് ടീമുകളുമായി എങ്ങനെ ആശയവിനിമയം നടത്തുന്നു എന്നതിനെക്കുറിച്ച് ചിന്തിക്കുമ്പോൾ, കാര്യങ്ങൾ അൽപ്പം രസകരമാണ്. ഞങ്ങളുടെ ആപ്ലിക്കേഷൻ ഡെവലപ്പർമാർ ഉപയോഗിക്കാൻ ആഗ്രഹിക്കുന്ന, എല്ലാത്തിനെയും വിപുലീകരിക്കാവുന്നതും പിന്തുണയ്‌ക്കാവുന്നതുമായ ഉൽപ്പന്നമാക്കി മാറ്റുന്നതിനുള്ള ഒരു വഴി കണ്ടെത്തുക എന്നതാണ് വെല്ലുവിളി, പൊതു ക്ലൗഡ് ചെയ്യുന്നതിന്റെ ഏറ്റവും ഉയർന്ന തലത്തിൽ നിൽക്കുമ്പോൾ തന്നെ ഫീച്ചർ സെറ്റ് സമ്പുഷ്ടമാക്കാൻ കഴിയും. കൂടാതെ, എല്ലാം ഒരുമിച്ച് കൊണ്ടുവരികയും അങ്ങനെ അത് പ്രവർത്തിക്കുന്നത് തുടരുകയും ചെയ്യുന്നു. ഇതാണ് ഞങ്ങളുടെ പ്രധാന പ്രശ്നം - ഞങ്ങൾ ബിസിനസിന്റെ എല്ലാ മേഖലകളിലും പ്രവർത്തിക്കുന്നു, എല്ലാ ആവശ്യങ്ങളും തൃപ്തിപ്പെടുത്താൻ ശ്രമിക്കുന്നു, എന്നാൽ മറ്റ് ആവശ്യങ്ങൾ അവഗണിക്കുന്നില്ല.

AWS-ലും മറ്റ് പൊതു ക്ലൗഡുകളിലും ലഭ്യമായ ഏറ്റവും പുതിയ ഫീച്ചറുകൾ നിങ്ങൾക്ക് ആവശ്യമാണെന്ന് നിങ്ങൾ കരുതുന്നുണ്ടോ?

എസ് 3 യെക്കുറിച്ചുള്ള ഏറ്റവും രസകരമായ വസ്തുത ജീവിത നിലവാരം നിരന്തരം മാറിക്കൊണ്ടിരിക്കുന്നു, പുതിയ സവിശേഷതകൾ എപ്പോഴും കൂട്ടിച്ചേർക്കപ്പെടുന്നു എന്നതാണ്. ഇത് ഒരു പുതിയ കളിപ്പാട്ടം പോലെയാണ്. പുതിയ പതിപ്പിൽ ആരെങ്കിലും പുതിയ ഫീച്ചർ കാണുകയാണെങ്കിൽ, അവർക്ക് അത് വേണം. എല്ലാ AWS സവിശേഷതകളും ഞങ്ങളുടെ പരിതസ്ഥിതിയിൽ ബാധകമല്ല, അതിനാൽ ഡെവലപ്പർമാരെ സഹായിക്കുന്നതെന്താണെന്നും അത് വീട്ടിൽ എങ്ങനെ നേടാമെന്നും അറിയുന്നത് പ്രധാനമാണ്.

ഏത് സംഭരണ ​​​​ഉപകരണങ്ങളാണ് നിങ്ങൾ ഉപയോഗിക്കുന്നത്?

ഞങ്ങൾ അത്യാധുനിക ഉപകരണങ്ങൾ ഉപയോഗിക്കുന്നു. ഞങ്ങളുടെ ആന്തരിക ക്ലൗഡ് പൂർണ്ണമായും NVMe ഫ്ലാഷിനെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, ഇത് ഈ സിസ്റ്റങ്ങളെ വളരെ ശക്തമാക്കുന്നു. ഇത് ഞങ്ങളുടെ ജീവിതം അൽപ്പം എളുപ്പമാക്കുന്നു, കൂടാതെ ഞങ്ങളുടെ ഡെവലപ്പർമാർക്ക് ഇത് ഒരു നല്ല സവിശേഷതയാണ്, കാരണം അവർ സ്റ്റോറേജ് പ്രകടനത്തെക്കുറിച്ച് വിഷമിക്കേണ്ടതില്ല.

നിങ്ങൾ എന്തിനാണ് ഒബ്ജക്റ്റ് സ്റ്റോറേജ് ഉപയോഗിക്കുന്നത്?

ഞങ്ങൾക്ക് 6000 ഡെവലപ്പർമാർ ഇൻഫ്രാസ്ട്രക്ചറിൽ പ്രവർത്തിക്കുന്നുണ്ട്, അവർ ഒരു ഉപയോഗ സാഹചര്യത്തിലും ഒന്നിച്ചിട്ടില്ല. നിങ്ങൾക്ക് ചിന്തിക്കാൻ കഴിയുന്ന ഏത് ഓപ്ഷനും, ഞങ്ങൾക്ക് അത് ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിൽ ഉണ്ടായിരിക്കാം. ചില ടീമുകൾ ഇത് കോൾഡ് ആർക്കൈവൽ സ്റ്റോറേജിനും ചിലത് ഡാറ്റാ കൈമാറ്റത്തിനും മറ്റ് ചിലത് ഇടപാട് ആപ്ലിക്കേഷനുകൾക്കും ഉപയോഗിക്കുന്നു. ഈ ഉപയോഗ കേസുകൾക്കെല്ലാം വ്യത്യസ്ത തലത്തിലുള്ള SLA ആവശ്യമാണ്, അതിനാൽ നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഞങ്ങൾക്ക് വ്യത്യസ്ത തരം ട്രാഫിക് ഉണ്ട്, ഞങ്ങളുടെ ഇൻഫ്രാസ്ട്രക്ചറിന്റെ വ്യത്യസ്ത ഉപയോക്താക്കൾക്കുള്ള എല്ലാത്തരം ആവശ്യങ്ങളും. ഇത് ഞങ്ങളുടെ ഏതെങ്കിലും സ്റ്റോറേജിന് മുകളിൽ പ്രവർത്തിക്കുന്ന ഒരു ഏകീകൃത ഉപയോഗ കേസല്ല, ഇത് കാര്യങ്ങൾ കൂടുതൽ സങ്കീർണ്ണമാക്കുന്നു.

കുബർനെറ്റുകളും കണ്ടെയ്‌നറുകളും നിങ്ങൾക്കായി എത്ര വലിയ പങ്ക് വഹിക്കുന്നു, അത് സംഭരണത്തെ എങ്ങനെ ബാധിക്കുന്നു?

ഡെവലപ്പർമാർക്ക് അവരുടെ ക്രാഫ്റ്റ് ത്വരിതപ്പെടുത്തുന്നതിനും അടിസ്ഥാന സൗകര്യങ്ങൾ നീക്കം ചെയ്യുന്നതിനുമുള്ള ഒരു ബട്ടണുള്ള ക്ലൗഡിന്റെ ഒരു ബോധം സൃഷ്ടിക്കാൻ ഞങ്ങൾ സംഭരണ ​​ഉൽപ്പാദനക്ഷമത വർദ്ധിപ്പിക്കുകയാണ്.

എഡിറ്റർ എൻ.ബി: ഒക്ടോബർ 15, 2020 തയ്യാറാകും സെഫ് വീഡിയോ കോഴ്സ്. തെറ്റ് സഹിഷ്ണുത മെച്ചപ്പെടുത്തുന്നതിന് നിങ്ങളുടെ പ്രോജക്റ്റുകളിൽ ഉപയോഗിക്കുന്നതിന് സെഫ് നെറ്റ്‌വർക്ക് സ്റ്റോറേജ് സാങ്കേതികവിദ്യ നിങ്ങൾ പഠിക്കും.

ഞങ്ങൾക്ക് മൂന്ന് ടീമുകളുണ്ട്, ആദ്യത്തേത് സ്റ്റോറേജ് API ടീമാണ്. ബ്ലൂംബെർഗിലെ ആപ്പ് ഡെവലപ്‌മെന്റ് ക്ലയന്റുകൾക്കായി അവർ പ്രോഗ്രമാറ്റിക് ആക്‌സസ്, എൻഡ്‌പോയിന്റുകൾ, മുൻകൂട്ടി നിശ്ചയിച്ച വർക്ക്ഫ്ലോകൾ എന്നിവ ഉണ്ടാക്കുന്നു. ഇത് ഫുൾ സ്റ്റാക്ക് വെബ് ഡെവലപ്പർമാരുടെ ഒരു ടീമാണ്, അവർ node.js, python, Apache Airflow പോലുള്ള ഓപ്പൺ സോഴ്‌സ് സാങ്കേതികവിദ്യകൾ ഉപയോഗിക്കുന്നു, അതിനാൽ അവർ കണ്ടെയ്‌നറൈസേഷനും വെർച്വലൈസേഷനും പഠിക്കുന്നു.

യഥാർത്ഥത്തിൽ ബിറ്റുകളും ബൈറ്റുകളും നീക്കുന്ന രണ്ട് സാങ്കേതിക ടീമുകളും ഞങ്ങൾക്കുണ്ട്. അവ ഉപകരണങ്ങളുമായി നേരിട്ട് ബന്ധപ്പെട്ടിരിക്കുന്നു. ഞങ്ങൾക്ക് ധാരാളം ഉപകരണങ്ങൾ ഉണ്ട്, ഈ ടീമുകൾ വെർച്വലൈസേഷനും കണ്ടെയ്‌നറുകളും ഉപയോഗിക്കുന്നില്ല.

ഞങ്ങൾ വ്യവസായത്തിൽ എന്താണ് സംഭവിക്കുന്നത്, കുബെർനെറ്റസ് സിഎസ്‌ഐ ഡ്രൈവർമാരെക്കുറിച്ച് പഠിക്കുന്നു, കൂടാതെ ഞങ്ങളുടെ പക്കലുള്ള സാങ്കേതികവിദ്യകൾ ഉപയോഗിച്ച് കുബർനെറ്റസ് സംഭരണം സ്ഥിരമായി പ്രവർത്തിക്കാൻ ഞങ്ങൾക്ക് കഴിയുമോ എന്ന് വിലയിരുത്താൻ ബ്ലൂംബെർഗിൽ കുബർനെറ്റ്സ് നടപ്പിലാക്കുന്ന ടീമുമായി ചേർന്ന് പ്രവർത്തിക്കുന്നു. അത് പ്രവർത്തിക്കുന്നു. പെർസിസ്റ്റന്റ് സ്റ്റോറേജിലേക്ക് കണക്‌റ്റ് ചെയ്‌തിരിക്കുന്ന കുബർനെറ്റുകളെ പിന്തുണയ്‌ക്കാൻ ഞങ്ങൾ SDS ഉപയോഗിക്കുന്നു. ഞങ്ങൾ ഈ സാങ്കേതികവിദ്യ വിജയകരമായി വികസിപ്പിച്ചെടുത്തു, ബ്ലൂംബെർഗിൽ മറ്റെല്ലാവർക്കും ഇത് എങ്ങനെ ലഭ്യമാക്കാം എന്നതിനെക്കുറിച്ചുള്ള ചർച്ചകൾ ഇരു ടീമുകളും തമ്മിൽ തുടരുന്നു. ഇത് തികച്ചും സാധ്യമാണെന്ന് ഞങ്ങൾ തെളിയിച്ചു.

മറ്റ് ഏത് ഓപ്പൺ സോഴ്‌സ് സോഫ്‌റ്റ്‌വെയറാണ് നിങ്ങൾ ഉപയോഗിക്കുന്നത്, പ്രത്യേകിച്ച് സംഭരണത്തിനായി?

ആപ്ലിക്കേഷൻ ട്രാഫിക് പരിമിതപ്പെടുത്താൻ ഞങ്ങൾ Apache Airflow, HAProxy ഉപയോഗിക്കുന്നു. SDS-നുള്ള പ്ലാറ്റ്‌ഫോമായ Ceph-ഉം ഞങ്ങൾ ഉപയോഗിക്കുന്നു. ഇത് ഉപയോഗിച്ച്, നിങ്ങൾക്ക് കമാൻഡുകൾക്കായി ഒരു സിസ്റ്റം ഉണ്ടായിരിക്കാം, എന്നാൽ ക്ലയന്റുകൾക്ക് ഒന്നിലധികം ഇന്റർഫേസുകൾ നൽകുക. വിർച്ച്വലൈസേഷൻ പ്ലാറ്റ്‌ഫോമുകളിലൊന്ന് OpenStack-ൽ പ്രവർത്തിക്കുന്നു - ഞങ്ങൾ ഈ ടീമുമായി ചേർന്ന് പ്രവർത്തിക്കുന്നു. സംഭരണത്തിനായി ഓപ്പൺ സോഴ്‌സ് എസ്ഡിഎസ് പ്ലാറ്റ്‌ഫോം ഉപയോഗിക്കുന്ന ഒരു ഓപ്പൺ സോഴ്‌സ് വെർച്വലൈസേഷൻ പ്ലാറ്റ്‌ഫോം ഞങ്ങളുടെ പക്കലുണ്ട്. ഇത് തമാശയാണ്.

അടുത്ത രണ്ടോ മൂന്നോ വർഷത്തേക്ക് നിങ്ങൾ എന്ത് സ്റ്റോറേജ് സാങ്കേതികവിദ്യകളാണ് പരിഗണിക്കുന്നത്?

സ്റ്റോറേജ് ഇൻഡസ്‌ട്രിയിൽ നടക്കുന്ന മറ്റ് രസകരമായ പുതിയ കാര്യങ്ങൾ ഞങ്ങൾ എപ്പോഴും നോക്കുന്നു. ഇത് ഞങ്ങളുടെ ജോലിയുടെ ഭാഗമാണ്, "ഇവിടെ നിങ്ങളുടെ SAN ഉണ്ട്, ഇവിടെ മാനേജ് ചെയ്യുക, ഇവിടെ നിങ്ങളുടെ NFS ഉണ്ട്, അവിടെ മാനേജ് ചെയ്യുക" എന്നല്ല. ഞങ്ങളുടെ ക്ലയന്റുകളുമായി ആശയവിനിമയം നടത്താൻ ഞങ്ങൾ ശ്രമിക്കുന്നു, അതായത്. ഞങ്ങളുടെ ആപ്ലിക്കേഷൻ ഡെവലപ്പർമാർ മുഖേന. എന്തൊക്കെ പ്രശ്‌നങ്ങളാണ് അവർ പരിഹരിക്കാൻ ശ്രമിക്കുന്നതെന്നും അത് ഞങ്ങളുടെ ബാഹ്യ ബ്ലൂംബെർഗ് ക്ലയന്റുകളെ - ഞങ്ങളുടെ സോഫ്റ്റ്‌വെയർ ഉപയോഗിക്കുന്ന ബാങ്കുകളെയും മറ്റുള്ളവരെയും എങ്ങനെ ബാധിക്കുമെന്നും മനസിലാക്കാൻ ഞങ്ങൾ ഒരുമിച്ച് പ്രവർത്തിക്കുന്നു. തുടർന്ന് അവരുടെ ലക്ഷ്യം നേടാൻ അവരെ സഹായിക്കുന്നതിനുള്ള അവസരങ്ങൾ കണ്ടെത്താൻ ഞങ്ങൾ ഡാറ്റ സംഭരണത്തിന്റെ ലോകത്തേക്ക് മടങ്ങുന്നു. അവരുടെ SLA അല്ലെങ്കിൽ അവർ ചെയ്യാൻ ശ്രമിക്കുന്നത് അനുയോജ്യമായ സ്റ്റോറേജ് ടെക്നോളജി കണ്ടെത്താൻ ഞങ്ങൾക്ക് അവരെ എങ്ങനെ സഹായിക്കാനാകും? രസകരമായ കാര്യങ്ങൾ ചെയ്യുന്ന നിരവധി എഞ്ചിനീയർമാർ ഉള്ളതിനാൽ, അത് ഒരിക്കലും വിരസമാകില്ല.

പൊതുവായ ഉദ്ദേശ്യ സെർവറുകളിൽ പ്രവർത്തിക്കാൻ സാധ്യതയുള്ള SDS-നുള്ള പ്രകടനം മെച്ചപ്പെടുത്തുന്നതിനുള്ള വഴികൾ ഞങ്ങൾ നിലവിൽ നോക്കുകയാണ്. അതിനാൽ ഞങ്ങൾ TCP-യിൽ NVMe-യിൽ പ്രവർത്തിക്കുന്നു, ഇത് വളരെ രസകരവും രസകരവുമായ ഒരു സംരംഭമാണ്, പലതിൽ ഒന്നാണ്. വ്യവസായത്തിലെ പ്രധാന വ്യക്തികളുമായും നിലവിലുള്ള ചില വിതരണക്കാരുമായും ഞങ്ങൾ പ്രവർത്തിക്കുന്നു, അവർ എന്താണ് വാഗ്ദാനം ചെയ്യുന്നതെന്നും യഥാർത്ഥ പ്രകടനം എന്തായിരിക്കുമെന്നും കമ്പനിയിലെ ഉൽപ്പാദനത്തിൽ ഇത് ഉപയോഗിക്കാൻ തുടങ്ങാമോ എന്നറിയാൻ. ഇത് മുമ്പ് ആക്സസ് ചെയ്യാനാകാത്ത പുതിയ ചക്രവാളങ്ങൾ തുറക്കുന്നു.

PS ൽ ഒരു ചെറിയ സഹായം

PS എനിക്ക് കഴിയുമെങ്കിൽ, സെപ്റ്റംബർ 28 മുതൽ 30 വരെ നടത്തുമെന്ന് ഞാൻ നിങ്ങളെ ഓർമ്മിപ്പിക്കാൻ ആഗ്രഹിക്കുന്നു തീവ്രമായ കുബർനെറ്റസ് ബേസ്, കുബെർനെറ്റസിനെ അറിയാത്തവർക്കായി, എന്നാൽ അത് പരിചയപ്പെടാനും അതുമായി പ്രവർത്തിക്കാനും ആഗ്രഹിക്കുന്നു.

അവലംബം: www.habr.com