ഒലെഗ് അനസ്താസിയേവുമായുള്ള മിനി അഭിമുഖം: അപ്പാച്ചെ കസാന്ദ്രയിലെ തെറ്റ് സഹിഷ്ണുത

RuNet-ലെ അപ്പാച്ചെ കസാന്ദ്രയുടെ ഏറ്റവും വലിയ ഉപഭോക്താവാണ് Odnoklassniki, ലോകത്തിലെ ഏറ്റവും വലിയ ഒന്നാണ്. ഫോട്ടോ റേറ്റിംഗുകൾ സംഭരിക്കുന്നതിന് ഞങ്ങൾ 2010-ൽ കസാന്ദ്ര ഉപയോഗിക്കാൻ തുടങ്ങി, ഇപ്പോൾ ആയിരക്കണക്കിന് നോഡുകളിൽ പെറ്റബൈറ്റ് ഡാറ്റ കസാന്ദ്ര കൈകാര്യം ചെയ്യുന്നു, വാസ്തവത്തിൽ ഞങ്ങൾ ഞങ്ങളുടേത് പോലും വികസിപ്പിച്ചെടുത്തു. NewSQL ഇടപാട് ഡാറ്റാബേസ്.
സെപ്റ്റംബർ 12 ന് ഞങ്ങളുടെ സെന്റ് പീറ്റേഴ്സ്ബർഗ് ഓഫീസിൽ ഞങ്ങൾ നടത്തും അപ്പാച്ചെ കസാന്ദ്രയ്ക്ക് സമർപ്പിച്ച രണ്ടാമത്തെ കൂടിക്കാഴ്ച. ഓഡ്‌നോക്ലാസ്‌നിക്കിയുടെ ചീഫ് എഞ്ചിനീയർ ഒലെഗ് അനസ്‌തസിയേവായിരിക്കും പരിപാടിയുടെ മുഖ്യ പ്രഭാഷകൻ. വിതരണം ചെയ്തതും തെറ്റ് സഹിഷ്ണുത പുലർത്തുന്നതുമായ സംവിധാനങ്ങളുടെ മേഖലയിൽ വിദഗ്ദ്ധനാണ് ഒലെഗ്; കസാന്ദ്രയുമായി 10 വർഷത്തിലേറെയായി ആവർത്തിച്ച് പ്രവർത്തിക്കുന്നു. കോൺഫറൻസുകളിൽ ഈ ഉൽപ്പന്നം ഉപയോഗിക്കുന്നതിന്റെ സവിശേഷതകളെക്കുറിച്ച് സംസാരിച്ചു.

മീറ്റിംഗിന്റെ തലേദിവസം, കസാന്ദ്രയുമായുള്ള ഡിസ്ട്രിബ്യൂട്ടഡ് സിസ്റ്റങ്ങളുടെ തെറ്റ് സഹിഷ്ണുതയെക്കുറിച്ച് ഞങ്ങൾ ഒലെഗുമായി സംസാരിച്ചു, മീറ്റിംഗിൽ അദ്ദേഹം എന്താണ് സംസാരിക്കുന്നതെന്നും ഈ ഇവന്റിൽ പങ്കെടുക്കുന്നത് മൂല്യവത്താണെന്നും ചോദിച്ചു.

ഒലെഗ് തന്റെ പ്രോഗ്രാമിംഗ് ജീവിതം 1995 ൽ ആരംഭിച്ചു. ബാങ്കിംഗ്, ടെലികോം, ഗതാഗതം എന്നിവയിൽ അദ്ദേഹം സോഫ്റ്റ്വെയർ വികസിപ്പിച്ചെടുത്തു. പ്ലാറ്റ്‌ഫോം ടീമിൽ 2007 മുതൽ ഒഡ്‌നോക്ലാസ്‌നിക്കിയിലെ പ്രമുഖ ഡെവലപ്പറായി അദ്ദേഹം പ്രവർത്തിക്കുന്നു. ഉയർന്ന ലോഡ് സിസ്റ്റങ്ങൾ, വലിയ ഡാറ്റ വെയർഹൗസുകൾ, പോർട്ടൽ പ്രകടനത്തിന്റെയും വിശ്വാസ്യതയുടെയും പ്രശ്നങ്ങൾ പരിഹരിക്കൽ എന്നിവയ്ക്കുള്ള ആർക്കിടെക്ചറുകളും പരിഹാരങ്ങളും വികസിപ്പിക്കുന്നത് അദ്ദേഹത്തിന്റെ ഉത്തരവാദിത്തങ്ങളിൽ ഉൾപ്പെടുന്നു. കമ്പനിക്കുള്ളിലെ ഡെവലപ്പർമാരെയും അദ്ദേഹം പരിശീലിപ്പിക്കുന്നു.

- ഒലെഗ്, ഹലോ! മെയ് മാസത്തിൽ നടന്നു ആദ്യ കൂടിക്കാഴ്ച, അപ്പാച്ചെ കസാന്ദ്രയ്ക്ക് സമർപ്പിക്കുന്നു, പങ്കെടുക്കുന്നവർ പറയുന്നത് രാത്രി വൈകും വരെ ചർച്ചകൾ നടന്നിരുന്നു, ദയവായി എന്നോട് പറയൂ, ആദ്യ കൂടിക്കാഴ്ചയെക്കുറിച്ചുള്ള നിങ്ങളുടെ മതിപ്പ് എന്താണ്?

വ്യത്യസ്‌ത കമ്പനികളിൽ നിന്നുള്ള വ്യത്യസ്‌ത പശ്ചാത്തലങ്ങളുള്ള ഡെവലപ്പർമാർ അവരുടെ സ്വന്തം വേദനയും പ്രശ്‌നങ്ങൾക്കുള്ള അപ്രതീക്ഷിത പരിഹാരങ്ങളും അതിശയകരമായ കഥകളുമായി വന്നു. മീറ്റിംഗിന്റെ ഭൂരിഭാഗവും ഒരു ചർച്ചാ ഫോർമാറ്റിൽ നടത്താൻ ഞങ്ങൾക്ക് കഴിഞ്ഞു, പക്ഷേ വളരെയധികം ചർച്ചകൾ ഉണ്ടായിരുന്നു, ആസൂത്രണം ചെയ്ത വിഷയങ്ങളിൽ മൂന്നിലൊന്ന് മാത്രമേ ഞങ്ങൾക്ക് സ്പർശിക്കാൻ കഴിഞ്ഞുള്ളൂ. ഞങ്ങളുടെ യഥാർത്ഥ ഉൽ‌പാദന സേവനങ്ങളുടെ ഉദാഹരണം ഉപയോഗിച്ച് ഞങ്ങൾ എങ്ങനെ, എന്തൊക്കെ നിരീക്ഷിക്കുന്നു എന്നതിൽ ഞങ്ങൾ വളരെയധികം ശ്രദ്ധ ചെലുത്തി.

എനിക്ക് താൽപ്പര്യമുണ്ടായിരുന്നു, ശരിക്കും ഇഷ്ടപ്പെട്ടു.

- പ്രഖ്യാപനം അനുസരിച്ച്, രണ്ടാമത്തെ കൂടിക്കാഴ്ച തെറ്റ് സഹിഷ്ണുതയ്ക്കായി പൂർണ്ണമായും അർപ്പിതമായിരിക്കും, എന്തുകൊണ്ടാണ് നിങ്ങൾ ഈ വിഷയം തിരഞ്ഞെടുത്തത്?

ഉപയോക്തൃ അഭ്യർത്ഥനകൾക്ക് അപ്പുറം വലിയ അളവിലുള്ള പ്രവർത്തനക്ഷമതയുള്ള ഒരു സാധാരണ തിരക്കുള്ള വിതരണ സംവിധാനമാണ് കസാന്ദ്ര: ഗോസിപ്പ്, പരാജയം കണ്ടെത്തൽ, സ്കീമ മാറ്റങ്ങളുടെ പ്രചരണം, ക്ലസ്റ്റർ വിപുലീകരണം/ചുരുക്കൽ, ആന്റി-എൻട്രോപ്പി, ബാക്കപ്പുകൾ, വീണ്ടെടുക്കൽ തുടങ്ങിയവ. ഏതൊരു വിതരണ സംവിധാനത്തിലെയും പോലെ, ഹാർഡ്‌വെയറിന്റെ അളവ് കൂടുന്നതിനനുസരിച്ച്, പരാജയങ്ങളുടെ സാധ്യത വർദ്ധിക്കുന്നു, അതിനാൽ കസാന്ദ്ര പ്രൊഡക്ഷൻ ക്ലസ്റ്ററുകളുടെ പ്രവർത്തനത്തിന് പരാജയങ്ങളും ഓപ്പറേറ്റർ പ്രവർത്തനങ്ങളും ഉണ്ടാകുമ്പോൾ പെരുമാറ്റം പ്രവചിക്കാൻ അതിന്റെ ഘടനയെക്കുറിച്ച് ആഴത്തിലുള്ള ധാരണ ആവശ്യമാണ്. വർഷങ്ങളോളം കസാന്ദ്ര ഉപയോഗിച്ചതിന് ശേഷം, ഞങ്ങൾ കാര്യമായ വൈദഗ്ധ്യം ശേഖരിച്ചു, ഞങ്ങൾ പങ്കിടാൻ തയ്യാറാണ്, കൂടാതെ ഷോപ്പിലെ സഹപ്രവർത്തകർ സാധാരണ പ്രശ്നങ്ങൾ എങ്ങനെ പരിഹരിക്കുന്നുവെന്നും ചർച്ചചെയ്യാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

- കസാന്ദ്രയുടെ കാര്യം വരുമ്പോൾ, തെറ്റ് സഹിഷ്ണുത എന്നതുകൊണ്ട് നിങ്ങൾ എന്താണ് അർത്ഥമാക്കുന്നത്?

ഒന്നാമതായി, തീർച്ചയായും, സാധാരണ ഹാർഡ്‌വെയർ പരാജയങ്ങളെ അതിജീവിക്കാനുള്ള സിസ്റ്റത്തിന്റെ കഴിവ്: മെഷീനുകൾ, ഡിസ്കുകൾ, അല്ലെങ്കിൽ നോഡുകൾ/ഡാറ്റ സെന്ററുകൾ എന്നിവയുമായുള്ള നെറ്റ്‌വർക്ക് കണക്റ്റിവിറ്റി നഷ്ടം. എന്നാൽ വിഷയം തന്നെ വളരെ വിശാലമാണ്, പ്രത്യേകിച്ച് പരാജയങ്ങളിൽ നിന്നുള്ള വീണ്ടെടുക്കൽ ഉൾപ്പെടുന്നു, പരാജയങ്ങൾ ഉൾപ്പെടെ, ആളുകൾ അപൂർവ്വമായി തയ്യാറെടുക്കുന്നു, ഉദാഹരണത്തിന്, ഓപ്പറേറ്റർ പിശകുകൾ.

— ഏറ്റവും കൂടുതൽ ലോഡ് ചെയ്തതും വലുതുമായ ഡാറ്റാ ക്ലസ്റ്ററിന്റെ ഒരു ഉദാഹരണം നൽകാമോ?

ഞങ്ങളുടെ ഏറ്റവും വലിയ ക്ലസ്റ്ററുകളിൽ ഒന്നാണ് ഗിഫ്റ്റ് ക്ലസ്റ്റർ: 200-ലധികം നോഡുകളും നൂറുകണക്കിന് TB ഡാറ്റയും. എന്നാൽ ഇത് ഏറ്റവും കൂടുതൽ ലോഡ് ചെയ്തതല്ല, കാരണം ഇത് ഒരു വിതരണം ചെയ്ത കാഷെ കൊണ്ട് മൂടിയിരിക്കുന്നു. ഞങ്ങളുടെ ഏറ്റവും തിരക്കേറിയ ക്ലസ്റ്ററുകൾ എഴുത്തിനായി പതിനായിരക്കണക്കിന് ആർപിഎസുകളും വായനയ്ക്കായി ആയിരക്കണക്കിന് ആർപിഎസുകളും കൈകാര്യം ചെയ്യുന്നു.

- വൗ! എത്ര തവണ എന്തെങ്കിലും തകരുന്നു?

അതെ എല്ലാ സമയത്തും! മൊത്തത്തിൽ, ഞങ്ങൾക്ക് 6 ആയിരത്തിലധികം സെർവറുകൾ ഉണ്ട്, ഓരോ ആഴ്ചയും രണ്ട് സെർവറുകളും നിരവധി ഡസൻ ഡിസ്കുകളും മാറ്റിസ്ഥാപിക്കുന്നു (മെഷീൻ ഫ്ലീറ്റിന്റെ നവീകരണത്തിന്റെയും വിപുലീകരണത്തിന്റെയും സമാന്തര പ്രക്രിയകൾ കണക്കിലെടുക്കാതെ). ഓരോ തരത്തിലുള്ള പരാജയത്തിനും, എന്തുചെയ്യണം, ഏത് ക്രമത്തിൽ, സാധ്യമാകുമ്പോഴെല്ലാം എല്ലാം സ്വയമേവയുള്ളതാണ്, അതിനാൽ പരാജയങ്ങൾ പതിവാണ്, 99% കേസുകളിലും ഉപയോക്താക്കൾ ശ്രദ്ധിക്കപ്പെടാതെ സംഭവിക്കുന്നു.

- അത്തരം വിസമ്മതങ്ങളെ നിങ്ങൾ എങ്ങനെ കൈകാര്യം ചെയ്യും?

കസാന്ദ്രയുടെ പ്രവർത്തനത്തിന്റെയും ആദ്യ സംഭവങ്ങളുടെയും തുടക്കം മുതൽ, ബാക്കപ്പുകൾക്കും അവയിൽ നിന്ന് വീണ്ടെടുക്കുന്നതിനുമുള്ള സംവിധാനങ്ങളിൽ ഞങ്ങൾ പ്രവർത്തിച്ചു, കസാന്ദ്ര ക്ലസ്റ്ററുകളുടെ അവസ്ഥ കണക്കിലെടുക്കുന്ന വിന്യാസ നടപടിക്രമങ്ങൾ നിർമ്മിച്ചു, ഉദാഹരണത്തിന്, നോഡുകൾ പുനരാരംഭിക്കാൻ അനുവദിക്കരുത്. ഡാറ്റ നഷ്ടം സാധ്യമാണെങ്കിൽ. മീറ്റിംഗിൽ ഇതെല്ലാം സംസാരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

- നിങ്ങൾ പറഞ്ഞതുപോലെ, തികച്ചും വിശ്വസനീയമായ സംവിധാനങ്ങളൊന്നുമില്ല. ഏത് തരത്തിലുള്ള പരാജയങ്ങൾക്കാണ് നിങ്ങൾ തയ്യാറെടുക്കുന്നതും കൈകാര്യം ചെയ്യാൻ കഴിയുന്നതും?

കസാന്ദ്ര ക്ലസ്റ്ററുകളുടെ ഇൻസ്റ്റാളേഷനുകളെക്കുറിച്ച് നമ്മൾ സംസാരിക്കുകയാണെങ്കിൽ, ഒരു ഡിസിയിലോ ഒരു മുഴുവൻ ഡിസിയിലോ നിരവധി മെഷീനുകൾ നഷ്ടപ്പെട്ടാൽ ഉപയോക്താക്കൾ ഒന്നും ശ്രദ്ധിക്കില്ല (ഇത് സംഭവിച്ചു). ഡിസികളുടെ എണ്ണം വർധിച്ചതോടെ, രണ്ട് ഡിസികൾ തകരാറിലായാൽ പ്രവർത്തനക്ഷമത ഉറപ്പാക്കാൻ തുടങ്ങുന്നതിനെക്കുറിച്ച് ഞങ്ങൾ ആലോചിക്കുന്നു.

- തെറ്റ് സഹിഷ്ണുതയുടെ കാര്യത്തിൽ കസാന്ദ്രയ്ക്ക് എന്താണ് കുറവെന്ന് നിങ്ങൾ കരുതുന്നു?

മറ്റ് ആദ്യകാല NoSQL സ്റ്റോറുകളെപ്പോലെ കസാന്ദ്രയ്ക്കും അതിന്റെ ആന്തരിക ഘടനയെക്കുറിച്ചും സംഭവിക്കുന്ന ചലനാത്മക പ്രക്രിയകളെക്കുറിച്ചും ആഴത്തിലുള്ള ധാരണ ആവശ്യമാണ്. അതിന് ലാളിത്യവും പ്രവചനാത്മകതയും നിരീക്ഷണക്ഷമതയും ഇല്ലെന്ന് ഞാൻ പറയും. എന്നാൽ മീറ്റിംഗിൽ പങ്കെടുക്കുന്ന മറ്റ് ആളുകളുടെ അഭിപ്രായങ്ങൾ കേൾക്കുന്നത് രസകരമായിരിക്കും!

ഒലെഗ്, ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാൻ സമയമെടുത്തതിന് വളരെ നന്ദി!

സെപ്തംബർ 12-ന് ഞങ്ങളുടെ സെന്റ് പീറ്റേഴ്‌സ്ബർഗിലെ ഓഫീസിൽ നടക്കുന്ന മീറ്റപ്പിൽ അപ്പാച്ചെ കസാന്ദ്രയുടെ പ്രവർത്തന മേഖലയിലെ വിദഗ്ധരുമായി ആശയവിനിമയം നടത്താൻ ആഗ്രഹിക്കുന്ന എല്ലാവർക്കുമായി ഞങ്ങൾ കാത്തിരിക്കുകയാണ്.

വരൂ, അത് രസകരമായിരിക്കും!

ഇവന്റിനായി രജിസ്റ്റർ ചെയ്യുക.

അവലംബം: www.habr.com