19 ഹൈഡ്ര തലകൾ. പ്രോഗ്രാമിന്റെ മികച്ച അവലോകനം

ജൂലൈ 11-12 തീയതികളിൽ സെന്റ് പീറ്റേഴ്‌സ്ബർഗിൽ ഒരു സമ്മേളനം നടക്കും ഹൈഡ്ര, സമാന്തരവും വിതരണവുമായ സംവിധാനങ്ങളുടെ വികസനത്തിനായി സമർപ്പിച്ചിരിക്കുന്നു. ഹൈഡ്രയുടെ തന്ത്രം, അത് ശാന്തരായ ശാസ്ത്രജ്ഞരെയും (സാധാരണയായി വിദേശ ശാസ്ത്ര കോൺഫറൻസുകളിൽ മാത്രമേ കാണപ്പെടുകയുള്ളൂ) പ്രശസ്ത പ്രാക്ടീസ് എഞ്ചിനീയർമാരെയും ശാസ്ത്രത്തിന്റെയും പരിശീലനത്തിന്റെയും കവലയിൽ ഒരു വലിയ പ്രോഗ്രാമാക്കി മാറ്റുന്നു എന്നതാണ്.

കഴിഞ്ഞ കുറച്ച് വർഷങ്ങളിലെ ഞങ്ങളുടെ ഏറ്റവും പ്രധാനപ്പെട്ട കോൺഫറൻസുകളിൽ ഒന്നാണ് ഹൈഡ്ര. വളരെ ഗൗരവതരമായ തയ്യാറെടുപ്പുകളും സ്പീക്കറുകളുടെ തിരഞ്ഞെടുപ്പും റിപ്പോർട്ടുകളും ഇതിന് മുന്നോടിയായാണ് നടന്നത്. ഇതിനെക്കുറിച്ച് കഴിഞ്ഞ ആഴ്ച ഹബ്രോ അഭിമുഖം പുറത്തുവന്നു JUG.ru ഗ്രൂപ്പിന്റെ ഡയറക്ടർ അലക്സി ഫെഡോറോവിനൊപ്പം (23ഡെരെവോ).

മ ഇതിനകം പറഞ്ഞു മൂന്ന് പ്രധാന പങ്കാളികൾ, വിതരണം ചെയ്ത സിസ്റ്റങ്ങളുടെ സിദ്ധാന്തത്തിന്റെ സ്ഥാപകർ - ലെസ്ലി ലാംപോർട്ട്, മൗറീസ് ഹെർലിഹി, മൈക്കൽ സ്കോട്ട്. മുഴുവൻ പ്രോഗ്രാമിനെക്കുറിച്ചും കൂടുതൽ വിശദമായി സംസാരിക്കാനുള്ള സമയമാണിത്!

പ്രചോദനം

നിങ്ങൾ പ്രോഗ്രാമിംഗിൽ ഏർപ്പെട്ടിരിക്കുകയാണെങ്കിൽ, ഒരു തരത്തിൽ അല്ലെങ്കിൽ മറ്റൊന്ന് നിങ്ങൾ മൾട്ടിത്രെഡിംഗും ഡിസ്ട്രിബ്യൂഡ് കമ്പ്യൂട്ടിംഗും കൈകാര്യം ചെയ്യുന്നു. പ്രസക്തമായ മേഖലകളിലെ വിദഗ്ധർ അവരുമായി നേരിട്ട് പ്രവർത്തിക്കുന്നു, പക്ഷേ പരോക്ഷമായി, വിതരണം എല്ലായിടത്തുനിന്നും ഞങ്ങളെ നോക്കുന്നു: ഏതെങ്കിലും മൾട്ടി-കോർ കമ്പ്യൂട്ടറിലോ വിതരണം ചെയ്ത സേവനത്തിലോ സമാന്തരമായി കണക്കുകൂട്ടലുകൾ നടത്തുന്ന എന്തെങ്കിലും ഉണ്ട്.

ആപ്ലിക്കേഷൻ പ്രോഗ്രാമിംഗിന്റെ വിവിധ വശങ്ങൾ ഉൾക്കൊള്ളുന്ന നിരവധി കോൺഫറൻസുകൾ ഉണ്ട്. സ്പെക്ട്രത്തിന്റെ മറുവശത്ത്, പ്രഭാഷണ ഫോർമാറ്റിൽ സങ്കീർണ്ണമായ സിദ്ധാന്തത്തിന്റെ വലിയ അളവുകൾ വെളിപ്പെടുത്തുന്ന പ്രത്യേക ശാസ്ത്ര സ്കൂളുകൾ ഞങ്ങളുടെ പക്കലുണ്ട്. ഉദാഹരണത്തിന്, സെന്റ് പീറ്റേഴ്സ്ബർഗിൽ ഹൈഡ്രയ്ക്ക് സമാന്തരമായി ഉണ്ട് SPTDC സ്കൂൾ. ഹൈദ്ര കോൺഫറൻസിൽ, കഠിനമായ പരിശീലനവും ശാസ്ത്രവും എല്ലാം അവരുടെ കവലയിൽ കൊണ്ടുവരാൻ ഞങ്ങൾ ശ്രമിച്ചു.

ഇതിനെക്കുറിച്ച് ചിന്തിക്കുക: ഞങ്ങൾ പഠിക്കുന്ന ശാസ്ത്ര-എഞ്ചിനീയറിംഗ് മേഖലയുടെ സ്ഥാപകരെ നിങ്ങൾക്ക് നേരിട്ട് കാണാൻ കഴിയുന്ന ഒരു അത്ഭുതകരമായ സമയത്താണ് ഞങ്ങൾ ജീവിക്കുന്നത്. ഭൗതികശാസ്ത്രജ്ഞർ ന്യൂട്ടനെയോ ഐൻസ്റ്റീനെയോ കണ്ടുമുട്ടില്ല - ട്രെയിൻ പോയി. എന്നാൽ വിതരണം ചെയ്ത സിസ്റ്റങ്ങളുടെ സിദ്ധാന്തത്തിന്റെ അടിത്തറ സൃഷ്ടിച്ചവരും ജനപ്രിയ പ്രോഗ്രാമിംഗ് ഭാഷകൾ കണ്ടുപിടിച്ചവരും ആദ്യമായി പ്രവർത്തിക്കുന്ന പ്രോട്ടോടൈപ്പുകളിൽ ഇതെല്ലാം ഉൾക്കൊള്ളുന്നവരും ഞങ്ങളുടെ അടുത്തായി ഇപ്പോഴും താമസിക്കുന്നു. ഈ ആളുകൾ തങ്ങളുടെ ജോലി പാതിവഴിയിൽ ഉപേക്ഷിച്ചില്ല, അവർ ഇപ്പോൾ ലോകപ്രശസ്ത സർവ്വകലാശാലകളിലെയും കമ്പനികളിലെയും സമ്മർദ്ദകരമായ പ്രശ്നങ്ങളിൽ പ്രവർത്തിക്കുന്നു, ഇന്നത്തെ അറിവിന്റെയും അനുഭവത്തിന്റെയും ഏറ്റവും വലിയ ഉറവിടങ്ങളാണ്.

മറുവശത്ത്, അവരെ കണ്ടുമുട്ടാനുള്ള അവസരം സാധാരണയായി പൂർണ്ണമായും സൈദ്ധാന്തികമായി തുടരുന്നു: ഞങ്ങളിൽ ചിലർക്ക് റോച്ചെസ്റ്റർ സർവകലാശാലയിലെ പൊതു പരിപാടികൾ നിരന്തരം നിരീക്ഷിക്കാൻ കഴിയും, തുടർന്ന് യു‌എസ്‌എയിലേക്ക് തിരിയുകയും മൈക്കൽ സ്കോട്ടുമായി ഒരു പ്രഭാഷണത്തിനായി മടങ്ങുകയും ചെയ്യാം. എല്ലാ ഹൈഡ്ര അംഗങ്ങളെയും സന്ദർശിക്കുന്നത് ഒരു ചെറിയ സമ്പത്ത് ചിലവാകും, പാഴായ സമയത്തിന്റെ അഗാധത കണക്കാക്കാതെ (ഇത് രസകരമായ ഒരു അന്വേഷണമായി തോന്നുമെങ്കിലും).

മറുവശത്ത്, വിതരണ സംവിധാനങ്ങളിലെ പ്രശ്‌നങ്ങൾ പരിഹരിക്കാൻ ഇപ്പോൾ പ്രവർത്തിക്കുന്ന നിരവധി മുൻനിര എഞ്ചിനീയർമാർ നമുക്കുണ്ട്, അവർക്ക് തീർച്ചയായും ഒരുപാട് കാര്യങ്ങൾ പറയാനുണ്ട്. എന്നാൽ ഇവിടെയാണ് പ്രശ്നം - അവർ работают, അവരുടെ സമയം വിലപ്പെട്ടതാണ്. അതെ, നിങ്ങൾ Microsoft, Google അല്ലെങ്കിൽ JetBrains ജീവനക്കാരനാണെങ്കിൽ, ഒരു ആന്തരിക ഇവന്റിൽ പ്രശസ്ത സ്പീക്കറുകളിൽ ഒരാളെ കണ്ടുമുട്ടാനുള്ള സാധ്യത കുത്തനെ വർദ്ധിക്കുന്നു, പക്ഷേ പൊതുവേ, ഇല്ല, ഇത് എല്ലാ ദിവസവും സംഭവിക്കുന്നില്ല.

ഈ രീതിയിൽ, നമ്മിൽ മിക്കവർക്കും സ്വന്തമായി ചെയ്യാൻ കഴിയാത്ത ഒരു സുപ്രധാന ദൗത്യം ഹൈഡ്ര കോൺഫറൻസ് നിർവ്വഹിക്കുന്നു - ഒരിടത്തും ഒരു സമയത്തും, നിങ്ങളുടെ ജീവിതത്തെ മാറ്റാൻ കഴിയുന്ന ആശയങ്ങളോ ഇടപെടലുകളോ ഉള്ള ആളുകളെ ഇത് ഒരുമിച്ച് കൊണ്ടുവരുന്നു. എല്ലാവർക്കും വിതരണ സംവിധാനങ്ങളോ സങ്കീർണ്ണമായ ചില അടിസ്ഥാനകാര്യങ്ങളോ ആവശ്യമില്ലെന്ന് ഞാൻ സമ്മതിക്കുന്നു. നിങ്ങളുടെ ജീവിതകാലം മുഴുവൻ നിങ്ങൾക്ക് PHP-യിൽ CRUD-കൾ പ്രോഗ്രാം ചെയ്യാനും പൂർണ്ണമായും സന്തുഷ്ടരായിരിക്കാനും കഴിയും. എന്നാൽ ആർക്കെങ്കിലും അത് ആവശ്യമുണ്ടെങ്കിൽ, ഇത് നിങ്ങളുടെ അവസരമാണ്.

ഹബ്രെയെക്കുറിച്ചുള്ള ഹൈദ്ര കോൺഫറൻസിന്റെ ആദ്യ പ്രഖ്യാപനം മുതൽ വളരെക്കാലം കഴിഞ്ഞു. ഈ സമയത്ത്, ധാരാളം ജോലികൾ ചെയ്തു - ഇപ്പോൾ ഞങ്ങളുടെ പക്കൽ മിക്കവാറും എല്ലാ റിപ്പോർട്ടുകളുടെയും ഒരു ലിസ്റ്റ് ഉണ്ട്. മന്ദഗതിയിലുള്ള സിംഗിൾ-ത്രെഡ് അൽഗോരിതങ്ങളൊന്നുമില്ല, ശുദ്ധമായ വിതരണം ചെയ്ത ഹാർഡ്‌കോർ മാത്രം! നമുക്ക് പൊതുവായ വാക്കുകൾ ഉപയോഗിച്ച് അവസാനിപ്പിച്ച് ഇപ്പോൾ നമ്മുടെ കൈയിലുള്ളത് എന്താണെന്ന് നോക്കാം.

കീനോട്ടുകൾ

കോൺഫറൻസിന്റെ ദിവസങ്ങൾ ആരംഭിക്കുകയും അവസാനിക്കുകയും ചെയ്യുന്നു. കോൺഫറൻസിന്റെ പൊതുവായ മനോഭാവവും ദിശയും സജ്ജീകരിക്കുക എന്നതാണ് സാധാരണയായി ഒരു ഉദ്ഘാടന കീനോട്ടിന്റെ പോയിന്റ്. സമാപന കീനോട്ട് ഒരു വര വരയ്ക്കുകയും കോൺഫറൻസിൽ നേടിയ അറിവും വൈദഗ്ധ്യവും ഉപയോഗിച്ച് നമുക്ക് എങ്ങനെ ജീവിക്കാമെന്ന് വിശദീകരിക്കുകയും ചെയ്യുന്നു. തുടക്കവും അവസാനവും: ഏറ്റവും നന്നായി ഓർമ്മിക്കുന്നത്, പൊതുവേ, പ്രാധാന്യം വർദ്ധിച്ചു.

ക്ലിഫ് ക്ലിക്ക് H2O വിതരണം ചെയ്ത K/V അൽഗോരിതം

ജാവ ലോകത്തെ ഒരു ഇതിഹാസമാണ് ക്ലിഫ്. 90 കളുടെ അവസാനത്തിൽ, തന്റെ പിഎച്ച്ഡി തീസിസിനുവേണ്ടി, അദ്ദേഹം ഒരു പേപ്പർ എഴുതി "വിശകലനങ്ങൾ സംയോജിപ്പിക്കുക, ഒപ്റ്റിമൈസേഷനുകൾ സംയോജിപ്പിക്കുക", ഇത് കുറച്ച് സമയത്തിന് ശേഷം HotSpot JVM സെർവർ കമ്പൈലറിന്റെ അടിസ്ഥാനമായി. രണ്ട് വർഷത്തിന് ശേഷം, അദ്ദേഹം ഇതിനകം ജെവിഎമ്മിൽ സൺ മൈക്രോസിസ്റ്റംസിൽ ജോലി ചെയ്യുകയായിരുന്നു, കൂടാതെ ജെഐടിക്ക് നിലനിൽക്കാൻ അവകാശമുണ്ടെന്ന് ലോകത്തെ മുഴുവൻ കാണിച്ചു. ഏറ്റവും മികച്ചതും വേഗതയേറിയതുമായ ഒപ്റ്റിമൈസേഷനുകളുള്ള ഏറ്റവും വേഗതയേറിയ ആധുനിക റൺടൈമുകളിൽ ഒന്നാണ് ജാവ എന്നതിനെക്കുറിച്ചുള്ള ഈ മുഴുവൻ കഥയും ക്ലിഫ് ക്ലിക്കിൽ നിന്നാണ് വന്നത്. തുടക്കത്തിൽ തന്നെ, ഒരു സ്റ്റാറ്റിക് കംപൈലറിന് എന്തെങ്കിലും ആക്‌സസ് ചെയ്യാൻ കഴിയുമെങ്കിൽ, നിങ്ങൾ അത് ജിറ്റ് ചെയ്യാൻ പോലും ശ്രമിക്കേണ്ടതില്ലെന്ന് വിശ്വസിക്കപ്പെട്ടു. ക്ലിഫിന്റെയും ടീമിന്റെയും പ്രവർത്തനത്തിന് നന്ദി, സ്ഥിരസ്ഥിതിയായി JIT സമാഹാരം എന്ന ആശയത്തോടെ എല്ലാ പുതിയ ഭാഷകളും സൃഷ്ടിക്കാൻ തുടങ്ങി. തീർച്ചയായും, ഇത് ഒരു വ്യക്തിയുടെ ജോലി ആയിരുന്നില്ല, എന്നാൽ ക്ലിഫ് അതിൽ വളരെ പ്രധാനപ്പെട്ട പങ്ക് വഹിച്ചു.

ഉദ്ഘാടന പ്രസംഗത്തിൽ, ക്ലിഫ് തന്റെ മറ്റൊരു ശ്രമത്തെക്കുറിച്ച് സംസാരിക്കും - H20വ്യാവസായിക ആപ്ലിക്കേഷനുകൾക്കായി വിതരണം ചെയ്തതും അളക്കാവുന്നതുമായ മെഷീൻ ലേണിംഗിനുള്ള ഇൻ-മെമ്മറി പ്ലാറ്റ്ഫോം. അല്ലെങ്കിൽ കൂടുതൽ കൃത്യമായി പറഞ്ഞാൽ, അതിനുള്ളിലെ കീ-വാല്യൂ ജോഡികളുടെ വിതരണം ചെയ്ത സംഭരണത്തെക്കുറിച്ച്. ധാരാളം രസകരമായ പ്രോപ്പർട്ടികൾ ഉള്ള വളരെ വേഗത്തിലുള്ള സ്റ്റോറേജ് ആണിത് (കൃത്യമായ ലിസ്റ്റ് ഇതിൽ ഉണ്ട് വിവരണം), വലിയ ഡാറ്റ സ്ട്രീമിംഗിന്റെ ഗണിതശാസ്ത്രത്തിൽ സമാനമായ പരിഹാരങ്ങൾ ഉപയോഗിക്കാൻ ഇത് അനുവദിക്കുന്നു.

ക്ലിഫ് നൽകുന്ന മറ്റൊരു റിപ്പോർട്ട് ഇതാണ്- അസുൽ ഹാർഡ്‌വെയർ ട്രാൻസാക്ഷണൽ മെമ്മറി അനുഭവം. അദ്ദേഹത്തിന്റെ ജീവചരിത്രത്തിന്റെ മറ്റൊരു ഭാഗം - പത്ത് വർഷം അസുലിൽ ജോലി ചെയ്യുന്നു, അവിടെ അദ്ദേഹം അസുൽ ഹാർഡ്‌വെയർ, ടെക്‌നോളജി സ്റ്റാക്കിൽ ഒരുപാട് കാര്യങ്ങൾ അപ്‌ഡേറ്റ് ചെയ്യുകയും മെച്ചപ്പെടുത്തുകയും ചെയ്തു: JIT കംപൈലറുകൾ, റൺടൈം, ത്രെഡ് മോഡൽ, പിശക് കൈകാര്യം ചെയ്യൽ, സ്റ്റാക്ക് ഹാൻഡ്‌ലിംഗ്, ഹാർഡ്‌വെയർ തടസ്സങ്ങൾ, ക്ലാസ് ലോഡിംഗ്, അങ്ങനെ പലതും - നന്നായി, നിങ്ങൾക്ക് ലഭിക്കും ആശയം.

അവർ ഒരു വൻകിട ബിസിനസ്സിനുവേണ്ടി ഹാർഡ്‌വെയർ ഉണ്ടാക്കിയപ്പോഴാണ് ഏറ്റവും രസകരമായ ഭാഗം ആരംഭിച്ചത് - ജാവ പ്രവർത്തിപ്പിക്കാനുള്ള ഒരു സൂപ്പർ കമ്പ്യൂട്ടർ. ഇത് തികച്ചും നൂതനമായ ഒരു കാര്യമായിരുന്നു, പ്രത്യേക ആവശ്യകതകളുള്ള ജാവയ്ക്ക് വേണ്ടി പ്രത്യേകം തയ്യാറാക്കിയതാണ് - ലോ-പോസ് മാലിന്യ ശേഖരണത്തിനായുള്ള റീഡ് മെമ്മറി ബാരിയറുകൾ, പരിധികൾ പരിശോധിക്കുന്ന അറേകൾ, വെർച്വൽ കോളുകൾ... ഏറ്റവും മികച്ച സാങ്കേതിക വിദ്യകളിലൊന്നാണ് ഹാർഡ്‌വെയർ ഇടപാട് മെമ്മറി. 1 കോറുകളിൽ ഏതെങ്കിലുമൊരു മുഴുവൻ L864-നും ഇടപാട് എഴുത്തിൽ പങ്കെടുക്കാം, ഇത് ജാവയിലെ ലോക്കുകളുമായി പ്രവർത്തിക്കുന്നതിന് വളരെ പ്രധാനമാണ് (യഥാർത്ഥ മെമ്മറി വൈരുദ്ധ്യം ഇല്ലാത്തിടത്തോളം സമന്വയിപ്പിച്ച ബ്ലോക്കുകൾക്ക് സമാന്തരമായി പ്രവർത്തിക്കാൻ കഴിയും). എന്നാൽ മനോഹരമായ ആശയം കഠിനമായ യാഥാർത്ഥ്യത്താൽ തകർത്തു - മൾട്ടി-ത്രെഡ് കമ്പ്യൂട്ടിംഗിന്റെ പ്രായോഗിക ആവശ്യങ്ങൾക്ക് എച്ച്ടിഎമ്മും എസ്ടിഎമ്മും എന്തുകൊണ്ട് അനുയോജ്യമല്ലെന്ന് ഈ സംഭാഷണത്തിൽ ക്ലിഫ് നിങ്ങളോട് പറയും.

മൈക്കൽ സ്കോട്ട് - ഇരട്ട ഡാറ്റ ഘടനകൾ

മൈക്കൽ സ്കോട്ട് - റോച്ചസ്റ്റർ സർവകലാശാലയിലെ കമ്പ്യൂട്ടർ സയൻസ് പ്രൊഫസർ, വിധി അദ്ദേഹത്തെ ബന്ധിപ്പിച്ചു ഇതിനകം 34 വയസ്സായി, കൂടാതെ അദ്ദേഹത്തിന്റെ ഹോം യൂണിവേഴ്സിറ്റി ഓഫ് വിസ്കോൺസിൻ-മാഡിസണിൽ അദ്ദേഹം അഞ്ച് വർഷം ഡീൻ ആയിരുന്നു. സമാന്തരവും വിതരണം ചെയ്തതുമായ പ്രോഗ്രാമിംഗിനെയും ഭാഷാ രൂപകൽപ്പനയെയും കുറിച്ച് അദ്ദേഹം വിദ്യാർത്ഥികളെ ഗവേഷണം ചെയ്യുകയും പഠിപ്പിക്കുകയും ചെയ്യുന്നു.

മൈക്കിളിനെ ലോകം മുഴുവൻ അറിയുന്നത് പാഠപുസ്തകത്തിന് നന്ദി "പ്രോഗ്രാമിംഗ് ലാംഗ്വേജ് പ്രാഗ്മാറ്റിക്സ്", അതിന്റെ ഏറ്റവും പുതിയ പതിപ്പ് താരതമ്യേന അടുത്തിടെ പ്രസിദ്ധീകരിച്ചു - 2015 ൽ. അവന്റെ ജോലി "പങ്കിട്ട മെമ്മറി മൾട്ടിപ്രോസസറുകളിൽ സ്കേലബിൾ സിൻക്രൊണൈസേഷനുള്ള അൽഗോരിതങ്ങൾ" ലഭിച്ചു Dijkstra സമ്മാനം വിതരണം ചെയ്ത കമ്പ്യൂട്ടിംഗ് മേഖലയിലെ ഏറ്റവും പ്രശസ്തമായ ഒന്നായി തുറന്നു കിടക്കുന്നു യൂണിവേഴ്സിറ്റി ഓഫ് റോച്ചസ്റ്റർ ഓൺലൈൻ ലൈബ്രറിയിൽ. മൈക്കൽ-സ്കോട്ട് അൽഗോരിതത്തിന്റെ രചയിതാവ് എന്ന നിലയിലും നിങ്ങൾക്ക് അദ്ദേഹത്തെ അറിയാം "ലളിതവും വേഗതയേറിയതും പ്രായോഗികവുമായ നോൺ-ബ്ലോക്കിംഗ്, ബ്ലോക്കിംഗ് കൺകറന്റ് ക്യൂ അൽഗോരിതങ്ങൾ".

ജാവ ലോകത്തെ സംബന്ധിച്ചിടത്തോളം ഇത് ഒരു പ്രത്യേക സാഹചര്യമാണ്: ഡഗ് ലിയയുമായി ചേർന്ന്, ജാവ ലൈബ്രറികൾ പ്രവർത്തിക്കുന്ന നോൺ-ബ്ലോക്കിംഗ് അൽഗോരിതങ്ങളും സിൻക്രണസ് ക്യൂകളും അദ്ദേഹം വികസിപ്പിച്ചെടുത്തു. "ഡ്യുവൽ ഡാറ്റ സ്ട്രക്ചറുകൾ" എന്ന കീനോട്ട് ഇതുതന്നെയായിരിക്കും - Java SE 6-ൽ ഈ ഘടനകളുടെ ആമുഖം പ്രകടനം 10 മടങ്ങ് മെച്ചപ്പെടുത്തി java.util.concurrent.ThreadPoolExecutor. ഈ "ഡ്യുവൽ ഡാറ്റ ഘടനകൾ" എന്താണെന്ന് നിങ്ങൾ മുൻകൂട്ടി ആശ്ചര്യപ്പെടുന്നുണ്ടെങ്കിൽ, അതിനെക്കുറിച്ചുള്ള വിവരങ്ങൾ ഉണ്ട് ബന്ധപ്പെട്ട ജോലി.

മൗറീസ് ഹെർലിഹി - ബ്ലോക്ക്ചെയിനുകളും വിതരണം ചെയ്ത കമ്പ്യൂട്ടിംഗിന്റെ ഭാവിയും

മൗറീസ് ഹെർലിഹി - രണ്ട് Dijkstra സമ്മാനങ്ങളുടെ ജേതാവ്. ആദ്യത്തേത് ജോലിക്കുള്ളതാണ് "കാത്തിരിപ്പ്-രഹിത സമന്വയം" (ബ്രൗൺ യൂണിവേഴ്സിറ്റി), രണ്ടാമത്തേത്, ഏറ്റവും പുതിയത് - "ഇടപാട് മെമ്മറി: ലോക്ക്-ഫ്രീ ഡാറ്റാ ഘടനകൾക്കുള്ള വാസ്തുവിദ്യാ പിന്തുണ" (വിർജീനിയ ടെക് യൂണിവേഴ്സിറ്റി). Dijkstra സമ്മാനം, ചുരുങ്ങിയത് പത്ത് വർഷമായി പ്രാധാന്യവും സ്വാധീനവും ദൃശ്യമാകുന്ന സൃഷ്ടിയെ അംഗീകരിക്കുന്നു, കൂടാതെ ഈ മേഖലയിലെ ഏറ്റവും പ്രശസ്തരായ വിദഗ്ധരിൽ ഒരാളാണ് മൗറീസ്. നിലവിൽ ബ്രൗൺ യൂണിവേഴ്‌സിറ്റിയിൽ പ്രൊഫസറായി ജോലി ചെയ്യുന്ന അദ്ദേഹത്തിന് നേട്ടങ്ങളുടെ ഒരു ഖണ്ഡിക നീളമുള്ള പട്ടികയുണ്ട്.

ഈ ക്ലോസിംഗ് കീനോട്ടിൽ, ഡിസ്ട്രിബ്യൂഡ് കമ്പ്യൂട്ടിംഗിന്റെ ക്ലാസിക്കുകളുടെ വീക്ഷണകോണിൽ നിന്ന് ബ്ലോക്ക്ചെയിൻ ഡിസ്ട്രിബ്യൂട്ടഡ് സിസ്റ്റങ്ങളുടെ സിദ്ധാന്തത്തെയും പ്രയോഗത്തെയും കുറിച്ച് മൗറീസ് സംസാരിക്കും, കൂടാതെ ഇത് എങ്ങനെ ബന്ധപ്പെട്ട പ്രശ്നങ്ങൾ ലളിതമാക്കുന്നു. ഇത് കോൺഫറൻസിന്റെ വിഷയത്തിൽ മാത്രമുള്ള ഒരു റിപ്പോർട്ടാണ് - മൈനിംഗ് ഹൈപ്പിനെ കുറിച്ചല്ല, മറിച്ച് നമ്മുടെ അറിവ് വ്യത്യസ്തമായ ജോലികളുമായി ബന്ധപ്പെട്ട് എങ്ങനെ അതിശയകരമാംവിധം ഫലപ്രദമായും ഉചിതമായും ഉപയോഗിക്കാം എന്നതിനെ കുറിച്ചാണ്.

2017 ജൂലൈയിൽ, SPTDC സ്കൂളിൽ ചേരാൻ മൗറീസ് ഇതിനകം റഷ്യയിലെത്തി, JUG.ru മീറ്റപ്പിൽ പങ്കെടുത്തു, റെക്കോർഡിംഗ് YouTube-ൽ കാണാൻ കഴിയും:

പ്രധാന പരിപാടി

അടുത്തതായി പ്രോഗ്രാമിൽ ഉൾപ്പെടുത്തിയിരിക്കുന്ന റിപ്പോർട്ടുകളുടെ ഒരു ചെറിയ അവലോകനം ഉണ്ടാകും. ചില റിപ്പോർട്ടുകൾ ഇവിടെ വിശദമായി വിവരിച്ചിരിക്കുന്നു, മറ്റുള്ളവ കൂടുതൽ ഹ്രസ്വമായി. ശാസ്ത്രീയ പേപ്പറുകളിലേക്കും വിക്കിപീഡിയയിലെ നിബന്ധനകളിലേക്കും മറ്റും ലിങ്കുകൾ ആവശ്യമായ ഇംഗ്ലീഷ് ഭാഷയിലുള്ള റിപ്പോർട്ടുകളിലേക്കാണ് ദൈർഘ്യമേറിയ വിവരണങ്ങൾ പ്രധാനമായും പോയത്. മുഴുവൻ പട്ടികയും ലഭ്യമാണ് കോൺഫറൻസ് വെബ്സൈറ്റിൽ കാണുക. വെബ്‌സൈറ്റിലെ ലിസ്റ്റ് അപ്‌ഡേറ്റ് ചെയ്യുകയും അനുബന്ധമായി നൽകുകയും ചെയ്യും.

ലെസ്ലി ലാംപോർട്ട് - ചോദ്യോത്തരങ്ങൾ

വിതരണം ചെയ്ത കമ്പ്യൂട്ടിംഗിലെ സെമിനൽ വർക്കുകളുടെ രചയിതാവാണ് ലെസ്ലി ലാംപോർട്ട്. "ലാടെക്സ്" "Lamport TeX" എന്നതിന്റെ അർത്ഥം. 1979 ൽ ആദ്യമായി ഈ ആശയം അവതരിപ്പിച്ചത് അദ്ദേഹമാണ് സ്ഥിരതയുള്ള സ്ഥിരത, അദ്ദേഹത്തിന്റെ ലേഖനവും "മൾട്ടിപ്രോസസ് പ്രോഗ്രാമുകൾ ശരിയായി നടപ്പിലാക്കുന്ന ഒരു മൾട്ടിപ്രൊസസർ കമ്പ്യൂട്ടർ എങ്ങനെ നിർമ്മിക്കാം" Dijkstra സമ്മാനം ലഭിച്ചു.

ഫോർമാറ്റിന്റെ കാര്യത്തിൽ ഇത് പ്രോഗ്രാമിന്റെ ഏറ്റവും അസാധാരണമായ ഭാഗമാണ്, കാരണം ഇത് ഒരു റിപ്പോർട്ട് പോലുമല്ല, മറിച്ച് ഒരു ചോദ്യോത്തര സെഷനാണ്. "ലാംപോർട്ടിന്റെ സിദ്ധാന്തം", സ്വന്തം ലേഖനങ്ങൾ, റിപ്പോർട്ടുകൾ എന്നിവയെ അടിസ്ഥാനമാക്കിയുള്ള എല്ലാത്തരം കൃതികളും പ്രേക്ഷകരിൽ ഒരു പ്രധാന ഭാഗം ഇതിനകം പരിചിതമാണെങ്കിൽ (അല്ലെങ്കിൽ പരിചിതരാകാം), ലഭ്യമായ എല്ലാ സമയവും നേരിട്ടുള്ള ആശയവിനിമയത്തിനായി ചെലവഴിക്കുന്നത് കൂടുതൽ പ്രധാനമാണ്.

ആശയം ലളിതമാണ് - നിങ്ങൾ YouTube-ൽ രണ്ട് റിപ്പോർട്ടുകൾ കാണുന്നു: "കോഡിംഗിനേക്കാൾ പ്രോഗ്രാമിംഗ് ആയിരിക്കണം" и "നിങ്ങൾ ഒരു പ്രോഗ്രാം എഴുതുന്നില്ലെങ്കിൽ, ഒരു പ്രോഗ്രാമിംഗ് ഭാഷ ഉപയോഗിക്കരുത്" കുറഞ്ഞത് ഒരു ചോദ്യമെങ്കിലും തയ്യാറാക്കുക, ലെസ്ലി ഉത്തരം നൽകുന്നു.

ഈ രണ്ട് വീഡിയോകളിൽ ആദ്യത്തേത് ഞങ്ങളുടെ പക്കലുണ്ട് ഒരു ഹാബ്രോ ലേഖനമായി മാറി. വീഡിയോ കാണാൻ നിങ്ങൾക്ക് ഒരു മണിക്കൂർ സമയമില്ലെങ്കിൽ, നിങ്ങൾക്ക് എല്ലാം ടെക്‌സ്‌റ്റ് രൂപത്തിൽ വേഗത്തിൽ വായിക്കാനാകും.

ശ്രദ്ധിക്കുക: YouTube-ൽ ഇനിയും നിരവധി ലെസ്ലി ലാംപോർട്ട് വീഡിയോകൾ ഉണ്ട്. ഉദാഹരണത്തിന്, ഒരു വലിയ ഉണ്ട് TLA+ കോഴ്സ്. ഈ മുഴുവൻ കോഴ്‌സിന്റെയും ഓഫ്‌ലൈൻ പതിപ്പ് ഇവിടെ ലഭ്യമാണ് രചയിതാവിന്റെ ഹോം പേജ്, മൊബൈൽ ഉപകരണങ്ങളിൽ എളുപ്പത്തിൽ കാണുന്നതിനായി അദ്ദേഹം അത് YouTube-ലേക്ക് അപ്‌ലോഡ് ചെയ്തു.

മാർട്ടിൻ ക്ലെപ്പ്മാൻ - വിതരണം ചെയ്ത സഹകരണത്തിനായി ഉപയോക്തൃ ഉപകരണങ്ങളിലുടനീളം ഡാറ്റ സമന്വയിപ്പിക്കുന്നു

മാർട്ടിൻ ക്ലെപ്‌മാൻ, കേംബ്രിഡ്ജ് സർവ്വകലാശാലയിലെ ഗവേഷകനാണ്, സിആർഡിറ്റിയിലും അൽഗോരിതങ്ങളുടെ ഔപചാരിക പരിശോധനയിലും പ്രവർത്തിക്കുന്നയാളാണ്. മാർട്ടിന്റെ പുസ്തകം "ഡാറ്റ-ഇന്റൻസീവ് ആപ്ലിക്കേഷനുകൾ രൂപകൽപ്പന ചെയ്യുന്നു", 2017-ൽ പ്രസിദ്ധീകരിച്ച, വളരെ വിജയകരമാണെന്ന് തെളിയിക്കുകയും ഡാറ്റ സംഭരണ, പ്രോസസ്സിംഗ് മേഖലയിലെ ബെസ്റ്റ് സെല്ലർ ലിസ്റ്റുകളിൽ ഇടം നേടുകയും ചെയ്തു. കെവിൻ സ്കോട്ട്, മൈക്രോസോഫ്റ്റിലെ CTO, ഒരിക്കൽ പറഞ്ഞു: “സോഫ്റ്റ്‌വെയർ എഞ്ചിനീയർമാർക്ക് ഈ പുസ്തകം നിർബന്ധമായും ഉണ്ടായിരിക്കണം. അടിസ്ഥാന സൗകര്യങ്ങളും ഡാറ്റാ സംവിധാനങ്ങളും രൂപകല്പന ചെയ്യുന്നതിനും നടപ്പിലാക്കുന്നതിനും ഡെവലപ്പർമാരെ മികച്ച രീതിയിൽ സഹായിക്കുന്നതിന് സിദ്ധാന്തവും പ്രയോഗവും സമന്വയിപ്പിക്കുന്ന ഒരു അപൂർവ വിഭവമാണിത്. കാഫ്കയുടെ സ്രഷ്ടാവും കൺഫ്ലൂയൻറിന്റെ സിടിഒയുമായ ജെയ് ക്രെപ്‌സും സമാനമായ ഒരു കാര്യം പറഞ്ഞു.

അക്കാദമിക് ഗവേഷണത്തിലേക്ക് മാറുന്നതിന് മുമ്പ്, മാർട്ടിൻ വ്യവസായത്തിൽ പ്രവർത്തിക്കുകയും രണ്ട് വിജയകരമായ സ്റ്റാർട്ടപ്പുകൾ സഹ-സ്ഥാപിക്കുകയും ചെയ്തു:

• 2012-ൽ ലിങ്ക്ഡ്ഇൻ വാങ്ങിയ നിങ്ങളുടെ ഇമെയിലിൽ നിന്നുള്ള കോൺടാക്റ്റുകളുടെ സോഷ്യൽ പ്രൊഫൈൽ പ്രദർശിപ്പിക്കുന്നതിന് സമർപ്പിതമാണ്;
• 2009-ൽ റെഡ്‌ഗേറ്റ് വാങ്ങിയ വിവിധ ബ്രൗസറുകളിലെ വെബ്‌സൈറ്റുകൾ സ്വയമേവ പരിശോധിക്കുന്നതിനുള്ള ഒരു സേവനമായ ഗോ ടെസ്റ്റ് ഇറ്റ്.

പൊതുവേ, മാർട്ടിൻ, ഞങ്ങളുടെ കീനോട്ടുകളേക്കാൾ പ്രശസ്തനല്ലെങ്കിലും, വിതരണം ചെയ്ത കമ്പ്യൂട്ടിംഗിന്റെ വികസനത്തിനും വ്യവസായത്തിനും ചില സംഭാവനകൾ നൽകാൻ ഇതിനകം കഴിഞ്ഞു.

ഈ പ്രസംഗത്തിൽ, മാർട്ടിൻ തന്റെ അക്കാദമിക് ഗവേഷണവുമായി അടുത്ത ഒരു വിഷയത്തെക്കുറിച്ച് സംസാരിക്കും. Google ഡോക്‌സിലും സമാനമായ ഡോക്യുമെന്റ് കോ-എഡിറ്റിംഗ് സോഫകളിലും, "സഹകരണ എഡിറ്റിംഗ്" എന്നത് ഒരു പകർപ്പെടുക്കൽ ടാസ്‌ക്കിനെ സൂചിപ്പിക്കുന്നു: ഓരോ ഉപയോക്താവിനും പങ്കിട്ട പ്രമാണത്തിന്റെ സ്വന്തം പകർപ്പുണ്ട്, അത് അവർ പരിഷ്‌ക്കരിക്കുന്നു, കൂടാതെ എല്ലാ മാറ്റങ്ങളും നെറ്റ്‌വർക്കിലുടനീളം ബാക്കിയുള്ളവയിലേക്ക് അയയ്‌ക്കും. പങ്കെടുക്കുന്നവർ. ഓഫ്‌ലൈനിൽ ഡോക്യുമെന്റുകളിലെ മാറ്റങ്ങൾ മറ്റ് പങ്കാളികളുമായി ബന്ധപ്പെട്ട് പ്രമാണത്തിന്റെ താൽക്കാലിക പൊരുത്തക്കേടിലേക്ക് നയിക്കുന്നു, വീണ്ടും സമന്വയത്തിന് വൈരുദ്ധ്യം കൈകാര്യം ചെയ്യേണ്ടതുണ്ട്. അതിനാണ് അവർ നിലനിൽക്കുന്നത് വൈരുദ്ധ്യരഹിതമായ പകർപ്പ് ഡാറ്റ തരങ്ങൾ (CRDT), വാസ്തവത്തിൽ, തികച്ചും പുതിയ ഒരു കാര്യമാണ്, അതിന്റെ സാരാംശം 2011 ൽ മാത്രമാണ് രൂപപ്പെടുത്തിയത്. സിആർഡിടിയുടെ ലോകത്ത് അതിനുശേഷം എന്താണ് സംഭവിച്ചത്, ഏറ്റവും പുതിയ മുന്നേറ്റങ്ങൾ എന്തൊക്കെയാണ്, പൊതുവായി പ്രാദേശിക-ആദ്യ ആപ്ലിക്കേഷനുകൾ സൃഷ്ടിക്കുന്നതിനുള്ള സമീപനവും ഒരു ഓപ്പൺ സോഴ്‌സ് ലൈബ്രറിയുടെ ഉപയോഗവും ഈ സംഭാഷണം ചർച്ചചെയ്യുന്നു. ഓട്ടോമെർജ് പ്രത്യേകിച്ച്.

അടുത്ത ആഴ്ച ഞങ്ങൾ മാർട്ടിനുമായുള്ള ഒരു നീണ്ട അഭിമുഖം ഹബ്രെയിൽ പ്രസിദ്ധീകരിക്കും, അത് രസകരമായിരിക്കും.

പെഡ്രോ റമൽഹെട്ടെ - വെയ്റ്റ്-ഫ്രീ ഡാറ്റാ ഘടനകളും വെയ്റ്റ്-ഫ്രീ ഇടപാടുകളും

സിസ്കോയിൽ പ്രവർത്തിക്കുന്ന പെഡ്രോ, കഴിഞ്ഞ പത്തുവർഷമായി സമാന്തര ആൽഗരിതങ്ങൾ വികസിപ്പിച്ചുകൊണ്ടിരിക്കുന്നു, സിൻക്രൊണൈസേഷൻ മെക്കാനിസങ്ങൾ, ലോക്ക്-ഫ്രീ, വെയ്റ്റ്-ഫ്രീ ഡാറ്റാ സ്ട്രക്ച്ചറുകൾ എന്നിവയും ഈ വിഷയത്തിൽ നിങ്ങൾക്ക് സങ്കൽപ്പിക്കാൻ കഴിയുന്നതെല്ലാം ഉൾപ്പെടുന്നു. അദ്ദേഹത്തിന്റെ നിലവിലെ ഗവേഷണ, എഞ്ചിനീയറിംഗ് താൽപ്പര്യങ്ങൾ യൂണിവേഴ്സൽ കൺസ്ട്രക്ഷൻസ്, സോഫ്റ്റ്‌വെയർ ട്രാൻസാക്ഷണൽ മെമ്മറി, പെർസിസ്റ്റന്റ് മെമ്മറി, ശരിയായതും അളക്കാവുന്നതും തെറ്റ്-സഹിഷ്ണുതയുള്ളതുമായ ആപ്ലിക്കേഷനുകൾ പ്രാപ്‌തമാക്കുന്ന സമാന സാങ്കേതികവിദ്യകളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. ഇടുങ്ങിയ വൃത്തങ്ങളിൽ പരക്കെ അറിയപ്പെടുന്ന ഒരു ബ്ലോഗിന്റെ രചയിതാവ് കൂടിയാണ് അദ്ദേഹം കൺകറൻസി ഫ്രീക്കുകൾ.

ഒട്ടുമിക്ക മൾട്ടിത്രെഡഡ് ആപ്ലിക്കേഷനുകളും ഇപ്പോൾ പ്രവർത്തിക്കുന്നത് സമാന്തര ഡാറ്റാ ഘടനകളിലാണ്, അഭിനേതാക്കൾ തമ്മിലുള്ള സന്ദേശ ക്യൂകളുടെ ഉപയോഗം മുതൽ കീ-വാല്യൂ സ്റ്റോറുകളിലെ ഇൻഡെക്‌സ് ചെയ്‌ത ഡാറ്റാ ഘടനകൾ വരെ. അവർ വർഷങ്ങളായി ജാവ ജെഡികെയിൽ വിജയകരമായി പ്രവർത്തിക്കുന്നു, അവ പതുക്കെ C++ ലേക്ക് ചേർക്കുന്നു.

ഒരു സമാന്തര ഡാറ്റാ ഘടന നടപ്പിലാക്കുന്നതിനുള്ള ഏറ്റവും ലളിതമായ മാർഗ്ഗം, മ്യൂട്ടെക്സുകളാൽ സംരക്ഷിക്കപ്പെടുന്ന രീതികൾ ക്രമാനുഗതമായ (സിംഗിൾ-ത്രെഡഡ്) നടപ്പിലാക്കലാണ്. ഏത് ജൂണിലും ഇത് ആക്സസ് ചെയ്യാവുന്നതാണ്, എന്നാൽ സ്കെയിലിംഗിലും പ്രകടനത്തിലും വ്യക്തമായ പ്രശ്നങ്ങളുണ്ട്. അതേ സമയം, ലോക്ക്-ഫ്രീ, വെയ്റ്റ്-ഫ്രീ ഡാറ്റാ ഘടനകൾ പിശകുകളെ മികച്ച രീതിയിൽ നേരിടാൻ മാത്രമല്ല, മികച്ച പ്രകടന പ്രൊഫൈലുമുണ്ട് - എന്നിരുന്നാലും, അവയുടെ വികസനത്തിന് ആഴത്തിലുള്ള വൈദഗ്ധ്യവും ഒരു നിർദ്ദിഷ്ട ആപ്ലിക്കേഷനുമായി പൊരുത്തപ്പെടുത്തലും ആവശ്യമാണ്. എല്ലാം തകർക്കാൻ ഒരു തെറ്റായ കോഡ് മതി.

വിദഗ്ദ്ധനല്ലാത്ത ഒരാൾക്ക് പോലും അത്തരം ഡാറ്റാ ഘടനകൾ രൂപകല്പന ചെയ്യാനും നടപ്പിലാക്കാനും കഴിയുന്ന തരത്തിൽ നമുക്കത് എങ്ങനെ ഉണ്ടാക്കാം? ഏത് സീക്വൻഷ്യൽ അൽഗോരിതം ഉപയോഗിച്ചും ത്രെഡ് സുരക്ഷിതമാക്കാൻ കഴിയുമെന്ന് അറിയാം സാർവത്രിക രൂപകൽപ്പന, അല്ലെങ്കിൽ ഇടപാട് മെമ്മറി. ഒരു കാര്യം, ഈ പ്രശ്നം പരിഹരിക്കുന്നതിനുള്ള പ്രവേശനത്തിനുള്ള തടസ്സം കുറയ്ക്കാൻ അവർക്ക് കഴിയും. എന്നിരുന്നാലും, രണ്ട് പരിഹാരങ്ങളും സാധാരണയായി ഫലപ്രദമല്ലാത്ത നടപ്പാക്കലിലേക്ക് നയിക്കുന്നു. ഈ ഡിസൈനുകൾ കൂടുതൽ കാര്യക്ഷമമാക്കാൻ അവർക്ക് എങ്ങനെ സാധിച്ചു എന്നതിനെക്കുറിച്ചും നിങ്ങളുടെ അൽഗോരിതങ്ങൾക്കായി അവ എങ്ങനെ ഉപയോഗിക്കാമെന്നതിനെക്കുറിച്ചും പെഡ്രോ സംസാരിക്കും.

ഹെയ്ഡി ഹോവാർഡ് - വിമോചനം വിതരണം ചെയ്ത സമവായം

ഹെയ്ഡി ഹോവാർഡും മാർട്ടിനെപ്പോലെ കേംബ്രിഡ്ജ് സർവകലാശാലയിലെ ഒരു ഡിസ്ട്രിബ്യൂട്ടഡ് സിസ്റ്റം ഗവേഷകനാണ്. സ്ഥിരത, തെറ്റ് സഹിഷ്ണുത, പ്രകടനം, വിതരണം ചെയ്ത സമവായം എന്നിവയാണ് അവളുടെ പ്രത്യേകതകൾ. പാക്സോസ് അൽഗോരിതം എന്ന് വിളിക്കപ്പെടുന്ന സാമാന്യവൽക്കരണത്തിലൂടെയാണ് അവൾ കൂടുതൽ അറിയപ്പെടുന്നത് ഫ്ലെക്സിബിൾ പാക്സോസ്.

ഓർക്കുക പാക്സോസ് ലെസ്ലി ലാംപോർട്ടിന്റെ പ്രവർത്തനത്തെ അടിസ്ഥാനമാക്കി, വിശ്വസനീയമല്ലാത്ത കമ്പ്യൂട്ടറുകളുടെ ഒരു ശൃംഖലയിലെ സമവായത്തിന്റെ പ്രശ്നം പരിഹരിക്കുന്നതിനുള്ള പ്രോട്ടോക്കോളുകളുടെ ഒരു കുടുംബമാണ്. അതിനാൽ, ഞങ്ങളുടെ സ്പീക്കറുകളിൽ ചിലർ ഞങ്ങളുടെ മറ്റ് സ്പീക്കറുകൾ ആദ്യം നിർദ്ദേശിച്ച പ്രശ്‌നങ്ങളിൽ പ്രവർത്തിക്കുന്നു - ഇത് അതിശയകരമാണ്.

ഒന്നിലധികം ഹോസ്റ്റുകൾക്കിടയിൽ സമവായം കണ്ടെത്താനുള്ള കഴിവ് - അഭിസംബോധന, ലീഡർ തിരഞ്ഞെടുപ്പ്, തടയൽ അല്ലെങ്കിൽ ഏകോപനം - ആധുനിക വിതരണ സംവിധാനങ്ങളിലെ ഒരു അടിസ്ഥാന പ്രശ്നമാണ്. സമവായ പ്രശ്‌നങ്ങൾ പരിഹരിക്കുന്നതിനുള്ള പ്രധാന മാർഗമാണ് പാക്‌സോസ്, വിവിധ പ്രായോഗിക ആവശ്യങ്ങൾക്കായി അൽഗോരിതം വികസിപ്പിക്കാനും ഒപ്റ്റിമൈസ് ചെയ്യാനും ഇതിന് ചുറ്റും ധാരാളം ഗവേഷണങ്ങൾ നടക്കുന്നുണ്ട്.

ഈ സംഭാഷണത്തിൽ, ഞങ്ങൾ Paxos-ന്റെ സൈദ്ധാന്തിക അടിസ്ഥാനം വീണ്ടും സന്ദർശിക്കും, യഥാർത്ഥ ആവശ്യകതകളിൽ ഇളവ് വരുത്തുകയും അൽഗോരിതം സാമാന്യവൽക്കരിക്കുകയും ചെയ്യും. സമവായ സമീപനങ്ങളുടെ ഒരു വലിയ ശ്രേണിയിൽ പാക്സോസ് അടിസ്ഥാനപരമായി ഒരു ഓപ്ഷൻ മാത്രമാണെന്നും, നല്ല വിതരണ സംവിധാനങ്ങൾ നിർമ്മിക്കുന്നതിന് സ്പെക്ട്രത്തിലെ മറ്റ് പോയിന്റുകളും വളരെ ഉപയോഗപ്രദമാണെന്നും നമുക്ക് കാണാം.

അലക്സ് പെട്രോവ് - ക്ഷണികമായ പകർപ്പും വിലകുറഞ്ഞ ക്വാറങ്ങളും ഉപയോഗിച്ച് നിങ്ങളുടെ സംഭരണച്ചെലവ് കുറയ്ക്കുക

അലക്സ് ഒരു ഡാറ്റാബേസ്, സ്റ്റോറേജ് സിസ്റ്റംസ് സ്പെഷ്യലിസ്റ്റാണ്, അതിലും പ്രധാനമായി ഞങ്ങൾക്ക് ഒരു കമ്മിറ്റർ ആണ് ചേട്ടനാണു. അദ്ദേഹം ഇപ്പോൾ ഒ'റെയ്‌ലിയ്‌ക്കൊപ്പം ഡാറ്റാബേസ് ഇന്റേണൽസ് എന്ന പുസ്തകത്തിന്റെ പണിപ്പുരയിലാണ്.

ഉള്ള സിസ്റ്റങ്ങൾക്ക് ആത്യന്തികമായ സ്ഥിരത (റഷ്യൻ പദാവലിയിൽ - "ആത്യന്തിക സ്ഥിരത"), ഒരു നോഡ് ക്രാഷോ നെറ്റ്‌വർക്ക് വിഭജനമോ കഴിഞ്ഞാൽ, നിങ്ങൾ ഇനിപ്പറയുന്ന പ്രതിസന്ധി പരിഹരിക്കേണ്ടതുണ്ട്: ഒന്നുകിൽ അഭ്യർത്ഥനകൾ നടപ്പിലാക്കുന്നത് തുടരുക, സ്ഥിരത ത്യജിക്കുക, അല്ലെങ്കിൽ അവ നടപ്പിലാക്കാൻ വിസമ്മതിക്കുകയും ലഭ്യത ത്യജിക്കുകയും ചെയ്യുക. അത്തരമൊരു സിസ്റ്റത്തിൽ, ക്വാറങ്ങൾ, നോഡുകളുടെ ഉപസെറ്റുകൾ ഓവർലാപ്പുചെയ്യുക, ഏറ്റവും പുതിയ മൂല്യം കുറഞ്ഞത് ഒരു നോഡെങ്കിലും അടങ്ങിയിട്ടുണ്ടെന്ന് ഉറപ്പാക്കുക എന്നിവ ഒരു നല്ല എഡ്ജ് സൊല്യൂഷനായിരിക്കും. ഏറ്റവും പുതിയ മൂല്യങ്ങൾ ഉപയോഗിച്ച് പ്രതികരിക്കുമ്പോൾ തന്നെ നിങ്ങൾക്ക് പരാജയങ്ങളും ചില നോഡുകളിലേക്കുള്ള കണക്റ്റിവിറ്റി നഷ്ടവും അതിജീവിക്കാൻ കഴിയും.

എന്നിരുന്നാലും, എല്ലാത്തിനും അതിന്റേതായ വിലയുണ്ട്. ഒരു കോറം റെപ്ലിക്കേഷൻ സ്കീം എന്നതുകൊണ്ട് അർത്ഥമാക്കുന്നത് വർദ്ധിച്ച സംഭരണച്ചെലവാണ്: ഒരു പ്രശ്നം ഉണ്ടാകുമ്പോൾ ആവശ്യത്തിന് പകർപ്പുകൾ ലഭ്യമാണെന്ന് ഉറപ്പാക്കാൻ അനാവശ്യ ഡാറ്റ ഒരേസമയം ഒന്നിലധികം നോഡുകളിൽ സംഭരിച്ചിരിക്കണം. എല്ലാ പകർപ്പുകളിലും നിങ്ങൾ എല്ലാ ഡാറ്റയും സൂക്ഷിക്കേണ്ടതില്ലെന്ന് ഇത് മാറുന്നു. നോഡുകളുടെ ഒരു ഭാഗത്ത് മാത്രം ഡാറ്റ സംഭരിക്കുകയും പരാജയം കൈകാര്യം ചെയ്യുന്ന സാഹചര്യങ്ങൾക്കായി പ്രത്യേക നോഡുകൾ (ട്രാൻസിയന്റ് റെപ്ലിക്ക) ഉപയോഗിക്കുകയും ചെയ്താൽ നിങ്ങൾക്ക് സ്റ്റോറേജിലെ ലോഡ് കുറയ്ക്കാൻ കഴിയും.

റിപ്പോർട്ടിന്റെ സമയത്ത് ഞങ്ങൾ പരിഗണിക്കും സാക്ഷി പകർപ്പുകൾ, ഉപയോഗിച്ചിരിക്കുന്ന റെപ്ലിക്കേഷൻ സ്കീം സ്പാനർ и മെഗാസ്റ്റോർ, കൂടാതെ അപ്പാച്ചെ കസാന്ദ്രയിൽ ഈ ആശയം നടപ്പിലാക്കുന്നത് വിളിച്ചു ക്ഷണികമായ അനുകരണവും വിലകുറഞ്ഞ കോറങ്ങളും.

ദിമിത്രി വ്യൂക്കോവ് - ഗൊറൂട്ടിനുകൾ തുറന്നുകാട്ടി

C/C++, Go - Address/Memory/ThreadSanitizer എന്നിവയ്‌ക്കായുള്ള ഡൈനാമിക് ടെസ്റ്റിംഗിലും ലിനക്‌സ് കേർണലിനായി സമാനമായ ടൂളുകളിലും പ്രവർത്തിക്കുന്ന Google-ലെ ഒരു ഡെവലപ്പറാണ് ദിമിത്രി. Go ഒരു സ്കേലബിൾ ഗൊറൂട്ടീൻ ഷെഡ്യൂളർ, ഒരു നെറ്റ്‌വർക്ക് പോൾ, ഒരു സമാന്തര മാലിന്യ ശേഖരണം എന്നിവയ്‌ക്ക് സംഭാവന ചെയ്‌തു. മൾട്ടിത്രെഡിംഗിൽ വിദഗ്ദ്ധനായ അദ്ദേഹം, ഒരു ഡസൻ പുതിയ നോൺ-ബ്ലോക്കിംഗ് അൽഗോരിതങ്ങളുടെ രചയിതാവാണ്, കൂടാതെ ഇതിന്റെ ഉടമയുമാണ് ബ്ലാക്ക് ബെൽറ്റ് ഇന്റൽ.

ഇപ്പോൾ റിപ്പോർട്ടിനെക്കുറിച്ച് കുറച്ച്. ഗോ ഭാഷയ്‌ക്ക് ഗോറൂട്ടീനുകളുടെയും (ലൈറ്റ് ത്രെഡുകൾ) ചാനലുകളുടെയും (FIFO ക്യൂകൾ) രൂപത്തിൽ മൾട്ടിത്രെഡിംഗിന് നേറ്റീവ് പിന്തുണയുണ്ട്. ഈ സംവിധാനങ്ങൾ ഉപയോക്താക്കൾക്ക് ആധുനിക മൾട്ടി-ത്രെഡഡ് ആപ്ലിക്കേഷനുകൾ എഴുതുന്നത് വളരെ എളുപ്പവും ആസ്വാദ്യകരവുമാക്കുന്നു, ഇത് മാജിക് പോലെ കാണപ്പെടുന്നു. ഞങ്ങൾ മനസ്സിലാക്കുന്നതുപോലെ, ഇവിടെ മാന്ത്രികതയില്ല. ഈ സംഭാഷണത്തിൽ, ദിമിത്രി ഗോ ഷെഡ്യൂളറുടെ സങ്കീർണതകൾ പരിശോധിക്കുകയും ഈ "മാജിക്" നടപ്പിലാക്കുന്നതിന്റെ രഹസ്യങ്ങൾ കാണിക്കുകയും ചെയ്യും. ആദ്യം, അവൻ ഷെഡ്യൂളറുടെ പ്രധാന ഘടകങ്ങളുടെ ഒരു അവലോകനം നൽകുകയും അത് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് നിങ്ങളോട് പറയുകയും ചെയ്യും. അടുത്തതായി, പാർക്കിംഗ്/അൺപാർക്കിംഗ് തന്ത്രം, തടയൽ സിസ്റ്റം കോളുകൾ കൈകാര്യം ചെയ്യൽ തുടങ്ങിയ വ്യക്തിഗത വശങ്ങൾ ഞങ്ങൾ സൂക്ഷ്മമായി പരിശോധിക്കും. അവസാനമായി, ഷെഡ്യൂളറിന് സാധ്യമായ മെച്ചപ്പെടുത്തലുകളെക്കുറിച്ച് ദിമിത്രി കുറച്ച് സംസാരിക്കും.

ദിമിത്രി ബുഗൈചെങ്കോ - പ്രോബബിലിസ്റ്റിക് സ്കെച്ചുകളും മറ്റും ഉപയോഗിച്ച് വിതരണം ചെയ്ത ഗ്രാഫ് വിശകലനം വേഗത്തിലാക്കുന്നു

യൂണിവേഴ്സിറ്റിയുമായും ശാസ്ത്ര സമൂഹവുമായും ബന്ധം നഷ്ടപ്പെടാതെ ഏകദേശം 9 വർഷത്തോളം ദിമിത്രി ഔട്ട്സോഴ്സിംഗിൽ പ്രവർത്തിച്ചു. ഓഡ്‌നോക്ലാസ്‌നിക്കിയിലെ ബിഗ് ഡാറ്റാ വിശകലനം, യഥാർത്ഥ, ഡിമാൻഡ് ഉൽപ്പന്നങ്ങളുടെ വികസനവുമായി സൈദ്ധാന്തിക പരിശീലനവും ശാസ്ത്രീയ അടിത്തറയും സംയോജിപ്പിക്കുന്നതിനുള്ള ഒരു സവിശേഷ അവസരമായി മാറി.

വിതരണം ചെയ്‌ത ഗ്രാഫ് വിശകലനം വളരെ ബുദ്ധിമുട്ടുള്ള കാര്യമാണ്. ഈ സംഭാഷണത്തിൽ, ഒരു സോഷ്യൽ നെറ്റ്‌വർക്കിലെ ഫ്രണ്ട്‌ഷിപ്പ് ഗ്രാഫിന്റെ സമമിതി പോലുള്ള പ്രോബബിലിസ്റ്റിക് ഡാറ്റ ഘടനകളോ വസ്തുതകളോ ഉപയോഗിച്ച് നിങ്ങൾക്ക് എങ്ങനെ കാര്യമായ പ്രോസസ്സിംഗ് വേഗത നേടാനാകുമെന്ന് ഞങ്ങൾ കാണും. അപ്പാച്ചെ സ്പാർക്കിലെ കോഡ് ഉദാഹരണങ്ങൾ ഉപയോഗിച്ച് ഇതെല്ലാം ചിത്രീകരിച്ചിരിക്കുന്നു.

ഡെനിസ് റിസ്റ്റ്സോവ് - ക്ഷണികമായ പകർപ്പും വിലകുറഞ്ഞ ക്വാറങ്ങളും ഉപയോഗിച്ച് നിങ്ങളുടെ സംഭരണച്ചെലവ് കുറയ്ക്കുക

ഡെനിസ് - ഡെവലപ്പർ കോസ്മോസ് ഡിബി, സ്ഥിരത മോഡലുകൾ, സമവായ അൽഗോരിതങ്ങൾ, വിതരണം ചെയ്ത ഇടപാടുകൾ എന്നിവ പരിശോധിക്കുന്നതിൽ വിദഗ്ധൻ. അദ്ദേഹം നിലവിൽ മൈക്രോസോഫ്റ്റിൽ ജോലി ചെയ്യുന്നു, അതിനുമുമ്പ് ആമസോണിലും യാൻഡെക്സിലും വിതരണ സംവിധാനങ്ങളിൽ പ്രവർത്തിച്ചു.

ഈ സംഭാഷണത്തിൽ, കഴിഞ്ഞ കുറച്ച് വർഷങ്ങളായി കണ്ടുപിടിച്ച ഡിസ്ട്രിബ്യൂഡ് ട്രാൻസാക്ഷൻ പ്രോട്ടോക്കോളുകൾ ഞങ്ങൾ പരിശോധിക്കും, സോപാധിക അപ്‌ഡേറ്റിനെ പിന്തുണയ്ക്കുന്ന (താരതമ്യപ്പെടുത്തുകയും സജ്ജീകരിക്കുകയും ചെയ്യുക) ഏത് ഡാറ്റ സ്‌റ്റോറിന്റെയും മുകളിൽ ക്ലയന്റ് വശത്ത് ഇത് നടപ്പിലാക്കാൻ കഴിയും. രണ്ട്-ഘട്ട പ്രതിബദ്ധതയോടെ ജീവിതം അവസാനിക്കുന്നില്ല എന്നതാണ് ഏറ്റവും പ്രധാന കാര്യം, ഏത് ഡാറ്റാബേസുകളിലും ഇടപാടുകൾ ചേർക്കാം - ആപ്ലിക്കേഷൻ തലത്തിൽ, എന്നാൽ വ്യത്യസ്ത പ്രോട്ടോക്കോളുകൾക്ക് (2PC, Percolator, RAMP) വ്യത്യസ്‌ത ട്രേഡ്‌ഓഫുകൾ ഉണ്ട്, അവ ഞങ്ങൾക്ക് നൽകിയിട്ടില്ല. സൗജന്യമായി.

അലക്സി സിനോവീവ് - എല്ലാ ML അൽഗോരിതങ്ങളും അത് വിതരണം ചെയ്യപ്പെടുന്ന സ്വർഗത്തിലേക്ക് മാറ്റില്ല

അലക്സി (സലെസ്ലാവ്) ദീർഘകാല സ്പീക്കറും മറ്റ് കോൺഫറൻസുകളിൽ പ്രോഗ്രാം കമ്മിറ്റി അംഗവുമാണ്. EPAM സിസ്റ്റങ്ങളിൽ പരിശീലകനായി പരിശീലിക്കുന്നു, കൂടാതെ 2012 മുതൽ ഹഡൂപ്പ്/സ്പാർക്ക്, മറ്റ് വലിയ ഡാറ്റ എന്നിവയുമായി ചങ്ങാതിമാരാണ്.

ഈ സംഭാഷണത്തിൽ, Apache Spark ML, Apache Mahout, Apache Flink ML, Apache Ignite ML എന്നിവയിൽ പ്രവർത്തിച്ച അനുഭവത്തെ അടിസ്ഥാനമാക്കി ക്ലാസിക്കൽ മെഷീൻ ലേണിംഗ് അൽഗോരിതങ്ങൾ നടപ്പിലാക്കുന്നതിനുള്ള പ്രശ്നങ്ങളെക്കുറിച്ച് അലക്സി സംസാരിക്കും. ഈ ചട്ടക്കൂടുകളിൽ വിതരണം ചെയ്ത ML അൽഗോരിതങ്ങൾ നടപ്പിലാക്കുന്നതിനെക്കുറിച്ചും അലക്സി സംസാരിക്കും.

ഒടുവിൽ, Yandex ഡാറ്റാബേസിനെക്കുറിച്ച് Yandex-ൽ നിന്നുള്ള രണ്ട് റിപ്പോർട്ടുകൾ.

വ്ലാഡിസ്ലാവ് കുസ്നെറ്റ്സോവ് - Yandex ഡാറ്റാബേസ് - ഞങ്ങൾ എങ്ങനെയാണ് തെറ്റ് സഹിഷ്ണുത ഉറപ്പാക്കുന്നത്

വിതരണം ചെയ്ത പ്ലാറ്റ്ഫോം ഗ്രൂപ്പിലെ Yandex-ൽ ഒരു ഡെവലപ്പറാണ് വ്ലാഡിസ്ലാവ്. Yandex ഡാറ്റാബേസ്, ഡിസ്കുകൾ, സെർവറുകൾ, റാക്കുകൾ, ഡാറ്റാ സെന്ററുകൾ എന്നിവയുടെ പരാജയം സ്ഥിരത നഷ്ടപ്പെടാതെ നേരിടാൻ കഴിയുന്ന തിരശ്ചീനമായി അളക്കാവുന്ന, ജിയോ-ഡിസ്ട്രിബ്യൂട്ടഡ്, തെറ്റ്-സഹിഷ്ണുതയുള്ള DBMS ആണ്. തെറ്റ് സഹിഷ്ണുത ഉറപ്പാക്കാൻ, വിതരണം ചെയ്ത സമവായം കൈവരിക്കുന്നതിനുള്ള ഒരു കുത്തക അൽഗോരിതം ഉപയോഗിക്കുന്നു, കൂടാതെ റിപ്പോർട്ടിൽ വിശദമായി ചർച്ച ചെയ്ത നിരവധി സാങ്കേതിക പരിഹാരങ്ങളും. റിപ്പോർട്ട് ഡിബിഎംഎസ് ഡെവലപ്പർമാർക്കും ഡിബിഎംഎസ് അടിസ്ഥാനമാക്കിയുള്ള ആപ്ലിക്കേഷൻ സൊല്യൂഷനുകളുടെ ഡെവലപ്പർമാർക്കും താൽപ്പര്യമുള്ളതായിരിക്കാം.

സെമിയോൺ ചെച്ചേരിന്ദ - YDB-യിൽ വിതരണം ചെയ്ത ഇടപാടുകൾ

YDB ഇൻസ്റ്റാളേഷന്റെ മൾട്ടി-ടെനന്റ് ഉപയോഗത്തിനുള്ള സാധ്യതയെക്കുറിച്ച് പ്രവർത്തിക്കുന്ന Yandex-ലെ വിതരണം ചെയ്ത പ്ലാറ്റ്ഫോം ഗ്രൂപ്പിലെ ഒരു ഡെവലപ്പറാണ് സെമിയോൺ.

Yandex ഡാറ്റാബേസ് OLTP അന്വേഷണങ്ങൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു, കൂടാതെ ഒരു ഇടപാട് സിസ്റ്റത്തിനുള്ള ACID ആവശ്യകതകൾ പാലിക്കുന്നു. ഈ റിപ്പോർട്ടിൽ, YDB ഇടപാട് സംവിധാനത്തിന് അടിവരയിടുന്ന ഇടപാട് ഷെഡ്യൂളിംഗ് അൽഗോരിതം ഞങ്ങൾ പരിഗണിക്കും. ഇടപാടുകളിൽ ഏതൊക്കെ എന്റിറ്റികൾ പങ്കെടുക്കുന്നു, ഇടപാടുകൾക്ക് ആഗോള ക്രമം നൽകുന്നവർ, ഇടപാട് ആറ്റോമിസിറ്റി, വിശ്വാസ്യത, കർശനമായ ഒറ്റപ്പെടൽ എന്നിവ എങ്ങനെ കൈവരിക്കുന്നു എന്ന് നോക്കാം. ഒരു സാധാരണ പ്രശ്‌നം ഉദാഹരണമായി ഉപയോഗിച്ച്, രണ്ട് ഘട്ട കമ്മിറ്റുകളും നിർണ്ണായക ഇടപാടുകളും ഉപയോഗിച്ച് ഇടപാട് നടപ്പിലാക്കലുകൾ നോക്കാം. നമുക്ക് അവരുടെ വ്യത്യാസങ്ങൾ ചർച്ച ചെയ്യാം.

അടുത്തത് എന്ത്?

പുതിയ റിപ്പോർട്ടുകൾ കൊണ്ട് കോൺഫറൻസ് പരിപാടി തുടരുകയാണ്. പ്രത്യേകിച്ചും, ഞങ്ങൾ ഒരു റിപ്പോർട്ട് പ്രതീക്ഷിക്കുന്നു നികിത കോവൽ (ndkoval) JetBrains ൽ നിന്നും ഒപ്പം ഒലെഗ് അനസ്താസിയേവ് (m0nstermind) Odnoklassniki കമ്പനിയിൽ നിന്ന്. നികിത കോട്‌ലിൻ ടീമിലെ കോറൂട്ടീനുകൾക്കായുള്ള അൽഗോരിതങ്ങളിൽ പ്രവർത്തിക്കുന്നു, കൂടാതെ ഒലെഗ് ഒഡ്‌നോക്ലാസ്‌നിക്കി പ്ലാറ്റ്‌ഫോമിലെ ഉയർന്ന ലോഡ് സിസ്റ്റങ്ങൾക്കുള്ള വാസ്തുവിദ്യയും പരിഹാരങ്ങളും വികസിപ്പിക്കുന്നു. കൂടാതെ, സോപാധികമായി ശൂന്യമായ 1 സ്ലോട്ട് കൂടി ഉണ്ട്, പ്രോഗ്രാം കമ്മിറ്റി ഇപ്പോൾ അതിനായി സ്ഥാനാർത്ഥികളുമായി പ്രവർത്തിക്കുന്നു.

ജൂലൈ 11-12 തീയതികളിൽ സെന്റ് പീറ്റേഴ്‌സ്ബർഗിലാണ് ഹൈദ്ര സമ്മേളനം നടക്കുന്നത്. ടിക്കറ്റുകൾ ലഭ്യമാണ് ഔദ്യോഗിക വെബ്സൈറ്റിൽ വാങ്ങുക. ഓൺലൈൻ ടിക്കറ്റുകളുടെ ലഭ്യത ശ്രദ്ധിക്കുക - ചില കാരണങ്ങളാൽ നിങ്ങൾക്ക് ഈ ദിവസങ്ങളിൽ സെന്റ് പീറ്റേഴ്സ്ബർഗിൽ എത്താൻ കഴിയുന്നില്ലെങ്കിൽ.

ഹൈഡ്രയിൽ കാണാം!

അവലംബം: www.habr.com