കുറച്ച് ദിവസം മുമ്പ് സംഭവിച്ചത് ഹൈഡ്ര സമ്മേളനം. JUG.ru ഗ്രൂപ്പിലെ ആൺകുട്ടികൾ ഡ്രീം സ്പീക്കറുകളെ ക്ഷണിച്ചു (ലെസ്ലി ലാംപോർട്ട്! ക്ലിഫ് ക്ലിക്ക്! മാർട്ടിൻ ക്ലെപ്പ്മാൻ!) കൂടാതെ വിതരണം ചെയ്ത സിസ്റ്റങ്ങൾക്കും കമ്പ്യൂട്ടിംഗിനുമായി രണ്ട് ദിവസം നീക്കിവച്ചു. സമ്മേളനത്തിന്റെ മൂന്ന് പങ്കാളികളിൽ ഒരാളായിരുന്നു കോണ്ടൂർ. ഞങ്ങൾ ബൂത്തിൽ സംസാരിച്ചു, ഞങ്ങളുടെ വിതരണം ചെയ്ത സ്റ്റോറേജുകളെക്കുറിച്ച് സംസാരിച്ചു, ബിങ്കോ കളിച്ചു, പസിലുകൾ പരിഹരിച്ചു.

കോണ്ടൂർ സ്റ്റാൻഡിലെ ടാസ്‌ക്കുകളുടെ വിശകലനം അവരുടെ വാചകത്തിന്റെ രചയിതാവിൽ നിന്നുള്ള ഒരു പോസ്റ്റാണിത്. ആരാണ് ഹൈഡ്രയിൽ ഉണ്ടായിരുന്നത് - നിങ്ങളുടെ മസ്തിഷ്കത്തെ വലിച്ചുനീട്ടാനുള്ള അവസരം ആരാണ്, ആരല്ലാത്ത സുഖകരമായ അനുഭവം ഓർക്കാനുള്ള നിങ്ങളുടെ കാരണം. വലിയ ഓ- നോട്ടേഷൻ.

തങ്ങളുടെ തീരുമാനം എഴുതുന്നതിനായി ഫ്ലിപ്പ്‌ചാർട്ട് സ്ലൈഡുകളായി വിഘടിപ്പിച്ച പങ്കാളികൾ പോലും ഉണ്ടായിരുന്നു. ഞാൻ തമാശ പറയുന്നതല്ല - സ്ഥിരീകരണത്തിനായി അവർ ഈ കടലാസ് സ്റ്റാക്ക് കൈമാറി:

ആകെ മൂന്ന് ജോലികൾ ഉണ്ടായിരുന്നു:

• ലോഡ് ബാലൻസിംഗിനായി ഭാരം അനുസരിച്ച് പകർപ്പുകൾ തിരഞ്ഞെടുക്കുന്നതിനെക്കുറിച്ച്
• ഇൻ-മെമ്മറി ഡാറ്റാബേസിനെതിരെ അന്വേഷണ ഫലങ്ങൾ അടുക്കുന്നതിനെക്കുറിച്ച്
• റിംഗ് ടോപ്പോളജി ഉള്ള ഒരു ഡിസ്ട്രിബ്യൂട്ടഡ് സിസ്റ്റത്തിൽ സംസ്ഥാന കൈമാറ്റം

ടാസ്ക് 1. ക്ലസ്റ്റർ ക്ലയന്റ്

വിതരണം ചെയ്ത സിസ്റ്റത്തിന്റെ N വെയ്റ്റഡ് പകർപ്പുകളിൽ നിന്ന് കെ കാര്യക്ഷമമായി തിരഞ്ഞെടുക്കുന്നതിന് ഒരു അൽഗോരിതം നിർദ്ദേശിക്കേണ്ടത് ആവശ്യമാണ്:

N നോഡുകളുടെ വൻതോതിൽ വിതരണം ചെയ്യുന്ന ഒരു ക്ലസ്റ്ററിനായി ഒരു ക്ലയന്റ് ലൈബ്രറി വികസിപ്പിക്കാൻ നിങ്ങളുടെ ടീമിനെ ചുമതലപ്പെടുത്തിയിരിക്കുന്നു. നോഡുകളുമായി ബന്ധപ്പെട്ട വിവിധ മെറ്റാഡാറ്റകളുടെ ട്രാക്ക് ലൈബ്രറി സൂക്ഷിക്കും (ഉദാ, അവയുടെ ലേറ്റൻസികൾ, 4xx/5xx പ്രതികരണ നിരക്കുകൾ മുതലായവ) കൂടാതെ അവയ്ക്ക് ഫ്ലോട്ടിംഗ് പോയിന്റ് വെയ്റ്റുകൾ W1..WN നൽകുകയും ചെയ്യും. കൺകറന്റ് എക്സിക്യൂഷൻ സ്ട്രാറ്റജിയെ പിന്തുണയ്ക്കുന്നതിനായി, ലൈബ്രറിക്ക് N നോഡുകളുടെ K ക്രമരഹിതമായി തിരഞ്ഞെടുക്കാൻ കഴിയണം - തിരഞ്ഞെടുക്കാനുള്ള അവസരം ഒരു നോഡിന്റെ ഭാരത്തിന് ആനുപാതികമായിരിക്കണം.

നോഡുകൾ കാര്യക്ഷമമായി തിരഞ്ഞെടുക്കുന്നതിന് ഒരു അൽഗോരിതം നിർദ്ദേശിക്കുക. വലിയ O നൊട്ടേഷൻ ഉപയോഗിച്ച് അതിന്റെ കമ്പ്യൂട്ടേഷണൽ സങ്കീർണ്ണത കണക്കാക്കുക.

എന്തുകൊണ്ടാണ് എല്ലാം ഇംഗ്ലീഷിലുള്ളത്?

ഈ രൂപത്തിൽ കോൺഫറൻസിൽ പങ്കെടുത്തവർ അവരുമായി യുദ്ധം ചെയ്തു, ഹൈഡ്രയുടെ ഔദ്യോഗിക ഭാഷ ഇംഗ്ലീഷ് ആയിരുന്നു. ചുമതലകൾ ഇതുപോലെ കാണപ്പെട്ടു:

പേപ്പറും പെൻസിലും എടുക്കുക, ചിന്തിക്കുക, പെട്ടെന്ന് സ്‌പോയിലറുകൾ തുറക്കാൻ തിരക്കുകൂട്ടരുത് 🙂

പരിഹാരത്തിന്റെ വിശകലനം (വീഡിയോ)

5:53-ന് ആരംഭിക്കുന്നു, 4 മിനിറ്റ് മാത്രം:

ഫ്ലിപ്പ്‌ചാർട്ടിലുള്ള ആളുകൾ അവരുടെ പരിഹാരം എങ്ങനെ അവതരിപ്പിച്ചുവെന്നത് ഇതാ:

പരിഹാരത്തിന്റെ വിശകലനം (ടെക്സ്റ്റ്)

ഇനിപ്പറയുന്ന പരിഹാരം ഉപരിതലത്തിലാണ്: എല്ലാ പകർപ്പുകളുടെയും ഭാരങ്ങൾ സംഗ്രഹിക്കുക, 0 മുതൽ എല്ലാ ഭാരങ്ങളുടെയും ആകെത്തുകയിലേക്ക് ഒരു ക്രമരഹിത സംഖ്യ സൃഷ്ടിക്കുക, തുടർന്ന് 0 മുതൽ (i-1) വരെയുള്ള പകർപ്പുകളുടെ ആകെത്തുക ഒരു i-replica തിരഞ്ഞെടുക്കുക ഒരു ക്രമരഹിത സംഖ്യയേക്കാൾ കുറവാണ്, കൂടാതെ 0 മുതൽ i-th വരെയുള്ള പകർപ്പുകളുടെ ആകെത്തുക - അതിലും കൂടുതലാണ്. അതിനാൽ ഒരു പകർപ്പ് തിരഞ്ഞെടുക്കാൻ കഴിയും, അടുത്തത് തിരഞ്ഞെടുക്കാൻ, തിരഞ്ഞെടുത്ത പകർപ്പ് പരിഗണിക്കാതെ മുഴുവൻ നടപടിക്രമവും ആവർത്തിക്കേണ്ടതുണ്ട്. അത്തരമൊരു അൽഗോരിതം ഉപയോഗിച്ച്, ഒരു പകർപ്പ് തിരഞ്ഞെടുക്കുന്നതിന്റെ സങ്കീർണ്ണത O(N), K പകർപ്പുകൾ തിരഞ്ഞെടുക്കുന്നതിന്റെ സങ്കീർണ്ണത O(N K) ~ O(N2) ആണ്.

ക്വാഡ്രാറ്റിക് സങ്കീർണ്ണത മോശമാണ്, പക്ഷേ അത് മെച്ചപ്പെടുത്താൻ കഴിയും. ഇത് ചെയ്യുന്നതിന്, ഞങ്ങൾ നിർമ്മിക്കും സെഗ്മെന്റ് ട്രീ തൂക്കങ്ങളുടെ തുകകൾക്കായി. ആഴത്തിലുള്ള lg N ന്റെ ഒരു വൃക്ഷം ലഭിക്കും, അതിന്റെ ഇലകളിൽ തനിപ്പകർപ്പ് തൂക്കങ്ങൾ ഉണ്ടാകും, ശേഷിക്കുന്ന നോഡുകളിൽ - ഭാഗിക തുകകൾ, മരത്തിന്റെ വേരിലുള്ള എല്ലാ ഭാരങ്ങളുടെയും ആകെത്തുക. അടുത്തതായി, 0 മുതൽ എല്ലാ ഭാരങ്ങളുടെയും ആകെത്തുക വരെ ഞങ്ങൾ ഒരു ക്രമരഹിത സംഖ്യ സൃഷ്ടിക്കുന്നു, i-th പകർപ്പ് കണ്ടെത്തി, അത് മരത്തിൽ നിന്ന് നീക്കം ചെയ്യുക, ശേഷിക്കുന്ന പകർപ്പുകൾ കണ്ടെത്തുന്നതിനുള്ള നടപടിക്രമം ആവർത്തിക്കുക. ഈ അൽഗോരിതം ഉപയോഗിച്ച്, ഒരു മരം നിർമ്മിക്കുന്നതിന്റെ സങ്കീർണ്ണത O(N), i-th പകർപ്പ് കണ്ടെത്തി മരത്തിൽ നിന്ന് നീക്കം ചെയ്യുന്നതിന്റെ സങ്കീർണ്ണത O(lg N), K പകർപ്പുകൾ തിരഞ്ഞെടുക്കുന്നതിന്റെ സങ്കീർണ്ണത O(N + K ആണ്. lg N) ~ O(N lg N) .

ലീനിയർ-ലോഗ് കോംപ്ലക്‌സിറ്റി ക്വാഡ്രാറ്റിക് കോംപ്ലക്‌സിറ്റിയേക്കാൾ മനോഹരമാണ്, പ്രത്യേകിച്ച് വലിയ കെ.

ഇതാണ് അൽഗോരിതം കോഡിൽ നടപ്പിലാക്കി പ്രോജക്റ്റിൽ നിന്നുള്ള ക്ലസ്റ്റർ ക്ലയന്റ് ലൈബ്രറികൾ "കിഴക്ക്". (അവിടെ, മരം O(N lg N) ൽ നിർമ്മിച്ചിരിക്കുന്നു, എന്നാൽ ഇത് അൽഗോരിതത്തിന്റെ അന്തിമ സങ്കീർണ്ണതയെ ബാധിക്കില്ല.)

ടാസ്ക് 2. സീബ്ര

അനിയന്ത്രിതമായ നോൺ-ഇൻഡക്‌സ് ചെയ്യാത്ത ഫീൽഡ് ഉപയോഗിച്ച് മെമ്മറിയിൽ പ്രമാണങ്ങൾ കാര്യക്ഷമമായി അടുക്കുന്നതിന് ഒരു അൽഗോരിതം നിർദ്ദേശിക്കേണ്ടത് ആവശ്യമാണ്:

ഒരു ഷെർഡ് ഇൻ-മെമ്മറി ഡോക്യുമെന്റ് ഡാറ്റാബേസ് വികസിപ്പിക്കാൻ നിങ്ങളുടെ ടീമിനെ ചുമതലപ്പെടുത്തിയിരിക്കുന്നു. വലിപ്പം M (സാധാരണയായി N <100 << M) ശേഖരത്തിൽ നിന്ന് ഒരു അനിയന്ത്രിതമായ (സൂചികമല്ലാത്ത) സംഖ്യാ ഫീൽഡ് ഉപയോഗിച്ച് അടുക്കിയ മുൻനിര N പ്രമാണങ്ങൾ തിരഞ്ഞെടുക്കുന്നതാണ് പൊതുവായ ജോലിഭാരം. ടോപ്പ് എസ് ഡോക്യുമെന്റുകൾ (S ~ N) ഒഴിവാക്കിയ ശേഷം ടോപ്പ് N തിരഞ്ഞെടുക്കുന്നതാണ് സാധാരണ ജോലിഭാരം അൽപ്പം കുറവായിരിക്കും.

അത്തരം അന്വേഷണങ്ങൾ കാര്യക്ഷമമായി നടപ്പിലാക്കാൻ ഒരു അൽഗോരിതം നിർദ്ദേശിക്കുക. ശരാശരി കേസിലും ഏറ്റവും മോശം സാഹചര്യത്തിലും വലിയ O നൊട്ടേഷൻ ഉപയോഗിച്ച് അതിന്റെ കമ്പ്യൂട്ടേഷണൽ സങ്കീർണ്ണത കണക്കാക്കുക.

പരിഹാരത്തിന്റെ വിശകലനം (വീഡിയോ)

34:50-ന് ആരംഭിക്കുന്നു, 6 മിനിറ്റ് മാത്രം:

പരിഹാരത്തിന്റെ വിശകലനം (ടെക്സ്റ്റ്)

ഉപരിതല പരിഹാരം: എല്ലാ രേഖകളും അടുക്കുക (ഉദാഹരണത്തിന് ക്വിക്സോർട്ട്), തുടർന്ന് N+S പ്രമാണങ്ങൾ എടുക്കുക. ഈ സാഹചര്യത്തിൽ, തരംതിരിക്കലിന്റെ സങ്കീർണ്ണത ശരാശരി O(M lg M), ഏറ്റവും മോശം O(M2) ആണ്.

എല്ലാ എം ഡോക്യുമെന്റുകളും അടുക്കി അവയിൽ ഒരു ചെറിയ ഭാഗം മാത്രം എടുക്കുന്നത് കാര്യക്ഷമമല്ലെന്ന് വ്യക്തമാണ്. എല്ലാ രേഖകളും അടുക്കാതിരിക്കാൻ, ഒരു അൽഗോരിതം അനുയോജ്യമാണ് വേഗത്തിൽ തിരഞ്ഞെടുക്കുക, അത് ആവശ്യമുള്ള ഡോക്യുമെന്റുകളുടെ N + S തിരഞ്ഞെടുക്കും (അവ ഏത് അൽഗോരിതം വഴിയും അടുക്കാവുന്നതാണ്). ഈ സാഹചര്യത്തിൽ, സങ്കീർണ്ണത ശരാശരി O(M) ആയി കുറയും, അതേസമയം ഏറ്റവും മോശം അവസ്ഥ അതേപടി തുടരും.

എന്നിരുന്നാലും, നിങ്ങൾക്ക് ഇത് കൂടുതൽ കാര്യക്ഷമമായി ചെയ്യാൻ കഴിയും - അൽഗോരിതം ഉപയോഗിക്കുക ബൈനറി ഹീപ്പ് സ്ട്രീമിംഗ്. ഈ സാഹചര്യത്തിൽ, ആദ്യത്തെ N+S ഡോക്യുമെന്റുകൾ മിനിമം അല്ലെങ്കിൽ മാക്സ് ഹീപ്പിലേക്ക് ചേർക്കുന്നു (അടുക്കുന്ന ദിശയെ ആശ്രയിച്ച്), തുടർന്ന് ഓരോ അടുത്ത ഡോക്യുമെന്റും നിലവിലെ ഏറ്റവും കുറഞ്ഞതോ കൂടിയതോ ആയ പ്രമാണം അടങ്ങുന്ന മരത്തിന്റെ റൂട്ടുമായി താരതമ്യം ചെയ്യുന്നു. ആവശ്യമെങ്കിൽ മരത്തിൽ ചേർക്കുന്നു. . ഈ സാഹചര്യത്തിൽ, ഏറ്റവും മോശമായ സാഹചര്യത്തിൽ, നിങ്ങൾ നിരന്തരം മരം പുനർനിർമ്മിക്കേണ്ടിവരുമ്പോൾ, O (M lg M) ആണ്, ദ്രുതഗതിയിലുള്ള തിരഞ്ഞെടുക്കൽ പോലെ, ശരാശരി സങ്കീർണ്ണത O (M) ആണ്.

എന്നിരുന്നാലും, ഹീപ്പ് സ്ട്രീമിംഗ് കൂടുതൽ കാര്യക്ഷമമായി മാറുന്നു, കാരണം പ്രായോഗികമായി ഭൂരിഭാഗം രേഖകളും അതിന്റെ റൂട്ട് എലമെന്റുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ കൂമ്പാരം പുനർനിർമ്മിക്കാതെ തന്നെ ഉപേക്ഷിക്കാൻ കഴിയും. കോണ്ടൂരിൽ വികസിപ്പിച്ചതും ഉപയോഗിക്കുന്നതുമായ സീബ്ര ഇൻ-മെമ്മറി ഡോക്യുമെന്റ് ഡാറ്റാബേസിലാണ് ഇത്തരം സോർട്ടിംഗ് നടപ്പിലാക്കുന്നത്.

ടാസ്ക് 3. സ്റ്റേറ്റ് സ്വാപ്പുകൾ

സംസ്ഥാനങ്ങൾ മാറ്റുന്നതിന് ഏറ്റവും കാര്യക്ഷമമായ അൽഗോരിതം നിർദ്ദേശിക്കേണ്ടത് ആവശ്യമാണ്:

N നോഡുകളുടെ ഒരു വിതരണ ക്ലസ്റ്ററിനായി ഒരു ഫാൻസി സ്റ്റേറ്റ് എക്സ്ചേഞ്ച് മെക്കാനിസം വികസിപ്പിക്കാൻ നിങ്ങളുടെ ടീമിനെ ചുമതലപ്പെടുത്തിയിരിക്കുന്നു. i-th നോഡിന്റെ അവസ്ഥ (i+1)-th നോഡിലേക്കും N-th നോഡിന്റെ അവസ്ഥ ആദ്യ നോഡിലേക്കും മാറ്റണം. രണ്ട് നോഡുകൾ അവയുടെ അവസ്ഥകളെ ആറ്റോമികമായി കൈമാറ്റം ചെയ്യുമ്പോൾ സംസ്ഥാന സ്വാപ്പ് മാത്രമാണ് പിന്തുണയ്ക്കുന്ന ഒരേയൊരു പ്രവർത്തനം. ഒരു സംസ്ഥാന സ്വാപ്പ് M മില്ലിസെക്കൻഡ് എടുക്കുമെന്ന് അറിയാം. ഓരോ നോഡിനും ഏത് നിമിഷവും ഒരൊറ്റ സ്റ്റേറ്റ് സ്വാപ്പിൽ പങ്കെടുക്കാൻ കഴിയും.

ഒരു ക്ലസ്റ്ററിലെ എല്ലാ നോഡുകളുടെയും അവസ്ഥകൾ കൈമാറാൻ എത്ര സമയമെടുക്കും?

പരിഹാരത്തിന്റെ വിശകലനം (ടെക്സ്റ്റ്)

ഉപരിതല പരിഹാരം: ഒന്നാമത്തെയും രണ്ടാമത്തെയും മൂലകത്തിന്റെ അവസ്ഥകൾ കൈമാറ്റം ചെയ്യുക, തുടർന്ന് ഒന്നാമത്തേതും മൂന്നാമത്തേതും, പിന്നെ ഒന്നാമത്തേതും നാലാമത്തേതും, അങ്ങനെ. ഓരോ കൈമാറ്റത്തിനും ശേഷം, ഒരു മൂലകത്തിന്റെ അവസ്ഥ ആവശ്യമുള്ള സ്ഥാനത്ത് ആയിരിക്കും. നിങ്ങൾ O(N) ക്രമമാറ്റങ്ങൾ നടത്തുകയും O(N M) സമയം ചെലവഴിക്കുകയും വേണം.

ലീനിയർ സമയം ദൈർഘ്യമേറിയതാണ്, അതിനാൽ നിങ്ങൾക്ക് മൂലകങ്ങളുടെ അവസ്ഥകൾ ജോഡികളായി കൈമാറാൻ കഴിയും: ആദ്യത്തേത് രണ്ടാമത്തേത്, മൂന്നാമത്തേത് നാലാമത്തേത്, അങ്ങനെ. ഓരോ സ്റ്റേറ്റ് എക്സ്ചേഞ്ചിനും ശേഷം, ഓരോ രണ്ടാമത്തെ ഘടകവും ശരിയായ സ്ഥാനത്തായിരിക്കും. നിങ്ങൾ O(lg N) ക്രമമാറ്റങ്ങൾ നടത്തുകയും O(M lg N) സമയം ചെലവഴിക്കുകയും വേണം.

എന്നിരുന്നാലും, ഷിഫ്റ്റ് കൂടുതൽ കാര്യക്ഷമമാക്കാൻ കഴിയും - രേഖീയമല്ല, സ്ഥിരമായ സമയത്താണ്. ഇത് ചെയ്യുന്നതിന്, ആദ്യ ഘട്ടത്തിൽ, നിങ്ങൾ ആദ്യ മൂലകത്തിന്റെ അവസ്ഥ അവസാനത്തേതുമായി മാറ്റേണ്ടതുണ്ട്, രണ്ടാമത്തേത് അവസാനത്തേത് മുതലായവ. അവസാന മൂലകത്തിന്റെ അവസ്ഥ ശരിയായ സ്ഥാനത്തായിരിക്കും. ഇപ്പോൾ നമ്മൾ രണ്ടാമത്തെ മൂലകത്തിന്റെ അവസ്ഥ അവസാനത്തേതും മൂന്നാമത്തേത് അവസാനത്തേതുമായി മാറ്റേണ്ടതുണ്ട്. ഈ റൗണ്ട് എക്സ്ചേഞ്ചുകൾക്ക് ശേഷം, എല്ലാ ഘടകങ്ങളുടെയും അവസ്ഥകൾ ശരിയായ സ്ഥാനത്തായിരിക്കും. മൊത്തത്തിൽ O(2M) ~ O(1) ക്രമമാറ്റങ്ങൾ ഉണ്ടാകും.

അത്തരമൊരു പരിഹാരം ഒരു ഗണിതശാസ്ത്രജ്ഞനെ അത്ഭുതപ്പെടുത്തില്ല, ഒരു ഭ്രമണം രണ്ട് അക്ഷീയ സമമിതികളുടെ ഘടനയാണെന്ന് ഇപ്പോഴും ഓർക്കുന്നു. വഴിയിൽ, ഒരു ഷിഫ്റ്റിനായി ഇത് നിസ്സാരമായി സാമാന്യവൽക്കരിക്കപ്പെട്ടിരിക്കുന്നു, മറിച്ച് K <N സ്ഥാനങ്ങൾ കൊണ്ടാണ്. (എങ്ങനെ കൃത്യമായി എന്ന് അഭിപ്രായങ്ങളിൽ എഴുതുക.)

നിങ്ങൾക്ക് പസിലുകൾ ഇഷ്ടപ്പെട്ടോ? നിങ്ങൾക്ക് മറ്റ് പരിഹാരങ്ങൾ അറിയാമോ? അഭിപ്രായങ്ങളിൽ പങ്കിടുക.

അവസാനം ഉപയോഗപ്രദമായ ചില ലിങ്കുകൾ ഇതാ:

• കുറിച്ച് കൂടുതലറിയുക അടിസ്ഥാന സൗകര്യ വികസനം കോണ്ടൂരിൽ
• ആന്തരിക രേഖകൾ കാണുക റിപ്പോർട്ടുകൾ ഉള്ള ഫ്ലയർ വിതരണം ചെയ്ത സംവിധാനങ്ങളെക്കുറിച്ച്
• വീഡിയോ പ്രഭാഷണ പരമ്പര കാണുകസാധാരണക്കാർക്ക് അസാധാരണമായ അൽഗോരിതങ്ങൾ»
• ഞങ്ങളുടെ വരിക്കാരാകൂ ടെലിഗ്രാമിലെ ചാനൽ

അവലംബം: www.habr.com