എംഐടിയിൽ നിന്നുള്ള പുതിയ സിപിയു ലോഡ് ബാലൻസർ

ഷെനാംഗോ സംവിധാനം ഡാറ്റാ സെന്ററുകളിൽ ഉപയോഗിക്കാൻ പദ്ധതിയിട്ടിട്ടുണ്ട്.

/ ഫോട്ടോ മാർക്കോ വെച്ച് സിസി ബൈ

ദാതാക്കളിൽ ഒരാളുടെ അഭിപ്രായത്തിൽ, ഡാറ്റാ സെന്ററുകൾ ഉപയോഗിക്കുക ലഭ്യമായ കമ്പ്യൂട്ടിംഗ് ശക്തിയുടെ 20-40% മാത്രം. ഉയർന്ന ലോഡുകളിൽ ഈ സൂചകം 60% എത്താം. വിഭവങ്ങളുടെ ഈ വിതരണം "സോംബി സെർവറുകൾ" എന്ന് വിളിക്കപ്പെടുന്ന ആവിർഭാവത്തിലേക്ക് നയിക്കുന്നു. ഊർജം പാഴാക്കുന്ന യന്ത്രങ്ങളാണിവ. ഇന്ന് ലോകത്തിലെ 30% സെർവറുകൾ ജോലിയില്ലാത്തവരാണ്, പ്രതിവർഷം 30 ബില്യൺ ഡോളർ മൂല്യമുള്ള വൈദ്യുതി ഉപയോഗിക്കുന്നു.

കമ്പ്യൂട്ടിംഗ് വിഭവങ്ങളുടെ കാര്യക്ഷമമല്ലാത്ത ഉപയോഗത്തെ ചെറുക്കാൻ MIT തീരുമാനിച്ചു.

എഞ്ചിനീയറിംഗ് ടീം വികസിപ്പിച്ചു ഷെനാംഗോ എന്ന പ്രോസസർ ലോഡ് ബാലൻസിങ് സിസ്റ്റം. ടാസ്‌ക് ബഫറിന്റെ അവസ്ഥ നിരീക്ഷിക്കുകയും സ്റ്റക്ക് പ്രോസസ്സുകൾ (സിപിയു സമയം ലഭിക്കാത്തത്) സ്വതന്ത്ര മെഷീനുകളിലേക്ക് പുനർവിതരണം ചെയ്യുകയും ചെയ്യുക എന്നതാണ് ഇതിന്റെ ഉദ്ദേശ്യം.

ഷെനാങ്കോ എങ്ങനെ പ്രവർത്തിക്കുന്നു

റസ്റ്റും C++ ബൈൻഡിംഗുകളും ഉള്ള C-യിലുള്ള ഒരു Linux ലൈബ്രറിയാണ് Shenango. പ്രോജക്റ്റ് കോഡും ടെസ്റ്റ് ആപ്ലിക്കേഷനുകളും പ്രസിദ്ധീകരിക്കുന്നു ശേഖരങ്ങൾ GitHub-ൽ.

ഒരു മൾട്ടിപ്രോസസർ സിസ്റ്റത്തിന്റെ സമർപ്പിത കോറിൽ പ്രവർത്തിക്കുന്ന IOKernel അൽഗോരിതം അടിസ്ഥാനമാക്കിയുള്ളതാണ് പരിഹാരം. ഇത് ഒരു ചട്ടക്കൂട് ഉപയോഗിച്ച് CPU അഭ്യർത്ഥനകൾ കൈകാര്യം ചെയ്യുന്നു ഡിപിഡികെ, ഇത് നെറ്റ്‌വർക്ക് ഉപകരണങ്ങളുമായി നേരിട്ട് ആശയവിനിമയം നടത്താൻ അപ്ലിക്കേഷനുകളെ അനുവദിക്കുന്നു.

ഒരു നിർദ്ദിഷ്ട ടാസ്‌ക് ഏതൊക്കെ കെർണലുകളെ ഏൽപ്പിക്കണമെന്ന് IOKernel തീരുമാനിക്കുന്നു. എത്ര കോറുകൾ വേണമെന്നും അൽഗോരിതം തീരുമാനിക്കുന്നു. ഓരോ പ്രക്രിയയ്ക്കും, പ്രധാന കോറുകളും (ഉറപ്പുള്ളവ) അധികവും (പൊട്ടാവുന്നവ) നിർണ്ണയിക്കപ്പെടുന്നു - സിപിയുവിലേക്കുള്ള അഭ്യർത്ഥനകളുടെ എണ്ണത്തിൽ കുത്തനെ വർദ്ധനവുണ്ടായാൽ രണ്ടാമത്തേത് സമാരംഭിക്കും.

IOKernel അഭ്യർത്ഥന ക്യൂ ഇങ്ങനെ ക്രമീകരിച്ചിരിക്കുന്നു റിംഗ് ബഫർ. ഓരോ അഞ്ച് മൈക്രോസെക്കൻഡിലും, ആൽഗരിതം കാമ്പിലേക്ക് ഏൽപ്പിച്ചിരിക്കുന്ന എല്ലാ ജോലികളും പൂർത്തിയായിട്ടുണ്ടോ എന്ന് പരിശോധിക്കുന്നു. ഇത് ചെയ്യുന്നതിന്, ബഫറിന്റെ തലയുടെ നിലവിലെ സ്ഥാനം അതിന്റെ വാലിന്റെ മുൻ സ്ഥാനവുമായി താരതമ്യം ചെയ്യുന്നു. മുമ്പത്തെ പരിശോധനയുടെ സമയത്ത് വാൽ ഇതിനകം ക്യൂവിൽ ഉണ്ടായിരുന്നുവെന്ന് തെളിഞ്ഞാൽ, സിസ്റ്റം ബഫർ ഓവർലോഡ് ശ്രദ്ധിക്കുകയും പ്രക്രിയയ്ക്കായി ഒരു അധിക കോർ അനുവദിക്കുകയും ചെയ്യുന്നു.

ലോഡ് വിതരണം ചെയ്യുമ്പോൾ, മുൻ‌ഗണന നൽകുന്നത് അതേ പ്രോസസ്സ് മുമ്പ് നടപ്പിലാക്കുകയും കാഷെയിൽ ഭാഗികമായി തുടരുകയും ചെയ്ത കോറുകൾക്ക് അല്ലെങ്കിൽ ഏതെങ്കിലും നിഷ്‌ക്രിയ കോറുകൾക്ക്.

ഷെനാങ്കോ കൂടുതലായി സമീപനം സ്വീകരിക്കുന്നു മോഷ്ടിക്കുന്ന ജോലി. ഒരു ആപ്ലിക്കേഷൻ പ്രവർത്തിപ്പിക്കാൻ അനുവദിച്ചിരിക്കുന്ന കോറുകൾ പരസ്പരം ഉള്ള ജോലികളുടെ എണ്ണം നിരീക്ഷിക്കുന്നു. ഒരു കോർ അതിന്റെ ചുമതലകളുടെ പട്ടിക മറ്റുള്ളവരെക്കാൾ മുമ്പായി പൂർത്തിയാക്കുകയാണെങ്കിൽ, അത് അയൽക്കാരിൽ നിന്നുള്ള ലോഡിന്റെ ഒരു ഭാഗം "ആശ്വാസം" നൽകുന്നു.

ശക്തിയും ബലഹീനതയും

വഴി അനുസരിച്ച് ഒരു സെക്കൻഡിൽ അഞ്ച് ദശലക്ഷം അഭ്യർത്ഥനകൾ പ്രോസസ്സ് ചെയ്യാനും ശരാശരി 37 മൈക്രോസെക്കൻഡ് പ്രതികരണ സമയം നിലനിർത്താനും ഷെനാംഗോയിലെ എംഐടിയിൽ നിന്നുള്ള എഞ്ചിനീയർമാർക്ക് കഴിയും. ഡാറ്റാ സെന്ററുകളിലെ പ്രോസസറുകളുടെ ഉപയോഗ നിരക്ക് 100% വരെ വർദ്ധിപ്പിക്കാൻ ചില സന്ദർഭങ്ങളിൽ സാങ്കേതികവിദ്യയ്ക്ക് കഴിയുമെന്ന് വിദഗ്ധർ പറയുന്നു. തൽഫലമായി, ഡാറ്റാ സെന്റർ ഓപ്പറേറ്റർമാർക്ക് സെർവറുകളുടെ വാങ്ങലും പരിപാലനവും ലാഭിക്കാൻ കഴിയും.

പരിഹാര സാധ്യത ആഘോഷിക്കൂ മറ്റ് സർവകലാശാലകളിൽ നിന്നുള്ള സ്പെഷ്യലിസ്റ്റുകളും. ഒരു കൊറിയൻ ഇൻസ്റ്റിറ്റ്യൂട്ടിലെ ഒരു പ്രൊഫസർ പറയുന്നതനുസരിച്ച്, വെബ് സേവനങ്ങളിലെ കാലതാമസം കുറയ്ക്കാൻ MIT സംവിധാനം സഹായിക്കും. ഉദാഹരണത്തിന്, ഓൺലൈൻ സ്റ്റോറുകളിൽ ഇത് ഉപയോഗപ്രദമാകും. വിൽപന ദിവസങ്ങളിൽ പേജ് ലോഡുചെയ്യുന്നതിൽ രണ്ടാമത്തെ കാലതാമസമുണ്ട് приводит സൈറ്റ് കാഴ്‌ചകളുടെ എണ്ണത്തിൽ 11% കുറവുണ്ടായി. വേഗത്തിലുള്ള ലോഡ് വിതരണം കൂടുതൽ ക്ലയന്റുകളെ സേവിക്കാൻ സഹായിക്കും.

സാങ്കേതികവിദ്യയ്ക്ക് ഇപ്പോഴും പോരായ്മകളുണ്ട് - ഇത് മൾട്ടിപ്രോസസറിനെ പിന്തുണയ്ക്കുന്നില്ല നുമ- ചിപ്പുകൾ വ്യത്യസ്ത മെമ്മറി മൊഡ്യൂളുകളുമായി ബന്ധിപ്പിച്ചിരിക്കുന്നതും പരസ്പരം "ആശയവിനിമയം" ചെയ്യാത്തതുമായ സിസ്റ്റങ്ങൾ. ഈ സാഹചര്യത്തിൽ, IOKernel-ന് ഒരു പ്രത്യേക ഗ്രൂപ്പ് പ്രോസസ്സറുകളുടെ പ്രവർത്തനം നിയന്ത്രിക്കാൻ കഴിയും, എന്നാൽ എല്ലാ സെർവർ ചിപ്പുകളും അല്ല.

/ ഫോട്ടോ ടിം റെക്ക്മാൻ സിസി ബൈ

സമാനമായ സാങ്കേതികവിദ്യകൾ

മറ്റ് പ്രോസസ്സർ ലോഡ് ബാലൻസിങ് സിസ്റ്റങ്ങളിൽ അരാക്നെ ഉൾപ്പെടുന്നു. ഒരു ആപ്ലിക്കേഷൻ ആരംഭിക്കുമ്പോൾ എത്ര കോറുകൾ ആവശ്യമാണെന്ന് ഇത് കണക്കാക്കുകയും ഈ സൂചകം അനുസരിച്ച് പ്രോസസ്സുകൾ വിതരണം ചെയ്യുകയും ചെയ്യുന്നു. രചയിതാക്കൾ പറയുന്നതനുസരിച്ച്, അരാക്നെയിലെ ഒരു ആപ്ലിക്കേഷന്റെ പരമാവധി ലേറ്റൻസി ഏകദേശം 10 ആയിരം മൈക്രോസെക്കൻഡ് ആണ്.

ലിനക്സിനായി ഒരു C++ ലൈബ്രറിയായാണ് സാങ്കേതികവിദ്യ നടപ്പിലാക്കുന്നത്, അതിന്റെ സോഴ്സ് കോഡ് ഇവിടെ ലഭ്യമാണ് സാമൂഹികം.

മറ്റൊരു ബാലൻസിങ് ടൂൾ ZygOS ആണ്. ഷെനാംഗോ പോലെ, പ്രക്രിയകൾ പുനർവിതരണം ചെയ്യാൻ സാങ്കേതികവിദ്യ വർക്ക് സ്റ്റേലിംഗ് രീതി ഉപയോഗിക്കുന്നു. ZygOS-ന്റെ രചയിതാക്കൾ പറയുന്നതനുസരിച്ച്, ഉപകരണം ഉപയോഗിക്കുമ്പോൾ ശരാശരി ആപ്ലിക്കേഷൻ ലേറ്റൻസി ഏകദേശം 150 മൈക്രോസെക്കൻഡ് ആണ്, പരമാവധി 450 മൈക്രോസെക്കൻഡ് ആണ്. പദ്ധതി കോഡും പൊതുസഞ്ചയത്തിലാണ്.

കണ്ടെത്തലുകൾ

ആധുനിക ഡാറ്റാ സെന്ററുകൾ വികസിച്ചുകൊണ്ടിരിക്കുന്നു, വർദ്ധിച്ചുവരുന്ന പ്രവണത ഹൈപ്പർസ്‌കെയിൽ ഡാറ്റാ സെന്ററുകളുടെ വിപണിയിൽ പ്രത്യേകിച്ചും ശ്രദ്ധേയമാണ്: ഇപ്പോൾ ലോകത്ത് നിലവിലുണ്ട് 430 ഹൈപ്പർസ്‌കെയിൽ ഡാറ്റാ സെന്ററുകൾ, എന്നാൽ വരും വർഷങ്ങളിൽ അവയുടെ എണ്ണം 30% വർദ്ധിച്ചേക്കാം. ഇക്കാരണത്താൽ, പ്രോസസർ ലോഡ് ബാലൻസിങ് സാങ്കേതികവിദ്യകൾക്ക് വലിയ ഡിമാൻഡുണ്ടാകും. ഷെനാംഗോ പോലുള്ള സംവിധാനങ്ങൾ ഇതിനകം ലഭ്യമാണ് നടപ്പിലാക്കുക വലിയ കോർപ്പറേഷനുകൾ, അത്തരം ഉപകരണങ്ങളുടെ എണ്ണം ഭാവിയിൽ മാത്രമേ വളരുകയുള്ളൂ.

കോർപ്പറേറ്റ് IaaS നെക്കുറിച്ചുള്ള ആദ്യ ബ്ലോഗിൽ നിന്നുള്ള പോസ്റ്റുകൾ:

• ഒരു ഡാറ്റാ സെന്ററിന്റെ ഊർജ്ജ കാര്യക്ഷമത എങ്ങനെ മെച്ചപ്പെടുത്താം
• പിസിഐ ഡിഎസ്എസിനെക്കുറിച്ച് നിങ്ങൾ അറിയേണ്ടത്: സ്റ്റാൻഡേർഡ് അവലോകനം
• മുമ്പും ശേഷവും ലോകം: DNS പതാക ദിനത്തിന്റെ വരവോടെ ജീവിതം എങ്ങനെ മാറി
• ബിസിനസ്സ് വളരാൻ IaaS എങ്ങനെ സഹായിക്കുന്നു: ക്ലൗഡ് പരിഹരിക്കുന്ന മൂന്ന് വെല്ലുവിളികൾ
• ക്ലൗഡിൽ ഒരു ഡിസ്ക് സിസ്റ്റം പരിശോധിക്കുന്നു: അടിസ്ഥാനങ്ങളും നുറുങ്ങുകളും
• ക്ലൗഡിലേക്കുള്ള സുഗമമായ പരിവർത്തനത്തിനുള്ള 9 സഹായകരമായ നുറുങ്ങുകൾ
• IaaS: ക്ലൗഡ് ഇൻഫ്രാസ്ട്രക്ചർ വാടകയ്ക്ക് എടുത്തതിന് ശേഷമുള്ള ആദ്യ ഘട്ടങ്ങൾ

അവലംബം: www.habr.com