ടപ്പർവെയർ: ഫേസ്ബുക്കിന്റെ കുബർനെറ്റസ് കൊലയാളി?

Tupperware ഉപയോഗിച്ച് ഏത് സ്കെയിലിലും ക്ലസ്റ്ററുകളുടെ കാര്യക്ഷമവും വിശ്വസനീയവുമായ മാനേജ്മെന്റ്

ഇന്ന് സിസ്റ്റംസ്@സ്കെയിൽ കോൺഫറൻസ് ഞങ്ങളുടെ മിക്കവാറും എല്ലാ സേവനങ്ങളും പ്രവർത്തിക്കുന്ന ദശലക്ഷക്കണക്കിന് സെർവറുകളിലുടനീളം കണ്ടെയ്‌നറുകൾ ക്രമീകരിക്കുന്ന ഞങ്ങളുടെ ക്ലസ്റ്റർ മാനേജ്‌മെന്റ് സിസ്റ്റമായ Tupperware ഞങ്ങൾ അവതരിപ്പിച്ചു. 2011-ൽ ഞങ്ങൾ ആദ്യമായി Tupperware വിന്യസിച്ചു, അതിനുശേഷം ഞങ്ങളുടെ അടിസ്ഥാന സൗകര്യങ്ങൾ വളർന്നു 1 ഡാറ്റാ സെന്റർ മൊത്തത്തിൽ 15 ജിയോ ഡിസ്ട്രിബ്യൂട്ടഡ് ഡാറ്റാ സെന്ററുകൾ. ഇക്കാലമത്രയും, ടപ്പർവെയർ നിശ്ചലമായി നിൽക്കാതെ ഞങ്ങളോടൊപ്പം വികസിപ്പിച്ചെടുത്തു. സ്റ്റേറ്റ്ഫുൾ സേവനങ്ങൾക്കുള്ള സൗകര്യപ്രദമായ പിന്തുണ, എല്ലാ ഡാറ്റാ സെന്ററുകൾക്കുമുള്ള ഒരൊറ്റ കൺട്രോൾ പാനൽ, തത്സമയം സേവനങ്ങൾക്കിടയിൽ ശേഷി വിതരണം ചെയ്യാനുള്ള കഴിവ് എന്നിവയുൾപ്പെടെ Tupperware ഫസ്റ്റ്-ക്ലാസ് ക്ലസ്റ്റർ മാനേജ്മെന്റ് എങ്ങനെ നൽകുന്നുവെന്ന് ഞങ്ങൾ നിങ്ങളെ കാണിക്കും. ഞങ്ങളുടെ ഇൻഫ്രാസ്ട്രക്ചർ വികസിക്കുമ്പോൾ ഞങ്ങൾ പഠിച്ച പാഠങ്ങളും ഞങ്ങൾ പങ്കിടും.

Tupperware വ്യത്യസ്ത ജോലികൾ ചെയ്യുന്നു. ആപ്ലിക്കേഷനുകൾ ഡെലിവർ ചെയ്യുന്നതിനും കൈകാര്യം ചെയ്യുന്നതിനും ആപ്ലിക്കേഷൻ ഡെവലപ്പർമാർ ഇത് ഉപയോഗിക്കുന്നു. ഇത് ആപ്ലിക്കേഷൻ കോഡും ഡിപൻഡൻസികളും ഒരു ഇമേജിലേക്ക് പാക്കേജ് ചെയ്യുകയും സെർവറുകളിലേക്ക് കണ്ടെയ്‌നറുകളായി വിതരണം ചെയ്യുകയും ചെയ്യുന്നു. കണ്ടെയ്‌നറുകൾ ഒരേ സെർവറിലെ ആപ്ലിക്കേഷനുകൾക്കിടയിൽ ഒറ്റപ്പെടൽ നൽകുന്നതിനാൽ ഡെവലപ്പർമാർ ആപ്ലിക്കേഷൻ ലോജിക്ക് കൈകാര്യം ചെയ്യുന്നു, സെർവറുകൾ കണ്ടെത്തുന്നതിനോ അപ്‌ഡേറ്റുകൾ കൈകാര്യം ചെയ്യുന്നതിനോ വിഷമിക്കേണ്ടതില്ല. ടപ്പർവെയർ സെർവറിന്റെ പ്രകടനവും നിരീക്ഷിക്കുന്നു, ഒരു പരാജയം കണ്ടെത്തിയാൽ, അത് പ്രശ്നമുള്ള സെർവറിൽ നിന്ന് കണ്ടെയ്നറുകൾ കൈമാറുന്നു.

കപ്പാസിറ്റി പ്ലാനിംഗ് എഞ്ചിനീയർമാർ ബഡ്ജറ്റും നിയന്ത്രണങ്ങളും അടിസ്ഥാനമാക്കി ടീമുകൾക്ക് സെർവർ ശേഷി അനുവദിക്കുന്നതിന് ടപ്പർവെയർ ഉപയോഗിക്കുന്നു. സെർവർ ഉപയോഗം മെച്ചപ്പെടുത്താനും അവർ ഇത് ഉപയോഗിക്കുന്നു. ഡാറ്റാ സെന്ററുകളിൽ ഉടനീളം കണ്ടെയ്‌നറുകൾ ശരിയായി വിതരണം ചെയ്യുന്നതിനും അറ്റകുറ്റപ്പണി സമയത്ത് കണ്ടെയ്‌നറുകൾ നിർത്തുകയോ നീക്കുകയോ ചെയ്യുന്നതിനായി ഡാറ്റാ സെന്റർ ഓപ്പറേറ്റർമാർ ടപ്പർവെയറിലേക്ക് തിരിയുന്നു. ഇതിന് നന്ദി, സെർവറുകൾ, നെറ്റ്‌വർക്കുകൾ, ഉപകരണങ്ങൾ എന്നിവ പരിപാലിക്കുന്നതിന് കുറഞ്ഞ മനുഷ്യ ഇടപെടൽ ആവശ്യമാണ്.

ടപ്പർവെയർ ആർക്കിടെക്ചർ

Tupperware PRN ആർക്കിടെക്ചർ ഞങ്ങളുടെ ഡാറ്റാ സെന്ററുകളുടെ ഒരു മേഖലയാണ്. ഈ പ്രദേശത്ത് സമീപത്ത് സ്ഥിതി ചെയ്യുന്ന നിരവധി ഡാറ്റാ സെന്റർ കെട്ടിടങ്ങൾ (PRN1, PRN2) അടങ്ങിയിരിക്കുന്നു. ഒരു മേഖലയിലെ എല്ലാ സെർവറുകളും നിയന്ത്രിക്കുന്ന ഒരു നിയന്ത്രണ പാനൽ നിർമ്മിക്കാൻ ഞങ്ങൾ പദ്ധതിയിടുന്നു.

ആപ്ലിക്കേഷൻ ഡെവലപ്പർമാർ ടപ്പർവെയർ ജോലികളുടെ രൂപത്തിൽ സേവനങ്ങൾ നൽകുന്നു. ഒരു ജോലിയിൽ ഒന്നിലധികം കണ്ടെയ്‌നറുകൾ അടങ്ങിയിരിക്കുന്നു, അവയെല്ലാം സാധാരണയായി ഒരേ ആപ്ലിക്കേഷൻ കോഡ് പ്രവർത്തിപ്പിക്കുന്നു.

കണ്ടെയ്‌നറുകൾ ലഭ്യമാക്കുന്നതിനും അവയുടെ ജീവിതചക്രം നിയന്ത്രിക്കുന്നതിനും ടപ്പർവെയർ ഉത്തരവാദികളാണ്. ഇതിൽ നിരവധി ഘടകങ്ങൾ അടങ്ങിയിരിക്കുന്നു:

• Tupperware ഫ്രണ്ട്‌എൻഡ് നിങ്ങൾക്ക് Tupperware-മായി സംവദിക്കാൻ കഴിയുന്ന ഉപയോക്തൃ ഇന്റർഫേസ്, CLI, മറ്റ് ഓട്ടോമേഷൻ ടൂളുകൾ എന്നിവയ്‌ക്കായി API-കൾ നൽകുന്നു. അവർ Tupperware ജോലി ഉടമകളിൽ നിന്ന് മുഴുവൻ ആന്തരിക ഘടനയും മറയ്ക്കുന്നു.
• ടപ്പർവെയർ ഷെഡ്യൂളർ കണ്ടെയ്നറും ജോലിയുടെ ജീവിതചക്രവും കൈകാര്യം ചെയ്യുന്നതിനുള്ള ഉത്തരവാദിത്തമുള്ള ഒരു നിയന്ത്രണ പാനലാണ്. ഇത് റീജിയണൽ, ഗ്ലോബൽ തലങ്ങളിൽ വിന്യസിച്ചിരിക്കുന്നു, അവിടെ റീജിയണൽ ഷെഡ്യൂളർ ഒരു മേഖലയിലെ സെർവറുകൾ നിയന്ത്രിക്കുകയും ആഗോള ഷെഡ്യൂളർ വിവിധ പ്രദേശങ്ങളിൽ നിന്നുള്ള സെർവറുകൾ നിയന്ത്രിക്കുകയും ചെയ്യുന്നു. ഷെഡ്യൂളർ ഷാർഡുകളായി തിരിച്ചിരിക്കുന്നു, ഓരോ ഷാർഡും ഒരു കൂട്ടം ജോലികൾ കൈകാര്യം ചെയ്യുന്നു.
• Tupperware-ന്റെ Scheduler Proxy ആന്തരിക ഷാർഡിംഗ് മറയ്ക്കുകയും Tupperware ഉപയോക്താക്കൾക്ക് സൗകര്യപ്രദമായ ഒരു ഗ്ലാസ് ഗ്ലാസ് നൽകുകയും ചെയ്യുന്നു.
• ടപ്പർവെയർ അലോക്കേറ്റർ സെർവറുകളിലേക്ക് കണ്ടെയ്‌നറുകൾ അസൈൻ ചെയ്യുന്നു. കണ്ടെയ്‌നറുകൾ നിർത്തുന്നതും ആരംഭിക്കുന്നതും അപ്‌ഡേറ്റുചെയ്യുന്നതും പരാജയപ്പെടുന്നതും ഷെഡ്യൂളർ കൈകാര്യം ചെയ്യുന്നു. നിലവിൽ, ഒരു അലോക്കേറ്റർക്ക് മുഴുവൻ പ്രദേശവും കഷ്ണങ്ങളായി വിഭജിക്കാതെ കൈകാര്യം ചെയ്യാൻ കഴിയും. (ടെർമിനോളജിയിലെ വ്യത്യാസം ശ്രദ്ധിക്കുക. ഉദാഹരണത്തിന്, Tupperware-ലെ ഷെഡ്യൂളർ കൺട്രോൾ പാനലുമായി യോജിക്കുന്നു കുബേർനെറ്റ്, ടപ്പർവെയർ അലോക്കേറ്ററിനെ കുബർനെറ്റസിൽ ഷെഡ്യൂളർ എന്ന് വിളിക്കുന്നു.)
• റിസോഴ്സ് ബ്രോക്കർ സെർവറിനും സേവന ഇവന്റുകൾക്കുമായി സത്യത്തിന്റെ ഉറവിടം സംഭരിക്കുന്നു. ഓരോ ഡാറ്റാ സെന്ററിനുമായി ഞങ്ങൾ ഒരു റിസോഴ്സ് ബ്രോക്കർ പ്രവർത്തിപ്പിക്കുന്നു, കൂടാതെ അത് ആ ഡാറ്റാ സെന്ററിലെ സെർവറുകളെക്കുറിച്ചുള്ള എല്ലാ വിവരങ്ങളും സംഭരിക്കുന്നു. റിസോഴ്‌സ് ബ്രോക്കറും കപ്പാസിറ്റി മാനേജ്‌മെന്റ് സിസ്റ്റവും അല്ലെങ്കിൽ റിസോഴ്‌സ് പ്രൊവിഷനിംഗ് സിസ്റ്റവും, ഏത് ഷെഡ്യൂളർ ഡെലിവറി ഏത് സെർവറിനെ നിയന്ത്രിക്കണമെന്ന് ചലനാത്മകമായി തീരുമാനിക്കുന്നു. ആരോഗ്യ പരിശോധന സേവനം സെർവറുകൾ നിരീക്ഷിക്കുകയും റിസോഴ്സ് ബ്രോക്കറിൽ അവരുടെ ആരോഗ്യത്തെക്കുറിച്ചുള്ള ഡാറ്റ സംഭരിക്കുകയും ചെയ്യുന്നു. ഒരു സെർവറിന് പ്രശ്‌നങ്ങളോ അറ്റകുറ്റപ്പണി ആവശ്യമോ ആണെങ്കിൽ, കണ്ടെയ്‌നറുകൾ നിർത്താനോ മറ്റ് സെർവറുകളിലേക്ക് നീക്കാനോ റിസോഴ്‌സ് ബ്രോക്കർ അലോക്കേറ്ററോടും ഷെഡ്യൂളറോടും പറയുന്നു.
• ടപ്പർവെയർ ഏജന്റ് ഓരോ സെർവറിലും പ്രവർത്തിക്കുന്ന ഒരു ഡെമൺ ആണ്, അത് കണ്ടെയ്നറുകൾ പ്രൊവിഷനിംഗും നീക്കംചെയ്യലും കൈകാര്യം ചെയ്യുന്നു. ആപ്ലിക്കേഷനുകൾ ഒരു കണ്ടെയ്‌നറിനുള്ളിൽ പ്രവർത്തിക്കുന്നു, അത് അവയ്ക്ക് കൂടുതൽ ഒറ്റപ്പെടലും പുനരുൽപാദനക്ഷമതയും നൽകുന്നു. ഓൺ കഴിഞ്ഞ വർഷത്തെ സിസ്റ്റം @സ്കെയിൽ കോൺഫറൻസ് ഇമേജുകൾ, btrfs, cgroupv2, systemd എന്നിവ ഉപയോഗിച്ച് വ്യക്തിഗത Tupperware കണ്ടെയ്നറുകൾ എങ്ങനെ സൃഷ്ടിക്കപ്പെടുന്നുവെന്ന് ഞങ്ങൾ ഇതിനകം വിവരിച്ചിട്ടുണ്ട്.

Tupperware-ന്റെ സവിശേഷ സവിശേഷതകൾ

ടപ്പർവെയർ കുബെർനെറ്റസ് പോലുള്ള മറ്റ് ക്ലസ്റ്റർ മാനേജ്മെന്റ് സിസ്റ്റങ്ങളുമായി പല തരത്തിൽ സമാനമാണ് മെസോസ്, എന്നാൽ വ്യത്യാസങ്ങളും ഉണ്ട്:

• സംസ്ഥാന സേവനങ്ങൾക്കുള്ള അന്തർനിർമ്മിത പിന്തുണ.
• ഉദ്ദേശ്യം, ക്ലസ്റ്ററുകൾ ഡീകമ്മീഷൻ ചെയ്യൽ, അറ്റകുറ്റപ്പണികൾ എന്നിവയെ അടിസ്ഥാനമാക്കി കണ്ടെയ്‌നറുകളുടെ ഡെലിവറി ഓട്ടോമേറ്റ് ചെയ്യുന്നതിന് വ്യത്യസ്ത ഡാറ്റാ സെന്ററുകളിലെ സെർവറുകൾക്കുള്ള ഒരൊറ്റ നിയന്ത്രണ പാനൽ.
• സൂം ചെയ്യുന്നതിനായി കൺട്രോൾ പാനലിന്റെ ഡിവിഷൻ മായ്‌ക്കുക.
• തത്സമയം സേവനങ്ങൾക്കിടയിൽ വൈദ്യുതി വിതരണം ചെയ്യാൻ ഇലാസ്റ്റിക് കമ്പ്യൂട്ടിംഗ് നിങ്ങളെ അനുവദിക്കുന്നു.

ഒരു വലിയ ആഗോള പങ്കിട്ട സെർവർ ഫ്ലീറ്റിൽ ഉടനീളമുള്ള സ്‌റ്റേറ്റ്‌ലെസ്, സ്റ്റേറ്റ്‌ഫുൾ ആപ്ലിക്കേഷനുകളെ പിന്തുണയ്‌ക്കുന്നതിന് ഞങ്ങൾ ഈ രസകരമായ സവിശേഷതകൾ വികസിപ്പിച്ചെടുത്തു.

സംസ്ഥാന സേവനങ്ങൾക്കുള്ള അന്തർനിർമ്മിത പിന്തുണ.

Facebook, Instagram, Messenger, WhatsApp എന്നിവയ്‌ക്കായി സ്ഥിരമായ ഉൽപ്പന്ന ഡാറ്റ സംഭരിക്കുന്ന വിവിധ നിർണായക സംസ്ഥാന സേവനങ്ങൾ Tupperware പ്രവർത്തിപ്പിക്കുന്നു. ഇവ കീ-വാല്യൂ ജോഡികളുടെ വലിയ സ്റ്റോറുകളായിരിക്കാം (ഉദാ. സിപ്പിഡിബി) കൂടാതെ ഡാറ്റ റിപ്പോസിറ്ററികൾ നിരീക്ഷിക്കുന്നു (ഉദാഹരണത്തിന്, ODS ഗൊറില്ല и സ്കൂബ). സ്റ്റേറ്റ്‌ഫുൾ സേവനങ്ങൾ നിലനിർത്തുന്നത് എളുപ്പമല്ല, കാരണം നെറ്റ്‌വർക്ക് തകരാറുകളോ വൈദ്യുതി മുടക്കമോ ഉൾപ്പെടെയുള്ള വലിയ തോതിലുള്ള തടസ്സങ്ങളെ കണ്ടെയ്‌നറുകളുടെ വിതരണത്തിന് നേരിടാൻ കഴിയുമെന്ന് സിസ്റ്റം ഉറപ്പാക്കണം. തെറ്റായ ഡൊമെയ്‌നുകളിലുടനീളം കണ്ടെയ്‌നറുകൾ വിതരണം ചെയ്യുന്നത് പോലുള്ള പരമ്പരാഗത സാങ്കേതിക വിദ്യകൾ, സ്‌റ്റേറ്റ്‌ലെസ് സേവനങ്ങൾക്ക് നന്നായി പ്രവർത്തിക്കുമ്പോൾ, സ്റ്റേറ്റ്‌ഫുൾ സേവനങ്ങൾക്ക് അധിക പിന്തുണ ആവശ്യമാണ്.

ഉദാഹരണത്തിന്, ഒരു സെർവർ പരാജയം ഒരു ഡാറ്റാബേസ് പകർപ്പ് ലഭ്യമല്ലെങ്കിൽ, 50 പൂളിൽ നിന്ന് 10 സെർവറുകളിലെ കോറുകൾ അപ്‌ഡേറ്റ് ചെയ്യുന്ന ഓട്ടോമാറ്റിക് മെയിന്റനൻസ് നിങ്ങൾ പ്രവർത്തനക്ഷമമാക്കണോ? സാഹചര്യത്തെ ആശ്രയിച്ചിരിക്കുന്നു. ഈ 50 സെർവറുകളിൽ ഒന്നിന് അതേ ഡാറ്റാബേസിന്റെ മറ്റൊരു പകർപ്പുണ്ടെങ്കിൽ, ഒരേസമയം 2 പകർപ്പുകൾ നഷ്ടപ്പെടാതെ കാത്തിരിക്കുന്നതാണ് നല്ലത്. സിസ്റ്റം മെയിന്റനൻസ്, പെർഫോമൻസ് എന്നിവയെ കുറിച്ച് ചലനാത്മകമായി തീരുമാനങ്ങൾ എടുക്കുന്നതിന്, ഞങ്ങൾക്ക് ഇന്റേണൽ ഡാറ്റ റെപ്ലിക്കേഷനെക്കുറിച്ചും ഓരോ സ്റ്റേറ്റ്ഫുൾ സേവനത്തിന്റെയും പ്ലെയ്‌സ്‌മെന്റ് ലോജിക്കിനെക്കുറിച്ചുമുള്ള വിവരങ്ങൾ ആവശ്യമാണ്.

ഡാറ്റാ ലഭ്യതയെ ബാധിക്കുന്ന തീരുമാനങ്ങളെ സ്വാധീനിക്കാൻ ടാസ്ക് കൺട്രോൾ ഇന്റർഫേസ് സ്റ്റേറ്റ്ഫുൾ സേവനങ്ങളെ അനുവദിക്കുന്നു. ഈ ഇന്റർഫേസ് ഉപയോഗിച്ച്, ഷെഡ്യൂളർ കണ്ടെയ്‌നർ പ്രവർത്തനങ്ങളെക്കുറിച്ച് (പുനരാരംഭിക്കുക, അപ്‌ഡേറ്റ്, മൈഗ്രേഷൻ, പരിപാലനം) ബാഹ്യ ആപ്ലിക്കേഷനുകളെ അറിയിക്കുന്നു. ഓരോ ഓപ്പറേഷനും നടത്തുന്നത് സുരക്ഷിതമാണെന്ന് Tupperware-നോട് പറയുന്ന ഒരു കൺട്രോളർ ഒരു സ്റ്റേറ്റ്ഫുൾ സേവനം നടപ്പിലാക്കുന്നു, ഈ പ്രവർത്തനങ്ങൾ താൽക്കാലികമായി മാറ്റുകയോ വൈകുകയോ ചെയ്യാം. മുകളിലുള്ള ഉദാഹരണത്തിൽ, ഡാറ്റാബേസ് കൺട്രോളറിന് 49 സെർവറുകളിൽ 50 എണ്ണം അപ്ഡേറ്റ് ചെയ്യാൻ Tupperware-നോട് പറയാൻ കഴിയും, എന്നാൽ ഇപ്പോൾ ഒരു പ്രത്യേക സെർവർ (X) മാത്രം വിടുക. തൽഫലമായി, കേർണൽ അപ്‌ഡേറ്റ് കാലയളവ് കടന്നുപോകുകയും ഡാറ്റാബേസിന് ഇപ്പോഴും പ്രശ്നമുള്ള പകർപ്പ് പുനഃസ്ഥാപിക്കാൻ കഴിയുന്നില്ലെങ്കിൽ, Tupperware തുടർന്നും X സെർവർ അപ്ഡേറ്റ് ചെയ്യും.

Tupperware-ലെ പല സ്റ്റേറ്റ്ഫുൾ സേവനങ്ങളും TaskControl ഉപയോഗിക്കുന്നത് നേരിട്ടല്ല, മറിച്ച് Facebook-ൽ സ്റ്റേറ്റ്ഫുൾ സേവനങ്ങൾ സൃഷ്ടിക്കുന്നതിനുള്ള ഒരു പൊതു പ്ലാറ്റ്ഫോമായ ShardManager വഴിയാണ്. ടപ്പർവെയർ ഉപയോഗിച്ച്, ഡാറ്റാ സെന്ററുകളിലുടനീളം കണ്ടെയ്‌നറുകൾ എങ്ങനെ വിതരണം ചെയ്യണമെന്ന് ഡവലപ്പർമാർക്ക് അവരുടെ ഉദ്ദേശ്യം വ്യക്തമാക്കാൻ കഴിയും. ഷാർഡ്മാനേജർ ഉപയോഗിച്ച്, കണ്ടെയ്നറുകളിലുടനീളം ഡാറ്റ ഷാർഡുകൾ എങ്ങനെ വിതരണം ചെയ്യണമെന്ന് ഡവലപ്പർമാർ അവരുടെ ഉദ്ദേശ്യം വ്യക്തമാക്കുന്നു. ShardManager അതിന്റെ ആപ്ലിക്കേഷനുകളുടെ ഡാറ്റാ പ്ലേസ്‌മെന്റിനെയും പകർപ്പിനെയും കുറിച്ച് ബോധവാന്മാരാണ് കൂടാതെ നേരിട്ടുള്ള ആപ്ലിക്കേഷൻ പങ്കാളിത്തമില്ലാതെ കണ്ടെയ്‌നർ പ്രവർത്തനങ്ങൾ ഷെഡ്യൂൾ ചെയ്യുന്നതിന് ടാസ്ക് കൺട്രോൾ ഇന്റർഫേസ് വഴി Tupperware-മായി ആശയവിനിമയം നടത്തുന്നു. ഈ സംയോജനം സ്‌റ്റേറ്റ്‌ഫുൾ സേവനങ്ങളുടെ മാനേജ്‌മെന്റിനെ വളരെയധികം ലളിതമാക്കുന്നു, പക്ഷേ ടാസ്‌ക്‌കൺട്രോളിന് കൂടുതൽ കഴിവുണ്ട്. ഉദാഹരണത്തിന്, ഞങ്ങളുടെ വിപുലമായ വെബ് ടയർ സ്‌റ്റേറ്റ്‌ലെസ് ആണ് കൂടാതെ കണ്ടെയ്‌നറുകളിലേക്കുള്ള അപ്‌ഡേറ്റുകളുടെ നിരക്ക് ചലനാത്മകമായി ക്രമീകരിക്കുന്നതിന് TaskControl ഉപയോഗിക്കുന്നു. ഒടുവിൽ ഒന്നിലധികം സോഫ്റ്റ്‌വെയർ റിലീസുകൾ വേഗത്തിൽ പൂർത്തിയാക്കാൻ വെബ് ടയർ പ്രാപ്തമാണ് ലഭ്യതയിൽ വിട്ടുവീഴ്ച ചെയ്യാതെ പ്രതിദിനം.

ഡാറ്റാ സെന്ററുകളിലെ സെർവറുകൾ നിയന്ത്രിക്കുന്നു

2011-ൽ ടപ്പർവെയർ ആദ്യമായി സമാരംഭിച്ചപ്പോൾ, ഓരോ സെർവർ ക്ലസ്റ്ററും ഒരു പ്രത്യേക ഷെഡ്യൂളർ കൈകാര്യം ചെയ്തു. അക്കാലത്ത്, ഒരു നെറ്റ്‌വർക്ക് സ്വിച്ചിലേക്ക് ബന്ധിപ്പിച്ചിരിക്കുന്ന സെർവർ റാക്കുകളുടെ ഒരു കൂട്ടമായിരുന്നു ഫേസ്ബുക്ക് ക്ലസ്റ്റർ, കൂടാതെ ഡാറ്റാ സെന്ററിൽ നിരവധി ക്ലസ്റ്ററുകൾ ഉണ്ടായിരുന്നു. ഷെഡ്യൂളർക്ക് ഒരു ക്ലസ്റ്ററിലെ സെർവറുകൾ മാത്രമേ നിയന്ത്രിക്കാനാകൂ, അതായത് ജോലി ഒന്നിലധികം ക്ലസ്റ്ററുകളിൽ വ്യാപിക്കില്ല. ഞങ്ങളുടെ അടിസ്ഥാന സൗകര്യങ്ങൾ വളർന്നു, ഞങ്ങൾ കൂടുതലായി ക്ലസ്റ്ററുകൾ എഴുതിത്തള്ളി. ടപ്പർവെയറിന് ഡീകമ്മീഷൻ ചെയ്ത ക്ലസ്റ്ററിൽ നിന്ന് മറ്റ് ക്ലസ്റ്ററുകളിലേക്ക് മാറ്റങ്ങളില്ലാതെ ജോലി മാറ്റാൻ കഴിയാത്തതിനാൽ, ഇതിന് വളരെയധികം പരിശ്രമവും ആപ്ലിക്കേഷൻ ഡെവലപ്പർമാരും ഡാറ്റാ സെന്റർ ഓപ്പറേറ്റർമാരും തമ്മിലുള്ള സൂക്ഷ്മമായ ഏകോപനവും ആവശ്യമാണ്. ഡീകമ്മീഷനിംഗ് നടപടിക്രമങ്ങൾ കാരണം സെർവറുകൾ മാസങ്ങളോളം പ്രവർത്തനരഹിതമായപ്പോൾ ഈ പ്രക്രിയ വിഭവങ്ങൾ പാഴാക്കുന്നതിന് കാരണമായി.

ക്ലസ്റ്റർ ഡീകമ്മീഷനിംഗ് പ്രശ്നം പരിഹരിക്കുന്നതിനും മറ്റ് തരത്തിലുള്ള മെയിന്റനൻസ് ടാസ്ക്കുകൾ ഏകോപിപ്പിക്കുന്നതിനുമായി ഞങ്ങൾ ഒരു റിസോഴ്സ് ബ്രോക്കർ സൃഷ്ടിച്ചു. റിസോഴ്‌സ് ബ്രോക്കർ ഒരു സെർവറുമായി ബന്ധപ്പെട്ട എല്ലാ ഫിസിക്കൽ വിവരങ്ങളുടെയും ട്രാക്ക് സൂക്ഷിക്കുകയും ഓരോ സെർവറും ഏത് ഷെഡ്യൂളർ നിയന്ത്രിക്കണമെന്ന് ചലനാത്മകമായി തീരുമാനിക്കുകയും ചെയ്യുന്നു. ഷെഡ്യൂളറുകളിലേക്ക് സെർവറുകൾ ഡൈനാമിക് ആയി ലിങ്ക് ചെയ്യുന്നത് വ്യത്യസ്ത ഡാറ്റാ സെന്ററുകളിലെ സെർവറുകൾ നിയന്ത്രിക്കാൻ ഷെഡ്യൂളറെ അനുവദിക്കുന്നു. ഒരു Tupperware ജോലി ഇനി ഒരു ക്ലസ്റ്ററിൽ മാത്രമായി പരിമിതപ്പെടുത്താത്തതിനാൽ, തെറ്റായ ഡൊമെയ്‌നുകളിലുടനീളം കണ്ടെയ്‌നറുകൾ എങ്ങനെ വിതരണം ചെയ്യണമെന്ന് Tupperware ഉപയോക്താക്കൾക്ക് വ്യക്തമാക്കാനാകും. ഉദാഹരണത്തിന്, ഒരു ഡെവലപ്പർക്ക് നിർദ്ദിഷ്ട ലഭ്യത സോണുകൾ വ്യക്തമാക്കാതെ തന്നെ തന്റെ ഉദ്ദേശ്യം പ്രഖ്യാപിക്കാൻ കഴിയും (പറയുക: "PRN മേഖലയിലെ 2 തെറ്റായ ഡൊമെയ്‌നുകളിൽ എന്റെ ജോലി പ്രവർത്തിപ്പിക്കുക"). ക്ലസ്റ്ററോ സേവനമോ ഡീകമ്മീഷൻ ചെയ്താലും, ടപ്പർവെയർ തന്നെ ഈ ഉദ്ദേശം നടപ്പിലാക്കാൻ അനുയോജ്യമായ സെർവറുകൾ കണ്ടെത്തും.

മുഴുവൻ ആഗോള സംവിധാനത്തെയും പിന്തുണയ്ക്കാൻ സ്കെയിലബിൾ

ചരിത്രപരമായി, ഞങ്ങളുടെ ഇൻഫ്രാസ്ട്രക്ചറിനെ വ്യക്തിഗത ടീമുകൾക്കായി നൂറുകണക്കിന് സമർപ്പിത സെർവർ പൂളുകളായി തിരിച്ചിരിക്കുന്നു. വിഘടനവും മാനദണ്ഡങ്ങളുടെ അഭാവവും കാരണം, ഞങ്ങൾക്ക് ഉയർന്ന പ്രവർത്തന ചിലവുകൾ ഉണ്ടായിരുന്നു, കൂടാതെ നിഷ്ക്രിയ സെർവറുകൾ വീണ്ടും ഉപയോഗിക്കാൻ കൂടുതൽ ബുദ്ധിമുട്ടായിരുന്നു. കഴിഞ്ഞ വർഷത്തെ സമ്മേളനത്തിൽ സിസ്റ്റങ്ങൾ @സ്കെയിൽ ഞങ്ങൾ അവതരിപ്പിച്ചു ഒരു സേവനമായി അടിസ്ഥാന സൗകര്യങ്ങൾ (IaaS), ഇത് നമ്മുടെ അടിസ്ഥാന സൗകര്യങ്ങളെ ഒരു വലിയ ഒറ്റ സെർവർ പാർക്കാക്കി മാറ്റും. എന്നാൽ ഒരൊറ്റ സെർവർ പാർക്കിന് അതിന്റേതായ ബുദ്ധിമുട്ടുകളുണ്ട്. ഇത് ചില ആവശ്യകതകൾ പാലിക്കണം:

• സ്കേലബിളിറ്റി. ഓരോ പ്രദേശത്തും ഞങ്ങൾ ഡാറ്റാ സെന്ററുകൾ ചേർക്കുമ്പോൾ ഞങ്ങളുടെ അടിസ്ഥാന സൗകര്യങ്ങൾ വളർന്നു. സെർവറുകൾ ചെറുതും കൂടുതൽ ഊർജ്ജക്ഷമതയുള്ളതുമായിത്തീർന്നിരിക്കുന്നു, അതിനാൽ ഓരോ പ്രദേശത്തും അവയിൽ കൂടുതൽ എണ്ണം ഉണ്ട്. തൽഫലമായി, ഓരോ പ്രദേശത്തെയും ലക്ഷക്കണക്കിന് സെർവറുകളിൽ പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്ന കണ്ടെയ്‌നറുകളുടെ എണ്ണം ഓരോ പ്രദേശത്തിനും ഒരു ഷെഡ്യൂളർക്ക് കൈകാര്യം ചെയ്യാൻ കഴിയില്ല.
• വിശ്വാസ്യത ഷെഡ്യൂളറിനെ ഇത്രയധികം വർധിപ്പിക്കാൻ കഴിയുമെങ്കിലും, ഷെഡ്യൂളറിന്റെ വലിയ വ്യാപ്തി അർത്ഥമാക്കുന്നത് പിശകുകളുടെ ഉയർന്ന അപകടസാധ്യതയുണ്ടെന്നും കണ്ടെയ്നറുകളുടെ ഒരു പ്രദേശം മുഴുവൻ നിയന്ത്രിക്കാനാകാത്തതാണെന്നും.
• തെറ്റ് സഹിഷ്ണുത. ഒരു വലിയ ഇൻഫ്രാസ്ട്രക്ചർ പരാജയം സംഭവിക്കുമ്പോൾ (ഉദാഹരണത്തിന്, ഒരു നെറ്റ്‌വർക്ക് തകരാർ അല്ലെങ്കിൽ വൈദ്യുതി തടസ്സം കാരണം ഷെഡ്യൂളർ പ്രവർത്തിപ്പിക്കുന്ന സെർവറുകൾ പരാജയപ്പെടുന്നു), നെഗറ്റീവ് പരിണതഫലങ്ങൾ മേഖലയിലെ സെർവറുകളുടെ ഒരു ഭാഗത്തെ മാത്രമേ ബാധിക്കൂ.
• ഉപകാരപ്രദമായ ഉപയോഗത്തിന്. ഒരു പ്രദേശത്തിനായി നിങ്ങൾ നിരവധി സ്വതന്ത്ര ഷെഡ്യൂളറുകൾ പ്രവർത്തിപ്പിക്കേണ്ടതുണ്ടെന്ന് തോന്നിയേക്കാം. എന്നാൽ സൗകര്യപ്രദമായ വീക്ഷണകോണിൽ നിന്ന്, ഒരു പ്രദേശത്തിന്റെ പങ്കിട്ട പൂളിലേക്കുള്ള പ്രവേശനത്തിന്റെ ഒരൊറ്റ പോയിന്റ് ശേഷിയും ജോലിയും നിയന്ത്രിക്കുന്നത് എളുപ്പമാക്കുന്നു.

ഒരു വലിയ പങ്കിട്ട പൂൾ പരിപാലിക്കുന്നതിനുള്ള പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് ഞങ്ങൾ ഷെഡ്യൂളറിനെ ഷാർഡുകളായി വിഭജിച്ചു. ഓരോ ഷെഡ്യൂളർ ഷാർഡും ഈ മേഖലയിലെ സ്വന്തം ജോലികൾ കൈകാര്യം ചെയ്യുന്നു, ഇത് ഷെഡ്യൂളറുമായി ബന്ധപ്പെട്ട അപകടസാധ്യത കുറയ്ക്കുന്നു. പങ്കിട്ട പൂൾ വളരുന്നതിനനുസരിച്ച്, നമുക്ക് കൂടുതൽ ഷെഡ്യൂളർ ഷാർഡുകൾ ചേർക്കാം. Tupperware ഉപയോക്താക്കൾക്ക്, ഷാർഡുകളും ഷെഡ്യൂളർ പ്രോക്സികളും ഒരു നിയന്ത്രണ പാനൽ പോലെയാണ്. ടാസ്‌ക്കുകൾ ക്രമീകരിക്കുന്ന ഒരു കൂട്ടം ചില്ലുകളുമായി അവർക്ക് പ്രവർത്തിക്കേണ്ടതില്ല. നെറ്റ്‌വർക്ക് ടോപ്പോളജി അനുസരിച്ച് സെർവറുകളുടെ പങ്കിട്ട പൂളിനെ സ്ഥിരമായി വിഭജിക്കാതെ കൺട്രോൾ പാനൽ വിഭജിക്കുമ്പോൾ, ഞങ്ങൾ മുമ്പ് ഉപയോഗിച്ച ക്ലസ്റ്റർ ഷെഡ്യൂളറുകളിൽ നിന്ന് ഷെഡ്യൂളർ ഷാർഡുകൾ അടിസ്ഥാനപരമായി വ്യത്യസ്തമാണ്.

ഇലാസ്റ്റിക് കമ്പ്യൂട്ടിംഗ് ഉപയോഗിച്ച് ഉപയോഗ കാര്യക്ഷമത മെച്ചപ്പെടുത്തുക

ഞങ്ങളുടെ ഇൻഫ്രാസ്ട്രക്ചർ വലുതാകുമ്പോൾ, ഇൻഫ്രാസ്ട്രക്ചർ ചെലവുകൾ ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിനും ലോഡ് കുറയ്ക്കുന്നതിനും ഞങ്ങളുടെ സെർവറുകൾ കാര്യക്ഷമമായി ഉപയോഗിക്കുന്നത് കൂടുതൽ പ്രധാനമാണ്. സെർവർ ഉപയോഗത്തിന്റെ കാര്യക്ഷമത വർദ്ധിപ്പിക്കുന്നതിന് രണ്ട് വഴികളുണ്ട്:

• ഇലാസ്റ്റിക് കമ്പ്യൂട്ടിംഗ് - ശാന്തമായ സമയങ്ങളിൽ ഓൺലൈൻ സേവനങ്ങൾ കുറയ്ക്കുകയും മെഷീൻ ലേണിംഗ്, MapReduce ജോലികൾ പോലുള്ള ഓഫ്‌ലൈൻ ജോലിഭാരങ്ങൾക്കായി ഫ്രീഡ് സെർവറുകൾ ഉപയോഗിക്കുക.
• ഓവർലോഡിംഗ് - ഓൺലൈൻ സേവനങ്ങളും ബാച്ച് വർക്ക്ലോഡുകളും ഒരേ സെർവറുകളിൽ സ്ഥാപിക്കുക, അങ്ങനെ ബാച്ച് വർക്ക്ലോഡുകൾ കുറഞ്ഞ മുൻഗണനയിൽ പ്രവർത്തിക്കുന്നു.

ഞങ്ങളുടെ ഡാറ്റാ സെന്ററുകളിലെ തടസ്സം ഇതാണ് വൈദ്യുതി ഉപയോഗം. അതിനാൽ, കൂടുതൽ പ്രോസസ്സിംഗ് പവർ നൽകുന്ന ചെറുതും ഊർജ്ജ-കാര്യക്ഷമമായതുമായ സെർവറുകൾ ഞങ്ങൾ തിരഞ്ഞെടുക്കുന്നു. നിർഭാഗ്യവശാൽ, ചെറിയ സിപിയുവും മെമ്മറിയുമുള്ള ചെറിയ സെർവറുകളിൽ, ഓവർലോഡിംഗ് ഫലപ്രദമല്ല. തീർച്ചയായും, ചെറിയ പ്രോസസർ ഉറവിടങ്ങളും മെമ്മറിയും ഉപയോഗിക്കുന്ന ഒരു ചെറിയ ഊർജ്ജ-കാര്യക്ഷമമായ സെർവറിൽ ചെറിയ സേവനങ്ങളുടെ നിരവധി കണ്ടെയ്നറുകൾ സ്ഥാപിക്കാൻ ഞങ്ങൾക്ക് കഴിയും, എന്നാൽ വലിയ സേവനങ്ങൾക്ക് ഈ സാഹചര്യത്തിൽ കുറഞ്ഞ പ്രകടനം ഉണ്ടാകും. അതിനാൽ, ഞങ്ങളുടെ വലിയ സേവനങ്ങളുടെ ഡെവലപ്പർമാരെ ഒപ്റ്റിമൈസ് ചെയ്യാൻ ഞങ്ങൾ ഉപദേശിക്കുന്നു, അങ്ങനെ അവർ മുഴുവൻ സെർവറുകളും ഉപയോഗിക്കുന്നു.


അടിസ്ഥാനപരമായി, ഇലാസ്റ്റിക് കമ്പ്യൂട്ടിംഗ് ഉപയോഗിച്ച് ഞങ്ങൾ ഉപയോഗക്ഷമത മെച്ചപ്പെടുത്തുന്നു. വാർത്താ ഫീഡ്, സന്ദേശമയയ്‌ക്കൽ ഫീച്ചർ, ഫ്രണ്ട്-എൻഡ് വെബ് ടയർ എന്നിവ പോലുള്ള ഞങ്ങളുടെ പ്രധാന സേവനങ്ങളിൽ പലതും ദിവസത്തിന്റെ സമയം അനുസരിച്ച് വ്യത്യാസപ്പെടുന്നു. ശാന്തമായ സമയങ്ങളിൽ ഞങ്ങൾ ഓൺലൈൻ സേവനങ്ങൾ മനഃപൂർവ്വം കുറയ്ക്കുകയും മെഷീൻ ലേണിംഗ്, MapReduce ജോലികൾ പോലുള്ള ഓഫ്‌ലൈൻ ജോലിഭാരങ്ങൾക്കായി ഫ്രീഡ് സെർവറുകൾ ഉപയോഗിക്കുകയും ചെയ്യുന്നു.

മുഴുവൻ സെർവറുകളും ഇലാസ്റ്റിക് കപ്പാസിറ്റിയുടെ യൂണിറ്റുകളായി നൽകുന്നതാണ് നല്ലതെന്ന് അനുഭവത്തിൽ നിന്ന് ഞങ്ങൾക്കറിയാം, കാരണം വലിയ സേവനങ്ങൾ പ്രധാന ദാതാക്കളും ഇലാസ്റ്റിക് കപ്പാസിറ്റിയുടെ പ്രധാന ഉപഭോക്താക്കളുമാണ്, കൂടാതെ മുഴുവൻ സെർവറുകളും ഉപയോഗിക്കാൻ ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നു. നിശബ്‌ദമായ സമയങ്ങളിൽ ഓൺലൈൻ സേവനത്തിൽ നിന്ന് സെർവർ റിലീസ് ചെയ്യുമ്പോൾ, റിസോഴ്‌സ് ബ്രോക്കർ, ഓഫ്‌ലൈൻ വർക്ക്ലോഡുകൾ പ്രവർത്തിപ്പിക്കുന്നതിന് സെർവറിനെ ഷെഡ്യൂളർക്ക് പാട്ടത്തിന് നൽകുന്നു. ഓൺലൈൻ സേവനത്തിന് പീക്ക് ലോഡ് അനുഭവപ്പെടുകയാണെങ്കിൽ, റിസോഴ്സ് ബ്രോക്കർ കടമെടുത്ത സെർവറിനെ പെട്ടെന്ന് തിരിച്ചുവിളിക്കുകയും ഷെഡ്യൂളറുമായി ചേർന്ന് അത് ഓൺലൈൻ സേവനത്തിലേക്ക് തിരികെ നൽകുകയും ചെയ്യും.

പഠിച്ച പാഠങ്ങളും ഭാവി പദ്ധതികളും

കഴിഞ്ഞ 8 വർഷമായി, Facebook-ന്റെ ദ്രുതഗതിയിലുള്ള വളർച്ചയ്‌ക്കൊപ്പം ഞങ്ങൾ Tupperware വികസിപ്പിക്കുന്നു. ഞങ്ങൾ പഠിച്ച കാര്യങ്ങൾ ഞങ്ങൾ പങ്കിടുന്നു, അതിവേഗം വളരുന്ന ഇൻഫ്രാസ്ട്രക്ചറുകൾ നിയന്ത്രിക്കാൻ ഇത് മറ്റുള്ളവരെ സഹായിക്കുമെന്ന് പ്രതീക്ഷിക്കുന്നു:

• നിയന്ത്രണ പാനലിനും അത് കൈകാര്യം ചെയ്യുന്ന സെർവറിനുമിടയിൽ ഒരു ഫ്ലെക്സിബിൾ കണക്ഷൻ സജ്ജമാക്കുക. ഈ ഫ്ലെക്സിബിലിറ്റി കൺട്രോൾ പാനലിനെ വിവിധ ഡാറ്റാ സെന്ററുകളിലെ സെർവറുകൾ നിയന്ത്രിക്കാൻ അനുവദിക്കുന്നു, ക്ലസ്റ്ററുകളുടെ ഡീകമ്മീഷനിംഗും മെയിന്റനൻസും ഓട്ടോമേറ്റ് ചെയ്യാൻ സഹായിക്കുന്നു, ഇലാസ്റ്റിക് കമ്പ്യൂട്ടിംഗ് ഉപയോഗിച്ച് ഡൈനാമിക് കപ്പാസിറ്റി അലോക്കേഷൻ പ്രവർത്തനക്ഷമമാക്കുന്നു.
• മേഖലയിൽ ഒരൊറ്റ നിയന്ത്രണ പാനൽ ഉപയോഗിച്ച്, ടാസ്ക്കുകൾക്കൊപ്പം പ്രവർത്തിക്കുന്നത് കൂടുതൽ സൗകര്യപ്രദവും ഒരു വലിയ പങ്കിട്ട സെർവർ ഫ്ലീറ്റ് കൈകാര്യം ചെയ്യുന്നത് എളുപ്പവുമാണ്. സ്കെയിൽ അല്ലെങ്കിൽ തെറ്റ് സഹിഷ്ണുതയുടെ കാരണങ്ങളാൽ അതിന്റെ ആന്തരിക ഘടന വേർപെടുത്തിയാലും കൺട്രോൾ പാനൽ ഒരു പ്രവേശന പോയിന്റ് നിലനിർത്തുന്നു എന്നത് ശ്രദ്ധിക്കുക.
• ഒരു പ്ലഗിൻ മോഡൽ ഉപയോഗിച്ച്, കൺട്രോൾ പാനലിന് വരാനിരിക്കുന്ന കണ്ടെയ്‌നർ പ്രവർത്തനങ്ങളുടെ ബാഹ്യ ആപ്ലിക്കേഷനുകളെ അറിയിക്കാനാകും. മാത്രമല്ല, കണ്ടെയ്‌നർ മാനേജ്‌മെന്റ് ഇഷ്‌ടാനുസൃതമാക്കാൻ സ്റ്റേറ്റ്‌ഫുൾ സേവനങ്ങൾക്ക് പ്ലഗിൻ ഇന്റർഫേസ് ഉപയോഗിക്കാം. ഈ പ്ലഗിൻ മോഡൽ ഉപയോഗിച്ച്, വിവിധ സ്റ്റേറ്റ്ഫുൾ സേവനങ്ങൾ കാര്യക്ഷമമായി നൽകുമ്പോൾ നിയന്ത്രണ പാനൽ ലാളിത്യം നൽകുന്നു.
• ബാച്ച് ജോലികൾ, മെഷീൻ ലേണിംഗ്, മറ്റ് അടിയന്തിര സേവനങ്ങൾ എന്നിവയ്ക്കായി ദാതാക്കളുടെ സേവനങ്ങളിൽ നിന്ന് മുഴുവൻ സെർവറുകളും ഞങ്ങൾ എടുത്തുകളയുന്ന ഇലാസ്റ്റിക് കമ്പ്യൂട്ടിംഗ്, ചെറുതും ഊർജ്ജം-കാര്യക്ഷമവുമായ സെർവറുകളുടെ കാര്യക്ഷമത മെച്ചപ്പെടുത്തുന്നതിനുള്ള ഏറ്റവും മികച്ച മാർഗമാണെന്ന് ഞങ്ങൾ വിശ്വസിക്കുന്നു.

ഞങ്ങൾ നടപ്പിലാക്കാൻ തുടങ്ങുന്നതേയുള്ളൂ ഒരൊറ്റ ആഗോള പങ്കിട്ട സെർവർ ഫ്ലീറ്റ്. നിലവിൽ ഞങ്ങളുടെ ഏകദേശം 20% സെർവറുകൾ പങ്കിട്ട പൂളിലാണ്. 100% നേടുന്നതിന്, പങ്കിട്ട സ്റ്റോറേജ് പൂൾ പരിപാലിക്കുക, മെയിന്റനൻസ് ഓട്ടോമേറ്റ് ചെയ്യുക, ക്രോസ്-ടെനന്റ് ആവശ്യകതകൾ കൈകാര്യം ചെയ്യുക, സെർവർ ഉപയോഗം മെച്ചപ്പെടുത്തുക, മെഷീൻ ലേണിംഗ് വർക്ക്ലോഡുകൾക്കുള്ള പിന്തുണ മെച്ചപ്പെടുത്തൽ എന്നിവ ഉൾപ്പെടെ നിരവധി പ്രശ്നങ്ങൾ പരിഹരിക്കേണ്ടതുണ്ട്. ഈ വെല്ലുവിളികൾ ഏറ്റെടുക്കാനും ഞങ്ങളുടെ വിജയങ്ങൾ പങ്കിടാനും ഞങ്ങൾക്ക് കാത്തിരിക്കാനാവില്ല.

അവലംബം: www.habr.com