വിഷമിക്കുന്നത് നിർത്തി ഒരു മോണോലിത്ത് ഇല്ലാതെ എങ്ങനെ ജീവിക്കാം

നമുക്കെല്ലാവർക്കും കഥകൾ ഇഷ്ടമാണ്. തീയുടെ ചുറ്റുമിരുന്ന് ഞങ്ങളുടെ മുൻകാല വിജയങ്ങളെക്കുറിച്ചോ യുദ്ധങ്ങളെക്കുറിച്ചോ അല്ലെങ്കിൽ ഞങ്ങളുടെ ജോലി പരിചയത്തെക്കുറിച്ചോ സംസാരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

ഇന്ന് അങ്ങനെയൊരു ദിവസം മാത്രം. നിങ്ങൾ ഇപ്പോൾ തീയിൽ ഇല്ലെങ്കിലും, ഞങ്ങൾ നിങ്ങൾക്കായി ഒരു കഥയുണ്ട്. ടാരന്തൂളിൽ സ്റ്റോറേജുമായി ഞങ്ങൾ എങ്ങനെ പ്രവർത്തിക്കാൻ തുടങ്ങി എന്നതിന്റെ കഥ.

ഒരു കാലത്ത്, ഞങ്ങളുടെ കമ്പനിക്ക് എല്ലാവർക്കുമായി രണ്ട് “മോണോലിത്തുകളും” ഒരു “സീലിംഗും” ഉണ്ടായിരുന്നു, ഈ മോണോലിത്തുകൾ സാവധാനം എന്നാൽ തീർച്ചയായും സമീപിക്കുകയായിരുന്നു, ഞങ്ങളുടെ കമ്പനിയുടെ ഫ്ലൈറ്റ്, ഞങ്ങളുടെ വികസനം പരിമിതപ്പെടുത്തുന്നു. വ്യക്തമായ ഒരു ധാരണയുണ്ടായിരുന്നു: ഒരു ദിവസം ഞങ്ങൾ ഈ പരിധിക്ക് ശക്തമായി അടിക്കും.

ഉപകരണങ്ങൾ മുതൽ ബിസിനസ്സ് യുക്തി വരെ എല്ലാവരെയും എല്ലാവരെയും വേർതിരിക്കുന്ന പ്രത്യയശാസ്ത്രമാണ് ഇപ്പോൾ നിലവിലുള്ളത്. തൽഫലമായി, ഞങ്ങൾക്ക്, ഉദാഹരണത്തിന്, നെറ്റ്‌വർക്ക് തലത്തിൽ പ്രായോഗികമായി സ്വതന്ത്രമായ രണ്ട് ഡിസികൾ ഉണ്ട്. പിന്നെ എല്ലാം തികച്ചും വ്യത്യസ്തമായിരുന്നു.

ഇന്ന്, CI/CD, K8S മുതലായവയുടെ രൂപത്തിൽ മാറ്റങ്ങൾ വരുത്തുന്നതിന് ധാരാളം ഉപകരണങ്ങളും ഉപകരണങ്ങളും ഉണ്ട്. "മോണോലിത്തിക്ക്" സമയത്ത്, ഞങ്ങൾക്ക് വളരെയധികം വിദേശ വാക്കുകൾ ആവശ്യമില്ല. ഡാറ്റാബേസിലെ "സ്റ്റോറേജ്" ശരിയാക്കാൻ ഇത് മതിയായിരുന്നു.

എന്നാൽ സമയം മുന്നോട്ട് നീങ്ങി, അഭ്യർത്ഥനകളുടെ എണ്ണം അതിനോടൊപ്പം മുന്നോട്ട് നീങ്ങി, ചിലപ്പോൾ നമ്മുടെ കഴിവുകൾക്കപ്പുറം RPS ഷൂട്ട് ചെയ്യുന്നു. സിഐഎസ് രാജ്യങ്ങൾ വിപണിയിൽ പ്രവേശിച്ചതോടെ, ആദ്യത്തെ മോണോലിത്തിന്റെ ഡാറ്റാബേസ് പ്രോസസറിലെ ലോഡ് 90% ൽ താഴെയായില്ല, കൂടാതെ ആർപിഎസ് 2400 ലെവലിൽ തുടർന്നു. ഇവ വെറും ചെറിയ സെലക്ടർമാരല്ല, മറിച്ച് വലിയ ചോദ്യങ്ങളായിരുന്നു. വലിയ IO യുടെ പശ്ചാത്തലത്തിൽ ഏകദേശം പകുതി ഡാറ്റയും പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്ന ഒരു കൂട്ടം ചെക്കുകളും ജോയിനുകളും.

പൂർണ്ണമായ ബ്ലാക്ക് ഫ്രൈഡേ വിൽപ്പന രംഗത്ത് പ്രത്യക്ഷപ്പെടാൻ തുടങ്ങിയപ്പോൾ - റഷ്യയിൽ അവരെ ആദ്യമായി കൈവശം വച്ചവരിൽ ഒരാളാണ് വൈൽഡ്ബെറി - സ്ഥിതി പൂർണ്ണമായും സങ്കടകരമായി. എല്ലാത്തിനുമുപരി, അത്തരം ദിവസങ്ങളിൽ ലോഡ് മൂന്ന് മടങ്ങ് വർദ്ധിക്കുന്നു.
ഓ, ഈ "മോണോലിത്തിക്ക് സമയങ്ങൾ"! നിങ്ങൾ സമാനമായ എന്തെങ്കിലും അനുഭവിച്ചിട്ടുണ്ടെന്ന് എനിക്ക് ഉറപ്പുണ്ട്, ഇത് നിങ്ങൾക്ക് എങ്ങനെ സംഭവിക്കുമെന്ന് നിങ്ങൾക്ക് ഇപ്പോഴും മനസ്സിലാകുന്നില്ല.

നിങ്ങൾക്ക് എന്തുചെയ്യാൻ കഴിയും - ഫാഷൻ സാങ്കേതികവിദ്യയിൽ അന്തർലീനമാണ്. ഏകദേശം 5 വർഷം മുമ്പ്, .NET, MS SQL സെർവറിൽ നിലവിലുള്ള ഒരു സൈറ്റിന്റെ രൂപത്തിൽ ഈ മോഡുകളിലൊന്ന് ഞങ്ങൾ പുനർവിചിന്തനം ചെയ്യേണ്ടിവന്നു, അത് സൈറ്റിന്റെ എല്ലാ ലോജിക്കും ശ്രദ്ധാപൂർവ്വം സംഭരിച്ചു. ഞാൻ അത് വളരെ ശ്രദ്ധാപൂർവ്വം സൂക്ഷിച്ചു, അത്തരമൊരു മോണോലിത്ത് വെട്ടുന്നത് ഒരു നീണ്ട സന്തോഷമായി മാറി.
ഒരു ചെറിയ വ്യതിചലനം.

വിവിധ പരിപാടികളിൽ ഞാൻ പറയുന്നു: "നിങ്ങൾ ഒരു മോണോലിത്ത് കണ്ടില്ലെങ്കിൽ, നിങ്ങൾ വളർന്നില്ല!" ഈ വിഷയത്തിൽ നിങ്ങളുടെ അഭിപ്രായത്തിൽ എനിക്ക് താൽപ്പര്യമുണ്ട്, ദയവായി അത് അഭിപ്രായങ്ങളിൽ എഴുതുക.

ഇടിയുടെ ഒരു ശബ്ദം

നമുക്ക് നമ്മുടെ "ബോൺഫയറിലേക്ക്" മടങ്ങാം. "മോണോലിത്തിക്ക്" പ്രവർത്തനത്തിന്റെ ലോഡ് വിതരണം ചെയ്യുന്നതിനായി, ഓപ്പൺ സോഴ്സ് സാങ്കേതികവിദ്യകളെ അടിസ്ഥാനമാക്കി സിസ്റ്റത്തെ മൈക്രോസർവീസുകളായി വിഭജിക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു. കാരണം, ചുരുങ്ങിയത്, അവ സ്കെയിൽ ചെയ്യാൻ വിലകുറഞ്ഞതാണ്. ഞങ്ങൾ സ്കെയിൽ ചെയ്യേണ്ടതുണ്ടെന്ന് ഞങ്ങൾക്ക് 100% ധാരണയുണ്ടായിരുന്നു (ഒപ്പം ഒരുപാട്). എല്ലാത്തിനുമുപരി, ഇതിനകം തന്നെ അയൽ രാജ്യങ്ങളുടെ വിപണികളിൽ പ്രവേശിക്കാൻ സാധിച്ചു, രജിസ്ട്രേഷനുകളുടെ എണ്ണവും ഓർഡറുകളുടെ എണ്ണവും കൂടുതൽ ശക്തമായി വളരാൻ തുടങ്ങി.

മോണോലിത്തിൽ നിന്ന് മൈക്രോസർവീസുകളിലേക്ക് പുറപ്പെടുന്നതിനുള്ള ആദ്യ സ്ഥാനാർത്ഥികളെ വിശകലനം ചെയ്തപ്പോൾ, അവയിലെ 80% എഴുത്തുകളും ബാക്ക് ഓഫീസ് സിസ്റ്റങ്ങളിൽ നിന്നും ഫ്രണ്ട് ഓഫീസിൽ നിന്നുള്ള വായനയിൽ നിന്നും വരുന്നതാണെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി. ഒന്നാമതായി, ഇത് ഞങ്ങൾക്ക് രണ്ട് പ്രധാനപ്പെട്ട സബ്സിസ്റ്റങ്ങളെ ബാധിക്കുന്നു - ഉപയോക്തൃ ഡാറ്റയും അധിക ഉപഭോക്തൃ കിഴിവുകളും കൂപ്പണുകളും സംബന്ധിച്ച വിവരങ്ങളെ അടിസ്ഥാനമാക്കി സാധനങ്ങളുടെ അന്തിമ വില കണക്കാക്കുന്നതിനുള്ള ഒരു സംവിധാനവും.

ഇൻഡന്റ് ചെയ്തു. ഇപ്പോൾ സങ്കൽപ്പിക്കാൻ ഭയമാണ്, എന്നാൽ മുകളിൽ സൂചിപ്പിച്ച സബ്സിസ്റ്റങ്ങൾക്ക് പുറമേ, ഉൽപ്പന്ന കാറ്റലോഗുകൾ, ഒരു ഉപയോക്തൃ ഷോപ്പിംഗ് കാർട്ട്, ഒരു ഉൽപ്പന്ന തിരയൽ സംവിധാനം, ഉൽപ്പന്ന കാറ്റലോഗുകൾക്കായുള്ള ഒരു ഫിൽട്ടറിംഗ് സിസ്റ്റം, വിവിധ തരത്തിലുള്ള ശുപാർശ സംവിധാനങ്ങൾ എന്നിവയും ഞങ്ങളുടെ മോണോലിത്തിൽ നിന്ന് നീക്കം ചെയ്തു. അവയിൽ ഓരോന്നിന്റെയും പ്രവർത്തനത്തിനായി, ഇടുങ്ങിയ രീതിയിൽ രൂപകൽപ്പന ചെയ്ത സിസ്റ്റങ്ങളുടെ പ്രത്യേക ക്ലാസുകളുണ്ട്, എന്നാൽ ഒരിക്കൽ അവരെല്ലാം ഒരു "വീട്ടിൽ" താമസിച്ചിരുന്നു.

ഞങ്ങളുടെ ക്ലയന്റുകളെക്കുറിച്ചുള്ള ഡാറ്റ ഷാർഡ് സിസ്റ്റത്തിലേക്ക് കൈമാറാൻ ഞങ്ങൾ ഉടൻ പദ്ധതിയിട്ടു. ചരക്കുകളുടെ അന്തിമ വില കണക്കാക്കുന്നതിനുള്ള പ്രവർത്തനം നീക്കംചെയ്യുന്നതിന് വായനയ്ക്ക് നല്ല സ്കേലബിളിറ്റി ആവശ്യമാണ്, കാരണം ഇത് ഏറ്റവും വലിയ ആർ‌പി‌എസ് ലോഡ് സൃഷ്ടിക്കുകയും ഡാറ്റാബേസിനായി നടപ്പിലാക്കാൻ ഏറ്റവും ബുദ്ധിമുട്ടുള്ളതുമായിരുന്നു (കണക്കുകൂട്ടൽ പ്രക്രിയയിൽ ധാരാളം ഡാറ്റ ഉൾപ്പെടുന്നു).

തൽഫലമായി, ടാരന്റൂളുമായി നന്നായി യോജിക്കുന്ന ഒരു സ്കീം ഞങ്ങൾ കൊണ്ടുവന്നു.

അക്കാലത്ത്, മൈക്രോസർവീസുകളുടെ പ്രവർത്തനത്തിനായി, വെർച്വൽ, ഹാർഡ്‌വെയർ മെഷീനുകളിൽ നിരവധി ഡാറ്റാ സെന്ററുകളിൽ പ്രവർത്തിക്കുന്നതിനുള്ള സ്കീമുകൾ തിരഞ്ഞെടുത്തു. കണക്കുകളിൽ കാണിച്ചിരിക്കുന്നതുപോലെ, മാസ്റ്റർ-മാസ്റ്റർ, മാസ്റ്റർ-സ്ലേവ് മോഡുകളിൽ ടാരന്റൂൾ റെപ്ലിക്കേഷൻ ഓപ്ഷനുകൾ പ്രയോഗിച്ചു.

വാസ്തുവിദ്യ. ഓപ്ഷൻ 1. ഉപയോക്തൃ സേവനം

നിലവിൽ, 24 ഷാർഡുകൾ ഉണ്ട്, അവയിൽ ഓരോന്നിനും 2 സംഭവങ്ങളുണ്ട് (ഓരോ ഡിസിക്കും ഒന്ന്), എല്ലാം മാസ്റ്റർ-മാസ്റ്റർ മോഡിലാണ്.

ഡാറ്റാബേസിന് മുകളിൽ ഡാറ്റാബേസ് പകർപ്പുകൾ ആക്സസ് ചെയ്യുന്ന ആപ്ലിക്കേഷനുകളാണ്. ടാരന്റൂൾ ഗോ ഡ്രൈവർ ഇന്റർഫേസ് നടപ്പിലാക്കുന്ന ഞങ്ങളുടെ ഇഷ്‌ടാനുസൃത ലൈബ്രറിയിലൂടെ ടാരന്റൂളിനൊപ്പം അപ്ലിക്കേഷനുകൾ പ്രവർത്തിക്കുന്നു. അവൾക്ക് എല്ലാ പകർപ്പുകളും കാണുകയും വായിക്കാനും എഴുതാനും മാസ്റ്ററോടൊപ്പം പ്രവർത്തിക്കാൻ കഴിയും. അടിസ്ഥാനപരമായി, ഇത് റെപ്ലിക്ക സെറ്റ് മോഡൽ നടപ്പിലാക്കുന്നു, ഇത് പകർപ്പുകൾ തിരഞ്ഞെടുക്കുന്നതിനും വീണ്ടും ശ്രമിക്കുന്നതിനും ഒരു സർക്യൂട്ട് ബ്രേക്കർ, നിരക്ക് പരിധി എന്നിവയ്ക്കുള്ള ലോജിക് ചേർക്കുന്നു.

ഈ സാഹചര്യത്തിൽ, ഷാർഡുകളുടെ പശ്ചാത്തലത്തിൽ തനിപ്പകർപ്പ് തിരഞ്ഞെടുക്കൽ നയം ക്രമീകരിക്കാൻ സാധിക്കും. ഉദാഹരണത്തിന്, റൗണ്ട്റോബിൻ.

വാസ്തുവിദ്യ. ഓപ്ഷൻ 2. സാധനങ്ങളുടെ അന്തിമ വില കണക്കാക്കുന്നതിനുള്ള സേവനം

കുറച്ച് മാസങ്ങൾക്ക് മുമ്പ്, ചരക്കുകളുടെ അന്തിമ വില കണക്കാക്കുന്നതിനുള്ള അഭ്യർത്ഥനകളിൽ ഭൂരിഭാഗവും ഒരു പുതിയ സേവനത്തിലേക്ക് പോയി, അത് തത്വത്തിൽ, ഡാറ്റാബേസുകളില്ലാതെ പ്രവർത്തിക്കുന്നു, എന്നാൽ കുറച്ച് മുമ്പ് ടാരന്റൂളിനൊപ്പം ഒരു സേവനം ഉപയോഗിച്ച് എല്ലാം 100% പ്രോസസ്സ് ചെയ്തു.

സേവന ഡാറ്റാബേസിൽ 4 മാസ്റ്ററുകൾ അടങ്ങിയിരിക്കുന്നു, അതിൽ സിൻക്രൊണൈസർ ഡാറ്റ ശേഖരിക്കുന്നു, കൂടാതെ ഈ ഓരോ റെപ്ലിക്കേഷൻ മാസ്റ്ററുകളും റീഡ്-ഓൺലി റെപ്ലിക്കുകളിലേക്ക് ഡാറ്റ വിതരണം ചെയ്യുന്നു. ഓരോ മാസ്റ്ററിനും അത്തരം ഏകദേശം 15 പകർപ്പുകൾ ഉണ്ട്.

ഒന്നുകിൽ ആദ്യത്തെ അല്ലെങ്കിൽ രണ്ടാമത്തെ സ്കീമിൽ, ഒരു ഡിസി ലഭ്യമല്ലെങ്കിൽ, രണ്ടാമത്തേതിൽ അപേക്ഷയ്ക്ക് ഡാറ്റ സ്വീകരിക്കാനാകും.

ടാരന്റൂളിലെ പകർപ്പെടുക്കൽ തികച്ചും അയവുള്ളതും റൺടൈമിൽ കോൺഫിഗർ ചെയ്യാവുന്നതുമാണ് എന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്. മറ്റ് സിസ്റ്റങ്ങളിൽ, ബുദ്ധിമുട്ടുകൾ ഉയർന്നു. ഉദാഹരണത്തിന്, PostgreSQL-ൽ max_wal_senders, max_replication_slots പാരാമീറ്ററുകൾ മാറ്റുന്നതിന് വിസാർഡ് പുനരാരംഭിക്കേണ്ടതുണ്ട്, ഇത് ചില സന്ദർഭങ്ങളിൽ ആപ്ലിക്കേഷനും DBMS-ഉം തമ്മിലുള്ള കണക്ഷനുകൾ വിച്ഛേദിക്കുന്നതിന് ഇടയാക്കും.

അന്വേഷിക്കുക, നിങ്ങൾ കണ്ടെത്തും!

എന്തുകൊണ്ടാണ് ഞങ്ങൾ ഇത് "സാധാരണ ആളുകളെപ്പോലെ" ചെയ്യാത്തത്, പക്ഷേ ഒരു വിചിത്രമായ വഴി തിരഞ്ഞെടുത്തത്? ഇത് സാധാരണമായി കണക്കാക്കുന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നു. പലരും സാധാരണയായി മോംഗോയിൽ നിന്ന് ഒരു ക്ലസ്റ്റർ ഉണ്ടാക്കുകയും അത് മൂന്ന് ജിയോ ഡിസ്ട്രിബ്യൂട്ടഡ് ഡിസികളിൽ വ്യാപിപ്പിക്കുകയും ചെയ്യുന്നു.

ആ സമയത്ത്, ഞങ്ങൾക്ക് ഇതിനകം രണ്ട് റെഡിസ് പ്രോജക്റ്റുകൾ ഉണ്ടായിരുന്നു. ആദ്യത്തേത് ഒരു കാഷെ ആയിരുന്നു, രണ്ടാമത്തേത് വളരെ നിർണായകമല്ലാത്ത ഡാറ്റയ്ക്കുള്ള സ്ഥിരമായ സംഭരണമായിരുന്നു. ഇത് അദ്ദേഹത്തിന് വളരെ ബുദ്ധിമുട്ടായിരുന്നു, ഭാഗികമായി ഞങ്ങളുടെ തെറ്റ്. ചിലപ്പോൾ വളരെ വലിയ വോള്യങ്ങൾ കീയിലുണ്ടായിരുന്നു, കാലാകാലങ്ങളിൽ സൈറ്റിന് അസുഖം വന്നു. ഞങ്ങൾ ഈ സിസ്റ്റം മാസ്റ്റർ-സ്ലേവ് പതിപ്പിൽ ഉപയോഗിച്ചു. കൂടാതെ യജമാനന് എന്തെങ്കിലും സംഭവിക്കുകയും തനിപ്പകർപ്പ് തകരുകയും ചെയ്ത നിരവധി കേസുകൾ ഉണ്ടായിരുന്നു.

അതായത്, സ്റ്റേറ്റില്ലാത്ത ടാസ്‌ക്കുകൾക്കാണ് റെഡിസ് നല്ലത്. തത്വത്തിൽ, മിക്ക പ്രശ്നങ്ങളും പരിഹരിക്കാൻ ഇത് അനുവദിച്ചു, പക്ഷേ അവ ഒരു ജോടി സൂചികകളുള്ള പ്രധാന മൂല്യ പരിഹാരങ്ങളാണെങ്കിൽ മാത്രം. എന്നാൽ ആ സമയത്ത് റെഡിസ് സ്ഥിരോത്സാഹവും തനിപ്പകർപ്പും കൊണ്ട് വളരെ ദുഃഖിതനായിരുന്നു. കൂടാതെ, പ്രകടനത്തെക്കുറിച്ച് പരാതികൾ ഉണ്ടായിരുന്നു.

MySQL, PostgreSQL എന്നിവയെക്കുറിച്ച് ഞങ്ങൾ ചിന്തിച്ചു. എന്നാൽ ആദ്യത്തേത് എങ്ങനെയെങ്കിലും ഞങ്ങളെ പിടികൂടിയില്ല, രണ്ടാമത്തേത് അതിൽത്തന്നെ സങ്കീർണ്ണമായ ഒരു ഉൽപ്പന്നമാണ്, അതിൽ ലളിതമായ സേവനങ്ങൾ നിർമ്മിക്കുന്നത് അനുചിതമാണ്.
ഞങ്ങൾ RIAK, Cassandra, ഒരു ഗ്രാഫ് ഡാറ്റാബേസ് പോലും പരീക്ഷിച്ചു. സേവനങ്ങൾ സൃഷ്‌ടിക്കുന്നതിനുള്ള ഒരു പൊതു സാർവത്രിക ഉപകരണത്തിന്റെ റോളിന് അനുയോജ്യമല്ലാത്ത സാമാന്യം നല്ല പരിഹാരങ്ങളാണ് ഇവയെല്ലാം.

ആത്യന്തികമായി ഞങ്ങൾ ടാരന്തൂളിൽ സ്ഥിരതാമസമാക്കി.

പതിപ്പ് 1.6-ൽ ഉള്ളപ്പോൾ ഞങ്ങൾ അതിലേക്ക് തിരിഞ്ഞു. കീ-വാല്യൂവിന്റെ സഹവർത്തിത്വവും ഒരു റിലേഷണൽ ഡാറ്റാബേസിന്റെ പ്രവർത്തനവും ഞങ്ങൾക്ക് അതിൽ താൽപ്പര്യമുണ്ടായിരുന്നു. ദ്വിതീയ സൂചികകളും ഇടപാടുകളും സ്‌പെയ്‌സുകളും ഉണ്ട്, ഇവ പട്ടികകൾ പോലെയാണ്, പക്ഷേ ലളിതമല്ല, നിങ്ങൾക്ക് അവയിൽ വ്യത്യസ്ത നിരകളുടെ എണ്ണം സംഭരിക്കാനാകും. എന്നാൽ ടാരന്റൂളിന്റെ കൊലയാളി സവിശേഷത, പ്രധാന മൂല്യവും ഇടപാടുകളും ചേർന്നുള്ള ദ്വിതീയ സൂചികകളായിരുന്നു.

സംഭാഷണത്തിൽ സഹായിക്കാൻ തയ്യാറായ, പ്രതികരിക്കുന്ന റഷ്യൻ സംസാരിക്കുന്ന കമ്മ്യൂണിറ്റിയും ഒരു പങ്കുവഹിച്ചു. ഞങ്ങൾ ഇത് സജീവമായി ഉപയോഗിക്കുകയും ചാറ്റിൽ നേരിട്ട് ജീവിക്കുകയും ചെയ്തു. വ്യക്തമായ തെറ്റുകളും തെറ്റുകളും ഇല്ലാതെ മാന്യമായ സ്ഥിരതയെക്കുറിച്ച് മറക്കരുത്. ടാരന്റൂളുമായുള്ള ഞങ്ങളുടെ ചരിത്രം നിങ്ങൾ നോക്കുകയാണെങ്കിൽ, പകർപ്പെടുക്കലിൽ ഞങ്ങൾക്ക് ഒരുപാട് വേദനകളും പരാജയങ്ങളും ഉണ്ടായിരുന്നു, എന്നാൽ അതിന്റെ പിഴവ് കാരണം ഞങ്ങൾക്ക് ഡാറ്റ നഷ്‌ടമായില്ല!

നടപ്പാക്കൽ ഒരു പരുക്കൻ തുടക്കത്തിലാണ്

അക്കാലത്ത്, ഞങ്ങളുടെ പ്രധാന വികസന സ്റ്റാക്ക് .NET ആയിരുന്നു, അതിലേക്ക് ടാരന്തൂളിന് കണക്റ്റർ ഇല്ലായിരുന്നു. ഞങ്ങൾ ഉടൻ തന്നെ ഗോയിൽ എന്തെങ്കിലും ചെയ്യാൻ തുടങ്ങി. ലുവയ്‌ക്കൊപ്പവും ഇത് നന്നായി പ്രവർത്തിച്ചു. അക്കാലത്തെ പ്രധാന പ്രശ്നം ഡീബഗ്ഗിംഗായിരുന്നു: .NET-ൽ എല്ലാം മികച്ചതാണ്, എന്നാൽ അതിനുശേഷം ലോഗുകൾ ഒഴികെയുള്ള ഡീബഗ്ഗിംഗ് ഇല്ലാത്തപ്പോൾ എംബഡഡ് ലുവയുടെ ലോകത്തേക്ക് കടക്കുന്നത് ബുദ്ധിമുട്ടായിരുന്നു. കൂടാതെ, ചില കാരണങ്ങളാൽ തനിപ്പകർപ്പ് ഇടയ്ക്കിടെ തകർന്നു, അതിനാൽ എനിക്ക് ടാരന്റൂൾ എഞ്ചിന്റെ ഘടന പരിശോധിക്കേണ്ടിവന്നു. ചാറ്റ് ഇതിന് സഹായിച്ചു, ഒരു പരിധിവരെ, ഡോക്യുമെന്റേഷൻ; ചിലപ്പോൾ ഞങ്ങൾ കോഡ് നോക്കി. അക്കാലത്ത്, ഡോക്യുമെന്റേഷൻ അങ്ങനെയായിരുന്നു.

അതിനാൽ, കുറച്ച് മാസങ്ങൾ കൊണ്ട്, ടാരന്റൂളുമായി ചേർന്ന് പ്രവർത്തിക്കുന്നതിൽ നിന്ന് എനിക്ക് തല കറങ്ങാനും മാന്യമായ ഫലങ്ങൾ നേടാനും കഴിഞ്ഞു. പുതിയ മൈക്രോസർവീസുകളുടെ രൂപീകരണത്തിന് സഹായകമായ ഗിറ്റിലെ റഫറൻസ് സംഭവവികാസങ്ങൾ ഞങ്ങൾ സമാഹരിച്ചു. ഉദാഹരണത്തിന്, ഒരു ടാസ്ക് ഉയർന്നുവന്നപ്പോൾ: മറ്റൊരു മൈക്രോസർവീസ് സൃഷ്ടിക്കാൻ, ഡെവലപ്പർ റെപോസിറ്ററിയിലെ റഫറൻസ് സൊല്യൂഷന്റെ സോഴ്സ് കോഡ് നോക്കി, പുതിയൊരെണ്ണം സൃഷ്ടിക്കാൻ ഒരാഴ്ചയിൽ കൂടുതൽ എടുത്തില്ല.

ഇത് പ്രത്യേക സമയങ്ങളായിരുന്നു. പരമ്പരാഗതമായി, നിങ്ങൾക്ക് അടുത്ത ടേബിളിലെ അഡ്‌മിന്റെ അടുത്ത് പോയി ചോദിക്കാം: "എനിക്ക് ഒരു വെർച്വൽ മെഷീൻ തരൂ." ഏകദേശം മുപ്പത് മിനിറ്റ് കഴിഞ്ഞ് കാർ നിങ്ങളോടൊപ്പമുണ്ടായിരുന്നു. നിങ്ങൾ സ്വയം കണക്റ്റ് ചെയ്തു, എല്ലാം ഇൻസ്റ്റാൾ ചെയ്തു, ട്രാഫിക്ക് നിങ്ങൾക്ക് അയച്ചു.

ഇന്ന് ഇത് പ്രവർത്തിക്കില്ല: നിങ്ങൾ സേവനത്തിലേക്ക് നിരീക്ഷണവും ലോഗിംഗും ചേർക്കേണ്ടതുണ്ട്, ടെസ്റ്റുകൾ ഉപയോഗിച്ച് പ്രവർത്തനം മറയ്ക്കുക, ഒരു വെർച്വൽ മെഷീൻ ഓർഡർ ചെയ്യുക അല്ലെങ്കിൽ Kuber-ലേക്ക് ഡെലിവറി ചെയ്യുക തുടങ്ങിയവ. പൊതുവേ, ഇത് കൂടുതൽ മികച്ചതായിരിക്കും, എന്നിരുന്നാലും ഇത് കൂടുതൽ സമയമെടുക്കുകയും കൂടുതൽ പ്രശ്‌നമുണ്ടാക്കുകയും ചെയ്യും.

ഭിന്നിപ്പിച്ച് ഭരിക്കുക. ലുവയുമായി എന്താണ് ഇടപാട്?

ഗുരുതരമായ ഒരു ആശയക്കുഴപ്പം ഉണ്ടായിരുന്നു: ലുവയിൽ ധാരാളം യുക്തികളുള്ള ഒരു സേവനത്തിലേക്ക് വിശ്വസനീയമായി മാറ്റങ്ങൾ വരുത്താൻ ചില ടീമുകൾക്ക് കഴിഞ്ഞില്ല. പലപ്പോഴും സർവീസ് പ്രവർത്തിക്കാത്തതും ഇതിനോടൊപ്പമായിരുന്നു.

അതായത്, ഡവലപ്പർമാർ ചില തരത്തിലുള്ള മാറ്റം തയ്യാറാക്കുകയാണ്. ടാരന്റൂൾ മൈഗ്രേഷൻ ചെയ്യാൻ തുടങ്ങുന്നു, പക്ഷേ പകർപ്പ് ഇപ്പോഴും പഴയ കോഡിലാണ്; ചില DDL അല്ലെങ്കിൽ മറ്റെന്തെങ്കിലും പകർപ്പ് വഴി അവിടെ എത്തുന്നു, കൂടാതെ കോഡ് കണക്കിലെടുക്കാത്തതിനാൽ കേവലം വീഴുന്നു. തൽഫലമായി, അഡ്‌മിനിസ്‌ട്രേറ്റർമാർക്കുള്ള അപ്‌ഡേറ്റ് നടപടിക്രമം A4 ഷീറ്റിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്: പകർപ്പ് നിർത്തുക, ഇത് അപ്‌ഡേറ്റ് ചെയ്യുക, റെപ്ലിക്കേഷൻ ഓണാക്കുക, ഇവിടെ ഓഫാക്കുക, അവിടെ അപ്‌ഡേറ്റ് ചെയ്യുക. പേടിസ്വപ്നം!

തൽഫലമായി, ഇപ്പോൾ ഞങ്ങൾ മിക്കപ്പോഴും ലുവായിൽ ഒന്നും ചെയ്യാൻ ശ്രമിക്കുന്നില്ല. iproto (സെർവറുമായി സംവദിക്കുന്നതിനുള്ള ഒരു ബൈനറി പ്രോട്ടോക്കോൾ) ഉപയോഗിക്കുക, അത്രമാത്രം. ഒരുപക്ഷേ ഇത് ഡവലപ്പർമാർക്കിടയിൽ അറിവിന്റെ അഭാവമായിരിക്കാം, എന്നാൽ ഈ വീക്ഷണകോണിൽ നിന്ന് സിസ്റ്റം സങ്കീർണ്ണമാണ്.

ഈ സ്ക്രിപ്റ്റ് ഞങ്ങൾ എപ്പോഴും അന്ധമായി പിന്തുടരുന്നില്ല. ഇന്ന് നമുക്ക് കറുപ്പും വെളുപ്പും ഇല്ല: ഒന്നുകിൽ എല്ലാം ലുവയിലാണ്, അല്ലെങ്കിൽ എല്ലാം ഗോയിലാണ്. പിന്നീട് മൈഗ്രേഷൻ പ്രശ്‌നങ്ങൾ ഉണ്ടാകാതിരിക്കാൻ അവ എങ്ങനെ സംയോജിപ്പിക്കാമെന്ന് ഞങ്ങൾ ഇതിനകം മനസ്സിലാക്കുന്നു.

ടാരന്തൂൾ ഇപ്പോൾ എവിടെയാണ്?
"പ്രമോട്ടർ" എന്നും അറിയപ്പെടുന്ന ഡിസ്കൗണ്ട് കൂപ്പണുകൾ കണക്കിലെടുത്ത് സാധനങ്ങളുടെ അന്തിമ വില കണക്കാക്കാൻ ടാരന്റൂൾ സേവനത്തിൽ ഉപയോഗിക്കുന്നു. ഞാൻ നേരത്തെ പറഞ്ഞതുപോലെ, അദ്ദേഹം ഇപ്പോൾ വിരമിക്കുകയാണ്: മുൻകൂട്ടി കണക്കാക്കിയ വിലകളുള്ള ഒരു പുതിയ കാറ്റലോഗ് സേവനം അദ്ദേഹത്തിന് പകരം വയ്ക്കുന്നു, എന്നാൽ ആറ് മാസം മുമ്പ് എല്ലാ കണക്കുകൂട്ടലുകളും പ്രൊമോട്ടൈസറിൽ നടത്തിയിരുന്നു. മുമ്പ്, അതിന്റെ യുക്തിയുടെ പകുതി ലുവായിൽ എഴുതിയിരുന്നു. രണ്ട് വർഷം മുമ്പ്, സേവനം ഒരു സ്റ്റോറേജ് സൗകര്യമാക്കി മാറ്റി, ലോജിക്ക് Go- യിൽ തിരുത്തിയെഴുതപ്പെട്ടു, കാരണം ഡിസ്കൗണ്ടുകളുടെ മെക്കാനിക്‌സ് അൽപ്പം മാറി, സേവനത്തിന് പ്രകടനമില്ല.

ഏറ്റവും പ്രധാനപ്പെട്ട സേവനങ്ങളിലൊന്ന് ഉപയോക്തൃ പ്രൊഫൈലാണ്. അതായത്, എല്ലാ Wildberries ഉപയോക്താക്കളും Tarantool-ൽ സംഭരിച്ചിരിക്കുന്നു, അവരിൽ ഏകദേശം 50 ദശലക്ഷം ഉണ്ട്. Go സേവനങ്ങളുമായി ബന്ധിപ്പിച്ചിട്ടുള്ള നിരവധി DC-കളിൽ വിതരണം ചെയ്യുന്ന, ഉപയോക്തൃ ഐഡി ഉപയോഗിച്ച് പങ്കിട്ട ഒരു സിസ്റ്റം.
ആർ‌പി‌എസിന്റെ അഭിപ്രായത്തിൽ, പ്രമോട്ടർ ഒരിക്കൽ നേതാവായിരുന്നു, 6 ആയിരം അഭ്യർത്ഥനകൾ എത്തിയിരുന്നു. ഒരു ഘട്ടത്തിൽ ഞങ്ങൾക്ക് 50-60 കോപ്പികൾ ഉണ്ടായിരുന്നു. ഇപ്പോൾ ആർ‌പി‌എസിലെ ലീഡർ ഉപയോക്തൃ പ്രൊഫൈലുകളാണ്, ഏകദേശം 12 ആയിരം. ഈ സേവനം ഇഷ്‌ടാനുസൃത ഷാർഡിംഗ് ഉപയോഗിക്കുന്നു, ഉപയോക്തൃ ഐഡികളുടെ ശ്രേണികൾ കൊണ്ട് ഹരിക്കുന്നു. ഈ സേവനം 20-ലധികം മെഷീനുകൾക്ക് സേവനം നൽകുന്നു, എന്നാൽ ഇത് വളരെ കൂടുതലാണ്; അനുവദിച്ച വിഭവങ്ങൾ കുറയ്ക്കാൻ ഞങ്ങൾ പദ്ധതിയിടുന്നു, കാരണം 4-5 മെഷീനുകളുടെ ശേഷി ഇതിന് മതിയാകും.

vshard, Cartridge എന്നിവയിലെ ഞങ്ങളുടെ ആദ്യ സേവനമാണ് സെഷൻ സേവനം. vshard സജ്ജീകരിക്കുന്നതിനും കാട്രിഡ്ജ് അപ്‌ഡേറ്റ് ചെയ്യുന്നതിനും ഞങ്ങളിൽ നിന്ന് കുറച്ച് പരിശ്രമം ആവശ്യമായിരുന്നു, പക്ഷേ അവസാനം എല്ലാം പ്രവർത്തിച്ചു.

വെബ്‌സൈറ്റിലും മൊബൈൽ ആപ്ലിക്കേഷനിലും വ്യത്യസ്‌ത ബാനറുകൾ പ്രദർശിപ്പിക്കുന്നതിനുള്ള സേവനം ടാരന്തൂളിൽ ആദ്യമായി റിലീസ് ചെയ്‌ത ഒന്നാണ്. ഈ സേവനം 6-7 വർഷം പഴക്കമുള്ളതാണ്, അത് ഇപ്പോഴും പ്രവർത്തനത്തിലാണ്, ഒരിക്കലും റീബൂട്ട് ചെയ്തിട്ടില്ല. മാസ്റ്റർ-മാസ്റ്റർ റെപ്ലിക്കേഷൻ ഉപയോഗിച്ചു. ഒന്നും തകർന്നിട്ടില്ല.

ചില സന്ദർഭങ്ങളിൽ വിവരങ്ങൾ വേഗത്തിൽ പരിശോധിക്കുന്നതിന് ഒരു വെയർഹൗസ് സിസ്റ്റത്തിൽ ദ്രുത റഫറൻസ് പ്രവർത്തനത്തിനായി Tarantool ഉപയോഗിക്കുന്നതിന് ഒരു ഉദാഹരണമുണ്ട്. ഇതിനായി ഞങ്ങൾ Redis ഉപയോഗിക്കാൻ ശ്രമിച്ചു, പക്ഷേ മെമ്മറിയിലെ ഡാറ്റ Tarantool-നേക്കാൾ കൂടുതൽ ഇടം എടുത്തു.

വെയിറ്റിംഗ് ലിസ്റ്റ്, ക്ലയന്റ് സബ്‌സ്‌ക്രിപ്‌ഷനുകൾ, നിലവിൽ ഫാഷനബിൾ സ്റ്റോറികൾ, മാറ്റിവെച്ച സാധനങ്ങൾ എന്നിവയുടെ സേവനങ്ങളും Tarantool-ൽ പ്രവർത്തിക്കുന്നു. മെമ്മറിയിലെ അവസാന സേവനം ഏകദേശം 120 GB എടുക്കും. മേൽപ്പറഞ്ഞവയിൽ ഏറ്റവും സമഗ്രമായ സേവനമാണിത്.

തീരുമാനം

ദ്വിതീയ സൂചികകൾക്ക് നന്ദി, കീ-മൂല്യം, ഇടപാട് എന്നിവയുമായി സംയോജിപ്പിച്ച്, മൈക്രോസർവീസ് അടിസ്ഥാനമാക്കിയുള്ള ആർക്കിടെക്ചറുകൾക്ക് Tarantool നന്നായി യോജിക്കുന്നു. എന്നിരുന്നാലും, ലുവയിൽ വളരെയധികം യുക്തിസഹമായ സേവനങ്ങളിൽ മാറ്റങ്ങൾ വരുത്തുമ്പോൾ ഞങ്ങൾക്ക് ബുദ്ധിമുട്ടുകൾ നേരിടേണ്ടി വന്നു - സേവനങ്ങൾ പലപ്പോഴും പ്രവർത്തിക്കുന്നത് നിർത്തി. ഇത് മറികടക്കാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞില്ല, കാലക്രമേണ ഞങ്ങൾ ലുവായുടെയും ഗോയുടെയും വ്യത്യസ്ത കോമ്പിനേഷനുകളിലേക്ക് എത്തി: ഒരു ഭാഷ എവിടെ ഉപയോഗിക്കണമെന്നും മറ്റൊരു ഭാഷ എവിടെ ഉപയോഗിക്കണമെന്നും ഞങ്ങൾക്കറിയാം.

വിഷയത്തിൽ മറ്റെന്താണ് വായിക്കേണ്ടത്

• Tarantool ഉപയോഗിച്ച് ആദ്യം മുതൽ ഉയർന്ന ലോഡ് ആപ്ലിക്കേഷൻ സൃഷ്ടിക്കുന്നു habr.com/ru/company/mailru/blog/510440
• Tarantool Cartridge-ൽ വിശ്വസനീയമായ ലീഡർ തിരഞ്ഞെടുപ്പ് habr.com/ru/company/mailru/blog/513912
• ഉൽപ്പന്നത്തെക്കുറിച്ചുള്ള വാർത്തകളുമായി ടെലിഗ്രാം ചാനൽ Tarantool t.me/tarantool_news
• കമ്മ്യൂണിറ്റി ചാറ്റിൽ Tarantool ചർച്ച ചെയ്യുക t.me/tarantoolru

അവലംബം: www.habr.com