വിക്ടോറിയമെട്രിക്സും സ്വകാര്യ ക്ലൗഡ് നിരീക്ഷണവും. പവൽ കൊളോബേവ്

ഒരു സമയ ശ്രേണിയുടെ രൂപത്തിൽ ഡാറ്റ സംഭരിക്കുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമുള്ള വേഗതയേറിയതും അളക്കാവുന്നതുമായ DBMS ആണ് VictoriaMetrics (ഒരു റെക്കോർഡ് ഈ സമയവുമായി ബന്ധപ്പെട്ട സമയവും മൂല്യങ്ങളുടെ ഒരു കൂട്ടവും ഉൾക്കൊള്ളുന്നു, ഉദാഹരണത്തിന്, സെൻസറുകളുടെ നിലയുടെ ആനുകാലിക വോട്ടെടുപ്പിലൂടെ നേടിയത് അല്ലെങ്കിൽ അളവുകളുടെ ശേഖരണം).

എന്റെ പേര് കൊളോബേവ് പവൽ. DevOps, SRE, LeroyMerlin, എല്ലാം കോഡ് പോലെയാണ് - ഇതെല്ലാം ഞങ്ങളെക്കുറിച്ചാണ്: എന്നെയും മറ്റ് LeroyMerlin ജീവനക്കാരെയും കുറിച്ച്.

https://bit.ly/3jf1fIK

OpenStack അടിസ്ഥാനമാക്കിയുള്ള ഒരു ക്ലൗഡ് ഉണ്ട്. സാങ്കേതിക റഡാറിലേക്ക് ഒരു ചെറിയ ലിങ്ക് ഉണ്ട്.

ഇത് കുബർനെറ്റസ് ഹാർഡ്‌വെയറിലും ഓപ്പൺസ്റ്റാക്കിനും ലോഗിംഗിനുമായി ബന്ധപ്പെട്ട എല്ലാ സേവനങ്ങളിലും നിർമ്മിച്ചതാണ്.

ഞങ്ങൾ വികസിപ്പിക്കുന്ന പദ്ധതിയാണിത്. ഞങ്ങൾ ഇതെല്ലാം വികസിപ്പിക്കുമ്പോൾ, K8s ക്ലസ്റ്ററിനുള്ളിൽ തന്നെ ഡാറ്റ സംഭരിക്കുന്ന ഒരു പ്രോമിത്യൂസ് ഓപ്പറേറ്റർ ഞങ്ങൾക്ക് ഉണ്ടായിരുന്നു. സ്‌ക്രബ്ബ് ചെയ്യേണ്ടത് അവൻ യാന്ത്രികമായി കണ്ടെത്തുകയും അത് അവന്റെ കാൽക്കീഴിൽ വയ്ക്കുകയും ചെയ്യുന്നു, ഏകദേശം പറഞ്ഞാൽ.

ഞങ്ങൾക്ക് എല്ലാ ഡാറ്റയും കുബർനെറ്റസ് ക്ലസ്റ്ററിന് പുറത്തേക്ക് നീക്കേണ്ടതുണ്ട്, കാരണം എന്തെങ്കിലും സംഭവിക്കുകയാണെങ്കിൽ, എന്താണെന്നും എവിടെയാണെന്നും മനസ്സിലാക്കേണ്ടതുണ്ട്.

ആദ്യത്തെ പരിഹാരം, ഞങ്ങൾക്ക് ഒരു മൂന്നാം കക്ഷി പ്രോമിത്യൂസ് ഉള്ളപ്പോൾ, ഫെഡറേഷൻ മെക്കാനിസത്തിലൂടെ കുബർനെറ്റസ് ക്ലസ്റ്ററിലേക്ക് പോകുമ്പോൾ ഞങ്ങൾ ഫെഡറേഷൻ ഉപയോഗിക്കുന്നു എന്നതാണ്.

എന്നാൽ ഇവിടെ ചില ചെറിയ പ്രശ്നങ്ങളുണ്ട്. ഞങ്ങളുടെ കാര്യത്തിൽ, ഞങ്ങൾക്ക് 250 മെട്രിക്കുകൾ ഉള്ളപ്പോൾ പ്രശ്നങ്ങൾ ആരംഭിച്ചു, 000 മെട്രിക്കുകൾ ഉള്ളപ്പോൾ, ഞങ്ങൾക്ക് അങ്ങനെ പ്രവർത്തിക്കാൻ കഴിയില്ലെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി. ഞങ്ങൾ സ്‌ക്രാപ്പ്_ടൈമൗട്ട് 400 സെക്കൻഡായി വർദ്ധിപ്പിച്ചു.

എന്തുകൊണ്ടാണ് ഞങ്ങൾക്ക് ഇത് ചെയ്യേണ്ടി വന്നത്? പ്രൊമിത്യൂസ് വേലിയുടെ തുടക്കം മുതൽ സമയപരിധി കണക്കാക്കാൻ തുടങ്ങുന്നു. ഡാറ്റ ഇപ്പോഴും ഒഴുകുന്നു എന്നത് പ്രശ്നമല്ല. ഈ നിർദ്ദിഷ്‌ട കാലയളവിൽ ഡാറ്റ ലയിപ്പിക്കാതിരിക്കുകയും http വഴി സെഷൻ അടയ്ക്കാതിരിക്കുകയും ചെയ്‌താൽ, സെഷൻ പരാജയപ്പെട്ടതായി കണക്കാക്കുകയും ഡാറ്റ പ്രോമിത്യൂസിൽ തന്നെ ലഭിക്കാതിരിക്കുകയും ചെയ്യും.

ചില ഡാറ്റ നഷ്‌ടപ്പെടുമ്പോൾ നമുക്ക് ലഭിക്കുന്ന ഗ്രാഫുകൾ എല്ലാവർക്കും പരിചിതമാണ്. ഷെഡ്യൂളുകൾ കീറിപ്പോയി, ഞങ്ങൾക്ക് ഇതിൽ സന്തോഷമില്ല.

ഒരേ ഫെഡറേഷൻ സംവിധാനത്തിലൂടെ രണ്ട് വ്യത്യസ്ത പ്രോമിത്യൂസിനെ അടിസ്ഥാനമാക്കി ഷാർഡിംഗാണ് അടുത്ത ഓപ്ഷൻ.

ഉദാഹരണത്തിന്, അവ എടുത്ത് പേര് ഉപയോഗിച്ച് കീറുക. ഇതും ഉപയോഗിക്കാം, പക്ഷേ ഞങ്ങൾ മുന്നോട്ട് പോകാൻ തീരുമാനിച്ചു.

നമുക്ക് ഇപ്പോൾ ഈ ശകലങ്ങൾ എങ്ങനെയെങ്കിലും പ്രോസസ്സ് ചെയ്യേണ്ടിവരും. നിങ്ങൾക്ക് പ്രോംക്സി എടുക്കാം, അത് ഷാർഡ് ഏരിയയിലേക്ക് പോയി ഡാറ്റ ഗുണിക്കുന്നു. ഒരൊറ്റ എൻട്രി പോയിന്റായി രണ്ട് കഷ്ണങ്ങൾ ഉപയോഗിച്ച് ഇത് പ്രവർത്തിക്കുന്നു. ഇത് പ്രോംക്സി വഴി നടപ്പിലാക്കാൻ കഴിയും, എന്നാൽ ഇത് ഇപ്പോഴും വളരെ ബുദ്ധിമുട്ടാണ്.

ഫെഡറേഷൻ മെക്കാനിസം വളരെ മന്ദഗതിയിലായതിനാൽ അത് ഉപേക്ഷിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു എന്നതാണ് ആദ്യത്തെ ഓപ്ഷൻ.

പ്രൊമിത്യൂസ് ഡെവലപ്പർമാർ വ്യക്തമായി പറയുന്നു, "കുട്ടികളേ, വ്യത്യസ്തമായ ടൈംസ്കെയിൽഡിബി ഉപയോഗിക്കുക, കാരണം മെട്രിക്സിന്റെ ദീർഘകാല സംഭരണത്തെ ഞങ്ങൾ പിന്തുണയ്ക്കില്ല." ഇത് അവരുടെ ചുമതലയല്ല.

എല്ലാം ഒരിടത്ത് സൂക്ഷിക്കാതിരിക്കാൻ ഞങ്ങൾ ഇപ്പോഴും പുറത്ത് ഇറക്കേണ്ട ഒരു കടലാസിൽ എഴുതുന്നു.

രണ്ടാമത്തെ പോരായ്മ മെമ്മറി ഉപഭോഗമാണ്. അതെ, 2020 ൽ രണ്ട് ജിഗാബൈറ്റ് മെമ്മറിക്ക് ഒരു ചില്ലിക്കാശും ചിലവാകും എന്ന് പലരും പറയുമെന്ന് ഞാൻ മനസ്സിലാക്കുന്നു, പക്ഷേ ഇപ്പോഴും.

ഇപ്പോൾ നമുക്ക് ഒരു dev and prod പരിതസ്ഥിതിയുണ്ട്. ഡെവലിൽ ഇത് 9 മെട്രിക്കുകൾക്ക് ഏകദേശം 350 ജിഗാബൈറ്റ് ആണ്. പ്രോഡിൽ ഇത് 000 ജിഗാബൈറ്റും 14 മെട്രിക്കുകളുമാണ്. അതേ സമയം, ഞങ്ങളുടെ നിലനിർത്തൽ സമയം 780 മിനിറ്റ് മാത്രമാണ്. ഇത് മോശമാണ്. എന്തുകൊണ്ടെന്ന് ഇപ്പോൾ ഞാൻ വിശദീകരിക്കും.

ഞങ്ങൾ ഒരു കണക്കുകൂട്ടൽ നടത്തുന്നു, അതായത്, ഒന്നര ദശലക്ഷം മെട്രിക്സ് ഉപയോഗിച്ച്, ഞങ്ങൾ ഇതിനകം അവരോട് അടുത്താണ്, ഡിസൈൻ ഘട്ടത്തിൽ നമുക്ക് 35-37 ജിഗാബൈറ്റ് മെമ്മറി ലഭിക്കും. എന്നാൽ ഇതിനകം 4 ദശലക്ഷം മെട്രിക്കുകൾക്ക് ഏകദേശം 90 ജിഗാബൈറ്റ് മെമ്മറി ആവശ്യമാണ്. അതായത്, പ്രൊമിത്യൂസ് ഡെവലപ്പർമാർ നൽകിയ ഫോർമുല ഉപയോഗിച്ചാണ് ഇത് കണക്കാക്കിയത്. ഞങ്ങൾ പരസ്പരബന്ധം നോക്കുകയും നിരീക്ഷണത്തിനായി ഒരു സെർവറിനായി ദശലക്ഷക്കണക്കിന് പണം നൽകേണ്ടതില്ലെന്ന് മനസ്സിലാക്കുകയും ചെയ്തു.

ഞങ്ങൾ മെഷീനുകളുടെ എണ്ണം വർദ്ധിപ്പിക്കുക മാത്രമല്ല, വെർച്വൽ മെഷീനുകൾ സ്വയം നിരീക്ഷിക്കുകയും ചെയ്യുന്നു. അതിനാൽ, കൂടുതൽ വെർച്വൽ മെഷീനുകൾ, വിവിധ തരത്തിലുള്ള കൂടുതൽ മെട്രിക്കുകൾ മുതലായവ. മെട്രിക്സിന്റെ അടിസ്ഥാനത്തിൽ നമ്മുടെ ക്ലസ്റ്ററിന് ഒരു പ്രത്യേക വളർച്ച ഉണ്ടാകും.

ഡിസ്ക് സ്പേസ് ഉള്ളതിനാൽ, എല്ലാം ഇവിടെ മോശമല്ല, പക്ഷേ അത് മെച്ചപ്പെടുത്താൻ ഞാൻ ആഗ്രഹിക്കുന്നു. 15 ദിവസത്തിനുള്ളിൽ ഞങ്ങൾക്ക് ആകെ 120 ജിഗാബൈറ്റുകൾ ലഭിച്ചു, അതിൽ 100 ​​എണ്ണം കംപ്രസ് ചെയ്ത ഡാറ്റയാണ്, 20 എണ്ണം കംപ്രസ് ചെയ്യാത്ത ഡാറ്റയാണ്, എന്നാൽ ഞങ്ങൾക്ക് എപ്പോഴും കുറവ് വേണം.

അതനുസരിച്ച്, ഞങ്ങൾ ഒരു പോയിന്റ് കൂടി എഴുതുന്നു - ഇത് ഞങ്ങൾ ഇപ്പോഴും സംരക്ഷിക്കാൻ ആഗ്രഹിക്കുന്ന വിഭവങ്ങളുടെ വലിയ ഉപഭോഗമാണ്, കാരണം ഓപ്പൺസ്റ്റാക്ക് കൈകാര്യം ചെയ്യുന്ന ഞങ്ങളുടെ ക്ലസ്റ്ററിനേക്കാൾ കൂടുതൽ ഉറവിടങ്ങൾ ഞങ്ങളുടെ മോണിറ്ററിംഗ് ക്ലസ്റ്റർ ഉപഭോഗം ചെയ്യാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നില്ല.

പ്രോമിത്യൂസിന്റെ ഒരു പോരായ്മ കൂടിയുണ്ട്, അത് ഞങ്ങൾ സ്വയം തിരിച്ചറിഞ്ഞിട്ടുണ്ട്, ഇത് കുറഞ്ഞത് ഒരുതരം മെമ്മറി പരിമിതിയാണ്. പ്രോമിത്യൂസിനൊപ്പം, എല്ലാം ഇവിടെ വളരെ മോശമാണ്, കാരണം ഇതിന് അത്തരം ട്വിസ്റ്റുകളൊന്നുമില്ല. ഡോക്കറിൽ ഒരു പരിധി ഉപയോഗിക്കുന്നത് ഒരു ഓപ്ഷനല്ല. പെട്ടെന്ന് നിങ്ങളുടെ RAF വീഴുകയും 20-30 ജിഗാബൈറ്റുകൾ ഉണ്ടെങ്കിൽ, അത് ഉയരാൻ വളരെ സമയമെടുക്കും.

പ്രോമിത്യൂസ് നമുക്ക് അനുയോജ്യമല്ലാത്തതിന്റെ മറ്റൊരു കാരണം ഇതാണ്, അതായത് മെമ്മറി ഉപഭോഗം പരിമിതപ്പെടുത്താൻ ഞങ്ങൾക്ക് കഴിയില്ല.

ഇത്തരമൊരു പദ്ധതി കൊണ്ടുവരാൻ സാധിക്കും. ഒരു എച്ച്എ ക്ലസ്റ്റർ സംഘടിപ്പിക്കുന്നതിന് ഞങ്ങൾക്ക് ഈ സ്കീം ആവശ്യമാണ്. ഈ മെട്രിക്കുകൾ സംഭരിക്കുന്ന സെർവർ ക്രാഷായാലും, ഞങ്ങളുടെ മെട്രിക്‌സ് എല്ലായ്‌പ്പോഴും എല്ലായിടത്തും ലഭ്യമാകണമെന്ന് ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. അതിനാൽ ഞങ്ങൾ അത്തരമൊരു സ്കീം നിർമ്മിക്കേണ്ടിവരും.

ഈ സ്കീം പറയുന്നത്, ഞങ്ങൾക്ക് ചില്ലുകളുടെ തനിപ്പകർപ്പ് ഉണ്ടായിരിക്കുമെന്നും, അതനുസരിച്ച്, ഉപഭോഗം ചെയ്യുന്ന വിഭവങ്ങളുടെ ചിലവിന്റെ തനിപ്പകർപ്പ് ലഭിക്കുമെന്നും. ഇത് ഏതാണ്ട് തിരശ്ചീനമായി അളക്കാൻ കഴിയും, എന്നിരുന്നാലും വിഭവ ഉപഭോഗം നരകതുല്യമായിരിക്കും.

പോരായ്മകൾ ഞങ്ങൾ സ്വയം എഴുതിയ രൂപത്തിൽ ക്രമത്തിൽ:

• ബാഹ്യമായി മെട്രിക്‌സ് അപ്‌ലോഡ് ചെയ്യേണ്ടതുണ്ട്.
• ഉയർന്ന വിഭവ ഉപഭോഗം.
• മെമ്മറി ഉപഭോഗം പരിമിതപ്പെടുത്താൻ ഒരു മാർഗവുമില്ല.
• എച്ച്എയുടെ സങ്കീർണ്ണവും വിഭവ-തീവ്രവുമായ നടപ്പാക്കൽ.

ഞങ്ങൾക്കായി, ഞങ്ങൾ പ്രൊമിത്യൂസിൽ നിന്ന് ഒരു സംഭരണ ​​കേന്ദ്രമായി മാറാൻ തീരുമാനിച്ചു.

ഞങ്ങൾക്ക് ആവശ്യമായ അധിക ആവശ്യകതകൾ ഞങ്ങൾ തിരിച്ചറിഞ്ഞു. ഈ:

• ഇത് promql പിന്തുണയാണ്, കാരണം പ്രോമിത്യൂസിനായി ധാരാളം കാര്യങ്ങൾ ഇതിനകം എഴുതിയിട്ടുണ്ട്: അന്വേഷണങ്ങൾ, അലേർട്ടുകൾ.
• തുടർന്ന് നമുക്ക് ഗ്രാഫാനയുണ്ട്, അത് ഇതിനകം തന്നെ പ്രോമിത്യൂസിന് ഒരു ബാക്കെൻഡായി അതേ രീതിയിൽ എഴുതിയിട്ടുണ്ട്. ഡാഷ്‌ബോർഡുകൾ മാറ്റിയെഴുതാൻ ഞാൻ ആഗ്രഹിക്കുന്നില്ല.
• ഒരു സാധാരണ എച്ച്എ ആർക്കിടെക്ചർ നിർമ്മിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.
• ഏതെങ്കിലും വിഭവങ്ങളുടെ ഉപഭോഗം കുറയ്ക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.
• മറ്റൊരു ചെറിയ ന്യൂനൻസ് ഉണ്ട്. ഞങ്ങൾക്ക് വിവിധ തരം ക്ലൗഡ് മെട്രിക്സ് ശേഖരണ സംവിധാനങ്ങൾ ഉപയോഗിക്കാൻ കഴിയില്ല. ഈ അളവുകോലുകളിൽ എന്താണ് ഉൾപ്പെടുകയെന്ന് ഞങ്ങൾക്ക് ഇതുവരെ അറിയില്ല. അവിടെ എന്തും പറക്കാൻ കഴിയുന്നതിനാൽ, പ്രാദേശിക പ്ലേസ്‌മെന്റിൽ മാത്രം ഒതുങ്ങണം.

ചെറിയ ചോയ്സ് ഉണ്ടായിരുന്നു. ഞങ്ങൾ അനുഭവിച്ചതെല്ലാം ഞങ്ങൾ ശേഖരിച്ചു. ഞങ്ങൾ സംയോജന വിഭാഗത്തിലെ പ്രോമിത്യൂസ് പേജ് നോക്കി, ഒരു കൂട്ടം ലേഖനങ്ങൾ വായിച്ചു, അവിടെ എന്താണ് ഉള്ളതെന്ന് ഞങ്ങൾ കണ്ടു. ഞങ്ങൾക്കായി, പ്രൊമിത്യൂസിന് പകരമായി ഞങ്ങൾ വിക്ടോറിയമെട്രിക്സ് തിരഞ്ഞെടുത്തു.

എന്തുകൊണ്ട്? കാരണം:

• promql അറിയാം.
• ഒരു മോഡുലാർ ആർക്കിടെക്ചർ ഉണ്ട്.
• ഗ്രാഫാനയിൽ മാറ്റങ്ങൾ ആവശ്യമില്ല.
• ഏറ്റവും പ്രധാനമായി, ഞങ്ങളുടെ കമ്പനിക്കുള്ളിലെ മെട്രിക്സ് സ്റ്റോറേജ് ഞങ്ങൾ ഒരു സേവനമായി നൽകും, അതിനാൽ വിവിധ തരത്തിലുള്ള നിയന്ത്രണങ്ങൾക്കായി ഞങ്ങൾ മുൻകൂട്ടി നോക്കുകയാണ്, അതിനാൽ ഉപയോക്താക്കൾക്ക് ക്ലസ്റ്ററിന്റെ എല്ലാ ഉറവിടങ്ങളും പരിമിതമായ രീതിയിൽ ഉപയോഗിക്കാൻ കഴിയും, കാരണം ഒരു അവസരമുണ്ട്. അത് ബഹുത്വമെടുക്കും എന്ന്.

നമുക്ക് ആദ്യത്തെ താരതമ്യം ചെയ്യാം. ഞങ്ങൾ അതേ പ്രോമിത്യൂസിനെ ക്ലസ്റ്ററിനുള്ളിൽ കൊണ്ടുപോകുന്നു, ബാഹ്യ പ്രോമിത്യൂസ് അതിലേക്ക് പോകുന്നു. റിമോട്ട് റൈറ്റ് വിക്ടോറിയമെട്രിക്സ് വഴി ചേർക്കുക.

വിക്ടോറിയമെട്രിക്സിൽ നിന്നുള്ള സിപിയു ഉപഭോഗത്തിൽ നേരിയ വർധനവുണ്ടായതായി ഞാൻ ഉടൻ തന്നെ റിസർവേഷൻ ചെയ്യും. ഏത് പാരാമീറ്ററുകളാണ് മികച്ചതെന്ന് വിക്ടോറിയമെട്രിക്സ് വിക്കി നിങ്ങളോട് പറയുന്നു. ഞങ്ങൾ അവ പരിശോധിച്ചു. അവർ സിപിയു ഉപഭോഗം നന്നായി കുറച്ചു.

ഞങ്ങളുടെ കാര്യത്തിൽ, കുബർനെറ്റസ് ക്ലസ്റ്ററിൽ സ്ഥിതി ചെയ്യുന്ന പ്രോമിത്യൂസിന്റെ മെമ്മറി ഉപഭോഗം കാര്യമായി വർദ്ധിച്ചില്ല.

ഒരേ ഡാറ്റയുടെ രണ്ട് ഡാറ്റ ഉറവിടങ്ങൾ ഞങ്ങൾ താരതമ്യം ചെയ്യുന്നു. നഷ്‌ടമായ അതേ ഡാറ്റയാണ് പ്രോമിത്യൂസിൽ നാം കാണുന്നത്. വിക്ടോറിയമെട്രിക്സിൽ എല്ലാം ശരിയാണ്.

ഡിസ്ക് സ്പേസ് പരിശോധനാ ഫലങ്ങൾ. പ്രോമിത്യൂസിൽ ഞങ്ങൾക്ക് ആകെ 120 ജിഗാബൈറ്റുകൾ ലഭിച്ചു. VictoriaMetrics-ൽ ഞങ്ങൾക്ക് ഇതിനകം പ്രതിദിനം 4 ജിഗാബൈറ്റുകൾ ലഭിക്കുന്നു. പ്രോമിത്യൂസിൽ നമ്മൾ കണ്ടു ശീലിച്ചതിൽ നിന്നും അല്പം വ്യത്യസ്തമായ ഒരു മെക്കാനിസം ഉണ്ട്. അതായത്, ഡാറ്റ ഇതിനകം തന്നെ ഒരു ദിവസം, അരമണിക്കൂറിനുള്ളിൽ നന്നായി കംപ്രസ് ചെയ്തു. ഡാറ്റ പിന്നീട് നഷ്‌ടപ്പെടുമെന്ന വസ്തുത ഉണ്ടായിരുന്നിട്ടും, അരമണിക്കൂറിനുള്ളിൽ അവ ഇതിനകം തന്നെ നന്നായി കൊയ്തു. തൽഫലമായി, ഞങ്ങൾ ഡിസ്ക് സ്പേസിൽ സംരക്ഷിച്ചു.

മെമ്മറി റിസോഴ്സ് ഉപഭോഗത്തിലും ഞങ്ങൾ ലാഭിക്കുന്നു. ടെസ്റ്റിംഗ് സമയത്ത്, ഞങ്ങൾ പ്രോമിത്യൂസിനെ ഒരു വെർച്വൽ മെഷീനിൽ വിന്യസിച്ചിരുന്നു - 8 കോറുകൾ, 24 ജിഗാബൈറ്റ്. പ്രോമിത്യൂസ് മിക്കവാറും എല്ലാം കഴിക്കുന്നു. അവൻ OOM കില്ലറിൽ വീണു. അതേ സമയം, അതിൽ 900 സജീവ അളവുകൾ മാത്രമേ പകർന്നിട്ടുള്ളൂ. ഇത് സെക്കൻഡിൽ ഏകദേശം 000-25 മെട്രിക്സ് ആണ്.

8 ജിഗാബൈറ്റ് റാം ഉള്ള ഒരു ഡ്യുവൽ കോർ വെർച്വൽ മെഷീനിൽ ഞങ്ങൾ വിക്ടോറിയമെട്രിക്സ് പ്രവർത്തിപ്പിച്ചു. 8GB മെഷീനിൽ കുറച്ച് കാര്യങ്ങൾ ചുറ്റിക്കറങ്ങി വിക്ടോറിയമെട്രിക്സ് നന്നായി പ്രവർത്തിക്കാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞു. അവസാനം, ഞങ്ങൾ അത് 7 ജിഗാബൈറ്റിൽ സൂക്ഷിച്ചു. അതേ സമയം, ഉള്ളടക്കത്തിന്റെ ഡെലിവറി വേഗത, അതായത് മെട്രിക്സ്, പ്രോമിത്യൂസിനേക്കാൾ ഉയർന്നതായിരുന്നു.

പ്രൊമിത്യൂസിനെ അപേക്ഷിച്ച് സിപിയു വളരെ മികച്ചതായി മാറി. ഇവിടെ പ്രോമിത്യൂസ് 2,5 കോറുകൾ ഉപയോഗിക്കുന്നു, വിക്ടോറിയമെട്രിക്സ് 0,25 കോറുകൾ മാത്രം ഉപയോഗിക്കുന്നു. തുടക്കത്തിൽ - 0,5 കോറുകൾ. ഇത് ലയിക്കുമ്പോൾ, അത് ഒരു കാമ്പിൽ എത്തുന്നു, പക്ഷേ ഇത് വളരെ അപൂർവമാണ്.

ഞങ്ങളുടെ കാര്യത്തിൽ, വ്യക്തമായ കാരണങ്ങളാൽ തിരഞ്ഞെടുപ്പ് വിക്ടോറിയമെട്രിക്സിൽ വീണു; പണം ലാഭിക്കാൻ ഞങ്ങൾ ആഗ്രഹിച്ചു, ഞങ്ങൾ അത് ചെയ്തു.

നമുക്ക് രണ്ട് പോയിന്റുകൾ ഉടനടി മറികടക്കാം - അളവുകളുടെ അപ്‌ലോഡും വിഭവങ്ങളുടെ ഉയർന്ന ഉപഭോഗവും. നമുക്കായി ഇനിയും അവശേഷിക്കുന്ന രണ്ട് പോയിന്റുകൾ നമ്മൾ തീരുമാനിക്കേണ്ടതുണ്ട്.

ഇവിടെ ഞാൻ ഉടൻ തന്നെ ഒരു റിസർവേഷൻ നടത്തും, ഞങ്ങൾ വിക്ടോറിയമെട്രിക്സിനെ മെട്രിക്കുകളുടെ സംഭരണമായി കണക്കാക്കുന്നു. എന്നാൽ ഞങ്ങൾ മിക്കവാറും എല്ലാ ലെറോയ്‌ക്കും സംഭരണമായി വിക്ടോറിയമെട്രിക്സ് നൽകുമെന്നതിനാൽ, ഈ ക്ലസ്റ്റർ ഉപയോഗിക്കുന്നവരെ ഞങ്ങൾ പരിമിതപ്പെടുത്തേണ്ടതുണ്ട്, അങ്ങനെ അവർ അത് ഞങ്ങൾക്ക് നൽകില്ല.

സമയം, ഡാറ്റയുടെ അളവ്, നിർവ്വഹണ സമയം എന്നിവ പ്രകാരം പരിമിതപ്പെടുത്താൻ നിങ്ങളെ അനുവദിക്കുന്ന ഒരു അത്ഭുതകരമായ പാരാമീറ്റർ ഉണ്ട്.

മെമ്മറി ഉപഭോഗം പരിമിതപ്പെടുത്താൻ ഞങ്ങളെ അനുവദിക്കുന്ന ഒരു മികച്ച ഓപ്ഷനും ഉണ്ട്, അതുവഴി സാധാരണ പ്രവർത്തന വേഗതയും മതിയായ വിഭവ ഉപഭോഗവും ലഭിക്കാൻ അനുവദിക്കുന്ന ബാലൻസ് നമുക്ക് കണ്ടെത്താൻ കഴിയും.

മൈനസ് ഒരു പോയിന്റ് കൂടി, അതായത് പോയിന്റ് മറികടക്കുക - നിങ്ങൾക്ക് മെമ്മറി ഉപഭോഗം പരിമിതപ്പെടുത്താൻ കഴിയില്ല.

ആദ്യ ആവർത്തനങ്ങളിൽ, ഞങ്ങൾ VictoriaMetrics സിംഗിൾ നോഡ് പരീക്ഷിച്ചു. അടുത്തതായി നമ്മൾ വിക്ടോറിയമെട്രിക്സ് ക്ലസ്റ്റർ പതിപ്പിലേക്ക് പോകുന്നു.

വിക്ടോറിയമെട്രിക്‌സിലെ വിവിധ സേവനങ്ങൾ അവർ എന്തിലാണ് പ്രവർത്തിക്കുക, അവർ എന്ത് വിഭവങ്ങൾ ഉപയോഗിക്കും എന്നതിനെ ആശ്രയിച്ച് വേർതിരിക്കാൻ ഇവിടെ ഞങ്ങൾക്ക് ഒരു സ്വതന്ത്ര കൈയുണ്ട്. ഇത് വളരെ അയവുള്ളതും സൗകര്യപ്രദവുമായ പരിഹാരമാണ്. ഞങ്ങൾ ഇത് സ്വയം ഉപയോഗിച്ചു.

വിക്ടോറിയമെട്രിക്സ് ക്ലസ്റ്റർ പതിപ്പിന്റെ പ്രധാന ഘടകങ്ങൾ vmstsorage ആണ്. അവയിൽ N നമ്പർ ഉണ്ടാകാം. ഞങ്ങളുടെ കാര്യത്തിൽ ഇതുവരെ അവയിൽ 2 എണ്ണം ഉണ്ട്.

ഒപ്പം vminsert ഉണ്ട്. ഇത് ഞങ്ങളെ അനുവദിക്കുന്ന ഒരു പ്രോക്‌സി സെർവറാണ്: ഞങ്ങൾ പറഞ്ഞ എല്ലാ സ്റ്റോറേജുകൾക്കിടയിലും ഷാർഡിംഗ് ക്രമീകരിക്കുക, കൂടാതെ ഇത് ഒരു പകർപ്പും അനുവദിക്കുന്നു, അതായത് നിങ്ങൾക്ക് ഷാർഡിംഗും ഒരു പകർപ്പും ഉണ്ടായിരിക്കും.

പ്രോമിത്യൂസിൽ നിന്നുള്ള OpenTSDB, Graphite, InfluxDB, remoteWrite പ്രോട്ടോക്കോളുകൾ എന്നിവ Vminsert പിന്തുണയ്ക്കുന്നു.

vmselectഉം ഉണ്ട്. vmstorage-ലേക്ക് പോകുക, അവരിൽ നിന്ന് ഡാറ്റ സ്വീകരിക്കുക, ഈ ഡാറ്റ ഡ്യൂപ്ലിക്കേറ്റ് ചെയ്ത് ക്ലയന്റിന് നൽകുക എന്നതാണ് ഇതിന്റെ പ്രധാന ചുമതല.

vmagent എന്നൊരു അത്ഭുതകരമായ കാര്യമുണ്ട്. ഞങ്ങൾ അവളെ ശരിക്കും ഇഷ്ടപ്പെടുന്നു. പ്രോമിത്യൂസിനെപ്പോലെ കൃത്യമായി കോൺഫിഗർ ചെയ്യാനും ഇപ്പോഴും പ്രോമിത്യൂസിനെപ്പോലെ എല്ലാം ചെയ്യാനും ഇത് നിങ്ങളെ അനുവദിക്കുന്നു. അതായത്, വിവിധ സ്ഥാപനങ്ങളിൽ നിന്നും സേവനങ്ങളിൽ നിന്നും അളവുകൾ ശേഖരിക്കുകയും അവ vminsert-ലേക്ക് അയയ്ക്കുകയും ചെയ്യുന്നു. അപ്പോൾ എല്ലാം നിങ്ങളെ ആശ്രയിച്ചിരിക്കുന്നു.

മറ്റൊരു മികച്ച സേവനം vmalert ആണ്, ഇത് VictoriaMetrics ഒരു ബാക്കെൻഡായി ഉപയോഗിക്കാനും vminsert-ൽ നിന്ന് പ്രോസസ്സ് ചെയ്ത ഡാറ്റ സ്വീകരിക്കാനും vmselect-ലേക്ക് അയയ്ക്കാനും നിങ്ങളെ അനുവദിക്കുന്നു. ഇത് അലേർട്ടുകളും നിയമങ്ങളും സ്വയം പ്രോസസ്സ് ചെയ്യുന്നു. അലേർട്ടുകളുടെ കാര്യത്തിൽ, അലേർട്ട്മാനേജർ വഴി ഞങ്ങൾക്ക് അലേർട്ട് ലഭിക്കും.

ഒരു wmauth ഘടകം ഉണ്ട്. ക്ലസ്റ്ററുകളുടെ മൾട്ടിടെനൻസി പതിപ്പിനുള്ള ഒരു അംഗീകാര സംവിധാനമായി ഞങ്ങൾ ഇത് ഉപയോഗിച്ചേക്കാം അല്ലെങ്കിൽ (ഇതുവരെ ഞങ്ങൾ തീരുമാനിച്ചിട്ടില്ല) ഉപയോഗിക്കാം. ഇത് പ്രൊമിത്യൂസിനായി റിമോട്ട് റൈറ്റിനെ പിന്തുണയ്ക്കുന്നു, കൂടാതെ നിങ്ങൾക്ക് എഴുതാനോ എഴുതാനോ കഴിയാത്ത url അല്ലെങ്കിൽ അതിന്റെ രണ്ടാം ഭാഗത്തെ അടിസ്ഥാനമാക്കി അംഗീകരിക്കാനും കഴിയും.

vmbackup, vmrestore എന്നിവയും ഉണ്ട്. ഇത്, സാരാംശത്തിൽ, എല്ലാ ഡാറ്റയുടെയും പുനഃസ്ഥാപനവും ബാക്കപ്പും ആണ്. S3, GCS, ഫയൽ ചെയ്യാൻ കഴിയും.

ഞങ്ങളുടെ ക്ലസ്റ്ററിന്റെ ആദ്യ ആവർത്തനം ക്വാറന്റൈൻ സമയത്താണ് നടത്തിയത്. ആ സമയത്ത്, ഒരു പകർപ്പ് ഇല്ലായിരുന്നു, അതിനാൽ ഞങ്ങളുടെ ആവർത്തനത്തിൽ വ്യത്യസ്തവും സ്വതന്ത്രവുമായ രണ്ട് ക്ലസ്റ്ററുകൾ അടങ്ങിയിരിക്കുന്നു, അതിൽ ഞങ്ങൾക്ക് റിമോട്ട് റൈറ്റിലൂടെ ഡാറ്റ ലഭിച്ചു.

ഞങ്ങൾ വിക്ടോറിയമെട്രിക്സ് സിംഗിൾ നോഡിൽ നിന്ന് വിക്ടോറിയമെട്രിക്സ് ക്ലസ്റ്റർ പതിപ്പിലേക്ക് മാറിയപ്പോൾ, ഉപഭോഗം ചെയ്ത അതേ വിഭവങ്ങളിൽ ഞങ്ങൾ തുടർന്നു, അതായത് പ്രധാനം മെമ്മറിയാണെന്ന് ഇവിടെ ഞാൻ ഒരു റിസർവേഷൻ നടത്തുന്നു. ഏകദേശം ഇങ്ങനെയാണ് ഞങ്ങളുടെ ഡാറ്റ, അതായത് വിഭവ ഉപഭോഗം, വിതരണം ചെയ്തത്.

ഒരു പകർപ്പ് ഇതിനകം ഇവിടെ ചേർത്തിട്ടുണ്ട്. ഞങ്ങൾ ഇതെല്ലാം ഒരു താരതമ്യേന വലിയ ക്ലസ്റ്ററായി സംയോജിപ്പിച്ചു. ഞങ്ങളുടെ എല്ലാ ഡാറ്റയും ഷാർഡ് ചെയ്‌തതും പകർത്തിയതുമാണ്.

മുഴുവൻ ക്ലസ്റ്ററിനും N എൻട്രി പോയിന്റുകൾ ഉണ്ട്, അതായത് പ്രോമിത്യൂസിന് HAPROXY വഴി ഡാറ്റ ചേർക്കാൻ കഴിയും. ഇവിടെ നമുക്ക് ഈ എൻട്രി പോയിന്റ് ഉണ്ട്. ഈ എൻട്രി പോയിന്റിലൂടെ നിങ്ങൾക്ക് ഗ്രാഫാനയിൽ നിന്ന് ലോഗിൻ ചെയ്യാൻ കഴിയും.

ഞങ്ങളുടെ കാര്യത്തിൽ, ഈ ക്ലസ്റ്ററിനുള്ളിൽ പ്രോക്സികൾ തിരഞ്ഞെടുക്കുകയും തിരുകുകയും മറ്റ് സേവനങ്ങൾ നൽകുകയും ചെയ്യുന്ന ഒരേയൊരു പോർട്ട് HAPROXY ആണ്. ഞങ്ങളുടെ കാര്യത്തിൽ, ഒരു വിലാസം ഉണ്ടാക്കുന്നത് അസാധ്യമാണ്; ഞങ്ങൾക്ക് നിരവധി എൻട്രി പോയിന്റുകൾ നൽകേണ്ടിവന്നു, കാരണം വിക്ടോറിയമെട്രിക്സ് ക്ലസ്റ്റർ പ്രവർത്തിക്കുന്ന വെർച്വൽ മെഷീനുകൾ ഒരേ ക്ലൗഡ് ദാതാവിന്റെ വ്യത്യസ്ത സോണുകളിൽ സ്ഥിതിചെയ്യുന്നു, അതായത് ഞങ്ങളുടെ ക്ലൗഡിനുള്ളിലല്ല, പുറത്താണ്. .

ഞങ്ങൾക്ക് മുന്നറിയിപ്പ് ഉണ്ട്. ഞങ്ങൾ അത് ഉപയോഗിക്കുന്നു. ഞങ്ങൾ Prometheus-ൽ നിന്നുള്ള അലർട്ട്മാനേജർ ഉപയോഗിക്കുന്നു. ഞങ്ങൾ ഓപ്‌സ്ജെനിയും ടെലിഗ്രാമും ഒരു അലേർട്ട് ഡെലിവറി ചാനലായി ഉപയോഗിക്കുന്നു. ടെലിഗ്രാമിൽ അവർ dev-ൽ നിന്ന് പകരുന്നു, ഒരുപക്ഷേ പ്രൊഡിൽ നിന്ന് എന്തെങ്കിലും, പക്ഷേ കൂടുതലും എഞ്ചിനീയർമാർക്ക് ആവശ്യമുള്ള സ്റ്റാറ്റിസ്റ്റിക്കൽ എന്തെങ്കിലും. ഒപ്പം Opsgenie നിർണായകമാണ്. ഇവ കോളുകളാണ്, സംഭവ മാനേജ്മെന്റ്.

ശാശ്വതമായ ചോദ്യം: "ആരാണ് നിരീക്ഷണം നിരീക്ഷിക്കുന്നത്?" ഞങ്ങളുടെ കാര്യത്തിൽ, മോണിറ്ററിംഗ് മോണിറ്ററുകൾ സ്വയം നിരീക്ഷിക്കുന്നു, കാരണം ഞങ്ങൾ ഓരോ നോഡിലും vmagent ഉപയോഗിക്കുന്നു. ഞങ്ങളുടെ നോഡുകൾ ഒരേ ദാതാവിന്റെ വ്യത്യസ്‌ത ഡാറ്റാ സെന്ററുകളിൽ വിതരണം ചെയ്‌തിരിക്കുന്നതിനാൽ, ഓരോ ഡാറ്റാ സെന്ററിനും അതിന്റേതായ ചാനൽ ഉണ്ട്, അവ സ്വതന്ത്രമാണ്, ഒരു സ്‌പ്ലിറ്റ് ബ്രെയിൻ വന്നാലും ഞങ്ങൾക്ക് അലേർട്ടുകൾ ലഭിക്കും. അതെ, അവയിൽ കൂടുതൽ ഉണ്ടാകും, എന്നാൽ ഒന്നുമില്ലാത്തതിനേക്കാൾ കൂടുതൽ അലേർട്ടുകൾ ലഭിക്കുന്നതാണ് നല്ലത്.

ഒരു HA നടപ്പിലാക്കുന്നതിലൂടെ ഞങ്ങൾ ഞങ്ങളുടെ ലിസ്റ്റ് അവസാനിപ്പിക്കുന്നു.

കൂടാതെ, വിക്ടോറിയമെട്രിക്സ് കമ്മ്യൂണിറ്റിയുമായി ആശയവിനിമയം നടത്തിയതിന്റെ അനുഭവം ഞാൻ ശ്രദ്ധിക്കാൻ ആഗ്രഹിക്കുന്നു. അത് വളരെ പോസിറ്റീവായി മാറി. ആൺകുട്ടികൾ പ്രതികരിക്കുന്നവരാണ്. വാഗ്ദാനം ചെയ്യുന്ന എല്ലാ കേസുകളും പരിശോധിക്കാൻ അവർ ശ്രമിക്കുന്നു.

ഞാൻ GitHub-ൽ പ്രശ്നങ്ങൾ ആരംഭിച്ചു. അവ വളരെ വേഗത്തിൽ പരിഹരിച്ചു. പൂർണ്ണമായും അടച്ചിട്ടില്ലാത്ത രണ്ട് പ്രശ്‌നങ്ങൾ കൂടി ഉണ്ട്, എന്നാൽ ഈ ദിശയിൽ പ്രവർത്തിക്കുന്നുണ്ടെന്ന് എനിക്ക് ഇതിനകം തന്നെ കോഡിൽ നിന്ന് കാണാൻ കഴിയും.

ആവർത്തന സമയത്ത് എനിക്കുണ്ടായ പ്രധാന വേദന, ഞാൻ ഒരു നോഡ് അടച്ചുപൂട്ടുകയാണെങ്കിൽ, ആദ്യത്തെ 30 സെക്കൻഡ് vminsert-ന് ബാക്കെൻഡ് ഇല്ലെന്ന് മനസ്സിലാക്കാൻ കഴിഞ്ഞില്ല എന്നതാണ്. ഇതാണ് ഇപ്പോൾ തീരുമാനിച്ചിരിക്കുന്നത്. അക്ഷരാർത്ഥത്തിൽ ഒന്നോ രണ്ടോ സെക്കൻഡിനുള്ളിൽ, ശേഷിക്കുന്ന എല്ലാ നോഡുകളിൽ നിന്നും ഡാറ്റ എടുക്കുന്നു, കൂടാതെ അഭ്യർത്ഥന ആ കാണാതായ നോഡിനായി കാത്തിരിക്കുന്നത് നിർത്തുന്നു.

ചില ഘട്ടങ്ങളിൽ വിക്ടോറിയമെട്രിക്സ് ഒരു വിക്ടോറിയമെട്രിക്സ് ഓപ്പറേറ്ററാകണമെന്ന് ഞങ്ങൾ ആഗ്രഹിച്ചു. ഞങ്ങൾ അവനെ കാത്തിരുന്നു. ഞങ്ങൾ ഇപ്പോൾ VictoriaMetrics ഓപ്പറേറ്റർക്കായി എല്ലാ മുൻകൂർ കണക്കുകൂട്ടൽ നിയമങ്ങളും എടുക്കുന്നതിനുള്ള ഒരു ചട്ടക്കൂട് നിർമ്മിക്കുകയാണ്.

ക്ലസ്റ്റർ നടപ്പാക്കൽ മെച്ചപ്പെടുത്താൻ നിർദേശമുണ്ട്. ഞാൻ അവ മുകളിൽ വിവരിച്ചു.

ഞാൻ ശരിക്കും താഴ്ത്താൻ ആഗ്രഹിക്കുന്നു. ഞങ്ങളുടെ കാര്യത്തിൽ, ട്രെൻഡുകൾ കാണുന്നതിന് മാത്രമായി ഡൗൺസാംപ്ലിംഗ് ആവശ്യമാണ്. ഏകദേശം പറഞ്ഞാൽ, പകൽ സമയത്ത് എനിക്ക് ഒരു മെട്രിക് മതി. ഈ പ്രവണതകൾ ഒരു വർഷം, മൂന്ന്, അഞ്ച്, പത്ത് വർഷത്തേക്ക് ആവശ്യമാണ്. ഒരു മെട്രിക് മൂല്യം മതിയാകും.

• പ്രോമിത്യൂസ് ഉപയോഗിക്കുമ്പോൾ ഞങ്ങളുടെ ചില സഹപ്രവർത്തകരെപ്പോലെ ഞങ്ങൾക്കും വേദന അറിയാം.
• ഞങ്ങൾ സ്വയം വിക്ടോറിയമെട്രിക്സ് തിരഞ്ഞെടുത്തു.
• ഇത് ലംബമായും തിരശ്ചീനമായും നന്നായി സ്കെയിൽ ചെയ്യുന്നു.
• നമുക്ക് ക്ലസ്റ്ററിലെ വ്യത്യസ്ത നോഡുകളിലേക്ക് വ്യത്യസ്ത ഘടകങ്ങൾ വിതരണം ചെയ്യാനും മെമ്മറി ഉപയോഗിച്ച് പരിമിതപ്പെടുത്താനും മെമ്മറി ചേർക്കാനും കഴിയും.

ഞങ്ങൾ വിക്ടോറിയമെട്രിക്സ് വീട്ടിൽ ഉപയോഗിക്കും, കാരണം ഞങ്ങൾക്ക് ഇത് ശരിക്കും ഇഷ്ടപ്പെട്ടു. ഇതാണ് ഉണ്ടായിരുന്നതും മാറിയതും.

https://t.me/VictoriaMetrics_ru1

VictoriaMetrics ചാറ്റ്, എന്റെ കോൺടാക്റ്റുകൾ, LeroyMerlin സാങ്കേതിക റഡാർ എന്നിവയ്‌ക്കായുള്ള രണ്ട് QR കോഡുകൾ.

അവലംബം: www.habr.com