പ്രൊമിത്യൂസിനായി ഒരു ഡാറ്റ സ്റ്റോർ തിരഞ്ഞെടുക്കുന്നു: താനോസ് vs വിക്ടോറിയമെട്രിക്സ്

എല്ലാവർക്കും ഹായ്. ഡീക്രിപ്ഷൻ ചുവടെയുണ്ട് ബിഗ് മോണിറ്ററിംഗ് മീറ്റിൽ നിന്നുള്ള റിപ്പോർട്ട് 4.

പ്രോമിത്തിയസ് - വിവിധ സിസ്റ്റങ്ങളും സേവനങ്ങളും നിരീക്ഷിക്കുന്നതിനുള്ള ഒരു സിസ്റ്റം, അതിന്റെ സഹായത്തോടെ സിസ്റ്റം അഡ്മിനിസ്ട്രേറ്റർമാർക്ക് സിസ്റ്റങ്ങളുടെ നിലവിലെ പാരാമീറ്ററുകളെക്കുറിച്ചുള്ള വിവരങ്ങൾ ശേഖരിക്കാനും സിസ്റ്റങ്ങളുടെ പ്രവർത്തനത്തിലെ വ്യതിയാനങ്ങളെക്കുറിച്ചുള്ള അറിയിപ്പുകൾ സ്വീകരിക്കുന്നതിന് അലേർട്ടുകൾ സജ്ജീകരിക്കാനും കഴിയും.

റിപ്പോർട്ട് താരതമ്യം ചെയ്യും താനൂസ് и വിക്ടോറിയമെട്രിക്സ് - പ്രൊമിത്യൂസ് മെട്രിക്സിന്റെ ദീർഘകാല സംഭരണത്തിനുള്ള പ്രോജക്ടുകൾ.

ഞാൻ ആദ്യം പ്രൊമിത്യൂസിനെ കുറിച്ച് പറയാം. നൽകിയിരിക്കുന്ന ടാർഗെറ്റുകളിൽ നിന്ന് അളവുകൾ ശേഖരിക്കുകയും അവ പ്രാദേശിക സംഭരണത്തിൽ സംഭരിക്കുകയും ചെയ്യുന്ന ഒരു നിരീക്ഷണ സംവിധാനമാണിത്. പ്രൊമിത്യൂസിന് റിമോട്ട് സ്റ്റോറേജിലേക്ക് മെട്രിക്സ് എഴുതാനും അലേർട്ടുകളും റെക്കോർഡിംഗ് നിയമങ്ങളും സൃഷ്ടിക്കാനും കഴിയും.

പ്രോമിത്യൂസ് പരിമിതികൾ:

• ഇതിന് ആഗോള അന്വേഷണ കാഴ്ചയില്ല. നിങ്ങൾക്ക് ഒന്നിലധികം സ്വതന്ത്ര പ്രൊമിത്യൂസ് സംഭവങ്ങൾ ഉള്ളപ്പോഴാണിത്. അവർ അളവുകൾ ശേഖരിക്കുന്നു. വ്യത്യസ്‌ത പ്രോമിത്യൂസ് സംഭവങ്ങളിൽ നിന്ന് ശേഖരിച്ച ഈ മെട്രിക്കുകൾക്കെല്ലാം മുകളിൽ നിങ്ങൾ അന്വേഷിക്കാൻ ആഗ്രഹിക്കുന്നു. പ്രോമിത്യൂസ് ഇത് അനുവദിക്കുന്നില്ല.
• പ്രോമിത്യൂസിനൊപ്പം, പ്രകടനം ഒരു സെർവറിൽ മാത്രമായി പരിമിതപ്പെടുത്തിയിരിക്കുന്നു. ഒന്നിലധികം സെർവറുകളിലേക്ക് സ്വയമേവ സ്കെയിൽ ചെയ്യാൻ പ്രോമിത്യൂസിന് കഴിയില്ല. ഒന്നിലധികം പ്രോമിത്യൂസുകൾക്കിടയിൽ നിങ്ങളുടെ ടാർഗെറ്റുകൾ സ്വമേധയാ വിഭജിക്കാം.
• ഒന്നിലധികം സെർവറുകളിലേക്ക് സ്വയമേവ സ്‌കെയിൽ ചെയ്യാൻ കഴിയാത്ത അതേ കാരണത്താൽ പ്രോമിത്യൂസിലെ മെട്രിക്‌സിന്റെ വ്യാപ്തി ഒരു സെർവറിൽ മാത്രമായി പരിമിതപ്പെടുത്തിയിരിക്കുന്നു.
• പ്രൊമിത്യൂസിൽ, ഡാറ്റയുടെ സുരക്ഷ സംഘടിപ്പിക്കുന്നത് അത്ര എളുപ്പമല്ല.

ഈ പ്രശ്നങ്ങൾ/ജോലികൾക്കുള്ള പരിഹാരങ്ങൾ?

പരിഹാരങ്ങൾ ഇവയാണ്:

• താനൂസ്
• വിക്ടോറിയമെട്രിക്സ്
• Uber M3
• കോർട്ടക്സ്

ഈ പരിഹാരങ്ങളെല്ലാം പ്രോമിത്യൂസ് ശേഖരിച്ച ഡാറ്റയുടെ വിദൂര സംഭരണത്തിനുള്ളതാണ്. മുമ്പത്തെ സ്ലൈഡിൽ നിന്നുള്ള റിമോട്ട് സ്റ്റോറേജ് പ്രശ്നം അവർ വ്യത്യസ്ത രീതികളിൽ പരിഹരിക്കുന്നു. ഈ അവതരണത്തിൽ, ആദ്യത്തെ രണ്ട് പരിഹാരങ്ങളെക്കുറിച്ച് മാത്രമേ ഞാൻ സംസാരിക്കൂ: താനൂസ് и വിക്ടോറിയമെട്രിക്സ്.

എന്നതിനെക്കുറിച്ച് ആദ്യമായി വിവരങ്ങൾ താനൂസ് ന് പ്രത്യക്ഷപ്പെട്ടു ഈ ലിങ്ക്. വാസ്തുവിദ്യ വിവരിച്ചിരിക്കുന്നു താനൂസ് അത് എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതും.

പ്രോമിത്യൂസ് സംരക്ഷിച്ച ഡാറ്റ താനോസ് ലോക്കൽ ഡ്രൈവിലേക്ക് എടുത്ത് എസ് 3 ലേക്ക് പകർത്തുന്നു, ജിസിഎസ് അല്ലെങ്കിൽ മറ്റൊരു ഒബ്ജക്റ്റ് സ്റ്റോറേജിലേക്ക്.

അങ്ങനെ താനോസ് ഒരു ആഗോള അന്വേഷണ കാഴ്ച നൽകുന്നു. ഒബ്ജക്റ്റ് സ്റ്റോറേജിൽ സംഭരിച്ചിരിക്കുന്ന ഡാറ്റ ഒന്നിലധികം പ്രോമിത്യൂസ് സംഭവങ്ങളിൽ നിന്ന് നിങ്ങൾക്ക് അന്വേഷിക്കാനാകും.

Thanos PromQL പിന്തുണയ്ക്കുന്നു ഒപ്പം പ്രോമിത്യൂസ് API അന്വേഷിക്കുന്നു.

ഡാറ്റ സംഭരിക്കാൻ താനോസ് പ്രോമിത്യൂസ് കോഡ് ഉപയോഗിക്കുന്നു.

പ്രൊമിത്യൂസിന്റെ അതേ ഡെവലപ്പർമാരാണ് താനോസ് വികസിപ്പിച്ചെടുത്തത്.

ഓൺ വിക്ടോറിയമെട്രിക്സ്. ഇവിടെ ലിങ്ക്ഞങ്ങൾ ആദ്യം സംസാരിച്ചത് എവിടെയാണ് വിക്ടോറിയമെട്രിക്സ്.

വിക്ടോറിയമെട്രിക്സിന് നിരവധി പ്രോമിത്യൂസിൽ നിന്ന് ഡാറ്റ ലഭിക്കുന്നു റിമോട്ട് റൈറ്റ് API പ്രോമിത്യൂസ് പിന്തുണയ്ക്കുന്ന പ്രോട്ടോക്കോൾ.

VictoriaMetrics ഒരു ആഗോള അന്വേഷണ കാഴ്‌ച നൽകുന്നു, കാരണം ഒന്നിലധികം പ്രോമിത്യൂസ് സംഭവങ്ങൾക്ക് ഒരൊറ്റ VictoriaMetrics-ലേക്ക് ഡാറ്റ എഴുതാൻ കഴിയും. അതനുസരിച്ച്, ഈ എല്ലാ ഡാറ്റയിലും നിങ്ങൾക്ക് അന്വേഷണങ്ങൾ നടത്താം.

VictoriaMetrics, Thanos, PromQL, Prometheus ക്വയറിങ് API എന്നിവയെ പിന്തുണയ്ക്കുന്നു.

താനോസിൽ നിന്ന് വ്യത്യസ്തമായി, വിക്ടോറിയമെട്രിക്‌സിന്റെ സോഴ്‌സ് കോഡ് ആദ്യം മുതൽ എഴുതുകയും വേഗതയ്ക്കും വിഭവ ഉപഭോഗത്തിനും വേണ്ടി ഒപ്റ്റിമൈസ് ചെയ്തതുമാണ്.

വിക്ടോറിയമെട്രിക്സ്, താനോസിൽ നിന്ന് വ്യത്യസ്തമായി, ലംബമായും തിരശ്ചീനമായും സ്കെയിലുചെയ്യുന്നു. കഴിക്കുക സിംഗിൾ-നോഡ് പതിപ്പ്, ഇത് ലംബമായി സ്കെയിൽ ചെയ്യുന്നു. നിങ്ങൾക്ക് ഒരു പ്രോസസറും 1 GB മെമ്മറിയും ഉപയോഗിച്ച് ആരംഭിച്ച് നൂറുകണക്കിന് പ്രോസസ്സറുകളും 1 TB മെമ്മറിയും വരെ വളരാൻ കഴിയും. ഈ വിഭവങ്ങളെല്ലാം എങ്ങനെ ഉപയോഗിക്കണമെന്ന് വിക്ടോറിയമെട്രിക്‌സിന് അറിയാം. 100-കോർ സിസ്റ്റവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ അതിന്റെ പ്രകടനം ഏകദേശം 1 മടങ്ങ് വർദ്ധിക്കും.

താനോസിന്റെ ചരിത്രം ആരംഭിച്ചത് 2017 നവംബറിൽ, ആദ്യത്തെ പൊതു പ്രതിബദ്ധത പ്രത്യക്ഷപ്പെട്ടതോടെയാണ്. ഇതിനുമുമ്പ് താനോസ് ഇൻ-ഹൗസ് വികസിപ്പിച്ചെടുത്തു improbable.io.

2019 ജൂണിൽ, ഒരു ലാൻഡ്മാർക്ക് റിലീസ് 0.5.0 ഉണ്ടായിരുന്നു, അതിൽ നീക്കം ചെയ്തു ഗോസിപ്പ് പ്രോട്ടോക്കോൾ. മികച്ച പ്രകടനം കാഴ്ചവെക്കാത്തതിനാലാണ് താനോസിൽ നിന്ന് നീക്കം ചെയ്തത്. പലപ്പോഴും താനോസ് ക്ലസ്റ്റർ ശരിയായി പ്രവർത്തിച്ചില്ല, ഗോസിപ്പ് പ്രോട്ടോക്കോൾ കാരണം നോഡുകൾ തെറ്റായി ബന്ധിപ്പിച്ചിരിക്കുന്നു. അതിനാൽ ഞങ്ങൾ അത് അവിടെ നിന്ന് നീക്കം ചെയ്യാൻ തീരുമാനിച്ചു. ഇത് ശരിയായ തീരുമാനമാണെന്ന് ഞാൻ വിശ്വസിക്കുന്നു.

അതേ 2019 ജൂണിൽ അവർ ഒരു അപേക്ഷ നമ്പർ അയച്ചു 256 в ക്ലൗഡ് നേറ്റീവ് കമ്പ്യൂട്ടിംഗ് ഫ .ണ്ടേഷൻ.

കുറച്ച് മാസങ്ങൾക്ക് ശേഷം, താനോസിനെ സ്വീകരിച്ചു ക്ലൗഡ് നേറ്റീവ് കമ്പ്യൂട്ടിംഗ് ഫ .ണ്ടേഷൻ, പ്രോമിത്യൂസ്, കുബർനെറ്റസ്, മറ്റ് ജനപ്രിയ പ്രോജക്റ്റുകൾ എന്നിവ ഉൾപ്പെടുന്നു.

2018 ജനുവരിയിൽ വിക്ടോറിയമെട്രിക്സിന്റെ വികസനം ആരംഭിച്ചു.

2018 സെപ്തംബറിൽ, ഞാൻ ആദ്യം പരസ്യമായി വിക്ടോറിയമെട്രിക്സ് പരാമർശിച്ചു.

2018 ഡിസംബറിൽ, സിംഗിൾ-നോഡ് പതിപ്പ് പ്രസിദ്ധീകരിച്ചു.

മേയ് മാസത്തിൽ പ്രസിദ്ധീകരിക്കപ്പെട്ടു സിംഗിൾ-നോഡ്, ക്ലസ്റ്റർ പതിപ്പുകൾ എന്നിവയുടെ ഉറവിടങ്ങൾ.

2019 ജൂണിൽ, താനോസിനെപ്പോലെ, ഞങ്ങൾ CNCF ഫൗണ്ടേഷന് നമ്പറിന് കീഴിൽ ഒരു അപേക്ഷ സമർപ്പിച്ചു. 255. താനോസ് അപേക്ഷിക്കുന്നതിന് ഒരു ദിവസം മുമ്പ് ഞങ്ങൾ അപേക്ഷിച്ചു.

പക്ഷേ, നിർഭാഗ്യവശാൽ, ഞങ്ങൾ ഇപ്പോഴും അവിടെ അംഗീകരിക്കപ്പെട്ടിട്ടില്ല. കമ്മ്യൂണിറ്റി സഹായം ആവശ്യമാണ്.

താനോസിന്റെയും വിക്ടോറിയമെട്രിക്സിന്റെയും വാസ്തുവിദ്യ കാണിക്കുന്ന ഏറ്റവും പ്രധാനപ്പെട്ട സ്ലൈഡുകൾ പരിഗണിക്കുക.

താനോസിൽ നിന്ന് തുടങ്ങാം. മഞ്ഞ ഘടകങ്ങൾ പ്രോമിത്യൂസ് ഘടകങ്ങളാണ്. ബാക്കി എല്ലാം Thanos ഘടകങ്ങളാണ്. ഏറ്റവും പ്രധാനപ്പെട്ട ഘടകത്തിൽ നിന്ന് നമുക്ക് ആരംഭിക്കാം. എല്ലാ പ്രോമിത്യൂസിന്റെയും അടുത്തായി ഇൻസ്റ്റാൾ ചെയ്തിരിക്കുന്ന ഒരു ഘടകമാണ് താനോസ് സൈഡ്കാർ. പ്രാദേശിക സംഭരണത്തിൽ നിന്ന് S3-ലേക്കോ മറ്റ് ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിലേക്കോ പ്രോമിത്യൂസ് ഡാറ്റ ലോഡുചെയ്യുന്നതിന് ഇത് ഉത്തരവാദിയാണ്.

താനോസ് സ്റ്റോർ ഗേറ്റ്‌വേ പോലുള്ള ഒരു ഘടകവുമുണ്ട്, താനോസ് ക്വറിയിൽ നിന്നുള്ള ഇൻകമിംഗ് അഭ്യർത്ഥനകളിൽ ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിൽ നിന്ന് ഈ ഡാറ്റ വായിക്കാൻ ഇതിന് കഴിയും. Thanos Query PromQL, Prometheus API എന്നിവ നടപ്പിലാക്കുന്നു. അതായത്, പുറത്ത് നിന്ന് നോക്കിയാൽ അത് പ്രോമിത്യൂസിനെ പോലെയാണ്. ഇത് PromQL അഭ്യർത്ഥനകൾ സ്വീകരിക്കുന്നു, അവയെ താനോസ് സ്റ്റോർ ഗേറ്റ്‌വേയിലേക്ക് അയയ്ക്കുന്നു, താനോസ് സ്റ്റോർ ഗേറ്റ്‌വേ ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിൽ നിന്ന് ആവശ്യമായ ഡാറ്റ നേടുന്നു, അത് തിരികെ അയയ്ക്കുന്നു.

എന്നാൽ താനോസ് സൈഡ്‌കാർ നടപ്പിലാക്കിയതിനാൽ ഒബ്‌ജക്റ്റ് സ്‌റ്റോറേജിൽ കഴിഞ്ഞ രണ്ട് മണിക്കൂർ കൂടാതെ ഒബ്‌ജക്റ്റ് സ്‌റ്റോറേജിൽ ഡാറ്റ സംഭരിച്ചിരിക്കുന്നു, ഒബ്‌ജക്റ്റ് സ്‌റ്റോറേജ് എസ് 3-ലേക്ക് അവസാന രണ്ട് മണിക്കൂർ അപ്‌ലോഡ് ചെയ്യാൻ കഴിയില്ല, കാരണം ഈ രണ്ട് മണിക്കൂർ ലോക്കൽ സ്റ്റോറേജിൽ പ്രോമിത്യൂസ് ഇതുവരെ ഫയലുകൾ സൃഷ്‌ടിച്ചിട്ടില്ല.

ഇതിനെ മറികടക്കാൻ നിങ്ങൾ എങ്ങനെ തീരുമാനിച്ചു? Thanos Query, Thanos Store Gateway-ലേക്കുള്ള അഭ്യർത്ഥനകൾക്ക് പുറമേ, Prometheus ന് അടുത്തുള്ള ഓരോ Thanos Sidecar-നും സമാന്തര അഭ്യർത്ഥനകൾ അയയ്ക്കുന്നു.

താനോസ് സൈഡ്‌കാർ, പ്രോക്‌സികൾ പ്രോമിത്യൂസിനോട് കൂടുതൽ അഭ്യർത്ഥിക്കുകയും അവസാന രണ്ട് മണിക്കൂർ ഡാറ്റ നേടുകയും ചെയ്യുന്നു.

ഈ ഘടകങ്ങൾക്ക് പുറമേ, ഒരു ഓപ്ഷണൽ ഘടകവും ഉണ്ട്, അതില്ലാതെ താനോസിന് മോശം അനുഭവപ്പെടും. ഇതാണ് താനോസ് കോംപാക്റ്റ്, ഇത് ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിലെ ചെറിയ ഫയലുകളെ താനോസ് സൈഡ്‌കാർസ് ഇവിടെ അപ്‌ലോഡ് ചെയ്‌ത വലിയ ഫയലുകളിലേക്ക് ലയിപ്പിക്കുന്നു. Thanos Sidecar അവിടെ രണ്ട് മണിക്കൂർ ഡാറ്റ ഫയലുകൾ അപ്‌ലോഡ് ചെയ്യുന്നു. ഈ ഫയലുകൾ, അവ വലിയ ഫയലുകളിലേക്ക് ലയിപ്പിച്ചില്ലെങ്കിൽ, അവയുടെ എണ്ണം വളരെ ഗണ്യമായി വളരും. അത്തരം കൂടുതൽ ഫയലുകൾ, Thanos സ്റ്റോർ ഗേറ്റ്‌വേയ്‌ക്ക് കൂടുതൽ മെമ്മറി ആവശ്യമാണ്, നെറ്റ്‌വർക്ക്, മെറ്റാഡാറ്റ വഴി ഡാറ്റ കൈമാറാൻ കൂടുതൽ ഉറവിടങ്ങൾ ആവശ്യമാണ്. താനോസ് സ്റ്റോർ ഗേറ്റ്‌വേ കാര്യക്ഷമമല്ല. അതിനാൽ, ചെറിയ ഫയലുകളെ വലിയവയിലേക്ക് ലയിപ്പിക്കുന്ന Thanos കോംപാക്റ്റ് പ്രവർത്തിപ്പിക്കേണ്ടത് ആവശ്യമാണ്, അതുവഴി അത്തരം ഫയലുകൾ കുറവായതിനാൽ Thanos സ്റ്റോർ ഗേറ്റ്‌വേയിൽ ഓവർഹെഡ് കുറയ്ക്കുക.

താനോസ് റൂളർ പോലുള്ള ഒരു ഘടകവുമുണ്ട്. ഇത് പ്രോമിത്യൂസ് അലേർട്ടിംഗ് നിയമങ്ങൾ നടപ്പിലാക്കുകയും ഒബ്ജക്റ്റ് സ്റ്റോറേജിലേക്ക് ഡാറ്റ തിരികെ എഴുതുന്നതിനായി പ്രോമിത്യൂസ് റെക്കോർഡിംഗ് നിയമങ്ങൾ കണക്കാക്കുകയും ചെയ്യുന്നു. എന്നാൽ ഈ ഘടകം ഉപയോഗിക്കാൻ ശുപാർശ ചെയ്തിട്ടില്ല, കാരണം. അവൻ അപൂർണ്ണമായ ഡാറ്റ തിരികെ നൽകുന്നു.

താനോസിനായി ഒരു ലളിതമായ സ്കീം ഇതാ.

ഇനി നമുക്ക് വിക്ടോറിയമെട്രിക്സ് സ്കീമുമായി താരതമ്യം ചെയ്യാം.

വിക്ടോറിയമെട്രിക്സിന് 2 പതിപ്പുകളുണ്ട്: സിംഗിൾ-നോഡ്, ക്ലസ്റ്റർ പതിപ്പ്. സിംഗിൾ-നോഡ് ഒരു കമ്പ്യൂട്ടറിൽ പ്രവർത്തിക്കുന്നു. സിംഗിൾ-നോഡിന് ഈ ഘടകങ്ങൾ ഇല്ല, ഒരു ബൈനറി മാത്രം. സ്ലൈഡിലെ ഈ ബൈനറി ഈ ചതുരം പോലെ കാണപ്പെടുന്നു. സ്ക്വയറിനുള്ളിലെ എല്ലാം സിംഗിൾ-നോഡ് പതിപ്പിനുള്ള ബൈനറി ഫയലിന്റെ ഉള്ളടക്കമാണ്. നിങ്ങൾ അതിനെക്കുറിച്ച് അറിയേണ്ടതില്ല. ബൈനറി പ്രവർത്തിപ്പിക്കുക - എല്ലാം ഞങ്ങൾക്ക് വേണ്ടി പ്രവർത്തിക്കുന്നു.

ക്ലസ്റ്റർ പതിപ്പ് കൂടുതൽ ബുദ്ധിമുട്ടാണ്. അതിനുള്ളിൽ മൂന്ന് വ്യത്യസ്ത ഘടകങ്ങൾ ഉണ്ട്: vmselect, vminsert, vmstorage. ഓരോരുത്തരും എന്താണ് ചെയ്യുന്നതെന്ന് അവരുടെ പേരിൽ നിന്ന് വ്യക്തമായിരിക്കണം. ഇൻസേർട്ട് ഘടകം വ്യത്യസ്ത ഫോർമാറ്റുകളിൽ ഡാറ്റ സ്വീകരിക്കുന്നു: പ്രൊമിത്യൂസ് റിമോട്ട് റൈറ്റ് API, ഇൻഫ്ലക്സ് ലൈൻ പ്രോട്ടോക്കോൾ, ഗ്രാഫൈറ്റ് പ്രോട്ടോക്കോൾ, ഓപ്പൺടിഎസ്ഡിബി പ്രോട്ടോക്കോൾ എന്നിവയിൽ നിന്ന്. Insert ഘടകം അവയെ സ്വീകരിക്കുകയും അവയെ പാഴ്‌സ് ചെയ്യുകയും ഡാറ്റ ഇതിനകം സംഭരിച്ചിരിക്കുന്ന നിലവിലുള്ള സംഭരണ ​​ഘടകങ്ങളിൽ വിതരണം ചെയ്യുകയും ചെയ്യുന്നു. Select ഘടകം, PromQL അന്വേഷണങ്ങൾ സ്വീകരിക്കുന്നു. അത് നടപ്പിലാക്കുന്നു PromQL, അതുപോലെ Prometheus ക്വയിംഗ് API, കൂടാതെ ഗ്രാഫാനയിലോ മറ്റ് Prometheus API ക്ലയന്റുകളിലോ പ്രോമിത്യൂസിന് പകരമായി ഉപയോഗിക്കാം. Select ഒരു promql അഭ്യർത്ഥന എടുക്കുന്നു, അത് പാഴ്‌സ് ചെയ്യുന്നു, സ്റ്റോറേജ് നോഡുകളിൽ നിന്ന് ഈ അഭ്യർത്ഥന നടപ്പിലാക്കുന്നതിന് ആവശ്യമായ ഡാറ്റ വായിക്കുന്നു, ഈ ഡാറ്റ പ്രോസസ്സ് ചെയ്യുകയും ഒരു പ്രതികരണം നൽകുകയും ചെയ്യുന്നു.

താനോസും വിക്ടോറിയമെട്രിക്സും ഇൻസ്റ്റാൾ ചെയ്യുന്നതിന്റെ സങ്കീർണ്ണത താരതമ്യം ചെയ്യാം.

നമുക്ക് താനോസിൽ നിന്ന് തുടങ്ങാം. നിങ്ങൾ താനോസുമായി പ്രവർത്തിക്കാൻ തുടങ്ങുന്നതിനുമുമ്പ്, S3 അല്ലെങ്കിൽ GCS പോലുള്ള ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിൽ നിങ്ങൾ ഒരു ബക്കറ്റ് സൃഷ്‌ടിക്കേണ്ടതുണ്ട്, അതുവഴി Thanos Sidecar അവിടെ ഡാറ്റ എഴുതാൻ കഴിയും.

അപ്പോൾ ഓരോ പ്രൊമിത്യൂസിനും നിങ്ങൾ Thanos Sidecar ഇൻസ്റ്റാൾ ചെയ്യേണ്ടതുണ്ട്. അതിനുമുമ്പ്, പ്രോമിത്യൂസിൽ ഡാറ്റ കോംപാക്ഷൻ പ്രവർത്തനരഹിതമാക്കാൻ നിങ്ങൾ ഓർമ്മിക്കേണ്ടതുണ്ട്. റിസോഴ്‌സ് ഉപഭോഗം കുറയ്ക്കുന്നതിന് പ്രോമിത്യൂസ് ലോക്കൽ സ്റ്റോറേജിൽ ഡാറ്റ കോംപാക്ഷൻ ഇടയ്‌ക്കിടെ ഡാറ്റ കംപ്രസ്സുചെയ്യുന്നു.

നിങ്ങളുടെ Prometheus-ൽ Thanos Sidecar ഇൻസ്റ്റാൾ ചെയ്യുമ്പോൾ, Thanos Sidecar ഡാറ്റ കോംപാക്‌ഷൻ പ്രവർത്തനക്ഷമമാക്കി ശരിയായി പ്രവർത്തിക്കാത്തതിനാൽ നിങ്ങൾ ഈ ഡാറ്റ കോംപാക്ഷൻ പ്രവർത്തനരഹിതമാക്കണം. ഇതിനർത്ഥം നിങ്ങളുടെ പ്രോമിത്യൂസ് രണ്ട് മണിക്കൂർ ബ്ലോക്കുകളിൽ ഡാറ്റ സംരക്ഷിക്കാൻ തുടങ്ങുകയും ഈ ബ്ലോക്കുകളെ വലിയവയിലേക്ക് ലയിപ്പിക്കുന്നത് നിർത്തുകയും ചെയ്യുന്നു എന്നാണ്. അതനുസരിച്ച്, നിങ്ങൾ കഴിഞ്ഞ രണ്ട് മണിക്കൂറിനുള്ളിൽ കൂടുതൽ അഭ്യർത്ഥനകൾ നടത്തുകയാണെങ്കിൽ, ഡാറ്റ കോംപാക്ഷൻ പ്രവർത്തനക്ഷമമാക്കിയാൽ അവ പ്രവർത്തിക്കാൻ കഴിയുന്നത്ര കാര്യക്ഷമമായി പ്രവർത്തിക്കില്ല.

അതിനാൽ, ധാരാളം ചെറിയ ബ്ലോക്കുകളുടെ ഈ ഓവർഹെഡ് കുറയ്ക്കുന്നതിന്, പ്രാദേശിക സംഭരണത്തിലെ ഡാറ്റ നിലനിർത്തൽ സമയം 6-8 മണിക്കൂറായി കുറയ്ക്കാൻ താനോസ് ശുപാർശ ചെയ്യുന്നു.

നിങ്ങൾ Thanos Sidecar ഇൻസ്റ്റാൾ ചെയ്ത ശേഷം, ഓരോ ഒബ്ജക്റ്റ് സ്റ്റോറേജ് ബക്കറ്റിനും നിങ്ങൾ രണ്ട് ഘടകങ്ങൾ ഇൻസ്റ്റാൾ ചെയ്യണം. താനോസ് കോംപാക്ടർ, താനോസ് സ്റ്റോർ ഗേറ്റ്‌വേ എന്നിവയാണ് ഇവ.

അതിനുശേഷം, നിങ്ങൾ Thanos Query ഇൻസ്റ്റാൾ ചെയ്യുകയും കോൺഫിഗർ ചെയ്യുകയും വേണം, അതുവഴി നിങ്ങളുടെ കൈവശമുള്ള എല്ലാ Thanos സ്റ്റോർ ഗേറ്റ്‌വേകളിലേക്കും കണക്റ്റുചെയ്യാനും അതുപോലെ എല്ലാ Thanos സൈഡ്‌കാറുകളിലേക്കും കണക്റ്റുചെയ്യാനും കഴിയും.

ഇവിടെ ഒരു ചെറിയ പ്രശ്നം ഉണ്ടായേക്കാം.

താനോസ് ക്വറിയിൽ നിന്ന് ഈ ഘടകങ്ങളിലേക്ക് നിങ്ങൾ വിശ്വസനീയവും സുരക്ഷിതവുമായ കണക്ഷൻ സജ്ജീകരിക്കേണ്ടതുണ്ട്. നിങ്ങൾക്ക് വ്യത്യസ്ത ഡാറ്റാ സെന്ററുകളിലോ വ്യത്യസ്ത VPC-കളിലോ Prometheus'y ഉണ്ടെങ്കിൽ, അവയുമായി പുറത്തുനിന്നുള്ള കണക്ഷനുകൾ നിരോധിച്ചിരിക്കുന്നു. എന്നാൽ താനോസ് ക്വറി പ്രവർത്തിക്കുന്നതിന്, നിങ്ങൾ എങ്ങനെയെങ്കിലും അവിടെ കണക്ഷൻ കോൺഫിഗർ ചെയ്യേണ്ടതുണ്ട്, നിങ്ങൾ ഒരു വഴി കണ്ടെത്തണം.

നിങ്ങൾക്ക് അത്തരം ഡാറ്റാ സെന്ററുകൾ ധാരാളം ഉണ്ടെങ്കിൽ, അതനുസരിച്ച്, മുഴുവൻ സിസ്റ്റത്തിന്റെയും വിശ്വാസ്യത കുറയുന്നു. വ്യത്യസ്ത ഡാറ്റാ സെന്ററുകളിൽ സ്ഥിതി ചെയ്യുന്ന എല്ലാ താനോസ് സൈഡ്‌കാറുകളിലേക്കും താനോസ് അന്വേഷണം നിരന്തരം കണക്ഷനുകൾ സൂക്ഷിക്കേണ്ടതിനാൽ. ഓരോ ഇൻകമിംഗ് അഭ്യർത്ഥനയ്‌ക്കൊപ്പവും, എല്ലാ താനോസ് സൈഡ്‌കാറുകൾക്കും ഇത് അഭ്യർത്ഥനകൾ അയയ്‌ക്കും. കണക്ഷൻ തടസ്സപ്പെട്ടാൽ, ഒന്നുകിൽ നിങ്ങൾക്ക് അപൂർണ്ണമായ ഒരു ഡാറ്റാ സെറ്റ് ലഭിക്കും, അല്ലെങ്കിൽ "ക്ലസ്റ്റർ പ്രവർത്തിക്കുന്നില്ല" എന്ന പ്രതികരണം നിങ്ങൾക്ക് ലഭിക്കും.

വിക്ടോറിയമെട്രിക്സിൽ, കാര്യങ്ങൾ കുറച്ചുകൂടി ലളിതമാണ്. സിംഗിൾ-നോഡ് പതിപ്പിനായി, ഒരു ബൈനറി പ്രവർത്തിപ്പിക്കുക, എല്ലാം പ്രവർത്തിക്കും.

ക്ലസ്റ്റേർഡ് പതിപ്പിൽ, മുകളിൽ പറഞ്ഞ മൂന്ന് തരം ഘടകങ്ങളും നിങ്ങൾക്ക് ആവശ്യമുള്ളതോ ഉപയോഗിക്കുന്നതോ ആയ അളവിൽ പ്രവർത്തിപ്പിച്ചാൽ മതിയാകും. ചുക്കാൻ ചാർട്ട് കുബെർനെറ്റസിലെ ഘടകങ്ങളുടെ ലോഞ്ച് ഓട്ടോമേറ്റ് ചെയ്യാൻ. ഞങ്ങൾ ഒരു കുബർനെറ്റസ് ഓപ്പറേറ്റർ ആക്കാനും പദ്ധതിയിടുന്നു. ഹെൽം ചാർട്ട് ചില കേസുകൾ ഉൾക്കൊള്ളുന്നില്ല കൂടാതെ നിങ്ങളുടെ കാൽ ഷൂട്ട് ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു. ഉദാഹരണത്തിന്, സ്റ്റോറേജ് നോഡുകളുടെ എണ്ണം കുറയ്ക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു, ഇത് ഡാറ്റ നഷ്ടത്തിലേക്ക് നയിക്കും.

നിങ്ങൾ ഒരു ബൈനറി അല്ലെങ്കിൽ ക്ലസ്റ്റേർഡ് പതിപ്പ് സമാരംഭിച്ച ശേഷം, നിങ്ങൾ പ്രോമിത്യൂസ് കോൺഫിഗറിലേക്ക് ചേർക്കേണ്ടതുണ്ട്. റിമോട്ട് റൈറ്റ് url-നുള്ള ക്രമീകരണംഅങ്ങനെ അത് ലോക്കൽ സ്റ്റോറേജിനും റിമോട്ട് സ്റ്റോറേജിനും സമാന്തരമായി ഡാറ്റ എഴുതാൻ തുടങ്ങുന്നു. നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഈ കോൺഫിഗറേഷൻ Thanos കോൺഫിഗറേഷനേക്കാൾ വളരെ വിശ്വസനീയമായി പ്രവർത്തിക്കണം. വിക്ടോറിയമെട്രിക്സിൽ നിന്ന് എല്ലാ പ്രോമിത്യൂസുകളിലേക്കും ഞങ്ങൾ ഒരു കണക്ഷൻ സൂക്ഷിക്കേണ്ടതില്ല, കാരണം പ്രോമിത്യൂസ് തന്നെ വിക്ടോറിയമെട്രിക്സുമായി ബന്ധിപ്പിച്ച് ഡാറ്റ കൈമാറുന്നു.

Thanos, VictoriaMetrics എന്നിവയ്ക്കുള്ള പിന്തുണ പരിഗണിക്കുക.

ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിലേക്ക് ഡാറ്റ അപ്‌ലോഡ് ചെയ്യുന്നത് നിർത്താതിരിക്കാൻ താനോസിന് സൈഡ്‌കാറിൽ ഒരു കണ്ണ് ഉണ്ടായിരിക്കേണ്ടതുണ്ട്. ഡൗൺലോഡ് പിശകുകൾ കാരണം അവർ ഈ ഡാറ്റ ഡൗൺലോഡ് നിർത്തിയേക്കാം, ഉദാഹരണത്തിന്, ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിലേക്കുള്ള നിങ്ങളുടെ നെറ്റ്‌വർക്ക് കണക്ഷൻ താൽക്കാലികമായി നഷ്‌ടപ്പെട്ടു, അല്ലെങ്കിൽ ഒബ്‌ജക്റ്റ് സ്‌റ്റോറേജ് താൽക്കാലികമായി ലഭ്യമല്ല. താനോസ് സൈഡ്കാർ ഈ സമയത്ത് ഇത് ശ്രദ്ധിക്കുകയും ഒരു പിശക് റിപ്പോർട്ട് ചെയ്യുകയും ക്രാഷ് ചെയ്യുകയും തുടർന്ന് പ്രവർത്തിക്കുന്നത് നിർത്തുകയും ചെയ്യും. നിങ്ങൾ ഇത് നിരീക്ഷിക്കുന്നില്ലെങ്കിൽ, നിങ്ങളുടെ ഡാറ്റ മേലിൽ ഒബ്ജക്റ്റ് സ്റ്റോറേജിലേക്ക് മാറ്റപ്പെടില്ല. നിലനിർത്തൽ സമയം കടന്നുപോകുകയാണെങ്കിൽ (6-8 മണിക്കൂർ ശുപാർശ ചെയ്യുന്നു), അപ്പോൾ ഒബ്ജക്റ്റ് സ്റ്റോറേജിൽ എത്താത്ത ഡാറ്റ നിങ്ങൾക്ക് നഷ്‌ടമാകും.

താനോസ് കോംപാക്‌ടറുകൾ കാരണം പ്രവർത്തനം നിർത്തിയേക്കാം സൈഡ്കാറുമായി മത്സരങ്ങൾ. ഒബ്‌ജക്റ്റ് സ്‌റ്റോറേജിൽ നിന്ന് കോംപാക്‌ടറുകൾ ഡാറ്റ എടുത്ത് അതിനെ വലിയ ഡാറ്റാ ഭാഗങ്ങളിൽ ലയിപ്പിക്കുന്നു. കോംപാക്‌ടറുകൾ സൈഡ്‌കാറുകളുമായി സമന്വയിപ്പിക്കാത്തതിനാൽ, ഇനിപ്പറയുന്നവ സംഭവിക്കാം: ബ്ലോക്ക് ചേർക്കാൻ സൈഡ്‌കാറിന് ഇതുവരെ സമയമില്ല, ഈ ബ്ലോക്ക് പൂർണ്ണമായും എഴുതിയിട്ടുണ്ടെന്ന് കോംപാക്റ്റർ തീരുമാനിക്കുന്നു. കോംപാക്റ്റർ അത് വായിക്കാൻ തുടങ്ങുന്നു. ഇത് ബ്ലോക്ക് അപൂർണ്ണമായി വായിക്കുകയും പ്രവർത്തനം നിർത്തുകയും ചെയ്യുന്നു. വിശദാംശങ്ങൾ കാണുക ഇവിടെ.

സ്റ്റോർ ഗേറ്റ്‌വേ, കോംപാക്‌ടറും സൈഡ്‌കാറുകളും തമ്മിലുള്ള മത്സരങ്ങൾ കാരണം പൊരുത്തമില്ലാത്ത ഡാറ്റ നൽകിയേക്കാം. ഇവിടെയും ഇതുതന്നെയാണ്, കാരണം സ്റ്റോർ ഗേറ്റ്‌വേ ഒരു തരത്തിലും കോംപാക്ടറുകളുമായും സൈഡ്‌കാറുകളുമായും സമന്വയിപ്പിച്ചിട്ടില്ല. അതനുസരിച്ച്, സ്റ്റോർ ഗേറ്റ്‌വേ ഡാറ്റയുടെ ഭാഗം കാണാതിരിക്കുമ്പോഴോ അധിക ഡാറ്റ കാണുമ്പോഴോ റേസ് അവസ്ഥകൾ ഉണ്ടാകാം.

ചില സൈഡ്‌കാറുകളോ സ്റ്റോർ ഗേറ്റ്‌വേകളോ ഇപ്പോൾ ലഭ്യമല്ലെങ്കിൽ, Thanos-ലെ Query ഘടകം സ്ഥിരസ്ഥിതിയായി ഒരു ഭാഗിക ഫലം നൽകുന്നു. നിങ്ങൾക്ക് കുറച്ച് ഡാറ്റ ലഭിക്കും, കൂടാതെ നിങ്ങൾക്ക് എല്ലാ ഡാറ്റയും ലഭിച്ചിട്ടില്ലെന്ന് പോലും അറിയാൻ കഴിയില്ല. ഡിഫോൾട്ടായി ഇത് പ്രവർത്തിക്കുന്നത് ഇങ്ങനെയാണ്. സമാനമായ സാഹചര്യത്തിൽ, VictoriaMetrics ലേബൽ ചെയ്ത ഡാറ്റ ഭാഗികമായി നൽകുന്നു.

താനോസിൽ നിന്ന് വ്യത്യസ്തമായി, VictoriaMetrics ഡാറ്റ നഷ്‌ടപ്പെടുന്നത് വളരെ അപൂർവമാണ്. പ്രോമിത്യൂസിൽ നിന്ന് വിക്ടോറിയമെട്രിക്സിലേക്കുള്ള കണക്ഷൻ തടസ്സപ്പെട്ടാലും, ഇത് ഒരു പ്രശ്നമല്ല, കാരണം പ്രോമിത്യൂസ് 2 മണിക്കൂർ ദൈർഘ്യമുള്ള റൈറ്റ് എഹെഡ് ലോഗിലേക്ക് ഇൻകമിംഗ് പുതിയ ഡാറ്റ എഴുതുന്നത് തുടരുന്നു. രണ്ട് മണിക്കൂറിനുള്ളിൽ നിങ്ങൾ വിക്ടോറിയമെട്രിക്സിലേക്കുള്ള കണക്ഷൻ പുനഃസ്ഥാപിച്ചാൽ, ഡാറ്റ നഷ്ടപ്പെടില്ല. പ്രൊമിത്യൂസ് VictoriaMetrics-ലേക്ക് വീണ്ടും കണക്‌റ്റ് ചെയ്‌തതിന് ശേഷം ഡാറ്റ കൂട്ടിച്ചേർക്കാനാകും.

രണ്ട് മണിക്കൂറിന് ശേഷം മാത്രം ഒബ്ജക്റ്റ് സ്റ്റോറേജിലേക്ക് ഡാറ്റ എഴുതുന്ന താനോസിൽ നിന്ന് വ്യത്യസ്തമായി, വിക്ടോറിയമെട്രിക്സ് പോലുള്ള റിമോട്ട് സ്റ്റോറേജിലേക്ക് റിമോട്ട് റൈറ്റ് പ്രോട്ടോക്കോൾ വഴി പ്രോമിത്യൂസ് സ്വയമേ ഡാറ്റ പകർത്തുന്നു. പ്രോമിത്യൂസിലെ പ്രാദേശിക സംഭരണം നഷ്‌ടപ്പെടുമെന്ന് നിങ്ങൾ ഭയപ്പെടുന്നില്ല. അയാൾക്ക് പെട്ടെന്ന് പ്രാദേശിക സംഭരണം നഷ്‌ടപ്പെട്ടാൽ, ഏറ്റവും മോശമായ സാഹചര്യത്തിൽ വിദൂര സംഭരണത്തിലേക്ക് എഴുതാൻ സമയമില്ലാത്ത അവസാന നിമിഷങ്ങളിലെ ഡാറ്റ നിങ്ങൾക്ക് നഷ്‌ടപ്പെടും.

താനോസിൽ നിന്ന് വ്യത്യസ്തമായി കുബർനെറ്റസ് ക്ലസ്റ്റർ സ്വയമേവ കൈകാര്യം ചെയ്യുന്നു. വിക്ടോറിയമെട്രിക്സ് ക്ലസ്റ്റർ ഘടകങ്ങളിൽ നിന്ന് വ്യത്യസ്തമായി എല്ലാ താനോസ് ഘടകങ്ങളും ഒരു കുബർനെറ്റസ് ക്ലസ്റ്ററിൽ സ്ഥാപിക്കുന്നത് ബുദ്ധിമുട്ടാണ്.

വിക്ടോറിയമെട്രിക്സിന് പുതിയ പതിപ്പിലേക്ക് വളരെ എളുപ്പമുള്ള അപ്ഗ്രേഡ് ഉണ്ട്. VictoriaMetrics നിർത്തുക, ബൈനറികൾ അപ്ഡേറ്റ് ചെയ്ത് ആരംഭിക്കുക. ഒരു SIGINT സിഗ്നൽ വഴി നിർത്തുമ്പോൾ, എല്ലാ VictoriaMetrics ബൈനറികളും മനോഹരമായ ഒരു ഷട്ട്ഡൗൺ ചെയ്യുന്നു. അവ ആവശ്യമായ ഡാറ്റ ശരിയായി സംഭരിക്കുന്നു, ഒന്നും നഷ്‌ടപ്പെടാതിരിക്കാൻ ഇൻകമിംഗ് കണക്ഷനുകൾ ശരിയായി അടയ്ക്കുന്നു. അതിനാൽ അപ്‌ഗ്രേഡ് ചെയ്യുമ്പോൾ നിങ്ങൾക്ക് ഒന്നും നഷ്‌ടമാകില്ല.

വിക്ടോറിയമെട്രിക്സിന് ക്ലസ്റ്റർ വികസിപ്പിക്കുന്നത് വളരെ എളുപ്പമാണ്. ആവശ്യമായ ഘടകങ്ങൾ ചേർത്ത് പ്രവർത്തിക്കുന്നത് തുടരുക.

താനോസിലെയും വിക്ടോറിയമെട്രിക്സിലെയും അപകടങ്ങളെക്കുറിച്ച്.

താനോസിന് ഇനിപ്പറയുന്ന പോരായ്മകളുണ്ട്. പ്രോമിത്യൂസ് കഴിഞ്ഞ രണ്ട് മണിക്കൂർ ഡാറ്റ സംഭരിച്ചിരിക്കണം. അവ നഷ്‌ടപ്പെടുകയാണെങ്കിൽ, നിങ്ങൾക്ക് അവ പൂർണ്ണമായും നഷ്‌ടമാകും, കാരണം അവർക്ക് S3 പോലുള്ള ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിലേക്ക് എഴുതാൻ സമയമില്ല.

സ്റ്റോർ ഗേറ്റ്‌വേ ഘടകവും കോംപാക്റ്റർ ഘടകവും അവിടെ ധാരാളം ചെറിയ ഫയലുകൾ സംഭരിച്ചിട്ടുണ്ടെങ്കിൽ വലിയ ഒബ്‌ജക്റ്റ് സ്റ്റോറേജ് കൈകാര്യം ചെയ്യാൻ മെമ്മറി തീവ്രമായിരിക്കും. ഫയലുകളുടെ എണ്ണവും വലിപ്പവും കൂടുന്തോറും മെറ്റാ വിവരങ്ങൾ സംഭരിക്കുന്നതിന് സ്റ്റോർ ഗേറ്റ്‌വേയ്ക്കും കോംപാക്‌ടറിനും കൂടുതൽ റാം ആവശ്യമാണ്. എന്തിനെ കുറിച്ച് താനോസിന് ഒരുപാട് പ്രശ്‌നങ്ങളുണ്ട് എഴുതപ്പെട്ട ഡാറ്റയുടെ ഇടത്തരം വോള്യത്തിൽ സ്റ്റോർ ഗേറ്റ്‌വേയും കോംപാക്‌ടറും തകരാറിലാകുന്നു.

നിങ്ങളുടെ പക്കലുള്ള പ്രോമിത്യൂസിന്റെ എണ്ണം കൊണ്ട് അനിശ്ചിതമായി സ്കെയിൽ ചെയ്യാൻ താനോസിന് കഴിയുമെന്ന് പരസ്യം ചെയ്യുന്നു. യഥാർത്ഥത്തിൽ ഇത് സത്യമല്ല. എല്ലാ അഭ്യർത്ഥനകളും ക്വറി ഘടകത്തിലൂടെ കടന്നുപോകുന്നതിനാൽ, അത് എല്ലാ സ്റ്റോർ ഗേറ്റ്‌വേ ഘടകങ്ങളെയും എല്ലാ സൈഡ്‌കാർ ഘടകങ്ങളെയും സമാന്തരമായി പോൾ ചെയ്യണം, അവിടെ നിന്ന് ഡാറ്റ എക്‌സ്‌ട്രാക്റ്റുചെയ്‌ത് അവ മുൻകൂട്ടി പ്രോസസ്സ് ചെയ്യുക. അഭ്യർത്ഥനകളുടെ നിരക്ക് ഏറ്റവും വേഗത കുറഞ്ഞ ലിങ്ക്, വേഗത കുറഞ്ഞ സ്റ്റോർ ഗേറ്റ്‌വേ അല്ലെങ്കിൽ വേഗത കുറഞ്ഞ സൈഡ്‌കാർ എന്നിവയാൽ പരിമിതപ്പെടുത്തിയിരിക്കുന്നു എന്നത് വ്യക്തമാണ്.

ഈ ഘടകങ്ങൾ അസമമായി ലോഡ് ചെയ്തേക്കാം. ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് പ്രൊമിത്യൂസ് ഉണ്ട്, അത് സെക്കൻഡിൽ ദശലക്ഷക്കണക്കിന് മെട്രിക്കുകൾ ശേഖരിക്കുന്നു. ഒരു സെക്കൻഡിൽ ആയിരക്കണക്കിന് മെട്രിക്കുകൾ ശേഖരിക്കുന്ന പ്രൊമിത്യൂസും ഉണ്ട്. ഒരു സെക്കൻഡിൽ ദശലക്ഷക്കണക്കിന് മെട്രിക്കുകൾ ശേഖരിക്കുന്ന പ്രൊമിത്യൂസ്, അത് കൂടുതൽ പ്രവർത്തിക്കുന്ന സെർവർ ലോഡ് ചെയ്യുന്നു. അതനുസരിച്ച്, സൈഡ്കാർ അവിടെ വേഗത കുറവാണ്. പൊതുവേ, അവിടെ എല്ലാം മന്ദഗതിയിലാണ്. ക്വറി ഘടകം അവിടെ നിന്ന് വളരെ സാവധാനത്തിൽ ഡാറ്റ പിൻവലിക്കും. അതനുസരിച്ച്, നിങ്ങളുടെ മുഴുവൻ ക്ലസ്റ്ററിന്റെയും പ്രകടനത്തെ ഈ സ്ലോ സൈഡ്കാർ പരിമിതപ്പെടുത്തും.

ഡിഫോൾട്ടായി, ചില സൈഡ്‌കാറുകളും സ്റ്റോർ ഗേറ്റ്‌വേകളും ലഭ്യമല്ലെങ്കിൽ Thanos ഭാഗിക ഡാറ്റ നൽകുന്നു. ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് വ്യത്യസ്‌ത ഡാറ്റാ സെന്ററുകളിൽ ലോകമെമ്പാടും ചിതറിക്കിടക്കുന്ന സൈഡ്‌കാറുകൾ ഉണ്ടെങ്കിൽ, വിച്ഛേദിക്കാനുള്ള സാധ്യതയും ഘടകങ്ങളുടെ ലഭ്യതയില്ലായ്മയും വളരെയധികം വർദ്ധിക്കുന്നു. അതനുസരിച്ച്, മിക്ക കേസുകളിലും നിങ്ങൾക്ക് അറിയാതെ തന്നെ ഭാഗിക ഡാറ്റ ലഭിക്കും.

വിക്ടോറിയമെട്രിക്സിനും അപകടങ്ങളുണ്ട്. VictoriaMetrics കാഷെയ്ക്കായി ഉപയോഗിക്കുന്ന RAM-ന്റെ അളവ് പരിമിതപ്പെടുത്തുന്ന ഒരു ഓപ്ഷനാണ് ആദ്യത്തെ കെണി. വിക്ടോറിയമെട്രിക്സ് പ്രവർത്തിക്കുന്ന മെഷീനിൽ 60% റാം അല്ലെങ്കിൽ കുബർനെറ്റസിലെ വിക്ടോറിയമെട്രിക്സ് പോഡിൽ 60% റാം ഇത് ഡിഫോൾട്ട് ചെയ്യുന്നു.

നിങ്ങൾ ഈ മൂല്യം തെറ്റായി മാറ്റുകയാണെങ്കിൽ, നിങ്ങൾക്ക് VictoriaMetrics-ന്റെ പ്രകടനം നശിപ്പിക്കാനാകും. ഉദാഹരണത്തിന്, മൂല്യം വളരെ കുറവായി സജ്ജീകരിച്ചിട്ടുണ്ടെങ്കിൽ, ഡാറ്റ മേലിൽ VictoriaMetrics കാഷെയിൽ ചേരില്ല. ഇക്കാരണത്താൽ, അവൾക്ക് അധിക ജോലി ചെയ്യേണ്ടിവരും, കൂടാതെ ഡിസ്ക് ഉപയോഗിച്ച് പ്രോസസർ ലോഡ് ചെയ്യണം. നിങ്ങൾ ഈ ഓപ്‌ഷൻ വളരെ വലുതാക്കിയാൽ, അത് വർദ്ധിപ്പിക്കും, ഒന്നാമതായി, ഒരു ഔട്ട് ഓഫ് മെമ്മറി പിശകോടെ വിക്ടോറിയമെട്രിക്‌സ് ക്രാഷ് ആകാനുള്ള സാധ്യത, രണ്ടാമതായി, ഓപ്പറേറ്റിംഗ് സിസ്റ്റത്തിന് വളരെ കുറച്ച് റാം മാത്രമേ അവശേഷിക്കുന്നുള്ളൂ എന്ന വസ്തുതയിലേക്ക് ഇത് നയിക്കും. ഫയലിനുള്ള മെമ്മറി കാഷെ. കൂടാതെ VictoriaMetrics പ്രകടനത്തിനായി ഫയൽ കാഷെയെ ആശ്രയിക്കുന്നു. ഇത് പര്യാപ്തമല്ലെങ്കിൽ, ഡിസ്കിലെ ലോഡ് വളരെയധികം വർദ്ധിക്കും. അതിനാൽ, ഉപദേശം: തികച്ചും ആവശ്യമില്ലെങ്കിൽ പരാമീറ്റർ മാറ്റരുത്.

രണ്ടാമത്തെ ഓപ്ഷൻ. സ്ഥിരസ്ഥിതിയായി 1 മാസമായി സജ്ജീകരിച്ചിരിക്കുന്ന ഒരു കാലയളവാണ് ഈ നിലനിർത്തൽ കാലയളവ്. വിക്ടോറിയമെട്രിക്സ് ഡാറ്റ സൂക്ഷിക്കുന്ന സമയമാണിത്. ഈ കാലയളവിനുശേഷം, വിക്ടോറിയമെട്രിക്സ് ഡാറ്റ ഇല്ലാതാക്കുന്നു.

പലരും ഈ ഓപ്ഷൻ കൂടാതെ വിക്ടോറിയമെട്രിക്സ് പ്രവർത്തിപ്പിക്കുകയും ഒരു മാസത്തേക്ക് ഡാറ്റ രേഖപ്പെടുത്തുകയും ചെയ്യുന്നു. എന്നിട്ട് അവർ ചോദിക്കുന്നു: എന്തുകൊണ്ടാണ് കഴിഞ്ഞ മാസത്തെ ഡാറ്റ അപ്രത്യക്ഷമായത്? കാരണം ഡിഫോൾട്ട് നിലനിർത്തൽ കാലയളവ് 1 മാസമാണ്. അതിനാൽ, നിങ്ങൾ ശരിയായ നിലനിർത്തൽ കാലയളവ് അറിയുകയും സജ്ജീകരിക്കുകയും വേണം.

തനതായ സവിശേഷതകളിലൂടെ നമുക്ക് പോകാം.

താനോസിന് ഡൗൺസാംപ്ലിംഗ് എന്ന് വിളിക്കുന്ന ഒരു സവിശേഷതയുണ്ട്: 5-മിനിറ്റ്, മണിക്കൂർ ഇടവേളകൾ, അവ പലപ്പോഴും ശരിയായി പ്രവർത്തിക്കുന്നില്ല. നിങ്ങൾ ഗൂഗിൾ ചെയ്‌ത് ഗിത്തബിലെ അവരുടെ പ്രശ്‌നം നോക്കുകയാണെങ്കിൽ, ഈ ഡൗൺസാംപ്ലിംഗുമായി ബന്ധപ്പെട്ട ധാരാളം പ്രശ്‌നങ്ങളുണ്ട്, ഇത് ചിലപ്പോൾ ശരിയായി പ്രവർത്തിക്കുന്നില്ല, അല്ലെങ്കിൽ ഉപയോക്താക്കൾ പ്രതീക്ഷിക്കുന്നത് പോലെ പ്രവർത്തിക്കുന്നില്ല.

Prometheus HA ജോഡികൾക്കായി Thanos-ന് ഡാറ്റ ഡ്യൂപ്ലിക്കേഷൻ ഉണ്ട്. രണ്ട് പ്രോമിത്യൂസ് ഒരേ ലക്ഷ്യങ്ങളിൽ നിന്ന് ഒരേ അളവുകൾ ശേഖരിക്കുകയും താനോസ് അവയെ ഒബ്ജക്റ്റ് സ്റ്റോറേജിലേക്ക് ചേർക്കുകയും ചെയ്യുമ്പോൾ. VictoriaMetrics-ൽ നിന്ന് വ്യത്യസ്തമായി, Thanos-ന് ഈ ഡാറ്റ ശരിയായി കണക്കാക്കാം.

Thanos സ്കീമാറ്റിക്കിൽ ഉണ്ടായിരുന്ന ഒരു മുന്നറിയിപ്പ് ഘടകം താനോസിനുണ്ട്. എന്നാൽ അവൻ ഉത്പാദനത്തിൽ ഉപയോഗിക്കാൻ ശുപാർശ ചെയ്തിട്ടില്ല.

താനോസും പ്രൊമിത്യൂസും ഒരേ കോഡ് പങ്കിടുന്നു എന്ന നേട്ടം താനോസിനുണ്ട്. താനോസും പ്രോമിത്യൂസും ഒരേ ഡെവലപ്പർമാരാണ് വികസിപ്പിച്ചെടുത്തത്. താനോസിലോ പ്രോമിത്യൂസിലോ മെച്ചപ്പെടുത്തലുകളോടെ, മറുഭാഗം വിജയിക്കുന്നു.

VictoriaMetrics-ന്റെ പ്രധാന സവിശേഷത MetricsQL ആണ്. മുമ്പത്തെ വലിയ മോണിറ്ററിംഗ് മീറ്റിംഗിൽ ഞാൻ സംസാരിച്ച PromQL-നുള്ള VictoriaMetrics വിപുലീകരണങ്ങളാണ് ഇവ.

വിവിധ പ്രോട്ടോക്കോളുകൾ ഉപയോഗിച്ച് ഡാറ്റ അപ്‌ലോഡ് ചെയ്യുന്നതിനെ VictoriaMetrics പിന്തുണയ്ക്കുന്നു. വിക്ടോറിയമെട്രിക്സിന് പ്രോമിത്യൂസിൽ നിന്ന് ഡാറ്റ സ്വീകരിക്കാൻ മാത്രമല്ല, ഇൻഫ്ലക്സ്, ഓപ്പൺ ടിഎസ്ഡിബി, ഗ്രാഫൈറ്റ് പ്രോട്ടോക്കോളുകൾ എന്നിവ വഴിയും ലഭിക്കും.

VictoriaMetrics ഡാറ്റ താനോസിനേക്കാളും പ്രൊമിത്യൂസിനേക്കാളും വളരെ കുറച്ച് സ്ഥലം മാത്രമേ എടുക്കൂ.

യഥാർത്ഥ ഡാറ്റ എഴുതുമ്പോൾ, ഉപയോക്താക്കൾ പ്രോമിത്യൂസിനേയും താനോസിനേയും അപേക്ഷിച്ച് ഡിസ്കിലെ ഡാറ്റ വലുപ്പത്തിൽ 2-5 മടങ്ങ് കുറയ്ക്കുന്നതിനെക്കുറിച്ച് സംസാരിക്കുന്നു.

വിക്ടോറിയമെട്രിക്സിന്റെ മറ്റൊരു നേട്ടം അത് വേഗതയ്ക്ക് ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നു എന്നതാണ്.

അടിസ്ഥാന സൗകര്യങ്ങളുടെ ചെലവ് നോക്കാം.

താരതമ്യേന വിലകുറഞ്ഞ ഒബ്ജക്റ്റ് സ്റ്റോറേജിൽ ഡാറ്റ സംഭരിക്കുന്നു എന്നതാണ് താനോസിന്റെ ഒരു ഗുണം.

ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിൽ ഡാറ്റ സംഭരിക്കുമ്പോൾ, ഡാറ്റാ റൈറ്റിംഗിനും റീഡിംഗ് ഓപ്പറേഷനുകൾക്കും നിങ്ങൾ പണം നൽകണം (ഒരു മില്യൺ പ്രവർത്തനത്തിന് $10). നിങ്ങൾ ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിലേക്ക് ഡാറ്റ എഴുതുമ്പോൾ, നിങ്ങളുടെ ക്ലസ്റ്റർ AWS-ൽ ഇല്ലെങ്കിൽ, ഇന്റർനെറ്റിലേക്ക് ഡാറ്റ അപ്‌ലോഡ് ചെയ്യുന്നതിനുള്ള നിങ്ങളുടെ ഹോസ്റ്റിംഗ് ചെലവുകൾക്കായി നിങ്ങൾ പണം നൽകുന്നു - അത് അവിടെ സൗജന്യമാണ്. നിങ്ങൾ ഡാറ്റ വായിക്കുമ്പോൾ, 10TB-ന് നിങ്ങൾ $230-നും $1-നും ഇടയിൽ അടയ്‌ക്കുന്നു. താനോസ് ക്ലസ്റ്ററിൽ നിന്ന് നിങ്ങൾ ഇടയ്ക്കിടെ ചരിത്രപരമായ ഡാറ്റ അഭ്യർത്ഥിക്കുകയാണെങ്കിൽ ഇത് പ്രാധാന്യമർഹിക്കുന്നു.

ഒരു താനോസ് ക്ലസ്റ്ററിനായി, കോം‌പാക്റ്റ്, സ്റ്റോർ ഗേറ്റ്‌വേ, ധാരാളം മെമ്മറി ആവശ്യമുള്ള ക്വറി ഘടകങ്ങൾ, വലിയ അളവിലുള്ള ഡാറ്റയ്ക്ക് സിപിയു എന്നിവയ്‌ക്കായി നിങ്ങൾ സെർവറുകൾക്കായി പണം നൽകേണ്ടതുണ്ട്.

വിക്ടോറിയമെട്രിക്സിന് ഇനിപ്പറയുന്ന ചിലവുകൾ ഉണ്ട്. നിങ്ങൾ GCE HDD-കളിൽ ഡാറ്റ സംഭരിച്ചാൽ, 40TB-ന് $1 ലഭിക്കും. VictoriaMetrics-ന്, സാധാരണ HDD ഡ്രൈവുകൾ മതി, SSD-കൾ ആവശ്യമില്ല, ഇതിന് അഞ്ചിരട്ടി കൂടുതൽ ചിലവ് വരും. വിക്ടോറിയമെട്രിക്സ് എച്ച്ഡിഡിക്കായി ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നു.

വിക്ടോറിയമെട്രിക്സിന് ഘടകങ്ങൾക്കായി സെർവറുകൾ ആവശ്യമാണ്: സിംഗിൾ-നോഡ് അല്ലെങ്കിൽ ക്ലസ്റ്റേർഡ് ഘടകങ്ങൾക്ക്, താനോസ് ഘടകങ്ങളിൽ നിന്ന് വ്യത്യസ്തമായി, വളരെ കുറച്ച് സിപിയു, റാം ആവശ്യമാണ് - യഥാക്രമം, ഇത് വിലകുറഞ്ഞതായിരിക്കും.

നടപ്പാക്കൽ ഉദാഹരണങ്ങൾ.

താനോസിനെ സംബന്ധിച്ചിടത്തോളം, നടപ്പിലാക്കുന്നതിനുള്ള ഉദാഹരണം Gitlab ആണ്. Gitlab പൂർണ്ണമായും താനോസിൽ പ്രവർത്തിക്കുന്നു. എന്നാൽ അവിടെ എല്ലാം അത്ര സുഗമമല്ല. അവരെ നോക്കിയാൽ പ്രശ്നങ്ങൾ, അപ്പോൾ അവർക്ക് നിരന്തരം ചിലത് ഉണ്ടെന്ന് നിങ്ങൾക്ക് കാണാൻ കഴിയും താനോസിന്റെ പ്രവർത്തന പ്രശ്നങ്ങൾ: സ്റ്റോർ ഗേറ്റ്‌വേയ്‌ക്കോ അന്വേഷണ ഘടകങ്ങൾക്കോ ​​മതിയായ മെമ്മറിയില്ല. അവർ നിരന്തരം മെമ്മറിയുടെ അളവ് വർദ്ധിപ്പിക്കേണ്ടതുണ്ട്.

ഇക്കാരണത്താൽ, ഈ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിനുള്ള ചെലവ് വർദ്ധിക്കുന്നു.

കൂടുതൽ വിജയിച്ചേക്കാവുന്ന രണ്ടാമത്തെ നടപ്പാക്കൽ, താനോസിന്റെ വികസനത്തിന് തുടക്കമിട്ട ഇംപ്രബബിൾ ആണ്. താനോസിന്റെ ഉറവിടം അവർ പുറത്തുവിട്ടു. ഗെയിം എഞ്ചിനുകൾ വികസിപ്പിക്കുന്ന ഒരു കമ്പനിയാണ് ഇംപ്രബബിൾ.

വിക്ടോറിയമെട്രിക്സിന് പൊതു നിർവ്വഹണ ഉദാഹരണങ്ങളുണ്ട്:

• wix വെബ്സൈറ്റ് ബിൽഡർ
• അഡിഡാസ് വിക്ടോറിയമെട്രിക്സ് നടപ്പിലാക്കുകയും കഴിഞ്ഞ പ്രോംകോൺ 2019-ൽ ഒരു അവതരണം നടത്തുകയും ചെയ്തു.
• ട്രാഫിക് സ്റ്റാർസ്-ആഡ് നെറ്റ്‌വർക്ക്
• Seznam.cz ഒരു ജനപ്രിയ ചെക്ക് സെർച്ച് എഞ്ചിനാണ്.

പിന്നീട് എനിക്ക് ഇപ്പോൾ പേരിടാൻ കഴിയാത്ത പേരില്ലാത്ത കമ്പനികളില്ല. അവർ സമ്മതിച്ചില്ല.

• ഒരു പ്രധാന ഗെയിം ഡെവലപ്പർ. അസംഭവ്യമായതിനേക്കാൾ വലുത്.
• ഗ്രാഫിക്സ് സോഫ്റ്റ്വെയറിന്റെ വലിയ ഡെവലപ്പർ.
• വലിയ റഷ്യൻ ബാങ്ക്.
• വിക്ടോറിയമെട്രിക്സ് വിജയകരമായി പരീക്ഷിച്ച യൂറോപ്യൻ കാറ്റ് ടർബൈൻ നിർമ്മാതാവ്. ഒരു സെൻസറിന് സെക്കൻഡിൽ 50 സാമ്പിളുകൾ എന്ന നിരക്കിൽ കാറ്റ് ടർബൈൻ ഡാറ്റ നിരീക്ഷിക്കാൻ ഈ നിർമ്മാതാവ് VictoriaMetrics നടപ്പിലാക്കുന്നു. ഓരോ കാറ്റ് ടർബൈനിനും നൂറുകണക്കിന് സെൻസറുകൾ ഉണ്ട്. അവർക്ക് നൂറുകണക്കിന് കാറ്റാടി യന്ത്രങ്ങളുണ്ട്.
• VictoriaMetrics നടപ്പിലാക്കാൻ ആഗ്രഹിക്കുന്ന റഷ്യൻ എയർലൈനുകൾ, പക്ഷേ ഇപ്പോഴും കഴിയില്ല. ഞങ്ങൾ അവരുമായുള്ള കരാർ ഘട്ടത്തിലാണ്.

നിഗമനങ്ങൾ.

VictoriaMetrics ഉം Thanos ഉം സമാനമായ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നു, എന്നാൽ വ്യത്യസ്ത രീതികളിൽ:

• ആഗോള അന്വേഷണ കാഴ്ച
• തിരശ്ചീന സ്കെയിലിംഗ്
• ഏകപക്ഷീയമായ നിലനിർത്തൽ

Спасибо.

ഞങ്ങൾ നിങ്ങൾക്കായി കാത്തിരിക്കുന്നു ടെലിഗ്രാം ചാനൽ.

രജിസ്റ്റർ ചെയ്ത ഉപയോക്താക്കൾക്ക് മാത്രമേ സർവേയിൽ പങ്കെടുക്കാൻ കഴിയൂ. സൈൻ ഇൻദയവായി.

പ്രൊമിത്യൂസിന്റെ ദീർഘകാല സംഭരണമായി നിങ്ങൾ എന്താണ് ഉപയോഗിക്കുന്നത്?

• 35,3%താനോസ്6

• 0,0%കോർട്ടെക്സ്0

• 0,0%M3DB0

• 41,2%വിക്ടോറിയമെട്രിക്സ്7

• 23,5%മറ്റുള്ളവ4

17 ഉപയോക്താക്കൾ വോട്ട് ചെയ്തു. 16 ഉപയോക്താക്കൾ വിട്ടുനിന്നു.

അവലംബം: www.habr.com