താനോസ് - സ്കേലബിൾ പ്രൊമിത്യൂസ്

ലേഖനത്തിന്റെ വിവർത്തനം കോഴ്‌സിലെ വിദ്യാർത്ഥികൾക്കായി പ്രത്യേകം തയ്യാറാക്കിയതാണ് "DevOps പ്രാക്ടീസുകളും ടൂളുകളും".

ഫാബിയൻ റീനാർട്ട്സ് ഒരു സോഫ്റ്റ്‌വെയർ ഡെവലപ്പർ, ഗോ ഫാനറ്റിക്, പ്രശ്‌നപരിഹാരകൻ. അദ്ദേഹം ഒരു പ്രോമിത്യൂസ് മെയിന്റനറും കുബർനെറ്റസ് എസ്ഐജി ഇൻസ്ട്രുമെന്റേഷന്റെ സഹസ്ഥാപകനുമാണ്. മുമ്പ്, അദ്ദേഹം സൗണ്ട്ക്ലൗഡിൽ പ്രൊഡക്ഷൻ എഞ്ചിനീയറായിരുന്നു, കൂടാതെ CoreOS-ൽ മോണിറ്ററിംഗ് ടീമിനെ നയിച്ചു. നിലവിൽ Google-ൽ ജോലി ചെയ്യുന്നു.

ബാർടെക് പ്ലോട്ട്ക - അസംഭവ്യതയിൽ ഇൻഫ്രാസ്ട്രക്ചർ എഞ്ചിനീയർ. വിതരണ സംവിധാനങ്ങളുടെ പുതിയ സാങ്കേതികവിദ്യകളിലും പ്രശ്നങ്ങളിലും അദ്ദേഹത്തിന് താൽപ്പര്യമുണ്ട്. ഇന്റലിൽ ലോ-ലെവൽ പ്രോഗ്രാമിംഗ് അനുഭവം, മെസോസിൽ കോൺട്രിബ്യൂട്ടർ അനുഭവം, ഇംപ്രബബിളിൽ ലോകോത്തര എസ്ആർഇ പ്രൊഡക്ഷൻ അനുഭവം എന്നിവയുണ്ട്. മൈക്രോസർവീസുകളുടെ ലോകം മെച്ചപ്പെടുത്തുന്നതിനായി സമർപ്പിച്ചിരിക്കുന്നു. അവന്റെ മൂന്ന് പ്രണയങ്ങൾ: ഗോലാങ്, ഓപ്പൺ സോഴ്സ്, വോളിബോൾ.

ഞങ്ങളുടെ മുൻനിര ഉൽപ്പന്നമായ SpatialOS നോക്കുമ്പോൾ, ഡസൻ കണക്കിന് Kubernetes ക്ലസ്റ്ററുകളുള്ള ഉയർന്ന ചലനാത്മകവും ആഗോളതലത്തിലുള്ളതുമായ ക്ലൗഡ് ഇൻഫ്രാസ്ട്രക്ചർ ഇംപ്രോബബിളിന് ആവശ്യമാണെന്ന് നിങ്ങൾക്ക് ഊഹിക്കാം. ഒരു നിരീക്ഷണ സംവിധാനം ആദ്യമായി ഉപയോഗിച്ചവരിൽ ഒരാളാണ് ഞങ്ങൾ പ്രോമിത്തിയസ്. ദശലക്ഷക്കണക്കിന് മെട്രിക്കുകൾ തത്സമയം ട്രാക്ക് ചെയ്യാൻ പ്രോമിത്യൂസിന് കഴിയും കൂടാതെ നിങ്ങൾക്ക് ആവശ്യമായ വിവരങ്ങൾ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യാൻ അനുവദിക്കുന്ന ശക്തമായ അന്വേഷണ ഭാഷയുമായി വരുന്നു.

പ്രോമിത്യൂസിന്റെ ലാളിത്യവും വിശ്വാസ്യതയും അതിന്റെ പ്രധാന നേട്ടങ്ങളിലൊന്നാണ്. എന്നിരുന്നാലും, ഞങ്ങൾ ഒരു നിശ്ചിത സ്കെയിൽ കഴിഞ്ഞപ്പോൾ, ഞങ്ങൾക്ക് നിരവധി പോരായ്മകൾ നേരിട്ടു. ഈ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് ഞങ്ങൾ വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട് താനൂസ് നിലവിലുള്ള പ്രോമിത്യൂസ് ക്ലസ്റ്ററുകളെ പരിധികളില്ലാത്ത ചരിത്രപരമായ ഡാറ്റ സ്റ്റോറേജുള്ള ഒരൊറ്റ മോണിറ്ററിംഗ് സിസ്റ്റമാക്കി മാറ്റുന്നതിന് ഇംപ്രബബിൾ സൃഷ്ടിച്ച ഒരു ഓപ്പൺ സോഴ്‌സ് പ്രോജക്റ്റാണ്. താനോസ് Github-ൽ ലഭ്യമാണ് ഇവിടെ.

അസംഭവ്യത്തിൽ നിന്നുള്ള ഏറ്റവും പുതിയ വാർത്തകളുമായി കാലികമായി തുടരുക.

താനോസിനൊപ്പമുള്ള ഞങ്ങളുടെ ലക്ഷ്യങ്ങൾ

ഒരു നിശ്ചിത അളവിൽ, വാനില പ്രൊമിത്യൂസിന്റെ കഴിവുകൾക്കപ്പുറമുള്ള പ്രശ്നങ്ങൾ ഉയർന്നുവരുന്നു. ചരിത്രപരമായ ഡാറ്റയുടെ പെറ്റാബൈറ്റുകൾ എങ്ങനെ വിശ്വസനീയമായും സാമ്പത്തികമായും സംഭരിക്കാം? പ്രതികരണ സമയം വിട്ടുവീഴ്ച ചെയ്യാതെ ഇത് ചെയ്യാൻ കഴിയുമോ? ഒരൊറ്റ API അഭ്യർത്ഥന ഉപയോഗിച്ച് വ്യത്യസ്‌ത പ്രോമിത്യൂസ് സെർവറുകളിൽ സ്ഥിതിചെയ്യുന്ന എല്ലാ മെട്രിക്കുകളും ആക്‌സസ് ചെയ്യാൻ കഴിയുമോ? പ്രൊമിത്യൂസ് എച്ച്എ ഉപയോഗിച്ച് ശേഖരിച്ച പകർപ്പുകൾ സംയോജിപ്പിക്കാൻ എന്തെങ്കിലും മാർഗമുണ്ടോ?

ഈ പ്രശ്‌നങ്ങൾ പരിഹരിക്കുന്നതിന്, ഞങ്ങൾ Thanos സൃഷ്ടിച്ചു. ഈ പ്രശ്‌നങ്ങളെ ഞങ്ങൾ എങ്ങനെയാണ് സമീപിച്ചതെന്നും ഞങ്ങളുടെ ലക്ഷ്യങ്ങൾ വിശദീകരിക്കുന്നതെങ്ങനെയെന്നും ഇനിപ്പറയുന്ന വിഭാഗങ്ങൾ വിവരിക്കുന്നു.

ഒന്നിലധികം പ്രോമിത്യൂസ് സംഭവങ്ങളിൽ നിന്നുള്ള ഡാറ്റ അന്വേഷിക്കുന്നു (ആഗോള അന്വേഷണം)

ഷാർഡിംഗിന് പ്രോമിത്യൂസ് ഒരു പ്രവർത്തനപരമായ സമീപനം വാഗ്ദാനം ചെയ്യുന്നു. ഒരു പ്രോമിത്യൂസ് സെർവർ പോലും ഉപയോക്താക്കൾക്ക് മതിയായ സ്കേലബിളിറ്റി നൽകുന്നു.

ഇതൊരു മികച്ച വിന്യാസ മാതൃകയാണെങ്കിലും, ഒരു എപിഐ അല്ലെങ്കിൽ യുഐ - ഒരു ആഗോള കാഴ്ചയിലൂടെ വ്യത്യസ്ത പ്രോമിത്യൂസ് സെർവറുകളിലെ ഡാറ്റ ആക്‌സസ് ചെയ്യേണ്ടത് പലപ്പോഴും ആവശ്യമാണ്. തീർച്ചയായും, ഒരു ഗ്രാഫാന പാനലിൽ ഒന്നിലധികം ചോദ്യങ്ങൾ പ്രദർശിപ്പിക്കുന്നത് സാധ്യമാണ്, എന്നാൽ ഓരോ അന്വേഷണവും ഒരു പ്രോമിത്യൂസ് സെർവറിൽ മാത്രമേ നടപ്പിലാക്കാൻ കഴിയൂ. മറുവശത്ത്, താനോസ് ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഒന്നിലധികം പ്രോമിത്യൂസ് സെർവറുകളിൽ നിന്ന് ഡാറ്റ അന്വേഷിക്കാനും സമാഹരിക്കാനും കഴിയും, കാരണം അവയെല്ലാം ഒരൊറ്റ എൻഡ് പോയിന്റിൽ നിന്ന് ആക്‌സസ് ചെയ്യാൻ കഴിയും.

മുമ്പ്, അസംഭവ്യതയിൽ ഒരു ആഗോള കാഴ്‌ച ലഭിക്കുന്നതിന്, ഞങ്ങൾ ഞങ്ങളുടെ പ്രോമിത്യൂസ് സംഭവങ്ങളെ ഒരു മൾട്ടി-ലെവലായി ക്രമീകരിച്ചു ഹൈറാർക്കിക്കൽ ഫെഡറേഷൻ. ഓരോ ലീഫ് സെർവറിൽ നിന്നും ചില മെട്രിക്കുകൾ ശേഖരിക്കുന്ന ഒരു പ്രോമിത്യൂസ് മെറ്റാ സെർവർ സൃഷ്‌ടിക്കുക എന്നാണ് ഇതിനർത്ഥം.

ഈ സമീപനം പ്രശ്നമാണെന്ന് തെളിഞ്ഞു. ഇത് കൂടുതൽ സങ്കീർണ്ണമായ കോൺഫിഗറേഷനുകൾക്ക് കാരണമായി, പരാജയത്തിന്റെ ഒരു അധിക സാധ്യതയുള്ള പോയിന്റ് കൂട്ടിച്ചേർക്കുന്നു, കൂടാതെ ഫെഡറേറ്റഡ് എൻഡ്‌പോയിന്റിന് ആവശ്യമായ ഡാറ്റ മാത്രമേ ലഭിക്കൂ എന്ന് ഉറപ്പാക്കാൻ സങ്കീർണ്ണമായ നിയമങ്ങളുടെ പ്രയോഗവും. കൂടാതെ, ഒരൊറ്റ API അഭ്യർത്ഥനയിൽ നിന്ന് എല്ലാ ഡാറ്റയും ലഭ്യമല്ലാത്തതിനാൽ, ഇത്തരത്തിലുള്ള ഫെഡറേഷൻ ഒരു യഥാർത്ഥ ആഗോള കാഴ്ച ലഭിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നില്ല.

ഉയർന്ന ലഭ്യത (എച്ച്എ) പ്രോമിത്യൂസ് സെർവറുകളിൽ ശേഖരിച്ച ഡാറ്റയുടെ ഏകീകൃത കാഴ്ചയാണ് ഇതുമായി അടുത്ത് ബന്ധപ്പെട്ടിരിക്കുന്നത്. പ്രൊമിത്യൂസിന്റെ എച്ച്എ മോഡൽ സ്വതന്ത്രമായി രണ്ട് തവണ ഡാറ്റ ശേഖരിക്കുന്നു, ഇത് വളരെ ലളിതമാണ്, ഇത് ലളിതമാക്കാൻ കഴിയില്ല. എന്നിരുന്നാലും, രണ്ട് സ്ട്രീമുകളുടെയും സംയോജിതവും ഡ്യൂപ്ലിക്കേറ്റഡ് കാഴ്ചയും ഉപയോഗിക്കുന്നത് കൂടുതൽ സൗകര്യപ്രദമായിരിക്കും.

തീർച്ചയായും, ഉയർന്ന തോതിൽ ലഭ്യമായ പ്രോമിത്യൂസ് സെർവറുകൾ ആവശ്യമാണ്. ഇംപ്രോബബിൾ എന്നതിൽ, ഞങ്ങൾ മിനിറ്റുകൾക്കുള്ള ഡാറ്റ നിരീക്ഷണം വളരെ ഗൗരവമായി എടുക്കുന്നു, എന്നാൽ ഒരു ക്ലസ്റ്ററിന് ഒരു പ്രോമിത്യൂസ് ഉദാഹരണം ഉണ്ടാകുന്നത് പരാജയത്തിന്റെ ഒരു പോയിന്റാണ്. ഏതെങ്കിലും കോൺഫിഗറേഷൻ പിശക് അല്ലെങ്കിൽ ഹാർഡ്‌വെയർ പരാജയം പ്രധാനപ്പെട്ട ഡാറ്റ നഷ്‌ടപ്പെടാൻ സാധ്യതയുണ്ട്. ഒരു ലളിതമായ വിന്യാസം പോലും മെട്രിക്സ് ശേഖരണത്തിൽ ചെറിയ തടസ്സങ്ങൾ ഉണ്ടാക്കും, കാരണം റീസ്റ്റാർട്ട് ചെയ്യുന്നത് സ്ക്രാപ്പിംഗ് ഇടവേളയേക്കാൾ വളരെ കൂടുതലായിരിക്കും.

ചരിത്രപരമായ ഡാറ്റയുടെ വിശ്വസനീയമായ സംഭരണം

വിലകുറഞ്ഞതും വേഗതയേറിയതും ദീർഘകാലവുമായ മെട്രിക്സ് സംഭരണമാണ് ഞങ്ങളുടെ സ്വപ്നം (മിക്ക പ്രൊമിത്യൂസ് ഉപയോക്താക്കളും പങ്കിടുന്നത്). അസംഭവ്യത്തിൽ, മെട്രിക്സ് നിലനിർത്തൽ കാലയളവ് ഒമ്പത് ദിവസത്തേക്ക് ക്രമീകരിക്കാൻ ഞങ്ങൾ നിർബന്ധിതരായി (പ്രോമിത്യൂസ് 1.8-ന്). നമുക്ക് എത്രത്തോളം പുറകിലേക്ക് നോക്കാം എന്നതിന് ഇത് വ്യക്തമായ പരിധികൾ ചേർക്കുന്നു.

സമയ ശ്രേണികളുടെ എണ്ണം ഇനി സെർവറിന്റെ മൊത്തത്തിലുള്ള പ്രകടനത്തെ ബാധിക്കാത്തതിനാൽ പ്രോമിത്യൂസ് 2.0 ഇക്കാര്യത്തിൽ മെച്ചപ്പെട്ടു (കാണുക. പ്രോമിത്യൂസ് 2 നെ കുറിച്ചുള്ള കുബെകോൺ കീനോട്ട്). എന്നിരുന്നാലും, പ്രാദേശിക ഡിസ്കിൽ പ്രോമിത്യൂസ് ഡാറ്റ സംഭരിക്കുന്നു. ഉയർന്ന ദക്ഷതയുള്ള ഡാറ്റ കംപ്രഷൻ പ്രാദേശിക SSD ഉപയോഗം ഗണ്യമായി കുറയ്ക്കുമെങ്കിലും, സംഭരിക്കാൻ കഴിയുന്ന ചരിത്രപരമായ ഡാറ്റയുടെ അളവിന് ആത്യന്തികമായി ഒരു പരിധിയുണ്ട്.

കൂടാതെ, ഇംപ്രൊബബിളിൽ ഞങ്ങൾ വിശ്വാസ്യത, ലാളിത്യം, ചെലവ് എന്നിവയെക്കുറിച്ച് ശ്രദ്ധിക്കുന്നു. വലിയ ലോക്കൽ ഡിസ്കുകൾ പ്രവർത്തിപ്പിക്കാനും ബാക്കപ്പ് ചെയ്യാനും കൂടുതൽ ബുദ്ധിമുട്ടാണ്. അവയ്ക്ക് കൂടുതൽ ചിലവ് വരും, കൂടുതൽ ബാക്കപ്പ് ടൂളുകൾ ആവശ്യമാണ്, ഇത് അനാവശ്യ സങ്കീർണ്ണതയ്ക്ക് കാരണമാകുന്നു.

ഡൗൺസാംപ്ലിംഗ്

ഞങ്ങൾ ചരിത്രപരമായ ഡാറ്റയുമായി പ്രവർത്തിക്കാൻ തുടങ്ങിക്കഴിഞ്ഞാൽ, ആഴ്‌ചകളും മാസങ്ങളും വർഷങ്ങളുമുള്ള ഡാറ്റ ഉപയോഗിച്ച് ഞങ്ങൾ പ്രവർത്തിക്കുമ്പോൾ, ചോദ്യങ്ങളെ സാവധാനത്തിലാക്കുകയും മന്ദഗതിയിലാക്കുകയും ചെയ്യുന്ന ബിഗ്-ഒയ്‌ക്ക് അടിസ്ഥാനപരമായ ബുദ്ധിമുട്ടുകൾ ഉണ്ടെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി.

ഈ പ്രശ്നത്തിനുള്ള സാധാരണ പരിഹാരം ആയിരിക്കും ഡൗൺസാംപ്ലിംഗ് (ഡൗൺസാംപ്ലിംഗ്) - സിഗ്നൽ സാംപ്ലിംഗ് ആവൃത്തി കുറയ്ക്കുന്നു. ഡൗൺസാംപ്ലിംഗ് ഉപയോഗിച്ച്, ഞങ്ങൾക്ക് ഒരു വലിയ സമയ പരിധിയിലേക്ക് "സ്കെയിൽ ഡൌൺ" ചെയ്യാനും അതേ എണ്ണം സാമ്പിളുകൾ നിലനിർത്താനും കഴിയും, ചോദ്യങ്ങൾ പ്രതികരിക്കും.

പഴയ ഡാറ്റ ഡൗൺസാംപ്ലിംഗ് ഏതൊരു ദീർഘകാല സ്റ്റോറേജ് സൊല്യൂഷന്റെയും അനിവാര്യമായ ആവശ്യമാണ്, അത് വാനില പ്രോമിത്യൂസിന്റെ പരിധിക്കപ്പുറമാണ്.

അധിക ലക്ഷ്യങ്ങൾ

താനോസ് പ്രോജക്റ്റിന്റെ യഥാർത്ഥ ലക്ഷ്യങ്ങളിലൊന്ന് നിലവിലുള്ള ഏതെങ്കിലും പ്രോമിത്യൂസ് ഇൻസ്റ്റാളേഷനുകളുമായി തടസ്സമില്ലാതെ സംയോജിപ്പിക്കുക എന്നതായിരുന്നു. പ്രവേശനത്തിനുള്ള ഏറ്റവും കുറഞ്ഞ തടസ്സങ്ങളോടെ പ്രവർത്തന എളുപ്പമായിരുന്നു രണ്ടാമത്തെ ലക്ഷ്യം. ചെറുതും വലുതുമായ ഉപയോക്താക്കൾക്ക് ഏത് ആശ്രിതത്വവും എളുപ്പത്തിൽ തൃപ്തിപ്പെടുത്തണം, അതായത് കുറഞ്ഞ അടിസ്ഥാന ചെലവ്.

താനോസ് വാസ്തുവിദ്യ

മുമ്പത്തെ വിഭാഗത്തിൽ ഞങ്ങളുടെ ലക്ഷ്യങ്ങൾ പട്ടികപ്പെടുത്തിയ ശേഷം, നമുക്ക് അവയിലൂടെ പ്രവർത്തിക്കാം, താനോസ് ഈ പ്രശ്നങ്ങൾ എങ്ങനെ പരിഹരിക്കുന്നുവെന്ന് നോക്കാം.

ആഗോള കാഴ്ച

നിലവിലുള്ള പ്രോമിത്യൂസ് സംഭവങ്ങൾക്ക് മുകളിൽ ഒരു ആഗോള കാഴ്‌ച ലഭിക്കുന്നതിന്, ഞങ്ങൾ എല്ലാ സെർവറുകളിലേക്കും ഒരൊറ്റ അഭ്യർത്ഥന എൻട്രി പോയിന്റ് ലിങ്ക് ചെയ്യേണ്ടതുണ്ട്. ഇതാണ് താനോസ് ഘടകം ചെയ്യുന്നത്. സൈഡ്‌കാർ. ഇത് ഓരോ പ്രോമിത്യൂസ് സെർവറിനും അടുത്തായി വിന്യസിക്കുകയും ഒരു പ്രോക്‌സിയായി പ്രവർത്തിക്കുകയും ചെയ്യുന്നു, gRPC സ്റ്റോർ API വഴി പ്രാദേശിക പ്രോമിത്യൂസ് ഡാറ്റ നൽകുന്നു, ഇത് ടാഗും സമയ ശ്രേണിയും ഉപയോഗിച്ച് സമയ ശ്രേണി ഡാറ്റ വീണ്ടെടുക്കാൻ അനുവദിക്കുന്നു.

മറുവശത്ത്, സ്കെയിൽ-ഔട്ട്, സ്‌റ്റേറ്റ്‌ലെസ് ക്വറിയർ ഘടകം, ഇത് സ്റ്റാൻഡേർഡ് പ്രോമിത്യൂസ് എച്ച്ടിടിപി എപിഐ വഴിയുള്ള പ്രോംക്യുഎൽ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകുന്നതിലും അധികമാണ്. Querier, Sidecar, മറ്റ് Thanos ഘടകങ്ങൾ എന്നിവ വഴി ആശയവിനിമയം നടത്തുന്നു ഗോസിപ്പ് പ്രോട്ടോക്കോൾ.

1. Querier, ഒരു അഭ്യർത്ഥന സ്വീകരിക്കുമ്പോൾ, അനുബന്ധ സ്റ്റോർ API സെർവറിലേക്ക്, അതായത്, ഞങ്ങളുടെ സൈഡ്കാറുകളിലേക്ക് കണക്റ്റുചെയ്യുകയും അനുബന്ധ പ്രോമിത്യൂസ് സെർവറുകളിൽ നിന്ന് സമയ ശ്രേണി ഡാറ്റ സ്വീകരിക്കുകയും ചെയ്യുന്നു.
2. അതിനുശേഷം, ഇത് പ്രതികരണങ്ങൾ സംയോജിപ്പിക്കുകയും അവയിൽ ഒരു PromQL അന്വേഷണം നടത്തുകയും ചെയ്യുന്നു. പ്രോമിത്യൂസ് എച്ച്എ സെർവറുകളിൽ നിന്നുള്ള വിഭജന ഡാറ്റയും തനിപ്പകർപ്പ് ഡാറ്റയും ക്വറിയറിന് ലയിപ്പിക്കാനാകും.

ഇത് ഞങ്ങളുടെ പസിലിന്റെ ഒരു പ്രധാന ഭാഗം പരിഹരിക്കുന്നു - ഒറ്റപ്പെട്ട പ്രൊമിത്യൂസ് സെർവറുകളിൽ നിന്നുള്ള ഡാറ്റ ഒരു കാഴ്ചയിലേക്ക് സംയോജിപ്പിക്കുന്നു. വാസ്തവത്തിൽ, ഈ ഫീച്ചറിന് മാത്രമേ Thanos ഉപയോഗിക്കാൻ കഴിയൂ. നിലവിലുള്ള പ്രോമിത്യൂസ് സെർവറുകളിൽ മാറ്റങ്ങളൊന്നും വരുത്തേണ്ടതില്ല!

പരിധിയില്ലാത്ത ഷെൽഫ് ജീവിതം!

എന്നിരുന്നാലും, എത്രയും വേഗം അല്ലെങ്കിൽ പിന്നീട് ഞങ്ങൾ സാധാരണ പ്രൊമിത്യൂസ് നിലനിർത്തൽ സമയത്തിനപ്പുറം ഡാറ്റ സംഭരിക്കാൻ ആഗ്രഹിക്കുന്നു. ചരിത്രപരമായ ഡാറ്റ സംഭരിക്കുന്നതിന് ഞങ്ങൾ ഒബ്ജക്റ്റ് സ്റ്റോറേജ് തിരഞ്ഞെടുത്തു. ഏത് ക്ലൗഡിലും അതുപോലെ തന്നെ ഓൺ-പ്രിമൈസ് ഡാറ്റാ സെന്ററുകളിലും ഇത് വ്യാപകമായി ലഭ്യമാണ് കൂടാതെ വളരെ ചെലവ് കുറഞ്ഞതുമാണ്. കൂടാതെ, മിക്കവാറും എല്ലാ ഒബ്ജക്റ്റ് സ്റ്റോറേജും അറിയപ്പെടുന്ന S3 API വഴി ലഭ്യമാണ്.

ഓരോ രണ്ട് മണിക്കൂറിലും പ്രൊമിത്യൂസ് റാമിൽ നിന്ന് ഡിസ്കിലേക്ക് ഡാറ്റ എഴുതുന്നു. സംഭരിച്ച ഡാറ്റ ബ്ലോക്കിൽ ഒരു നിശ്ചിത സമയത്തേക്ക് എല്ലാ ഡാറ്റയും അടങ്ങിയിരിക്കുന്നു, അത് മാറ്റമില്ലാത്തതുമാണ്. ഇത് വളരെ സൗകര്യപ്രദമാണ്, കാരണം Thanos Sidecar-ന് Prometheus ഡാറ്റ ഡയറക്ടറി നോക്കാനും പുതിയ ബ്ലോക്കുകൾ ലഭ്യമാകുമ്പോൾ, അവയെ ഒബ്ജക്റ്റ് സ്റ്റോറേജ് ബക്കറ്റുകളിലേക്ക് ലോഡുചെയ്യാനും കഴിയും.

ഡിസ്കിലേക്ക് എഴുതിയ ഉടൻ തന്നെ ഒബ്ജക്റ്റ് സ്റ്റോറേജിലേക്ക് ലോഡ് ചെയ്യുന്നത് സ്ക്രാപ്പറിന്റെ ലാളിത്യം നിലനിർത്താനും നിങ്ങളെ അനുവദിക്കുന്നു (പ്രോമിത്യൂസും താനോസ് സൈഡ്കാറും). ഇത് പിന്തുണ, ചെലവ്, സിസ്റ്റം ഡിസൈൻ എന്നിവ ലളിതമാക്കുന്നു.

നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഡാറ്റ ബാക്കപ്പ് വളരെ ലളിതമാണ്. എന്നാൽ ഒബ്ജക്റ്റ് സ്റ്റോറേജിൽ ഡാറ്റ അന്വേഷിക്കുന്നതിനെക്കുറിച്ച്?

ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിൽ നിന്ന് ഡാറ്റ വീണ്ടെടുക്കുന്നതിനുള്ള ഒരു പ്രോക്‌സിയായി താനോസ് സ്റ്റോർ ഘടകം പ്രവർത്തിക്കുന്നു. Thanos Sidecar പോലെ, ഇത് ഗോസിപ്പ് ക്ലസ്റ്ററിൽ പങ്കെടുക്കുകയും സ്റ്റോർ API നടപ്പിലാക്കുകയും ചെയ്യുന്നു. ഈ രീതിയിൽ, നിലവിലുള്ള Querier-ന് അതിനെ ഒരു സൈഡ്കാർ പോലെ കണക്കാക്കാം, സമയ ശ്രേണി ഡാറ്റയുടെ മറ്റൊരു ഉറവിടമായി - പ്രത്യേക കോൺഫിഗറേഷൻ ആവശ്യമില്ല.

ടൈം സീരീസ് ഡാറ്റ ബ്ലോക്കുകളിൽ നിരവധി വലിയ ഫയലുകൾ അടങ്ങിയിരിക്കുന്നു. ആവശ്യാനുസരണം അവ ലോഡുചെയ്യുന്നത് തികച്ചും കാര്യക്ഷമമല്ല, കൂടാതെ അവ പ്രാദേശികമായി കാഷെ ചെയ്യുന്നതിന് വലിയ അളവിലുള്ള മെമ്മറിയും ഡിസ്ക് സ്ഥലവും ആവശ്യമായി വരും.

പകരം, പ്രൊമിത്യൂസ് സ്റ്റോറേജ് ഫോർമാറ്റ് എങ്ങനെ കൈകാര്യം ചെയ്യണമെന്ന് സ്റ്റോർ ഗേറ്റ്‌വേയ്ക്ക് അറിയാം. ഒരു സ്‌മാർട്ട് ക്വറി ഷെഡ്യൂളറിന് നന്ദി, ബ്ലോക്കുകളുടെ ആവശ്യമായ സൂചിക ഭാഗങ്ങൾ മാത്രം കാഷെ ചെയ്യുന്നതിലൂടെ, ഒബ്‌ജക്റ്റ് സ്‌റ്റോറേജ് ഫയലുകളിലേക്കുള്ള സങ്കീർണ്ണമായ ചോദ്യങ്ങളെ ഏറ്റവും കുറഞ്ഞ എണ്ണം HTTP അഭ്യർത്ഥനകളാക്കി ചുരുക്കാൻ സാധിക്കും. ഈ രീതിയിൽ, നിങ്ങൾക്ക് അഭ്യർത്ഥനകളുടെ എണ്ണം നാലോ ആറോ ഓർഡറുകൾ കുറയ്ക്കാനും ഒരു പ്രാദേശിക എസ്എസ്ഡിയിലെ ഡാറ്റയിലേക്കുള്ള അഭ്യർത്ഥനകളിൽ നിന്ന് വേർതിരിച്ചറിയാൻ പൊതുവെ ബുദ്ധിമുട്ടുള്ള പ്രതികരണ സമയം നേടാനും കഴിയും.

മുകളിലെ ഡയഗ്രാമിൽ കാണിച്ചിരിക്കുന്നതുപോലെ, പ്രോമിത്യൂസ് സ്റ്റോറേജ് ഫോർമാറ്റ് പ്രയോജനപ്പെടുത്തുകയും അനുബന്ധ ഡാറ്റ വശങ്ങളിലായി സ്ഥാപിക്കുകയും ചെയ്തുകൊണ്ട് താനോസ് ക്വേറിയർ ഒബ്ജക്റ്റ് സ്റ്റോറേജ് ഡാറ്റയുടെ ഓരോ ചോദ്യത്തിനും ചെലവ് ഗണ്യമായി കുറയ്ക്കുന്നു. ഈ സമീപനം ഉപയോഗിച്ച്, നമുക്ക് നിരവധി ഒറ്റ അഭ്യർത്ഥനകൾ ഒരു മിനിമം ബൾക്ക് ഓപ്പറേഷനുകളായി സംയോജിപ്പിക്കാൻ കഴിയും.

ഒതുക്കലും ഇറക്കലും

ഒബ്‌ജക്റ്റ് സ്‌റ്റോറേജിലേക്ക് ടൈം സീരീസ് ഡാറ്റയുടെ ഒരു പുതിയ ബ്ലോക്ക് വിജയകരമായി ലോഡ് ചെയ്‌തുകഴിഞ്ഞാൽ, ഞങ്ങൾ അതിനെ "ചരിത്രപരമായ" ഡാറ്റയായി പരിഗണിക്കും, അത് സ്റ്റോർ ഗേറ്റ്‌വേയിലൂടെ ഉടനടി ലഭ്യമാണ്.

എന്നിരുന്നാലും, കുറച്ച് സമയത്തിന് ശേഷം, ഒരു സ്രോതസ്സിൽ നിന്നുള്ള ബ്ലോക്കുകൾ (പ്രോമിത്യൂസ് വിത്ത് സൈഡ്കാർ) അടിഞ്ഞുകൂടുന്നു, തുടർന്ന് പൂർണ്ണമായ ഇൻഡെക്സിംഗ് സാധ്യതകൾ ഉപയോഗിക്കില്ല. ഈ പ്രശ്നം പരിഹരിക്കാൻ, ഞങ്ങൾ കോംപാക്റ്റർ എന്ന മറ്റൊരു ഘടകം അവതരിപ്പിച്ചു. ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിലെ ചരിത്രപരമായ ഡാറ്റയിലേക്ക് ഇത് പ്രോമിത്യൂസിന്റെ ലോക്കൽ കോംപാക്ഷൻ എഞ്ചിൻ പ്രയോഗിക്കുന്നു, മാത്രമല്ല ഇത് ഒരു ലളിതമായ ആനുകാലിക ബാച്ച് ജോലിയായി പ്രവർത്തിപ്പിക്കാനും കഴിയും.

കാര്യക്ഷമമായ കംപ്രഷന് നന്ദി, ദീർഘകാലത്തേക്ക് സ്റ്റോറേജ് അന്വേഷിക്കുന്നത് ഡാറ്റാ വലുപ്പത്തിന്റെ കാര്യത്തിൽ ഒരു പ്രശ്‌നമുണ്ടാക്കുന്നില്ല. എന്നിരുന്നാലും, ഒരു ബില്യൺ മൂല്യങ്ങൾ അൺപാക്ക് ചെയ്യുന്നതിനും ഒരു ക്വറി പ്രോസസറിലൂടെ അവ പ്രവർത്തിപ്പിക്കുന്നതിനുമുള്ള സാധ്യതയുള്ള ചെലവ് അനിവാര്യമായും അന്വേഷണ നിർവ്വഹണ സമയത്തിൽ നാടകീയമായ വർദ്ധനവിന് കാരണമാകും. മറുവശത്ത്, സ്ക്രീനിൽ ഒരു പിക്സലിന് നൂറുകണക്കിന് ഡാറ്റ പോയിന്റുകൾ ഉള്ളതിനാൽ, പൂർണ്ണ റെസല്യൂഷനിൽ ഡാറ്റ ദൃശ്യവൽക്കരിക്കുക പോലും അസാധ്യമാണ്. അതിനാൽ, ഡൗൺസാംപ്ലിംഗ് സാധ്യമാണെന്ന് മാത്രമല്ല, കൃത്യതയുടെ ശ്രദ്ധേയമായ നഷ്ടത്തിലേക്ക് നയിക്കുകയുമില്ല.

ഡാറ്റ കുറയ്ക്കുന്നതിന്, അഞ്ച് മിനിറ്റും ഒരു മണിക്കൂറും റെസല്യൂഷനിൽ കോംപാക്റ്റർ തുടർച്ചയായി ഡാറ്റ സമാഹരിക്കുന്നു. TSDB XOR കംപ്രഷൻ ഉപയോഗിച്ച് എൻകോഡ് ചെയ്‌ത ഓരോ അസംസ്‌കൃത ചങ്കിനും, ഒരു ബ്ലോക്കിനുള്ള മിനിറ്റ്, പരമാവധി അല്ലെങ്കിൽ തുക എന്നിങ്ങനെ വ്യത്യസ്ത തരം മൊത്തത്തിലുള്ള ഡാറ്റ സംഭരിക്കുന്നു. നൽകിയിരിക്കുന്ന PromQL അന്വേഷണത്തിന് അനുയോജ്യമായ ഒരു സംഗ്രഹം സ്വയമേവ തിരഞ്ഞെടുക്കാൻ Querier-നെ ഇത് അനുവദിക്കുന്നു.

കുറഞ്ഞ കൃത്യതയുള്ള ഡാറ്റ ഉപയോഗിക്കുന്നതിന് ഉപയോക്താവിന് പ്രത്യേക കോൺഫിഗറേഷൻ ആവശ്യമില്ല. ഉപയോക്താവ് സൂം ഇൻ ചെയ്യുമ്പോഴും പുറത്തുപോകുമ്പോഴും ക്വറിയർ വ്യത്യസ്ത റെസല്യൂഷനുകളും റോ ഡാറ്റയും തമ്മിൽ സ്വയമേവ മാറുന്നു. വേണമെങ്കിൽ, അഭ്യർത്ഥനയിലെ "സ്റ്റെപ്പ്" പാരാമീറ്ററിലൂടെ ഉപയോക്താവിന് ഇത് നേരിട്ട് നിയന്ത്രിക്കാനാകും.

ഒരു ജിബി സംഭരിക്കുന്നതിനുള്ള ചെലവ് കുറവായതിനാൽ, സ്വതവേ, താനോസ് റോ ഡാറ്റ, അഞ്ച് മിനിറ്റ്, ഒരു മണിക്കൂർ റെസലൂഷൻ ഡാറ്റ എന്നിവ സംഭരിക്കുന്നു. യഥാർത്ഥ ഡാറ്റ ഇല്ലാതാക്കേണ്ട ആവശ്യമില്ല.

റെക്കോർഡിംഗ് നിയമങ്ങൾ

താനോസിനൊപ്പം പോലും, റെക്കോർഡിംഗ് നിയമങ്ങൾ മോണിറ്ററിംഗ് സ്റ്റാക്കിന്റെ ഒരു പ്രധാന ഭാഗമാണ്. അവ സങ്കീർണ്ണത, ലേറ്റൻസി, ചോദ്യങ്ങളുടെ വില എന്നിവ കുറയ്ക്കുന്നു. ഉപയോക്താക്കൾക്ക് മെട്രിക്കുകൾ ഉപയോഗിച്ച് സമാഹരിച്ച ഡാറ്റ നേടാനും അവ സൗകര്യപ്രദമാണ്. താനോസ് വാനില പ്രോമിത്യൂസ് സംഭവങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, അതിനാൽ നിലവിലുള്ള പ്രോമിത്യൂസ് സെർവറിൽ റെക്കോർഡിംഗ് നിയമങ്ങളും മുന്നറിയിപ്പ് നിയമങ്ങളും സംഭരിക്കുന്നത് തികച്ചും സ്വീകാര്യമാണ്. എന്നിരുന്നാലും, ചില സന്ദർഭങ്ങളിൽ ഇത് മതിയാകില്ല:

• ഗ്ലോബൽ അലേർട്ടും റൂളും (ഉദാഹരണത്തിന്, മൂന്ന് ക്ലസ്റ്ററുകളിൽ രണ്ടിൽ കൂടുതൽ ഒരു സേവനം പ്രവർത്തിക്കാത്തപ്പോൾ ഒരു അലേർട്ട്).
• പ്രാദേശിക സംഭരണത്തിന് പുറത്തുള്ള ഡാറ്റയ്ക്കുള്ള നിയമം.
• എല്ലാ നിയമങ്ങളും അലേർട്ടുകളും ഒരിടത്ത് സൂക്ഷിക്കാനുള്ള ആഗ്രഹം.

ഈ കേസുകൾക്കെല്ലാം, Thanos-ൽ Ruler എന്ന് വിളിക്കപ്പെടുന്ന ഒരു പ്രത്യേക ഘടകം ഉൾപ്പെടുന്നു, അത് Thanos Queries വഴി നിയമവും അലേർട്ടും കണക്കാക്കുന്നു. അറിയപ്പെടുന്ന സ്റ്റോർ എപിഐ നൽകുന്നതിലൂടെ, ക്വറി നോഡിന് പുതുതായി കണക്കാക്കിയ മെട്രിക്‌സ് ആക്‌സസ് ചെയ്യാൻ കഴിയും. പിന്നീട് അവ ഒബ്ജക്റ്റ് സ്റ്റോറേജിലും സംഭരിക്കുകയും സ്റ്റോർ ഗേറ്റ്‌വേ വഴി ലഭ്യമാക്കുകയും ചെയ്യുന്നു.

താനോസിന്റെ ശക്തി

നിങ്ങളുടെ ആവശ്യങ്ങൾക്ക് അനുയോജ്യമായ രീതിയിൽ ഇഷ്‌ടാനുസൃതമാക്കാൻ തനോസ് പര്യാപ്തമാണ്. പ്ലെയിൻ പ്രോമിത്യൂസിൽ നിന്ന് കുടിയേറുമ്പോൾ ഇത് പ്രത്യേകിച്ചും ഉപയോഗപ്രദമാണ്. ഒരു ദ്രുത ഉദാഹരണത്തിലൂടെ Thanos ഘടകങ്ങളെ കുറിച്ച് നമ്മൾ പഠിച്ച കാര്യങ്ങൾ നമുക്ക് പെട്ടെന്ന് പുനരാവിഷ്കരിക്കാം. "അൺലിമിറ്റഡ് മെട്രിക്സ് സ്റ്റോറേജിന്റെ" ലോകത്തേക്ക് നിങ്ങളുടെ വാനില പ്രൊമിത്യൂസിനെ എങ്ങനെ കൊണ്ടുപോകാമെന്ന് ഇതാ:

1. നിങ്ങളുടെ Prometheus സെർവറുകളിലേക്ക് Thanos Sidecar ചേർക്കുക - ഉദാഹരണത്തിന്, Kubernetes പോഡിലെ ഒരു സൈഡ്കാർ കണ്ടെയ്‌നർ.
2. ഡാറ്റ കാണുന്നതിന് ഒന്നിലധികം Thanos Querier പകർപ്പുകൾ വിന്യസിക്കുക. ഈ ഘട്ടത്തിൽ സ്ക്രാപ്പറും ക്വറിയറും തമ്മിൽ ഗോസിപ്പ് സജ്ജീകരിക്കുന്നത് എളുപ്പമാണ്. ഘടകങ്ങളുടെ ഇടപെടൽ പരിശോധിക്കുന്നതിന്, 'thanos_cluster_members' മെട്രിക് ഉപയോഗിക്കുക.

സാധ്യതയുള്ള പ്രോമിത്യൂസ് HA പകർപ്പുകളിൽ നിന്ന് ആഗോള കാഴ്ചയും തടസ്സമില്ലാത്ത ഡാറ്റ ഡ്യൂപ്ലിക്കേഷനും നൽകാൻ ഈ രണ്ട് ഘട്ടങ്ങൾ മാത്രം മതി! നിങ്ങളുടെ ഡാഷ്‌ബോർഡുകൾ Querier HTTP എൻഡ്‌പോയിന്റുമായി ബന്ധിപ്പിക്കുക അല്ലെങ്കിൽ നേരിട്ട് Thanos UI ഉപയോഗിക്കുക.

എന്നിരുന്നാലും, നിങ്ങൾക്ക് മെട്രിക്സ് ബാക്കപ്പും ദീർഘകാല സംഭരണവും ആവശ്യമാണെങ്കിൽ, നിങ്ങൾ മൂന്ന് ഘട്ടങ്ങൾ കൂടി പൂർത്തിയാക്കേണ്ടതുണ്ട്:

1. ഒരു AWS S3 അല്ലെങ്കിൽ GCS ബക്കറ്റ് സൃഷ്‌ടിക്കുക. ഈ ബക്കറ്റുകളിലേക്ക് ഡാറ്റ പകർത്താൻ സൈഡ്കാർ കോൺഫിഗർ ചെയ്യുക. പ്രാദേശിക ഡാറ്റ സംഭരണം ഇപ്പോൾ ചെറുതാക്കാം.
2. സ്റ്റോർ ഗേറ്റ്‌വേ വിന്യസിക്കുകയും നിങ്ങളുടെ നിലവിലുള്ള ഗോസിപ്പ് ക്ലസ്റ്ററുമായി ബന്ധിപ്പിക്കുകയും ചെയ്യുക. ഇപ്പോൾ നിങ്ങൾക്ക് ബാക്കപ്പ് ചെയ്ത ഡാറ്റ അന്വേഷിക്കാം!
3. കോംപാക്‌ഷനും ഡൗൺസാംപ്ലിംഗും ഉപയോഗിച്ച് ദീർഘകാലത്തേക്ക് അന്വേഷണ കാര്യക്ഷമത മെച്ചപ്പെടുത്താൻ കോംപാക്‌ടർ വിന്യസിക്കുക.

നിങ്ങൾക്ക് കൂടുതൽ അറിയണമെങ്കിൽ, ഞങ്ങളുടെ കാര്യം നോക്കാൻ മടിക്കേണ്ട kubernetes പ്രകടമായ ഉദാഹരണങ്ങൾ и ആമുഖം!

വെറും അഞ്ച് ഘട്ടങ്ങളിലൂടെ, ആഗോള കാഴ്‌ചയും പരിധിയില്ലാത്ത സംഭരണ ​​സമയവും മെട്രിക്‌സിന്റെ ഉയർന്ന ലഭ്യതയും ഉള്ള ഒരു വിശ്വസനീയമായ മോണിറ്ററിംഗ് സിസ്റ്റമാക്കി ഞങ്ങൾ പ്രോമിത്യൂസിനെ മാറ്റി.

അഭ്യർത്ഥന വലിക്കുക: ഞങ്ങൾക്ക് നിങ്ങളെ വേണം!

താനൂസ് തുടക്കം മുതലേ ഒരു ഓപ്പൺ സോഴ്സ് പ്രോജക്ടാണ്. പ്രോമിത്യൂസുമായുള്ള തടസ്സമില്ലാത്ത സംയോജനവും താനോസിന്റെ ഒരു ഭാഗം മാത്രം ഉപയോഗിക്കാനുള്ള കഴിവും നിങ്ങളുടെ മോണിറ്ററിംഗ് സിസ്റ്റത്തെ അനായാസമായി സ്കെയിൽ ചെയ്യുന്നതിനുള്ള മികച്ച തിരഞ്ഞെടുപ്പായി മാറ്റുന്നു.

GitHub Pull അഭ്യർത്ഥനകളും പ്രശ്നങ്ങളും ഞങ്ങൾ എപ്പോഴും സ്വാഗതം ചെയ്യുന്നു. അതിനിടയിൽ, Github പ്രശ്നങ്ങൾ വഴിയോ സ്ലാക്ക് വഴിയോ ഞങ്ങളെ ബന്ധപ്പെടാൻ മടിക്കേണ്ടതില്ല അസംഭവ്യം-ഇംഗ്ലീഷ് #thanosനിങ്ങൾക്ക് ചോദ്യങ്ങളോ ഫീഡ്‌ബാക്കോ ഉണ്ടെങ്കിൽ, അല്ലെങ്കിൽ അത് ഉപയോഗിച്ച് നിങ്ങളുടെ അനുഭവം പങ്കിടാൻ ആഗ്രഹിക്കുന്നുവെങ്കിൽ! ഇംപ്രൊബബിളിൽ ഞങ്ങൾ ചെയ്യുന്നത് നിങ്ങൾ ഇഷ്ടപ്പെടുന്നെങ്കിൽ, ഞങ്ങളെ ബന്ധപ്പെടാൻ മടിക്കരുത് - ഞങ്ങൾക്ക് എപ്പോഴും ഒഴിവുകൾ ഉണ്ട്!

കോഴ്സിനെക്കുറിച്ച് കൂടുതലറിയുക.

അവലംബം: www.habr.com