മറ്റൊരു ബാക്കപ്പ് - ഒരു സ്ക്രിപ്റ്റിനേക്കാൾ കൂടുതൽ, ഒരു സിസ്റ്റത്തേക്കാൾ ലളിതമാണ്

നിരവധി ബാക്കപ്പ് സിസ്റ്റങ്ങൾ ഉണ്ട്, എന്നാൽ സർവീസ് ചെയ്ത സെർവറുകൾ വിവിധ പ്രദേശങ്ങളിലും ക്ലയന്റുകളിലും ചിതറിക്കിടക്കുകയാണെങ്കിൽ, നിങ്ങൾ ഓപ്പറേറ്റിംഗ് സിസ്റ്റം ടൂളുകൾ ഉപയോഗിച്ച് മാനേജ് ചെയ്യേണ്ടതുണ്ടോ?

ഗുഡ് ആഫ്റ്റർനൂൺ, ഹബ്ർ!
എന്റെ പേര് നതാലിയ. ഞാൻ NPO ക്രിസ്റ്റയിലെ ആപ്ലിക്കേഷൻ അഡ്മിനിസ്ട്രേറ്റേഴ്സ് ഗ്രൂപ്പിന്റെ ഒരു ടീം ലീഡറാണ്. ഞങ്ങളുടെ കമ്പനിയുടെ പ്രോജക്ട് ഗ്രൂപ്പിനായി ഞങ്ങൾ തിരഞ്ഞെടുക്കുന്നു. ഞങ്ങൾക്ക് തികച്ചും സവിശേഷമായ ഒരു സാഹചര്യമുണ്ട്: ഞങ്ങളുടെ കമ്പനിയുടെ സെർവറുകളിലും ഉപഭോക്താക്കളുടെ സൈറ്റുകളിൽ സ്ഥിതിചെയ്യുന്ന സെർവറുകളിലും ഞങ്ങൾ ഞങ്ങളുടെ സോഫ്റ്റ്വെയർ ഇൻസ്റ്റാൾ ചെയ്യുകയും പരിപാലിക്കുകയും ചെയ്യുന്നു. ഈ സാഹചര്യത്തിൽ, മുഴുവൻ സെർവറും ബാക്കപ്പ് ചെയ്യേണ്ട ആവശ്യമില്ല. "അത്യാവശ്യ ഡാറ്റ" മാത്രം പ്രധാനമാണ്: ഫയൽ സിസ്റ്റത്തിന്റെ ഡിബിഎംഎസും വ്യക്തിഗത ഡയറക്ടറികളും. തീർച്ചയായും, ക്ലയന്റുകൾക്ക് അവരുടേതായ ബാക്കപ്പ് നയങ്ങളുണ്ട് (അല്ലെങ്കിൽ ഇല്ല) കൂടാതെ ബാക്കപ്പുകൾ അവിടെ സംഭരിക്കുന്നതിന് പലപ്പോഴും ഒരുതരം ബാഹ്യ സംഭരണം നൽകുന്നു. ഈ സാഹചര്യത്തിൽ, ഒരു ബാക്കപ്പ് സൃഷ്ടിച്ചതിന് ശേഷം, അത് ബാഹ്യ സംഭരണത്തിലേക്ക് അയച്ചിട്ടുണ്ടെന്ന് ഞങ്ങൾ ഉറപ്പാക്കുന്നു.

കുറച്ച് സമയത്തേക്ക്, ബാഷ് സ്ക്രിപ്റ്റ് ഉപയോഗിച്ച് ഞങ്ങൾ കൈകാര്യം ചെയ്തു, എന്നാൽ ക്രമീകരണങ്ങൾക്കുള്ള ഓപ്ഷനുകൾ വളർന്നപ്പോൾ, ഈ സ്ക്രിപ്റ്റിന്റെ സങ്കീർണ്ണത ആനുപാതികമായി വർദ്ധിച്ചു, ഒരു നല്ല നിമിഷത്തിൽ ഞങ്ങൾ "ഇത് നിലത്തു നശിപ്പിക്കേണ്ടതിന്റെ ആവശ്യകതയിൽ എത്തി, ഒപ്പം പിന്നെ ....".

വിവിധ കാരണങ്ങളാൽ റെഡിമെയ്ഡ് സൊല്യൂഷനുകൾ അനുയോജ്യമല്ല: ബാക്കപ്പുകൾ വികേന്ദ്രീകരിക്കേണ്ടതിന്റെ ആവശ്യകത, ക്ലയന്റിൽ പ്രാദേശികമായി ബാക്കപ്പുകൾ സംഭരിക്കുന്നതിനുള്ള ബാധ്യത, ക്രമീകരണങ്ങളുടെ സങ്കീർണ്ണത, ഇറക്കുമതി പകരം വയ്ക്കൽ, പ്രവേശന നിയന്ത്രണങ്ങൾ എന്നിവ കാരണം.

സ്വന്തമായി എന്തെങ്കിലും എഴുതുന്നത് എളുപ്പമാണെന്ന് ഞങ്ങൾക്ക് തോന്നി. അതേ സമയം, അടുത്ത N വർഷത്തേക്ക് ഞങ്ങളുടെ സാഹചര്യത്തിന് പര്യാപ്തമായ എന്തെങ്കിലും ലഭിക്കാൻ ഞങ്ങൾ ആഗ്രഹിച്ചു, എന്നാൽ വ്യാപ്തി വികസിപ്പിക്കാനുള്ള സാധ്യതയുമുണ്ട്.

ചുമതല വ്യവസ്ഥകൾ ഇപ്രകാരമായിരുന്നു:

1. അടിസ്ഥാന ബാക്കപ്പ് ഇൻസ്‌റ്റൻസ് ഓഫ്‌ലൈനാണ്, പ്രാദേശികമായി പ്രവർത്തിക്കുന്നു
2. ബാക്കപ്പുകളുടെയും ലോഗുകളുടെയും സംഭരണം എപ്പോഴും ക്ലയന്റ് നെറ്റ്‌വർക്കിനുള്ളിൽ
3. ഉദാഹരണം മൊഡ്യൂളുകൾ ഉൾക്കൊള്ളുന്നു - അത്തരമൊരു തരം "കൺസ്ട്രക്റ്റർ"
4. കാലഹരണപ്പെട്ടവ ഉൾപ്പെടെ ഉപയോഗിക്കുന്ന ലിനക്സ് വിതരണങ്ങളുമായുള്ള അനുയോജ്യത, സാധ്യതയുള്ള ക്രോസ്-പ്ലാറ്റ്ഫോം അഭികാമ്യമാണ്
5. ഉദാഹരണത്തിൽ പ്രവർത്തിക്കാൻ ssh ആക്സസ് മതിയാകും, അധിക പോർട്ടുകൾ തുറക്കുന്നത് ഓപ്ഷണലാണ്
6. സജ്ജീകരണത്തിന്റെയും പ്രവർത്തനത്തിന്റെയും പരമാവധി എളുപ്പം
7. വ്യത്യസ്ത സെർവറുകളിൽ നിന്നുള്ള ബാക്കപ്പുകളുടെ നില കേന്ദ്രീകൃതമായി കാണാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഒരു പ്രത്യേക ഉദാഹരണം സാധ്യമാണ് (പക്ഷേ ആവശ്യമില്ല).

ഞങ്ങൾക്ക് ലഭിച്ചത് ഇവിടെ കാണാം: github.com/javister/krista-backup
സോഫ്റ്റ്വെയർ python3 ൽ എഴുതിയിരിക്കുന്നു; Debian, Ubuntu, CentOS, AstraLinux 1.6 എന്നിവയിൽ പ്രവർത്തിക്കുന്നു.

ഡോക്യുമെന്റേഷൻ റിപ്പോസിറ്ററിയുടെ ഡോക്സ് ഡയറക്ടറിയിൽ പോസ്റ്റ് ചെയ്തിട്ടുണ്ട്.

സിസ്റ്റം പ്രവർത്തിക്കുന്ന പ്രധാന ആശയങ്ങൾ:
പ്രവർത്തനം - ഒരു ആറ്റോമിക് ഓപ്പറേഷൻ നടപ്പിലാക്കുന്ന ഒരു പ്രവർത്തനം (ഡാറ്റാബേസ് ബാക്കപ്പ്, ഡയറക്ടറി ബാക്കപ്പ്, ഡയറക്‌ടറി A-ൽ നിന്ന് ഡയറക്‌ടറി B-ലേക്ക് കൈമാറ്റം, മുതലായവ). നിലവിലുള്ള പ്രവർത്തനങ്ങൾ കോർ/ആക്ഷൻ ഡയറക്‌ടറിയിലാണ്
ചുമതല - ഒരു ടാസ്ക്, ഒരു ലോജിക്കൽ "ബാക്കപ്പ് ടാസ്ക്" വിവരിക്കുന്ന പ്രവർത്തനങ്ങളുടെ ഒരു കൂട്ടം
ഷെഡ്യൂൾ - ഷെഡ്യൂൾ, ടാസ്‌ക് എക്‌സിക്യൂഷൻ സമയത്തിന്റെ ഓപ്‌ഷണൽ സൂചനയുള്ള ടാസ്‌ക് സെറ്റ്

ബാക്കപ്പ് കോൺഫിഗറേഷൻ ഒരു yaml ഫയലിൽ സംഭരിച്ചിരിക്കുന്നു; പൊതുവായ കോൺഫിഗറേഷൻ ഘടന:

• പൊതുവായ ക്രമീകരണങ്ങൾ
• പ്രവർത്തന വിഭാഗം: ഈ സെർവറിൽ ഉപയോഗിക്കുന്ന പ്രവർത്തനങ്ങളുടെ വിവരണം
• ഷെഡ്യൂൾ വിഭാഗം: എല്ലാ ജോലികളുടേയും വിവരണം (പ്രവർത്തനങ്ങളുടെ സെറ്റ്) കൂടാതെ ക്രോൺ മുഖേനയുള്ള അവ സമാരംഭിക്കുന്നതിനുള്ള ഷെഡ്യൂൾ, അത്തരം ലോഞ്ച് ആവശ്യമെങ്കിൽ

ഒരു ഉദാഹരണ കോൺഫിഗറേഷൻ ഇവിടെ കാണാം

ആപ്ലിക്കേഷന് ഇപ്പോൾ എന്തുചെയ്യാൻ കഴിയും:

• ഞങ്ങൾക്ക് വേണ്ടിയുള്ള പ്രധാന പ്രവർത്തനങ്ങൾ പിന്തുണയ്ക്കുന്നു: Pg_dump വഴിയുള്ള PostgreSQL ബാക്കപ്പ്, ടാർ വഴിയുള്ള ഫയൽ സിസ്റ്റം ഡയറക്ടറി ബാക്കപ്പ്; ബാഹ്യ സംഭരണത്തോടുകൂടിയ പ്രവർത്തനങ്ങൾ; ഡയറക്ടറികൾക്കിടയിൽ rsync; ബാക്കപ്പ് റൊട്ടേഷൻ (പഴയ പകർപ്പുകൾ ഇല്ലാതാക്കുന്നു)
• ഒരു ബാഹ്യ സ്ക്രിപ്റ്റ് വിളിക്കുന്നു
• ഒരൊറ്റ ടാസ്ക്കിന്റെ മാനുവൽ എക്സിക്യൂഷൻ

  /opt/KristaBackup/KristaBackup.py run make_full_dump

• നിങ്ങൾക്ക് ക്രോണ്ടാബിൽ ഒരു വ്യക്തിഗത ടാസ്‌ക്കോ മുഴുവൻ ഷെഡ്യൂളും ചേർക്കാം (അല്ലെങ്കിൽ നീക്കം ചെയ്യാം).

  /opt/KristaBackup/KristaBackup.py enable all

• ബാക്കപ്പ് ഫലങ്ങളെ അടിസ്ഥാനമാക്കി ഫയൽ ജനറേഷൻ ട്രിഗർ ചെയ്യുക. ബാക്കപ്പുകൾ നിരീക്ഷിക്കുന്നതിന് Zabbix-നൊപ്പം ഈ ഫീച്ചർ ഉപയോഗപ്രദമാണ്.
• വെബ്‌പി അല്ലെങ്കിൽ വെബ് മോഡിൽ പശ്ചാത്തലത്തിൽ പ്രവർത്തിക്കാനാകും

  /opt/KristaBackup/KristaBackup.py web start [--api]

മോഡുകൾ തമ്മിലുള്ള വ്യത്യാസം വെബ്‌പിക്ക് ശരിയായ വെബ് ഇന്റർഫേസ് ഇല്ല എന്നതാണ്, എന്നാൽ മറ്റൊരു സന്ദർഭത്തിൽ നിന്നുള്ള അഭ്യർത്ഥനകളോട് ആപ്ലിക്കേഷൻ പ്രതികരിക്കുന്നു. വെബ് മോഡിനായി, നിങ്ങൾ ഫ്ലാസ്കും കുറച്ച് അധിക പാക്കേജുകളും ഇൻസ്റ്റാൾ ചെയ്യേണ്ടതുണ്ട്, ഇത് എല്ലായിടത്തും സ്വീകാര്യമല്ല, ഉദാഹരണത്തിന്, സാക്ഷ്യപ്പെടുത്തിയ AstraLinux SE-ൽ.

വെബ് ഇന്റർഫേസിലൂടെ, ബന്ധിപ്പിച്ച സെർവറുകളുടെ ബാക്കപ്പുകളുടെ സ്റ്റാറ്റസും ലോഗുകളും നിങ്ങൾക്ക് കാണാൻ കഴിയും: API വഴി "ബാക്കപ്പ് ഇൻസ്‌റ്റൻസുകളിൽ" നിന്ന് "വെബ് ഇൻസ്‌റ്റൻസ്" ഡാറ്റ അഭ്യർത്ഥിക്കുന്നു. വെബ് ആക്‌സസിന് അംഗീകാരം ആവശ്യമാണ്, വെബ്‌പി ആക്‌സസ് ആവശ്യമില്ല.

തെറ്റായി കഴിഞ്ഞ ബാക്കപ്പുകളുടെ ലോഗുകൾ ഒരു നിറത്തിൽ അടയാളപ്പെടുത്തിയിരിക്കുന്നു: മുന്നറിയിപ്പ് - മഞ്ഞ, പിശക് - ചുവപ്പ്.

അഡ്മിനിസ്ട്രേറ്റർക്ക് പരാമീറ്ററുകളിൽ ഒരു ചീറ്റ് ഷീറ്റ് ആവശ്യമില്ലെങ്കിൽ, സെർവർ ഓപ്പറേറ്റിംഗ് സിസ്റ്റങ്ങൾ ഏകതാനമാണെങ്കിൽ, നിങ്ങൾക്ക് ഫയൽ കംപൈൽ ചെയ്യാനും പൂർത്തിയായ പാക്കേജ് വിതരണം ചെയ്യാനും കഴിയും.

ഞങ്ങൾ ഈ യൂട്ടിലിറ്റി പ്രധാനമായും അൻസിബിൾ വഴിയാണ് വിതരണം ചെയ്യുന്നത്, ഏറ്റവും പ്രധാനപ്പെട്ട ചില സെർവറുകളിലേക്കും ബാക്കിയുള്ളവയിൽ പരീക്ഷിച്ചതിന് ശേഷവും ഇത് ആദ്യം വിതരണം ചെയ്യുന്നു.

അനുഭവപരിചയമില്ലാത്ത അഡ്‌മിനിസ്‌ട്രേറ്റർമാർക്ക് പോലും ഓട്ടോമേറ്റ് ചെയ്യാനും ഉപയോഗിക്കാനും കഴിയുന്ന ഒരു കോംപാക്റ്റ് സ്റ്റാൻഡ്-എലോൺ കോപ്പി യൂട്ടിലിറ്റിയാണ് അന്തിമഫലം. ഇത് ഞങ്ങൾക്ക് സൗകര്യപ്രദമാണ് - ഒരുപക്ഷേ ഇത് നിങ്ങൾക്കും ഉപയോഗപ്രദമാകുമോ?

അവലംബം: www.habr.com