અન્ય બેકઅપ - સ્ક્રિપ્ટ કરતાં વધુ, સિસ્ટમ કરતાં સરળ

ત્યાં ઘણી બધી બેકઅપ સિસ્ટમ્સ છે, પરંતુ જો સર્વિસ કરેલા સર્વર્સ વિવિધ પ્રદેશો અને ક્લાયન્ટ્સમાં વિખરાયેલા હોય અને તમારે ઑપરેટિંગ સિસ્ટમ ટૂલ્સનો ઉપયોગ કરીને મેનેજ કરવાની જરૂર હોય તો શું?

ગુડ બપોરે, હેબ્ર!
મારું નામ નતાલ્યા છે. હું એનપીઓ ક્રિસ્ટા ખાતે એપ્લિકેશન એડમિનિસ્ટ્રેટર્સ જૂથનો ટીમ લીડર છું. અમે અમારી કંપનીની પ્રોજેક્ટ ટીમ માટે પસંદગી કરીએ છીએ. અમારી પાસે એક વિચિત્ર પરિસ્થિતિ છે: અમે અમારા સોફ્ટવેરને અમારી કંપનીના સર્વર અને ક્લાયન્ટની સાઇટ્સ પર સ્થિત સર્વર બંને પર ઇન્સ્ટોલ અને જાળવીએ છીએ. આ કિસ્સામાં, સમગ્ર સર્વરનો બેકઅપ લેવાની જરૂર નથી. ફક્ત "આવશ્યક ડેટા" મહત્વપૂર્ણ છે: DBMS અને ફાઇલ સિસ્ટમની વ્યક્તિગત ડિરેક્ટરીઓ. અલબત્ત, ક્લાયન્ટ પાસે તેમની પોતાની બેકઅપ નીતિઓ હોય છે (અથવા નથી હોતી) અને ઘણી વખત ત્યાં બેકઅપ સ્ટોર કરવા માટે અમુક પ્રકારનો બાહ્ય સ્ટોરેજ પ્રદાન કરે છે. આ કિસ્સામાં, બેકઅપ બનાવ્યા પછી, અમે ખાતરી કરીએ છીએ કે તે બાહ્ય સ્ટોરેજ પર મોકલવામાં આવે છે.

થોડા સમય માટે, બેકઅપ હેતુઓ માટે, અમે બેશ સ્ક્રિપ્ટ વડે મેનેજ કર્યું, પરંતુ જેમ જેમ સેટિંગ્સ માટેના વિકલ્પો વધતા ગયા તેમ તેમ આ સ્ક્રિપ્ટની જટિલતા પ્રમાણસર વધતી ગઈ, અને એક સરસ ક્ષણે અમને "તેને જમીન પર નષ્ટ કરવાની જરૂર પડી, અને પછી ...."

તૈયાર સોલ્યુશન્સ વિવિધ કારણોસર બંધબેસતા ન હતા: બેકઅપને વિકેન્દ્રિત કરવાની જરૂરિયાતને કારણે, ક્લાયન્ટ પર સ્થાનિક રીતે બેકઅપ્સ સ્ટોર કરવાની જવાબદારી, સેટિંગ્સની જટિલતા, આયાત અવેજી અને ઍક્સેસ પ્રતિબંધો.

તે અમને લાગ્યું કે આપણું પોતાનું કંઈક લખવું સરળ છે. તે જ સમયે, અમે કંઈક મેળવવા માંગીએ છીએ જે આગામી N વર્ષ માટે અમારી પરિસ્થિતિ માટે પૂરતું હશે, પરંતુ સંભવિત રૂપે અવકાશને વિસ્તૃત કરવાની સંભાવના સાથે.

કાર્યની શરતો નીચે મુજબ હતી:

1. બેઝ બેકઅપ ઉદાહરણ ઑફલાઇન છે, સ્થાનિક રીતે ચાલી રહ્યું છે
2. ક્લાયંટના નેટવર્કમાં હંમેશા બેકઅપ અને લોગનો સંગ્રહ
3. દાખલામાં મોડ્યુલોનો સમાવેશ થાય છે - આ પ્રકારનો "કન્સ્ટ્રક્ટર"
4. ઉપયોગમાં લેવાતા Linux વિતરણો સાથે સુસંગતતા, અપ્રચલિત સહિત, સંભવિત ક્રોસ-પ્લેટફોર્મ ઇચ્છનીય છે
5. દાખલા સાથે કામ કરવા માટે ssh એક્સેસ પર્યાપ્ત છે, વધારાના પોર્ટ ખોલવા એ વૈકલ્પિક છે
6. સેટઅપ અને ઓપરેશનની મહત્તમ સરળતા
7. એક અલગ દાખલો હોવો શક્ય છે (પરંતુ જરૂરી નથી) જે તમને વિવિધ સર્વરમાંથી બેકઅપની સ્થિતિ કેન્દ્રિય રીતે જોવાની મંજૂરી આપે છે.

અમને જે મળ્યું તે અહીં જોઈ શકાય છે: github.com/javister/krista-backup
સોફ્ટવેર python3 માં લખાયેલ છે; Debian, Ubuntu, CentOS, AstraLinux 1.6 પર કામ કરે છે.

દસ્તાવેજીકરણ રીપોઝીટરીની દસ્તાવેજ નિર્દેશિકામાં પોસ્ટ કરવામાં આવે છે.

મુખ્ય ખ્યાલો કે જેના પર સિસ્ટમ કાર્ય કરે છે:
ક્રિયા - એક ક્રિયા જે એક પરમાણુ કામગીરીને અમલમાં મૂકે છે (ડેટાબેઝ બેકઅપ, ડિરેક્ટરી બેકઅપ, ડિરેક્ટરી A થી ડિરેક્ટરી Bમાં ટ્રાન્સફર, વગેરે). હાલની ક્રિયાઓ કોર/એક્શન ડિરેક્ટરીમાં છે
કાર્ય - એક કાર્ય, ક્રિયાઓનો સમૂહ જે એક તાર્કિક "બેકઅપ કાર્ય" નું વર્ણન કરે છે
શેડ્યૂલ - શેડ્યૂલ, કાર્ય એક્ઝેક્યુશન સમયના વૈકલ્પિક સંકેત સાથે કાર્ય સેટ

બેકઅપ રૂપરેખાંકન yaml ફાઇલમાં સંગ્રહિત છે; સામાન્ય રૂપરેખા માળખું:

• સામાન્ય સુયોજનો
• ક્રિયાઓ વિભાગ: આ સર્વર પર ઉપયોગમાં લેવાતી ક્રિયાઓનું વર્ણન
• શેડ્યૂલ વિભાગ: તમામ કાર્યોનું વર્ણન (ક્રિયાઓના સેટ) અને ક્રોન દ્વારા તેમના પ્રક્ષેપણ માટેનું શેડ્યૂલ, જો આવા પ્રક્ષેપણની જરૂર હોય તો

એક ઉદાહરણ રૂપરેખા અહીં મળી શકે છે

એપ્લિકેશન આ ક્ષણે શું કરી શકે છે:

• અમારા માટે મુખ્ય ઑપરેશન્સ સપોર્ટેડ છે: pg_dump દ્વારા PostgreSQL બેકઅપ, ટાર દ્વારા ફાઇલ સિસ્ટમ ડિરેક્ટરી બેકઅપ; બાહ્ય સંગ્રહ સાથે કામગીરી; ડિરેક્ટરીઓ વચ્ચે rsync; બેકઅપ રોટેશન (જૂની નકલો કાઢી નાખવી)
• એક બાહ્ય સ્ક્રિપ્ટ કૉલિંગ
• એક કાર્યનું મેન્યુઅલ અમલ

  /opt/KristaBackup/KristaBackup.py run make_full_dump

• તમે ક્રોન્ટાબમાં વ્યક્તિગત કાર્ય અથવા સમગ્ર શેડ્યૂલ ઉમેરી (અથવા દૂર) કરી શકો છો

  /opt/KristaBackup/KristaBackup.py enable all

• બેકઅપ પરિણામો પર આધારિત ફાઇલ જનરેશનને ટ્રિગર કરો. આ સુવિધા બેકઅપ્સનું નિરીક્ષણ કરવા માટે Zabbix સાથે જોડાણમાં ઉપયોગી છે.
• વેબાપી અથવા વેબ મોડમાં બેકગ્રાઉન્ડમાં કામ કરી શકે છે

  /opt/KristaBackup/KristaBackup.py web start [--api]

મોડ્સ વચ્ચેનો તફાવત એ છે કે webapi પાસે યોગ્ય વેબ ઈન્ટરફેસ નથી, પરંતુ એપ્લિકેશન અન્ય દાખલાની વિનંતીઓનો જવાબ આપે છે. વેબ મોડ માટે, તમારે ફ્લાસ્ક અને થોડા વધારાના પેકેજો ઇન્સ્ટોલ કરવાની જરૂર છે, અને આ દરેક જગ્યાએ સ્વીકાર્ય નથી, ઉદાહરણ તરીકે, પ્રમાણિત AstraLinux SE માં.

વેબ ઈન્ટરફેસ દ્વારા, તમે કનેક્ટેડ સર્વરના બેકઅપની સ્થિતિ અને લોગ જોઈ શકો છો: “વેબ ઈન્સ્ટન્સ” API દ્વારા “બેકઅપ ઈન્સ્ટન્સ”માંથી ડેટાની વિનંતી કરે છે. વેબ એક્સેસ માટે અધિકૃતતાની જરૂર છે, વેબએપી એક્સેસ નથી.

અયોગ્ય રીતે ભૂતકાળના બેકઅપના લોગને રંગથી ચિહ્નિત કરવામાં આવે છે: ચેતવણી - પીળો, ભૂલ - લાલ.

જો એડમિનિસ્ટ્રેટરને પરિમાણો પર ચીટ શીટની જરૂર નથી અને સર્વર ઑપરેટિંગ સિસ્ટમ્સ સજાતીય છે, તો તમે ફાઇલને કમ્પાઇલ કરી શકો છો અને ફિનિશ્ડ પેકેજનું વિતરણ કરી શકો છો.

અમે આ યુટિલિટીને મુખ્યત્વે Ansible દ્વારા વિતરિત કરીએ છીએ, તેને પહેલા કેટલાક ઓછામાં ઓછા મહત્વના સર્વર્સ પર રોલઆઉટ કરીએ છીએ અને બાકીના બધા પર પરીક્ષણ કર્યા પછી.

અંતિમ પરિણામ એ એક કોમ્પેક્ટ સ્ટેન્ડ-અલોન કોપી યુટિલિટી છે જે બિનઅનુભવી સંચાલકો દ્વારા પણ સ્વચાલિત અને ઉપયોગ કરી શકાય છે. તે અમારા માટે અનુકૂળ છે - કદાચ તે તમારા માટે પણ ઉપયોગી થશે?

સોર્સ: www.habr.com