🥇बॅकअप, भाग २: rsync-आधारित बॅकअप टूल्सचा आढावा आणि चाचणी

ही नोंद चालू आहे

बॅकअप सायकल

बॅकअप, भाग 1: बॅकअप का आवश्यक आहे, पद्धती, तंत्रज्ञान यांचे विहंगावलोकन
बॅकअप भाग 2: rsync-आधारित बॅकअप साधनांचे पुनरावलोकन आणि चाचणी
बॅकअप भाग 3: डुप्लिसीटी, डुप्लिकेट, डीजा डुपचे पुनरावलोकन आणि चाचणी करणे
बॅकअप भाग 4: zbackup, restic, borgbackup चे पुनरावलोकन आणि चाचणी
बॅकअप भाग 5: लिनक्ससाठी बॅक्युला आणि वीम बॅकअपची चाचणी करणे
बॅकअप भाग 6: बॅकअप साधनांची तुलना करणे
बॅकअप भाग 7: निष्कर्ष

आम्ही पहिल्या लेखात आधीच लिहिल्याप्रमाणे, rsync वर आधारित मोठ्या संख्येने बॅकअप प्रोग्राम आहेत.

आमच्या परिस्थितीसाठी सर्वात योग्य असलेल्यांपैकी, मी 3 चा विचार करेन: rdiff-बॅकअप, rsnapshot आणि burp.

संच फायलींची चाचणी घ्या

चाचणी फाइलसेट भविष्यातील पेपर्ससह सर्व उमेदवारांसाठी समान असेल.

पहिला सेट: 10 GB मीडिया फाइल्स, आणि सुमारे 50 MB - php मधील साइटचा स्त्रोत कोड, स्त्रोत कोडसाठी काही किलोबाइट्सपासून, मीडिया फाइल्ससाठी दहापट मेगाबाइट्सपर्यंत फाइल आकार. स्थिर सामग्रीसह साइटचे अनुकरण करणे हे ध्येय आहे.

दुसरा सेट: 5 GB मीडिया फाइल्ससह उपडिरेक्ट्रीचे नाव बदलताना पहिल्यापासून मिळवले. निर्देशिकेचे नाव बदलताना बॅकअप प्रणालीच्या वर्तनाचा अभ्यास करणे हे उद्दिष्ट आहे.

तिसरा सेट: 3GB मीडिया फायली काढून आणि नवीन 3GB मीडिया फायली जोडून पहिल्यापासून मिळवले. विशिष्ट साइट अपडेट ऑपरेशन दरम्यान बॅकअप सिस्टमच्या वर्तनाचा अभ्यास करणे हे लक्ष्य आहे.

परिणाम मिळवणे

कोणताही बॅकअप किमान 3 वेळा केला जातो आणि कमांड्ससह फाइल सिस्टम कॅशे फ्लश करण्यासोबत असतो. sync и echo 3 > /proc/sys/vm/drop_caches चाचणी सर्व्हर आणि बॅकअप स्टोरेज सर्व्हरच्या बाजूला.

बॅकअपचा स्त्रोत असलेल्या सर्व्हरवर, मॉनिटरिंग सॉफ्टवेअर स्थापित केले आहे - नेटडेटा, ज्याचा वापर कॉपी करताना सर्व्हरवरील लोडचे मूल्यांकन करण्यासाठी केला जाईल, बॅकअप प्रक्रियेद्वारे सर्व्हरवरील लोडचे मूल्यांकन करण्यासाठी हे आवश्यक आहे.

मला असेही वाटते की बॅकअप स्टोरेज सर्व्हर मुख्य सर्व्हरच्या तुलनेत प्रोसेसरच्या दृष्टीने धीमा आहे, परंतु तुलनेने कमी यादृच्छिक लेखन गतीसह अधिक क्षमता असलेल्या डिस्क्स आहेत - बॅकअप घेताना सर्वात सामान्य परिस्थिती, परंतु बॅकअप सर्व्हरमध्ये या वस्तुस्थितीमुळे एक चांगला मार्ग बॅकअप व्यतिरिक्त इतर कामे करू नये, मी नेटडेटा वापरून त्याचा लोड ट्रॅक करणार नाही.

तसेच, माझे सर्व्हर बदलले आहेत, ज्यावर मी बॅकअपसाठी विविध प्रणाली तपासेन.

आता त्यांच्यात खालील वैशिष्ट्ये आहेतप्रोसेसर

sysbench --threads=2 --time=30 --cpu-max-prime=20000 cpu run
sysbench 1.0.17 (using system LuaJIT 2.0.4)

Running the test with following options:
Number of threads: 2
Initializing random number generator from current time


Prime numbers limit: 20000

Initializing worker threads...

Threads started!

CPU speed:
    events per second:  1081.62

General statistics:
    total time:                          30.0013s
    total number of events:              32453

Latency (ms):
         min:                                    1.48
         avg:                                    1.85
         max:                                    9.84
         95th percentile:                        2.07
         sum:                                59973.40

Threads fairness:
    events (avg/stddev):           16226.5000/57.50
    execution time (avg/stddev):   29.9867/0.00

कार्यरत स्मृती, वाचन...

sysbench --threads=4 --time=30 --memory-block-size=1K --memory-scope=global --memory-total-size=100G --memory-oper=read memory run
sysbench 1.0.17 (using system LuaJIT 2.0.4)

Running the test with following options:
Number of threads: 4
Initializing random number generator from current time


Running memory speed test with the following options:
  block size: 1KiB
  total size: 102400MiB
  operation: read
  scope: global

Initializing worker threads...

Threads started!

Total operations: 104857600 (5837637.63 per second)

102400.00 MiB transferred (5700.82 MiB/sec)


General statistics:
    total time:                          17.9540s
    total number of events:              104857600

Latency (ms):
         min:                                    0.00
         avg:                                    0.00
         max:                                   66.08
         95th percentile:                        0.00
         sum:                                18544.64

Threads fairness:
    events (avg/stddev):           26214400.0000/0.00
    execution time (avg/stddev):   4.6362/0.12

... आणि रेकॉर्ड

sysbench --threads=4 --time=30 --memory-block-size=1K --memory-scope=global --memory-total-size=100G --memory-oper=write memory run
sysbench 1.0.17 (using system LuaJIT 2.0.4)

Running the test with following options:
Number of threads: 4
Initializing random number generator from current time


Running memory speed test with the following options:
  block size: 1KiB
  total size: 102400MiB
  operation: write
  scope: global

Initializing worker threads...

Threads started!

Total operations: 91414596 (3046752.56 per second)

89272.07 MiB transferred (2975.34 MiB/sec)


General statistics:
    total time:                          30.0019s
    total number of events:              91414596

Latency (ms):
         min:                                    0.00
         avg:                                    0.00
         max:                                 1022.90
         95th percentile:                        0.00
         sum:                                66430.91

Threads fairness:
    events (avg/stddev):           22853649.0000/945488.53
    execution time (avg/stddev):   16.6077/1.76

डेटा स्त्रोत सर्व्हरवरील डिस्क

sysbench --threads=4 --file-test-mode=rndrw --time=60 --file-block-size=4K --file-total-size=1G fileio run
sysbench 1.0.17 (using system LuaJIT 2.0.4)

Running the test with following options:
Number of threads: 4
Initializing random number generator from current time


Extra file open flags: (none)
128 files, 8MiB each
1GiB total file size
Block size 4KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      4587.95
    writes/s:                     3058.66
    fsyncs/s:                     9795.73

Throughput:
    read, MiB/s:                  17.92
    written, MiB/s:               11.95

General statistics:
    total time:                          60.0241s
    total number of events:              1046492

Latency (ms):
         min:                                    0.00
         avg:                                    0.23
         max:                                   14.45
         95th percentile:                        0.94
         sum:                               238629.34

Threads fairness:
    events (avg/stddev):           261623.0000/1849.14
    execution time (avg/stddev):   59.6573/0.00

बॅकअप स्टोरेज सर्व्हरवरील डिस्क

sysbench --threads=4 --file-test-mode=rndrw --time=60 --file-block-size=4K --file-total-size=1G fileio run
sysbench 1.0.17 (using system LuaJIT 2.0.4)

Running the test with following options:
Number of threads: 4
Initializing random number generator from current time


Extra file open flags: (none)
128 files, 8MiB each
1GiB total file size
Block size 4KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      11.37
    writes/s:                     7.58
    fsyncs/s:                     29.99

Throughput:
    read, MiB/s:                  0.04
    written, MiB/s:               0.03

General statistics:
    total time:                          73.8868s
    total number of events:              3104

Latency (ms):
         min:                                    0.00
         avg:                                   78.57
         max:                                 3840.90
         95th percentile:                      297.92
         sum:                               243886.02

Threads fairness:
    events (avg/stddev):           776.0000/133.26
    execution time (avg/stddev):   60.9715/1.59

सर्व्हर दरम्यान नेटवर्क गती

iperf3 -c backup
Connecting to host backup, port 5201
[  4] local x.x.x.x port 59402 connected to y.y.y.y port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec   419 MBytes  3.52 Gbits/sec  810    182 KBytes
[  4]   1.00-2.00   sec   393 MBytes  3.30 Gbits/sec  810    228 KBytes
[  4]   2.00-3.00   sec   378 MBytes  3.17 Gbits/sec  810    197 KBytes
[  4]   3.00-4.00   sec   380 MBytes  3.19 Gbits/sec  855    198 KBytes
[  4]   4.00-5.00   sec   375 MBytes  3.15 Gbits/sec  810    182 KBytes
[  4]   5.00-6.00   sec   379 MBytes  3.17 Gbits/sec  765    228 KBytes
[  4]   6.00-7.00   sec   376 MBytes  3.15 Gbits/sec  810    180 KBytes
[  4]   7.00-8.00   sec   379 MBytes  3.18 Gbits/sec  765    253 KBytes
[  4]   8.00-9.00   sec   380 MBytes  3.19 Gbits/sec  810    239 KBytes
[  4]   9.00-10.00  sec   411 MBytes  3.44 Gbits/sec  855    184 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  3.78 GBytes  3.25 Gbits/sec  8100             sender
[  4]   0.00-10.00  sec  3.78 GBytes  3.25 Gbits/sec                  receiver

चाचणी पद्धत

प्रथम चाचणी संच असलेली फाइल प्रणाली चाचणी सर्व्हरवर तयार केली जाते आणि आवश्यक असल्यास, बॅकअप स्टोरेज सर्व्हरवर रिपॉझिटरी सुरू केली जाते.
बॅकअप प्रक्रिया सुरू होते आणि त्याची वेळ मोजली जाते.
चाचणी सर्व्हरवरील दुसऱ्या चाचणी सेटवर फाइल्स स्थलांतरित केल्या जातात. बॅकअप प्रक्रिया सुरू होते आणि त्याची वेळ मोजली जाते.
चाचणी सर्व्हर तिसऱ्या चाचणी संचमध्ये स्थलांतरित केला जात आहे. बॅकअप प्रक्रिया सुरू होते आणि त्याची वेळ मोजली जाते.
प्राप्त झालेले तिसरे चाचणी केस नवीन प्रथम म्हणून स्वीकारले जाते; चरण 1-3 आणखी 2 वेळा पुनरावृत्ती होते.
डेटा मुख्य सारणीमध्ये प्रविष्ट केला जातो, नेटडेटामधून आलेख जोडले जातात.
एका विशिष्ट बॅकअप पद्धतीसाठी अहवाल तयार केला जातो.

अपेक्षित निकाल

सर्व 3 उमेदवार एकाच तंत्रज्ञानावर (rsync) आधारित असल्याने, त्याचे सर्व फायद्यांसह, परिणाम नियमित rsync च्या जवळ असणे अपेक्षित आहे, म्हणजे:

रेपॉजिटरीमधील फाईल्स "जशा आहेत तशा" ठेवल्या जातील.
बॅकअपमधील फरकासह रिपॉजिटरीचा आकार फक्त वाढेल.
डेटा ट्रान्सफर दरम्यान नेटवर्कवर तुलनेने मोठा भार असेल, तसेच प्रोसेसरवर एक लहान भार असेल.

सामान्य rsync चा चाचणी रन बेंचमार्क म्हणून वापरला जाईल, त्याचे परिणाम

हे आहेत

अडथळे HDD-आधारित डिस्कच्या स्वरूपात बॅकअप स्टोरेज सर्व्हरमध्ये होते, जे करवतीच्या आकाराच्या आलेखांमध्ये स्पष्टपणे पाहिले जाऊ शकते.

डेटा 4 मिनिटे आणि 15 सेकंदात कॉपी केला गेला.

rdiff-बॅकअपची चाचणी करत आहे

पहिला उमेदवार rdiff-बॅकअप आहे, एक पायथन स्क्रिप्ट जी एका डिरेक्टरीचा दुसऱ्या डिरेक्टरीवर बॅकअप करते. या प्रकरणात, सध्याचा बॅकअप "जसा आहे तसा" संग्रहित केला जातो आणि पूर्वी बनवलेले बॅकअप एका विशेष उपडिरेक्ट्रीमध्ये वाढीवपणे जोडले जातात आणि त्यामुळे जागा वाचवली जाते.

आम्ही ऑपरेशनचा ठराविक मोड तपासू, म्हणजे. बॅकअप प्रक्रियेची सुरुवात क्लायंटने स्वतःच केली आहे आणि बॅकअपसाठी सर्व्हरच्या बाजूला, डेटा प्राप्त करणारी प्रक्रिया सुरू केली जाते.

चला बघूया, तो आमच्या परिस्थितीत काय सक्षम आहे.

प्रत्येक चाचणी धावण्याची वेळ:

पहिली सुरुवात
दुसरा प्रक्षेपण
तिसरा प्रक्षेपण

पहिला सेट
16m32s
16m26s
16m19s

दुसरा सेट
2 एच 5 मी
2 एच 10 मी
2 एच 8 मी

तिसरा सेट
2 एच 9 मी
2 एच 10 मी
2 एच 10 मी

Rdiff-बॅकअप कोणत्याही मोठ्या डेटा बदलावर खूप वेदनादायक प्रतिक्रिया देते आणि नेटवर्कचा पूर्णपणे वापर करत नाही.

rsnapshot चाचणी

दुसरा उमेदवार, rsnapshot, एक पर्ल स्क्रिप्ट आहे जिच्या कार्यक्षम ऑपरेशनसाठी मुख्य आवश्यकता हार्ड लिंकसाठी समर्थन आहे. हे डिस्क स्पेस वाचवते. या प्रकरणात, मागील बॅकअपपासून बदललेल्या फायली हार्ड लिंक वापरून मूळ फाइलचा संदर्भ घेतील.

बॅकअप प्रक्रियेचे तर्क देखील उलटे आहेत: सर्व्हर सक्रियपणे त्याच्या क्लायंटभोवती "चालतो" आणि डेटा संकलित करतो.

चाचणी निकाल

खालील मिळाले

पहिली सुरुवात
दुसरा प्रक्षेपण
तिसरा प्रक्षेपण

पहिला सेट
4m22s
4m19s
4m16s

दुसरा सेट
2m6s
2m10s
2m6s

तिसरा सेट
1m18s
1m10s
1m10s

खूप, खूप लवकर, rdiff-बॅकअप पेक्षा खूप जलद आणि शुद्ध rsync च्या अगदी जवळ काम केले.

बर्प चाचणी

दुसरा पर्याय म्हणजे librsync - burp वर C अंमलबजावणी, क्लायंट ऑथोरायझेशनसह क्लायंट-सर्व्हर आर्किटेक्चर आहे, तसेच वेब इंटरफेस (मूलभूत पॅकेजमध्ये समाविष्ट नाही). क्लायंटसाठी नॉन-रिकव्हरी बॅकअप हे आणखी एक मनोरंजक वैशिष्ट्य आहे.

एक नजर टाकूयाकामगिरी.

पहिली सुरुवात
दुसरा प्रक्षेपण
तिसरा प्रक्षेपण

पहिला सेट
11m21s
11m10s
10m56s

दुसरा सेट
5m37s
5m40s
5m35s

तिसरा सेट
3m33s
3m24s
3m40s

rsnapshot पेक्षा 2 पटीने हळू काम केले, पण पुरेशी जलद, आणि rdiff-backup पेक्षा नक्कीच वेगवान. आलेख थोडे सॉटूथ आहेत - कार्यप्रदर्शन पुन्हा बॅकअप स्टोरेज सर्व्हरच्या डिस्क सबसिस्टमवर अवलंबून असते, जरी हे rsnapshot प्रमाणे उच्चारले जात नाही.

निकाल

सर्व उमेदवारांसाठी रिपॉझिटरीजचा आकार अंदाजे समान होता, म्हणजे प्रथम 10 GB पर्यंत वाढ, नंतर 15 GB पर्यंत वाढ, नंतर 18 GB पर्यंत वाढ, इत्यादी, जे rsync च्या वैशिष्ट्यामुळे आहे. हे देखील लक्षात घेण्यासारखे आहे की सर्व उमेदवार सिंगल-थ्रेडेड आहेत (ड्युअल-कोर मशीनवर प्रोसेसर लोड सुमारे 50% आहे). सर्व 3 उमेदवारांनी शेवटचा बॅकअप "जसा आहे तसा" पुनर्संचयित करण्याची क्षमता प्रदान केली, म्हणजेच, रेपॉजिटरीज तयार करण्यासाठी वापरल्या जाणार्‍या कोणत्याही तृतीय-पक्ष प्रोग्रामचा वापर न करता फायली पुनर्संचयित करणे शक्य होते. हा देखील rsync चा "वडिलोपार्जित वारसा" आहे.

निष्कर्ष

बॅकअप सिस्टीम जितकी क्लिष्ट आणि तितके वेगवेगळे पर्याय असतील तितके ते काम हळू करेल, परंतु फार मागणी नसलेल्या प्रकल्पांसाठी, कदाचित rdiff-बॅकअप वगळता त्यापैकी कोणतेही कार्य करेल.

घोषणा

ही नोंद बॅकअपचे चक्र चालू ठेवते

बॅकअप, भाग 1: बॅकअप का आवश्यक आहे, पद्धती, तंत्रज्ञान यांचे विहंगावलोकन
बॅकअप भाग 2: rsync-आधारित बॅकअप साधनांचे पुनरावलोकन आणि चाचणी
बॅकअप भाग 3: डुप्लिसीटी, डुप्लिकेट, डीजा डुपचे पुनरावलोकन आणि चाचणी करणे
बॅकअप भाग 4: zbackup, restic, borgbackup चे पुनरावलोकन आणि चाचणी
बॅकअप भाग 5: लिनक्ससाठी बॅक्युला आणि वीम बॅकअपची चाचणी करणे
बॅकअप भाग 6: बॅकअप साधनांची तुलना करणे
बॅकअप भाग 7: निष्कर्ष

प्रकाशन लेखक: पावेल डेमकोविच

स्त्रोत: www.habr.com