هي آرٽيڪل بيڪ اپ سافٽ ويئر تي غور ڪندو، جيڪو ڊيٽا جي وهڪري کي الڳ حصن ۾ ٽوڙڻ سان (چنڪس)، هڪ مخزن ٺاهي ٿو.
مخزن جا حصا وڌيڪ دٻجي سگھجن ٿا ۽ انڪريپٽ ٿي سگھن ٿا، ۽ سڀ کان وڌيڪ اھم - بار بار بيڪ اپ جي عملن دوران - ٻيهر استعمال ٿيل.
اهڙي مخزن ۾ هڪ بيڪ اپ ڪاپي هڪ ٻئي سان ڳنڍيل حصن جي هڪ نالي واري زنجير آهي، مثال طور، مختلف هش افعال جي بنياد تي.
اهڙا ڪيترائي حل آهن، مان 3 تي ڌيان ڏيندس: zbackup، borgbackup ۽ restic.
متوقع نتيجا
جيئن ته سڀني درخواستن کي هڪ طريقي سان يا ٻئي طريقي سان مخزن جي تخليق جي ضرورت هوندي آهي، سڀ کان اهم عنصرن مان هڪ هوندو مخزن جي سائيز جو اندازو لڳائڻ. مثالي طور، ان جي سائيز قبول ٿيل طريقي جي مطابق 13 GB کان وڌيڪ نه هجڻ گهرجي، يا ان کان به گهٽ - سٺي اصلاح جي تابع.
اهو پڻ تمام ضروري آهي ته فائلن جي بيڪ اپ ڪاپيون سڌو سنئون، آرڪائيورز جهڙوڪ tar استعمال ڪرڻ کان سواء، ۽ اضافي اوزار جهڙوڪ rsync ۽ sshfs کان سواء ssh/sftp سان ڪم ڪرڻ جي قابل ٿي.
بيڪ اپ ٺاهڻ وقت رويي:
- مخزن جي سائيز تبديلين جي سائيز جي برابر هوندي، يا گهٽ.
- وڏي سي پي يو لوڊ جي توقع ڪئي ويندي آهي جڏهن ڪمپريشن ۽/يا انڪرپشن استعمال ڪندي، ۽ ڪافي تيز نيٽ ورڪ ۽ ڊسڪ لوڊ ممڪن آهي جيڪڏهن آرڪائيو ۽/يا انڪرپشن جو عمل بيڪ اپ اسٽوريج سرور تي هلي رهيو آهي.
- جيڪڏهن مخزن کي نقصان پهچايو ويو آهي، هڪ دير سان غلطي ممڪن آهي جڏهن نئين بيڪ اپ ٺاهيندي ۽ بحال ڪرڻ جي ڪوشش ڪندي. اهو ضروري آهي ته ذخيرو جي سالميت کي يقيني بڻائڻ لاء اضافي قدمن جي منصوبابندي ڪرڻ يا ان جي سالميت کي جانچڻ لاء ٺهيل اوزار استعمال ڪريو.
ٽار سان ڪم ڪرڻ هڪ حوالو قدر طور ورتو وڃي ٿو، جيئن اڳئين مضمونن مان هڪ ۾ ڏيکاريو ويو آهي.
جاچ زبڪ اپ
zbackup جو عام ميکانيزم اهو آهي ته پروگرام ان پٽ ڊيٽا اسٽريم وارن علائقن ۾ ڳولي ٿو جنهن ۾ ساڳي ڊيٽا شامل آهي، پوءِ اختياري طور تي انهن کي دٻايو ۽ انڪريپ ڪيو وڃي ٿو، هر علائقي کي صرف هڪ ڀيرو محفوظ ڪري ٿو.
ڊيڊپليڪيشن هڪ 64-bit رنگ هيش فنڪشن استعمال ڪري ٿو سلائيڊنگ ونڊو سان گڏ بائيٽ بائيٽ ميچز کي چيڪ ڪرڻ لاءِ موجوده ڊيٽا بلاڪن جي خلاف (جيئن ته ڪيئن rsync ان کي لاڳو ڪري ٿو).
ملٽي ٿريڊ lzma ۽ lzo ڪمپريشن لاءِ استعمال ٿين ٿا، ۽ aes encryption لاءِ. جديد نسخن کي مستقبل ۾ مخزن مان پراڻي ڊيٽا کي ختم ڪرڻ جي صلاحيت آهي.
پروگرام C++ ۾ لکيل آهي گهٽ ۾ گهٽ انحصار سان. ليکڪ بظاهر يونڪس واٽ کان متاثر هو، تنهن ڪري پروگرام بيڪ اپ ٺاهڻ وقت اسٽين ڊي تي ڊيٽا کي قبول ڪري ٿو، بحال ڪرڻ وقت اسٽڊ آئوٽ تي ساڳيو ڊيٽا وهڪرو پيدا ڪري ٿو. اهڙيء طرح، zbackup هڪ تمام سٺو "بلڊنگ بلاڪ" طور استعمال ڪري سگهجي ٿو جڏهن توهان جي پنهنجي بيڪ اپ حل لکڻ. مثال طور، مضمون جي ليکڪ هن پروگرام کي استعمال ڪيو آهي بنيادي بيڪ اپ اوزار جي طور تي گهر جي مشينن لاء تقريبا 2014 کان وٺي.
ڊيٽا جو وهڪرو باقاعده ٽار ٿيندو جيستائين ٻي صورت ۾ بيان نه ڪيو وڃي.
اچو ته ڏسو ته نتيجا ڇا آهن:
ڪم 2 اختيارن ۾ چيڪ ڪيو ويو:
- ھڪڙو مخزن ٺاھيو ويو آھي ۽ زبڪ اپ سرور تي شروع ڪيو ويو آھي سورس ڊيٽا سان، پوءِ مخزن جو مواد بيڪ اپ اسٽوريج سرور ڏانھن منتقل ڪيو ويندو آھي.
- بيڪ اپ اسٽوريج سرور تي هڪ مخزن ٺاهي وئي آهي، zbackup شروع ڪئي وئي آهي ssh ذريعي بيڪ اپ اسٽوريج سرور تي، ۽ ڊيٽا ان کي پائپ ذريعي موڪليو ويو آهي.
پهرين آپشن جا نتيجا هن ريت هئا: 43m11s - جڏهن هڪ غير انڪرپٽ ٿيل مخزن ۽ lzma ڪمپريسر استعمال ڪندي، 19m13s - جڏهن ڪمپريسر کي lzo سان تبديل ڪيو وڃي.
اصل ڊيٽا سان سرور تي لوڊ هن ريت هو (هڪ مثال lzma سان ڏيکاريل آهي؛ lzo سان لڳ ڀڳ ساڳي تصوير هئي، پر rsync جو حصو وقت جي لڳ ڀڳ هڪ چوٿون هو):
اهو واضح آهي ته اهڙي بيڪ اپ عمل صرف نسبتا نادر ۽ ننڍي تبديلين لاء مناسب آهي. اهو پڻ انتهائي مشورو آهي ته zbackup کي 1 سلسلي تائين محدود ڪيو وڃي، ٻي صورت ۾ اتي تمام گهڻو سي پي يو لوڊ هوندو، ڇاڪاڻ ته پروگرام ڪيترن ئي موضوعن ۾ ڪم ڪرڻ ۾ تمام سٺو آهي. ڊسڪ تي لوڊ ننڍڙو هو، جيڪو عام طور تي جديد ايس ايس ڊي جي بنياد تي ڊسڪ سب سسٽم سان قابل ذڪر نه هوندو. توھان صاف طور تي ريپوزٽري ڊيٽا کي ريموٽ سرور تي هم وقت سازي ڪرڻ جي عمل جي شروعات کي ڏسي سگھو ٿا؛ آپريشن جي رفتار باقاعده rsync جي مقابلي ۾ آھي ۽ بيڪ اپ اسٽوريج سرور جي ڊسڪ سب سسٽم جي ڪارڪردگي تي منحصر آھي. هن طريقي جو نقصان مقامي مخزن جي اسٽوريج آهي ۽ نتيجي طور، ڊيٽا جي نقل.
وڌيڪ دلچسپ ۽ عملي طور تي قابل اطلاق ٻيو اختيار آهي، zbackup سڌو سنئون بيڪ اپ اسٽوريج سرور تي هلائڻ.
پهريون، اسان lzma ڪمپريسر سان انڪرپشن استعمال ڪرڻ کان سواء آپريشن چيڪ ڪنداسين:
هر ٽيسٽ رننگ جو وقت:
لانچ 1
لانچ 2
لانچ 3
39m45s
40m20s
40m3s
7m36s
8m3s
7m48s
15m35s
15m48s
15m38s
جيڪڏهن توهان aes استعمال ڪندي انڪرپشن کي فعال ڪريو ٿا، نتيجا ڪافي ويجهو آهن:
ساڳئي ڊيٽا تي آپريٽنگ وقت، انڪرپشن سان:
لانچ 1
لانچ 2
لانچ 3
43m40s
44m12s
44m3s
8m3s
8m15s
8m12s
15m0s
15m40s
15m25s
جيڪڏهن انڪرپشن کي lzo استعمال ڪندي ڪمپريشن سان گڏ ڪيو ويو آهي، اهو هن طرح ڏسڻ ۾ اچي ٿو:
ڪم جا ڪلاڪ:
لانچ 1
لانچ 2
لانچ 3
18m2s
18m15s
18m12s
5m13s
5m24s
5m20s
8m48s
9m3s
8m51s
نتيجي واري مخزن جي سائيز 13GB تي نسبتا ساڳي هئي. هن جو مطلب آهي ته نقل ڪرڻ صحيح ڪم ڪري رهيو آهي. انهي سان گڏ، اڳ ۾ ئي ٺهيل ڊيٽا تي، lzo استعمال ڪندي هڪ قابل ذڪر اثر ڏئي ٿو؛ مجموعي آپريٽنگ وقت جي لحاظ کان، zbackup نقل / نقل جي ويجهو اچي ٿو، پر 2-5 ڀيرا librsync جي بنياد تي انهن کان پوئتي آهي.
فائدا واضح آهن - بيڪ اپ اسٽوريج سرور تي ڊسڪ اسپيس بچائڻ. جيئن ته مخزن جي چڪاس جا اوزار، zbackup جو ليکڪ انهن کي مهيا نه ڪندو آهي؛ اهو استعمال ڪرڻ جي صلاح ڏني وئي آهي غلطي برداشت ڪندڙ ڊسڪ صف يا ڪلائوڊ فراهم ڪندڙ.
مجموعي طور تي، تمام سٺو تاثر، ان حقيقت جي باوجود ته پروجيڪٽ تقريبا 3 سالن تائين بيٺو آهي (آخري خصوصيت جي درخواست تقريبا هڪ سال اڳ هئي، پر بغير ڪنهن جواب جي).
بورج بيڪ اپ جي جانچ
بورگ بيڪ اپ هڪ ڪانٽو آهي اٽڪ جو، ٻيو سسٽم zbackup سان ملندڙ جلندڙ آهي. python ۾ لکيو ويو آهي، ان ۾ zbackup وانگر صلاحيتن جي هڪ فهرست آهي، پر اضافي طور تي ڪري سگهي ٿو:
- فيوز ذريعي بيڪ اپ کي نصب ڪريو
- مخزن جي مواد کي چيڪ ڪريو
- ڪلائنٽ-سرور موڊ ۾ ڪم ڪريو
- ڊيٽا لاءِ مختلف ڪمپريسر استعمال ڪريو، ان سان گڏ ان کي دٻائڻ وقت فائل جي قسم جو هوريسٽڪ عزم.
- 2 انڪرپشن جا آپشن، اي ايس ۽ بليڪ
- لاءِ ٺهيل اوزار
ڪارڪردگي جاچ
borgbackup benchmark crud ssh://backup_server/repo/path local_dir
نتيجا هن ريت هئا:
CZ-BIG 96.51 MB/s (10 100.00 MB سڀ-صفر فائلون: 10.36s)
RZ-BIG 57.22 MB/s (10 100.00 MB سڀ-صفر فائلون: 17.48s)
UZ-BIG 253.63 MB/s (10 100.00 MB سڀ-صفر فائلون: 3.94s)
DZ-BIG 351.06 MB/s (10 100.00 MB سڀ-صفر فائلون: 2.85s)
CR-BIG 34.30 MB/s (10 100.00 MB بي ترتيب فائلون: 29.15s)
RR-BIG 60.69 MB/s (10 100.00 MB بي ترتيب فائلون: 16.48s)
UR-BIG 311.06 MB/s (10 100.00 MB بي ترتيب فائلون: 3.21s)
DR-BIG 72.63 MB/s (10 100.00 MB بي ترتيب فائلون: 13.77s)
CZ-MEDIUM 108.59 MB/s (1000 1.00 MB سڀ-صفر فائلون: 9.21s)
RZ-MEDIUM 76.16 MB/s (1000 1.00 MB سڀ-صفر فائلون: 13.13s)
UZ-MEDIUM 331.27 MB/s (1000 1.00 MB سڀ-صفر فائلون: 3.02s)
DZ-MEDIUM 387.36 MB/s (1000 1.00 MB سڀ-صفر فائلون: 2.58s)
CR-MEDIUM 37.80 MB/s (1000 1.00 MB بي ترتيب فائلون: 26.45s)
RR-MEDIUM 68.90 MB/s (1000 1.00 MB بي ترتيب فائلون: 14.51s)
UR-MEDIUM 347.24 MB/s (1000 1.00 MB بي ترتيب فائلون: 2.88s)
DR-MEDIUM 48.80 MB/s (1000 1.00 MB بي ترتيب فائلون: 20.49s)
CZ-SMALL 11.72 MB/s (10000 10.00 kB سڀ-صفر فائلون: 8.53s)
RZ-SMALL 32.57 MB/s (10000 10.00 kB سڀ-صفر فائلون: 3.07s)
UZ-SMALL 19.37 MB/s (10000 10.00 kB سڀ-صفر فائلون: 5.16s)
DZ-SMALL 33.71 MB/s (10000 10.00 kB سڀ-صفر فائلون: 2.97s)
CR-SMALL 6.85 MB/s (10000 10.00 kB بي ترتيب فائلون: 14.60s)
RR-SMALL 31.27 MB/s (10000 10.00 kB بي ترتيب فائلون: 3.20s)
UR-SMALL 12.28 MB/s (10000 10.00 kB بي ترتيب فائلون: 8.14s)
DR-SMALL 18.78 MB/s (10000 10.00 kB بي ترتيب فائلون: 5.32s)
جڏهن جاچ ڪندي، ڪمپريشن هورسٽڪس استعمال ڪيو ويندو فائل جي قسم کي طئي ڪرڻ لاء (کمپريشن آٽو)، ۽ نتيجا هن ريت هوندا:
پهرين، اچو ته چيڪ ڪريون ته اهو ڪيئن ڪم ڪري ٿو بغير انڪرپشن:
ڪم جا ڪلاڪ:
لانچ 1
لانچ 2
لانچ 3
4m6s
4m10s
4m5s
56s
58s
54s
1m26s
1m34s
1m30s
جيڪڏهن توهان مخزن جي اختيار کي فعال ڪيو (تصديق ٿيل موڊ)، نتيجا بند ٿي ويندا:
ڪم جا ڪلاڪ:
لانچ 1
لانچ 2
لانچ 3
4m11s
4m20s
4m12s
1m0s
1m3s
1m2s
1m30s
1m34s
1m31s
جڏهن aes encryption چالو ڪيو ويو، نتيجا گهڻو خراب نه ٿيا:
لانچ 1
لانچ 2
لانچ 3
4m55s
5m2s
4m58s
1m0s
1m2s
1m0s
1m49s
1m50s
1m50s
۽ جيڪڏهن توهان aes کي بليڪ ۾ تبديل ڪيو، صورتحال مڪمل طور تي بهتر ٿي ويندي:
ڪم جا ڪلاڪ:
لانچ 1
لانچ 2
لانچ 3
4m33s
4m43s
4m40s
59s
1m0s
1m0s
1m38s
1m43s
1m40s
جيئن ته زبڪ اپ جي صورت ۾، مخزن جي سائيز 13GB هئي ۽ ان کان به ٿورو گهٽ، جيڪو عام طور تي توقع ڪئي ويندي آهي. مان ڊوڙندڙ وقت سان ڏاڍي خوش ٿيس؛ اهو librsync جي بنياد تي حل ڪرڻ جي مقابلي ۾ آهي، تمام گهڻو وسيع صلاحيتون مهيا ڪري ٿو. مان ماحول جي متغيرن جي ذريعي مختلف پيٽرولر سيٽ ڪرڻ جي صلاحيت سان پڻ خوش ٿيو، جيڪو خودڪار موڊ ۾ بورج بيڪ اپ استعمال ڪندي هڪ تمام سنجيده فائدو ڏئي ٿو. مان بيڪ اپ دوران لوڊ سان پڻ خوش ٿيو: پروسيسر لوڊ طرفان فيصلو ڪندي، بورج بيڪ اپ 1 سلسلي ۾ ڪم ڪري ٿو.
ان کي استعمال ڪرڻ وقت ڪي خاص نقصان نه هئا.
آرام واري جاچ
ان حقيقت جي باوجود ته ريسٽڪ هڪ بلڪل نئون حل آهي (پهرين 2 اميدوار 2013 ۽ ان کان وڏي ۾ سڃاتل هئا)، ان ۾ ڪافي سٺيون خاصيتون آهن. گو ۾ لکيل آهي.
جڏهن zbackup سان مقابلي ۾، اهو اضافي طور تي ڏئي ٿو:
- مخزن جي سالميت جي جانچ ڪندي (جنهن ۾ حصن ۾ چيڪ ڪرڻ).
- سپورٽ ٿيل پروٽوڪولن ۽ فراهم ڪندڙن جي هڪ وڏي فهرست بيڪ اپ کي محفوظ ڪرڻ لاءِ، انهي سان گڏ rclone لاءِ سپورٽ - rsync for cloud solutions.
- هڪ ٻئي سان 2 بيڪ اپ جي مقابلي ۾.
- فيوز ذريعي مخزن کي چڙهڻ.
عام طور تي، خاصيتن جي فهرست ڪافي ويجهو آهي borgbackup، ڪجهه هنڌن تي وڌيڪ، ٻين ۾ گهٽ. خاصيتن مان هڪ آهي ته انڪوشن کي غير فعال ڪرڻ جو ڪو طريقو ناهي، ۽ تنهن ڪري بيڪ اپ ڪاپيون هميشه انڪوڊ ٿيل هونديون. اچو ته عملي طور تي ڏسو ته هن سافٽ ويئر مان ڇا نچوض ٿي سگهي ٿو:
نتيجا هن ريت هئا:
ڪم جا ڪلاڪ:
لانچ 1
لانچ 2
لانچ 3
5m25s
5m50s
5m38s
35s
38s
36s
1m54s
2m2s
1m58s
ڪارڪردگي جا نتيجا rsync-based حلن سان به برابر آهن ۽، عام طور تي، تمام گهڻو borgbackup جي ويجهو، پر CPU لوڊ وڌيڪ آهي (ڪيترن ئي موضوعن تي هلندڙ) ۽ sawtooth.
گهڻو ڪري، پروگرام ڊيٽا اسٽوريج سرور تي ڊسڪ سب سسٽم جي ڪارڪردگي تائين محدود آهي، جيئن اڳ ۾ ئي rsync سان معاملو هو. مخزن جي سائيز 13GB هئي، جهڙوڪ zbackup يا borgbackup، هن حل کي استعمال ڪرڻ وقت ڪو به واضح نقصان نه هئا.
نتيجا
حقيقت ۾، سڀني اميدوارن ساڳيا نتيجا حاصل ڪيا، پر مختلف قيمتن تي. Borgbackup سڀني کان بھترين پرفارم ڪيو، باقي ٿورو سست ھو، zbackup شايد استعمال ڪرڻ شروع ڪرڻ جي لائق نه آھي،
۽ جيڪڏھن اھو اڳ ۾ ئي استعمال ۾ آھي، ان کي تبديل ڪرڻ جي ڪوشش ڪريو borgbackup يا restic.
پهچڻ
سڀ کان وڌيڪ واعدو ڪندڙ حل آرام سان لڳي ٿو، ڇاڪاڻ ته ... اھو اھو آھي جنھن وٽ صلاحيت جو بھترين تناسب آھي آپريٽنگ اسپيڊ، پر ھاڻي ھاڻي عام نتيجن ڏانھن جلدي نه ڪريون.
Borgbackup بنيادي طور تي خراب ناهي، پر zbackup شايد بهتر طور تي متبادل آهي. سچ، zbackup اڃا تائين استعمال ڪري سگهجي ٿو 3-2-1 قاعدي جي ڪم کي يقيني بڻائڻ لاء. مثال طور، ان کان علاوه (lib)rsync-based بيڪ اپ سهولتون.
اعلان
بيڪ اپ حصو 5: ٽيسٽنگ بيڪولا ۽ ويم بيڪ اپ لينڪس لاءِ
بيڪ اپ حصو 6: بيڪ اپ اوزار جي مقابلي ۾
بيڪ اپ حصو 7: نتيجو
پاران شايع ٿيل: Pavel Demkovich
جو ذريعو: www.habr.com