بيڪ اپ حصو 3: نقل جو جائزو ۽ جانچ، نقل

هي نوٽ بيڪ اپ ٽولز تي بحث ڪري ٿو جيڪي بيڪ اپ سرور تي آرڪائيوز ٺاهي بيڪ اپ انجام ڏين ٿا.

انهن مان جيڪي ضرورتن کي پورا ڪن ٿا انهن ۾ نقل آهن (جنهن جو هڪ سٺو انٽرفيس آهي deja dup جي صورت ۾) ۽ نقل.

هڪ ٻيو تمام قابل ذڪر بيڪ اپ اوزار ڊار آهي، پر جيئن ته ان ۾ اختيارن جي هڪ تمام وسيع فهرست آهي - جاچ جو طريقو صرف 10٪ تي مشتمل آهي جيڪو اهو قابل آهي - اسان ان کي موجوده چڪر جي حصي جي طور تي جانچ نه ڪري رهيا آهيون.

متوقع نتيجا

جيئن ته ٻئي اميدوار هڪ طريقي سان آرڪائيو ٺاهي رهيا آهن، باقاعده ٽار هڪ گائيڊ طور استعمال ڪري سگهجي ٿو.

اضافي طور تي، اسان اندازو ڪنداسين ته اسٽوريج سرور تي ڊيٽا اسٽوريج کي ڪيئن بهتر ڪيو ويو آهي بيڪ اپ ڪاپيون ٺاهي صرف هڪ مڪمل ڪاپي ۽ فائلن جي موجوده حالت جي وچ ۾، يا پوئين ۽ موجوده آرڪائيوز جي وچ ۾ (وڌندڙ، گهٽتائي، وغيره) جي وچ ۾. .

بيڪ اپ ٺاهڻ وقت رويي:

1. بيڪ اپ اسٽوريج سرور تي فائلن جو نسبتا ننڍڙو تعداد (بيڪ اپ ڪاپي جي تعداد يا GB ۾ ڊيٽا جي سائيز جي مقابلي ۾)، پر انهن جي سائيز تمام وڏي آهي (ڏهن کان سوين ميگا بائيٽ).
2. مخزن جي سائيز ۾ صرف تبديليون شامل هونديون - ڪو به نقل محفوظ نه ڪيو ويندو، تنهنڪري مخزن جي سائيز rsync-based سافٽ ويئر جي ڀيٽ ۾ ننڍي هوندي.
3. وڏي سي پي يو لوڊ جي توقع ڪريو جڏهن ڪمپريشن ۽/يا انڪرپشن استعمال ڪندي، ۽ ممڪن آهي ته ڪافي تيز نيٽ ورڪ ۽ ڊسڪ لوڊ هجي جيڪڏهن آرڪائيو ڪرڻ ۽/يا انڪرپشن جو عمل بيڪ اپ اسٽوريج سرور تي هلي رهيو آهي.

اچو ته ھيٺ ڏنل ڪمانڊ کي ريفرنس ويليو طور ھلايو:

cd /src/dir; tar -cf - * | ssh backup_server "cat > /backup/dir/archive.tar"

عملدرآمد جا نتيجا هن ريت هئا:

عملدرآمد وقت 3m12s. اهو ڏسي سگھجي ٿو ته رفتار بيڪ اپ اسٽوريج سرور جي ڊسڪ سبسسٽم طرفان محدود آهي، جيئن مثال طور rsync. صرف ٿورڙو تيز، ڇاڪاڻ ته ... رڪارڊنگ ھڪڙي فائل ڏانھن وڃي ٿي.

انهي سان گڏ، کمپريشن جو جائزو وٺڻ لاء، اچو ته ساڳيو اختيار هلون، پر بيڪ اپ سرور جي پاسي تي ڪمپريشن کي فعال ڪريو:

cd /src/dir; tar -cf - * | ssh backup_server "gzip > /backup/dir/archive.tgz"

نتيجا هي آهن:

عملدرآمد وقت 10m11s. گهڻو ڪري ممڪن آهي ته رڪاوٽ وصول ڪندڙ آخر تي واحد فلو ڪمپريسر آهي.

ساڳيو حڪم، پر ڪمپريشن سان سرور ڏانهن منتقل ڪيو ويو اصل ڊيٽا سان گڏ فرضي تصور کي جانچڻ لاءِ ته بوتلنڪ هڪ واحد موضوع وارو ڪمپريسر آهي.

cd /src/dir; tar -czf - * | ssh backup_server "cat > /backup/dir/archive.tgz"

اهو هن طرح ظاهر ٿيو:

عملدرآمد جو وقت 9m37s هو. ڪمپريسر طرفان هڪ ڪور تي لوڊ واضح طور تي نظر اچي ٿو، ڇاڪاڻ ته نيٽ ورڪ جي منتقلي جي رفتار ۽ ماخذ ڊسڪ سبسسٽم تي لوڊ هڪجهڙائي آهي.

انڪرپشن جو جائزو وٺڻ لاءِ، توھان استعمال ڪري سگھو ٿا openssl يا gpg کي ڳنڍڻ سان openssl يا gpg پائپ ۾. ريفرنس لاءِ ھيٺ ڏنل حڪم ھوندو:

cd /src/dir; tar -cf - * | ssh backup_server "gzip | openssl enc -e -aes256 -pass pass:somepassword -out /backup/dir/archive.tgz.enc"

نتيجا هن ريت نڪرندا آهن:

عملدرآمد جو وقت 10m30s ٿي ويو، ڇاڪاڻ ته 2 پروسيس حاصل ڪرڻ واري پاسي تي هلائي رهيا هئا - بٽٽلڪ ٻيهر هڪ واحد ٿلهو ڪمپريسر آهي، گڏوگڏ ننڍڙو انڪرپشن اوور هيڊ.

يو ايس ڊي bliznezz جي درخواست تي آئون pigz سان ٽيسٽ شامل ڪري رهيو آهيان. جيڪڏهن توهان صرف ڪمپريسر استعمال ڪريو ٿا، اهو 6m30s وٺندو، جيڪڏهن توهان انڪرپشن پڻ شامل ڪيو، اهو تقريبا 7m هوندو. هيٺئين گراف ۾ ڊپ هڪ اڻڄاتل ڊسڪ ڪيش آهي:

نقلي جاچ

Duplicity هڪ python سافٽ ويئر آهي بيڪ اپ لاءِ انڪريپٽ ٿيل آرڪائيوز ٺاهي ٽار فارميٽ ۾.

واڌارو آرڪائيو لاء، librsync استعمال ڪيو ويندو آهي، تنهنڪري توهان توقع ڪري سگهو ٿا رويي ۾ بيان ڪيل سيريز ۾ پوئين پوسٽ.

بيڪ اپ کي gnupg استعمال ڪندي انڪريپٽ ۽ سائن ان ڪري سگھجي ٿو، جيڪو ضروري آھي جڏھن مختلف مهيا ڪندڙن کي استعمال ڪندي بيڪ اپ کي محفوظ ڪرڻ لاءِ (s3، backblaze، gdrive، وغيره)

اچو ته ڏسو ته نتيجا ڇا آهن:

اهي نتيجا آهن اسان کي مليا آهن جڏهن هلندي هلندي بغير انڪرپشن جي

خراب ڪندڙ

هر ٽيسٽ رننگ جو وقت:

لانچ 1
لانچ 2
لانچ 3

16m33s
17m20s
16m30s

8m29s
9m3s
8m45s

5m21s
6m04s
5m53s

۽ هتي نتيجا آهن جڏهن gnupg انڪرپشن کي فعال ڪيو ويو آهي، 2048 بٽس جي اهم سائيز سان:

ساڳئي ڊيٽا تي آپريٽنگ وقت، انڪرپشن سان:

لانچ 1
لانچ 2
لانچ 3

17m22s
17m32s
17m28s

8m52s
9m13s
9m3s

5m48s
5m40s
5m30s

بلاڪ سائيز اشارو ڪيو ويو - 512 ميگا بائيٽ، جيڪو واضح طور تي گراف ۾ نظر اچي ٿو؛ پروسيسر لوڊ اصل ۾ 50٪ تي رهي، جنهن جو مطلب آهي ته پروگرام هڪ کان وڌيڪ پروسيسر ڪور استعمال نه ڪندو آهي.

پروگرام جي آپريشن جو اصول پڻ واضح طور تي نظر اچي ٿو: انهن ڊيٽا جو هڪ ٽڪرو ورتو، ان کي دٻايو، ۽ ان کي بيڪ اپ اسٽوريج سرور ڏانهن موڪليو، جيڪو ڪافي سست ٿي سگهي ٿو.
هڪ ٻي خصوصيت پروگرام جو اڳڪٿي ڪرڻ وارو وقت آهي، جيڪو صرف تبديل ٿيل ڊيٽا جي سائيز تي منحصر آهي.

انڪريپشن کي فعال ڪرڻ پروگرام جي هلندڙ وقت ۾ خاص طور تي اضافو نه ڪيو، پر اهو پروسيسر لوڊ تقريبا 10٪ وڌايو، جيڪو ڪافي سٺو بونس ٿي سگهي ٿو.

بدقسمتي سان، هي پروگرام ڊائريڪٽري جي نالي سان صورتحال کي درست طور تي معلوم ڪرڻ ۾ ناڪام ٿي ويو، ۽ نتيجي ۾ مخزن جي سائيز تبديلين جي سائيز جي برابر ٿي وئي (يعني، سڀ 18GB)، پر واضح طور تي بيڪ اپ لاء ناقابل اعتماد سرور استعمال ڪرڻ جي صلاحيت. هن رويي کي ڍڪي ٿو.

نقلي جاچ

هي سافٽ ويئر C# ۾ لکيل آهي ۽ مونو مان لائبريرين جي هڪ سيٽ استعمال ڪندي هلندو آهي. هتي هڪ GUI آهي ۽ گڏوگڏ هڪ CLI نسخو.

مکيه خصوصيتن جي هڪ لڳ ڀڳ فهرست نقل سان ملندڙ جلندڙ آهي، بشمول مختلف بيڪ اپ اسٽوريج فراهم ڪندڙ، جڏهن ته، نقل جي برعڪس، گهڻيون خاصيتون ٽئين پارٽي جي اوزار کان سواءِ موجود آهن. ڇا اهو پلس آهي يا مائنس ان جو دارومدار مخصوص صورت تي آهي، پر شروعات ڪندڙن لاءِ، پٿون لاءِ اضافي پيڪيجز انسٽال ڪرڻ جي بجاءِ، انهن جي سامهون سڀني خاصيتن جي هڪ فهرست رکڻ تمام گهڻو آسان آهي، جيئن ته ٻي صورت ۾.

هڪ ٻيو ننڍڙو nuance - پروگرام فعال طور تي صارف جي طرفان هڪ مقامي sqlite ڊيٽابيس لکي ٿو جيڪو بيڪ اپ شروع ڪري ٿو، تنهنڪري توهان کي اضافي طور تي پڪ ڪرڻ جي ضرورت آهي ته گهربل ڊيٽابيس صحيح طور تي بيان ڪيو ويو آهي هر وقت ڪلائي استعمال ڪندي عمل شروع ڪيو وڃي. جڏهن GUI يا WEBGUI ذريعي ڪم ڪندي، تفصيلات صارف کان لڪائي ويندي.

اچو ته ڏسو ته هي حل ڪهڙا اشارا پيدا ڪري سگھن ٿا:

جيڪڏهن توهان انڪرپشن کي بند ڪريو ٿا (۽ WEBGUI اهو ڪرڻ جي سفارش نٿو ڪري)، نتيجا هن ريت آهن:

ڪم جا ڪلاڪ:

لانچ 1
لانچ 2
لانچ 3

20m43s
20m13s
20m28s

5m21s
5m40s
5m35s

7m36s
7m54s
7m49s

انڪريپشن کي فعال ڪرڻ سان، aes استعمال ڪندي، اهو هن طرح نظر اچي ٿو:

ڪم جا ڪلاڪ:

لانچ 1
لانچ 2
لانچ 3

29m9s
30m1s
29m54s

5m29s
6m2s
5m54s

8m44s
9m12s
9m1s

۽ جيڪڏھن توھان استعمال ڪريو خارجي پروگرام gnupg، ھيٺيون نتيجا نڪرندا:

لانچ 1
لانچ 2
لانچ 3

26m6s
26m35s
26m17s

5m20s
5m48s
5m40s

8m12s
8m42s
8m15s

جئين توهان ڏسي سگهو ٿا، پروگرام ڪيترن ئي موضوعن ۾ ڪم ڪري سگهي ٿو، پر اهو ان کي وڌيڪ پيداوار حل نٿو ڪري، ۽ جيڪڏهن توهان انڪرپشن جي ڪم جو مقابلو ڪيو، اهو هڪ خارجي پروگرام شروع ڪري رهيو آهي.
مونو سيٽ مان لائبريري استعمال ڪرڻ کان وڌيڪ تيز ٿي ويو. اهو شايد حقيقت جي ڪري ٿي سگهي ٿو ته خارجي پروگرام وڌيڪ بهتر آهي.

ٻي سٺي شيءِ اها حقيقت هئي ته مخزن جي سائيز بلڪل ايتري ئي وٺندي آهي جيترو حقيقي تبديل ٿيل ڊيٽا، يعني. duplicati هڪ ڊاريڪٽري جو نالو تبديل ڪيو ۽ هن صورتحال کي صحيح طريقي سان سنڀاليو. اهو ڏسي سگهجي ٿو جڏهن ٻئي ٽيسٽ کي هلائي رهيو آهي.

مجموعي طور تي، پروگرام جا منصفانه مثبت تاثرات، بشمول نوانين لاءِ ڪافي دوستانه هجڻ.

نتيجا

ٻنهي اميدوارن بدران سست رفتاري سان ڪم ڪيو، پر عام طور تي، باقاعده ٽار جي مقابلي ۾، ترقي آهي، گهٽ ۾ گهٽ نقل سان. اهڙي ترقي جي قيمت پڻ واضح آهي - هڪ قابل ذڪر بوجھ
پروسيسر عام طور تي، نتيجن جي اڳڪٿي ۾ ڪو خاص انحراف نه آهي.

پهچڻ

جيڪڏهن توهان کي ڪٿي به جلدي ڪرڻ جي ضرورت ناهي، ۽ توهان وٽ هڪ اضافي پروسيسر پڻ آهي، انهن مان ڪنهن به حل تي غور ڪيو ويندو، ڪنهن به صورت ۾، تمام گهڻو ڪم ڪيو ويو آهي جيڪو ٽار جي چوٽي تي ريپر اسڪرپٽ لکڻ سان بار بار نه ڪيو وڃي. . انڪرپشن جي موجودگي هڪ تمام ضروري ملڪيت آهي جيڪڏهن سرور کي محفوظ ڪرڻ لاءِ بيڪ اپ ڪاپيون مڪمل طور تي ڀروسو نٿو ڪري سگهجي.

جي بنياد تي حل جي ڀيٽ ۾ rsync - ڪارڪردگي ڪيترائي ڀيرا خراب ٿي سگهي ٿي، ان حقيقت جي باوجود ته ان جي خالص روپ ۾ ٽار rsync کان 20-30٪ تيز ڪم ڪيو.
مخزن جي سائيز تي بچت آهي، پر صرف نقل سان.

اعلان

بيڪ اپ، حصو 1: ڇو بيڪ اپ جي ضرورت آهي، طريقن جو هڪ جائزو، ٽيڪنالاجيون
بيڪ اپ حصو 2: جائزو وٺڻ ۽ جانچڻ rsync جي بنياد تي بيڪ اپ اوزار
بيڪ اپ حصو 3: جائزو ۽ جانچ ڪريو نقل، نقل، ڊيجا ڊيپ
بيڪ اپ حصو 4: جائزو وٺڻ ۽ جانچڻ zbackup, restic, borgbackup
بيڪ اپ حصو 5: ٽيسٽنگ بيڪولا ۽ ويم بيڪ اپ لينڪس لاءِ
بيڪ اپ حصو 6: بيڪ اپ اوزار جي مقابلي ۾
بيڪ اپ حصو 7: نتيجو

پاران شايع ٿيل: Pavel Demkovich

جو ذريعو: www.habr.com