ব্যাকআপ পার্ট 4: Zbackup, restic, borgbackup পর্যালোচনা এবং পরীক্ষা

এই নিবন্ধটি ব্যাকআপ সফ্টওয়্যার বিবেচনা করবে যা ডেটা স্ট্রীমকে পৃথক উপাদানে (খণ্ডে) ভেঙে একটি সংগ্রহস্থল তৈরি করে।

সংগ্রহস্থলের উপাদানগুলি আরও সংকুচিত এবং এনক্রিপ্ট করা যেতে পারে, এবং সবচেয়ে গুরুত্বপূর্ণভাবে - বারবার ব্যাকআপ প্রক্রিয়ার সময় - পুনরায় ব্যবহার করা হয়।

এই জাতীয় সংগ্রহস্থলে একটি ব্যাকআপ অনুলিপি একে অপরের সাথে সংযুক্ত উপাদানগুলির একটি নামযুক্ত চেইন, উদাহরণস্বরূপ, বিভিন্ন হ্যাশ ফাংশনের উপর ভিত্তি করে।

বেশ কয়েকটি অনুরূপ সমাধান রয়েছে, আমি 3-এ ফোকাস করব: zbackup, borgbackup এবং restic।

প্রত্যাশিত ফলাফল

যেহেতু সমস্ত আবেদনকারীকে এক বা অন্য উপায়ে একটি সংগ্রহস্থল তৈরি করতে হবে, তাই সবচেয়ে গুরুত্বপূর্ণ কারণগুলির মধ্যে একটি হল সংগ্রহস্থলের আকার অনুমান করা। আদর্শভাবে, এর আকার গৃহীত পদ্ধতি অনুসারে 13 গিগাবাইটের বেশি হওয়া উচিত নয়, বা তার চেয়েও কম - ভাল অপ্টিমাইজেশন সাপেক্ষে।

tar-এর মতো আর্কাইভার ব্যবহার না করে সরাসরি ফাইলের ব্যাকআপ কপি তৈরি করতে পারা, সেইসাথে rsync এবং sshfs-এর মতো অতিরিক্ত টুল ছাড়া ssh/sftp-এর সাথে কাজ করাও অত্যন্ত বাঞ্ছনীয়।

ব্যাকআপ তৈরি করার সময় আচরণ:

1. সংগ্রহস্থলের আকার পরিবর্তনের আকারের সমান বা কম হবে।
2. কম্প্রেশন এবং/অথবা এনক্রিপশন ব্যবহার করার সময় ভারী CPU লোড প্রত্যাশিত, এবং খুব উচ্চ নেটওয়ার্ক এবং ডিস্ক লোড সম্ভবত যদি সংরক্ষণাগার এবং/অথবা এনক্রিপশন প্রক্রিয়া ব্যাকআপ স্টোরেজ সার্ভারে চলছে।
3. রিপোজিটরি ক্ষতিগ্রস্ত হলে, নতুন ব্যাকআপ তৈরি করার সময় এবং পুনরুদ্ধার করার চেষ্টা করার সময় একটি বিলম্বিত ত্রুটি হতে পারে। সংগ্রহস্থলের অখণ্ডতা নিশ্চিত করার জন্য অতিরিক্ত ব্যবস্থার পরিকল্পনা করা বা এর অখণ্ডতা পরীক্ষা করার জন্য অন্তর্নির্মিত সরঞ্জামগুলি ব্যবহার করা প্রয়োজন।

টার সাথে কাজ করা একটি রেফারেন্স মান হিসাবে নেওয়া হয়, যেমনটি আগের নিবন্ধগুলির একটিতে দেখানো হয়েছিল।

Zbackup পরীক্ষা করা হচ্ছে

zbackup-এর সাধারণ প্রক্রিয়া হল যে প্রোগ্রামটি একই ডেটা সম্বলিত ইনপুট ডেটা স্ট্রীম এলাকায় খুঁজে পায়, তারপর ঐচ্ছিকভাবে সেগুলিকে সংকুচিত করে এবং এনক্রিপ্ট করে, প্রতিটি এলাকা শুধুমাত্র একবার সংরক্ষণ করে।

ডিডুপ্লিকেশন একটি স্লাইডিং উইন্ডো সহ একটি 64-বিট রিং হ্যাশ ফাংশন ব্যবহার করে বিদ্যমান ডেটা ব্লকগুলির সাথে বাইট-বাই-বাইট মিলগুলি পরীক্ষা করে (যেভাবে rsync এটিকে প্রয়োগ করে)।

মাল্টি-থ্রেডেড lzma এবং lzo কম্প্রেশনের জন্য এবং এনক্রিপশনের জন্য aes ব্যবহার করা হয়। সর্বশেষ সংস্করণ ভবিষ্যতে সংগ্রহস্থল থেকে পুরানো তথ্য মুছে ফেলার ক্ষমতা আছে.
প্রোগ্রামটি ন্যূনতম নির্ভরতা সহ C++ এ লেখা হয়। লেখক স্পষ্টতই ইউনিক্স-ওয়ে দ্বারা অনুপ্রাণিত ছিলেন, তাই ব্যাকআপ তৈরি করার সময় প্রোগ্রামটি stdin-এ ডেটা গ্রহণ করে, পুনরুদ্ধার করার সময় stdout-এ অনুরূপ ডেটা স্ট্রিম তৈরি করে। সুতরাং, আপনার নিজের ব্যাকআপ সমাধানগুলি লেখার সময় zbackup একটি খুব ভাল "বিল্ডিং ব্লক" হিসাবে ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, নিবন্ধটির লেখক আনুমানিক 2014 সাল থেকে হোম মেশিনের জন্য প্রধান ব্যাকআপ টুল হিসাবে এই প্রোগ্রামটি ব্যবহার করেছেন।

ডেটা স্ট্রীম একটি নিয়মিত টার হবে যদি না অন্যথায় বলা হয়।

চলুন দেখে নেওয়া যাক ফলাফল কিঃ

কাজটি 2টি বিকল্পে চেক করা হয়েছিল:

1. একটি সংগ্রহস্থল তৈরি করা হয় এবং উৎস ডেটা সহ সার্ভারে zbackup চালু করা হয়, তারপর সংগ্রহস্থলের বিষয়বস্তু ব্যাকআপ স্টোরেজ সার্ভারে স্থানান্তরিত হয়।
2. ব্যাকআপ স্টোরেজ সার্ভারে একটি সংগ্রহস্থল তৈরি করা হয়, ব্যাকআপ স্টোরেজ সার্ভারে ssh এর মাধ্যমে zbackup চালু করা হয় এবং পাইপের মাধ্যমে ডেটা পাঠানো হয়।

প্রথম বিকল্পের ফলাফলগুলি নিম্নরূপ ছিল: 43m11s - একটি এনক্রিপ্ট করা সংগ্রহস্থল এবং lzma কম্প্রেসার ব্যবহার করার সময়, 19m13s - lzo দিয়ে কম্প্রেসার প্রতিস্থাপন করার সময়।

আসল ডেটা সহ সার্ভারে লোডটি নিম্নরূপ ছিল (lzma-এর সাথে একটি উদাহরণ দেখানো হয়েছে; lzo-এর সাথে প্রায় একই ছবি ছিল, কিন্তু rsync-এর ভাগ ছিল আনুমানিক সময়ের এক চতুর্থাংশ):

এটা স্পষ্ট যে এই ধরনের একটি ব্যাকআপ প্রক্রিয়া শুধুমাত্র অপেক্ষাকৃত বিরল এবং ছোট পরিবর্তনের জন্য উপযুক্ত। zbackup 1 থ্রেডে সীমিত করাও অত্যন্ত যুক্তিযুক্ত, অন্যথায় একটি খুব বেশি CPU লোড থাকবে, কারণ প্রোগ্রামটি একাধিক থ্রেডে কাজ করার জন্য খুব ভাল। ডিস্কের লোড ছোট ছিল, যা সাধারণভাবে একটি আধুনিক এসএসডি-ভিত্তিক ডিস্ক সাবসিস্টেমের সাথে লক্ষণীয় হবে না। আপনি একটি রিমোট সার্ভারে রিপোজিটরি ডেটা সিঙ্ক্রোনাইজ করার প্রক্রিয়ার শুরু স্পষ্টভাবে দেখতে পারেন; অপারেশনের গতি নিয়মিত rsync এর সাথে তুলনীয় এবং ব্যাকআপ স্টোরেজ সার্ভারের ডিস্ক সাবসিস্টেমের কর্মক্ষমতার উপর নির্ভর করে। এই পদ্ধতির অসুবিধা হল স্থানীয় সংগ্রহস্থলের সঞ্চয়স্থান এবং ফলস্বরূপ, ডেটার সদৃশতা।

আরও আকর্ষণীয় এবং অনুশীলনে প্রযোজ্য হল দ্বিতীয় বিকল্প, ব্যাকআপ স্টোরেজ সার্ভারে সরাসরি zbackup চালানো।

প্রথমত, আমরা lzma কম্প্রেসারের সাথে এনক্রিপশন ব্যবহার না করে অপারেশনটি পরীক্ষা করব:

প্রতিটি পরীক্ষার রানিং সময়:

লঞ্চ 1
লঞ্চ 2
লঞ্চ 3

39 মি 45 এস
40 মি 20 এস
40 মি 3 এস

7 মি 36 এস
8 মি 3 এস
7 মি 48 এস

15 মি 35 এস
15 মি 48 এস
15 মি 38 এস

আপনি aes ব্যবহার করে এনক্রিপশন সক্ষম করলে, ফলাফলগুলি বেশ কাছাকাছি:

এনক্রিপশন সহ একই ডেটাতে অপারেটিং সময়:

লঞ্চ 1
লঞ্চ 2
লঞ্চ 3

43 মি 40 এস
44 মি 12 এস
44 মি 3 এস

8 মি 3 এস
8 মি 15 এস
8 মি 12 এস

15 মি 0 এস
15 মি 40 এস
15 মি 25 এস

যদি এনক্রিপশন lzo ব্যবহার করে কম্প্রেশনের সাথে একত্রিত হয়, তাহলে এটি দেখতে এইরকম হবে:

কাজের সময়:

লঞ্চ 1
লঞ্চ 2
লঞ্চ 3

18 মি 2 এস
18 মি 15 এস
18 মি 12 এস

5 মি 13 এস
5 মি 24 এস
5 মি 20 এস

8 মি 48 এস
9 মি 3 এস
8 মি 51 এস

ফলাফল সংগ্রহস্থলের আকার 13GB এ তুলনামূলকভাবে একই ছিল। এর মানে হল যে অনুলিপি সঠিকভাবে কাজ করছে। এছাড়াও, ইতিমধ্যে সংকুচিত ডেটাতে, lzo ব্যবহার করা একটি লক্ষণীয় প্রভাব দেয়; মোট অপারেটিং সময়ের পরিপ্রেক্ষিতে, zbackup ডুপ্লিসিটি/ডুপ্লিকেটের কাছাকাছি আসে, কিন্তু 2-5 বার librsync এর উপর ভিত্তি করে পিছিয়ে যায়।

সুবিধাগুলি সুস্পষ্ট - ব্যাকআপ স্টোরেজ সার্ভারে ডিস্কের স্থান সংরক্ষণ করা। রিপোজিটরি চেকিং সরঞ্জামগুলির জন্য, zbackup এর লেখক সেগুলি সরবরাহ করেন না; এটি একটি ত্রুটি-সহনশীল ডিস্ক অ্যারে বা ক্লাউড সরবরাহকারী ব্যবহার করার পরামর্শ দেওয়া হয়।

সামগ্রিকভাবে, একটি খুব ভাল ছাপ, প্রকল্পটি প্রায় 3 বছর ধরে দাঁড়িয়ে থাকা সত্ত্বেও (শেষ বৈশিষ্ট্য অনুরোধটি প্রায় এক বছর আগে ছিল, তবে কোনও প্রতিক্রিয়া ছাড়াই)।

বোর্গব্যাকআপ পরীক্ষা করা হচ্ছে

বোর্গব্যাকআপ হল অ্যাটিকের একটি কাঁটা, জেডব্যাকআপের অনুরূপ আরেকটি সিস্টেম। পাইথনে লেখা, এটিতে জেডব্যাকআপের মতো ক্ষমতার একটি তালিকা রয়েছে, তবে অতিরিক্ত করতে পারে:

• ফিউজ মাধ্যমে ব্যাকআপ মাউন্ট
• সংগ্রহস্থল বিষয়বস্তু পরীক্ষা করুন
• ক্লায়েন্ট-সার্ভার মোডে কাজ করুন
• ডেটার জন্য বিভিন্ন কম্প্রেসার ব্যবহার করুন, সেইসাথে ফাইলের ধরন সংকুচিত করার সময় হিউরিস্টিক নির্ধারণ করুন।
• 2টি এনক্রিপশন বিকল্প, aes এবং ব্লেক
• জন্য অন্তর্নির্মিত টুল

কর্মক্ষমতা পরীক্ষা

borgbackup বেঞ্চমার্ক crud ssh://backup_server/repo/path local_dir

ফলাফল নিম্নরূপ ছিল:

C-Z-BIG 96.51 MB/s (10 100.00 MB অল-জিরো ফাইল: 10.36s)
R-Z-BIG 57.22 MB/s (10 100.00 MB অল-জিরো ফাইল: 17.48s)
U-Z-BIG 253.63 MB/s (10 100.00 MB অল-জিরো ফাইল: 3.94s)
D-Z-BIG 351.06 MB/s (10 100.00 MB অল-জিরো ফাইল: 2.85s)
C-R-BIG 34.30 MB/s (10 100.00 MB র্যান্ডম ফাইল: 29.15s)
R-R-BIG 60.69 MB/s (10 100.00 MB র্যান্ডম ফাইল: 16.48s)
U-R-BIG 311.06 MB/s (10 100.00 MB র্যান্ডম ফাইল: 3.21s)
D-R-BIG 72.63 MB/s (10 100.00 MB র্যান্ডম ফাইল: 13.77s)
C-Z-MEDIUM 108.59 MB/s (1000 1.00 MB অল-জিরো ফাইল: 9.21s)
R-Z-MEDIUM 76.16 MB/s (1000 1.00 MB অল-জিরো ফাইল: 13.13s)
ইউ-জেড-মাঝারি 331.27 এমবি/সেকেন্ড (1000 1.00 MB অল-জিরো ফাইল: 3.02s)
ডি-জেড-মাঝারি 387.36 এমবি/সেকেন্ড (1000 1.00 MB অল-জিরো ফাইল: 2.58s)
সি-আর-মিডিয়াম 37.80 এমবি/সেকেন্ড (1000 1.00 MB র্যান্ডম ফাইল: 26.45s)
আর-আর-মাঝারি 68.90 এমবি/সেকেন্ড (1000 1.00 MB র্যান্ডম ফাইল: 14.51s)
U-R-Medium 347.24 MB/s (1000 1.00 MB র্যান্ডম ফাইল: 2.88s)
ডি-আর-মাঝারি 48.80 এমবি/সেকেন্ড (1000 1.00 MB র্যান্ডম ফাইল: 20.49s)
C-Z-SMALL 11.72 MB/s (10000 10.00 kB অল-জিরো ফাইল: 8.53s)
R-Z-SMALL 32.57 MB/s (10000 10.00 kB অল-জিরো ফাইল: 3.07s)
U-Z-SMALL 19.37 MB/s (10000 10.00 kB অল-জিরো ফাইল: 5.16s)
D-Z-SMALL 33.71 MB/s (10000 10.00 kB অল-জিরো ফাইল: 2.97s)
C-R-SMALL 6.85 MB/s (10000 10.00 kB র্যান্ডম ফাইল: 14.60s)
R-R-SMALL 31.27 MB/s (10000 10.00 kB র্যান্ডম ফাইল: 3.20s)
U-R-SMALL 12.28 MB/s (10000 10.00 kB র্যান্ডম ফাইল: 8.14s)
D-R-SMALL 18.78 MB/s (10000 10.00 kB র্যান্ডম ফাইল: 5.32s)

পরীক্ষার সময়, কম্প্রেশন হিউরিস্টিকস ফাইলের ধরন (কম্প্রেশন অটো) নির্ধারণ করতে ব্যবহার করা হবে এবং ফলাফলগুলি নিম্নরূপ হবে:

প্রথমে, আসুন এনক্রিপশন ছাড়া এটি কীভাবে কাজ করে তা পরীক্ষা করে দেখি:

কাজের সময়:

লঞ্চ 1
লঞ্চ 2
লঞ্চ 3

4 মি 6 এস
4 মি 10 এস
4 মি 5 এস

56s
58s
54s

1 মি 26 এস
1 মি 34 এস
1 মি 30 এস

আপনি সংগ্রহস্থল অনুমোদন (প্রমাণিত মোড) সক্ষম করলে, ফলাফল কাছাকাছি হবে:

কাজের সময়:

লঞ্চ 1
লঞ্চ 2
লঞ্চ 3

4 মি 11 এস
4 মি 20 এস
4 মি 12 এস

1 মি 0 এস
1 মি 3 এস
1 মি 2 এস

1 মি 30 এস
1 মি 34 এস
1 মি 31 এস

যখন aes এনক্রিপশন সক্রিয় করা হয়েছিল, ফলাফলগুলি খুব বেশি খারাপ হয়নি:

লঞ্চ 1
লঞ্চ 2
লঞ্চ 3

4 মি 55 এস
5 মি 2 এস
4 মি 58 এস

1 মি 0 এস
1 মি 2 এস
1 মি 0 এস

1 মি 49 এস
1 মি 50 এস
1 মি 50 এস

এবং যদি আপনি ব্লেকে aes পরিবর্তন করেন, পরিস্থিতি সম্পূর্ণরূপে উন্নতি হবে:

কাজের সময়:

লঞ্চ 1
লঞ্চ 2
লঞ্চ 3

4 মি 33 এস
4 মি 43 এস
4 মি 40 এস

59s
1 মি 0 এস
1 মি 0 এস

1 মি 38 এস
1 মি 43 এস
1 মি 40 এস

zbackup এর ক্ষেত্রে, সংগ্রহস্থলের আকার ছিল 13GB এবং এমনকি একটু কম, যা সাধারণত প্রত্যাশিত। আমি চলমান সময়ের সাথে খুব সন্তুষ্ট ছিলাম; এটি librsync ভিত্তিক সমাধানগুলির সাথে তুলনীয়, অনেক বিস্তৃত ক্ষমতা প্রদান করে। আমি পরিবেশের ভেরিয়েবলের মাধ্যমে বিভিন্ন পরামিতি সেট করার ক্ষমতা নিয়েও সন্তুষ্ট ছিলাম, যা স্বয়ংক্রিয় মোডে বোর্গব্যাকআপ ব্যবহার করার সময় খুব গুরুতর সুবিধা দেয়। আমি ব্যাকআপের সময় লোড নিয়েও সন্তুষ্ট ছিলাম: প্রসেসরের লোড দ্বারা বিচার করে, বোর্গব্যাকআপ 1 থ্রেডে কাজ করে।

এটি ব্যবহার করার সময় কোন বিশেষ অসুবিধা ছিল না।

রেস্টিক পরীক্ষা

রেস্টিক একটি মোটামুটি নতুন সমাধান হওয়া সত্ত্বেও (প্রথম 2 প্রার্থী 2013 এবং তার বেশি বয়সে পরিচিত ছিল), এর বেশ ভাল বৈশিষ্ট্য রয়েছে। গো-তে লেখা।

zbackup এর সাথে তুলনা করলে, এটি অতিরিক্তভাবে দেয়:

• সংগ্রহস্থলের অখণ্ডতা পরীক্ষা করা হচ্ছে (অংশে চেক করা সহ)।
• ব্যাকআপ সংরক্ষণের জন্য সমর্থিত প্রোটোকল এবং প্রদানকারীদের একটি বিশাল তালিকা, সেইসাথে ক্লাউড সমাধানের জন্য rclone - rsync-এর জন্য সমর্থন।
• একে অপরের সাথে 2টি ব্যাকআপ তুলনা করা হচ্ছে।
• ফিউজের মাধ্যমে সংগ্রহস্থল মাউন্ট করা।

সাধারণভাবে, বৈশিষ্ট্যগুলির তালিকাটি বোর্গব্যাকআপের বেশ কাছাকাছি, কিছু জায়গায় বেশি, অন্যগুলিতে কম৷ বৈশিষ্ট্যগুলির মধ্যে একটি হল এনক্রিপশন নিষ্ক্রিয় করার কোন উপায় নেই, এবং তাই ব্যাকআপ কপিগুলি সর্বদা এনক্রিপ্ট করা হবে। চলুন দেখি এই সফটওয়্যারটি থেকে কী কী কৌশল নেওয়া যায়:

ফলাফল নিম্নরূপ ছিল:

কাজের সময়:

লঞ্চ 1
লঞ্চ 2
লঞ্চ 3

5 মি 25 এস
5 মি 50 এস
5 মি 38 এস

35s
38s
36s

1 মি 54 এস
2 মি 2 এস
1 মি 58 এস

পারফরম্যান্সের ফলাফলগুলি rsync-ভিত্তিক সমাধানগুলির সাথেও তুলনীয় এবং সাধারণভাবে, borgbackup-এর খুব কাছাকাছি, কিন্তু CPU লোড বেশি (একাধিক থ্রেড চলমান) এবং sawtooth।

সম্ভবত, প্রোগ্রামটি ডেটা স্টোরেজ সার্ভারে ডিস্ক সাবসিস্টেমের কর্মক্ষমতা দ্বারা সীমিত, যেমনটি ইতিমধ্যে rsync-এর ক্ষেত্রে ছিল। সংগ্রহস্থলের আকার ছিল 13GB, ঠিক যেমন zbackup বা borgbackup, এই সমাধানটি ব্যবহার করার সময় কোন সুস্পষ্ট অসুবিধা ছিল না।

Результаты

প্রকৃতপক্ষে, সমস্ত প্রার্থী একই ফলাফল অর্জন করেছে, কিন্তু ভিন্ন মূল্যে। Borgbackup সর্বোত্তম পারফর্ম করেছে, রেস্টিক একটু ধীরগতির ছিল, zbackup ব্যবহার করা সম্ভবত মূল্যবান নয়,
এবং যদি এটি ইতিমধ্যেই ব্যবহার করা হয় তবে এটিকে বর্গব্যাকআপ বা রেস্টিক এ পরিবর্তন করার চেষ্টা করুন।

তথ্যও

সবচেয়ে প্রতিশ্রুতিশীল সমাধানটি অস্থির বলে মনে হচ্ছে, কারণ ... তিনিই যিনি অপারেটিং গতির ক্ষমতার সর্বোত্তম অনুপাতের অধিকারী, তবে আসুন আপাতত সাধারণ সিদ্ধান্তে ছুটে না যাই।

Borgbackup মূলত কোন খারাপ, কিন্তু zbackup সম্ভবত ভাল প্রতিস্থাপিত হয়. সত্য, 3-2-1 নিয়ম কাজ করে তা নিশ্চিত করতে zbackup এখনও ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, (lib)rsync-ভিত্তিক ব্যাকআপ সুবিধা ছাড়াও।

ঘোষণা

ব্যাকআপ, পার্ট 1: কেন ব্যাকআপ প্রয়োজন, পদ্ধতি, প্রযুক্তি পর্যালোচনা
ব্যাকআপ পার্ট 2: rsync-ভিত্তিক ব্যাকআপ টুল পর্যালোচনা এবং পরীক্ষা করা
ব্যাকআপ পার্ট 3: ডুপ্লিসিটির রিভিউ এবং টেস্টিং, ডুপ্লিকাটি
ব্যাকআপ পার্ট 4: Zbackup, restic, borgbackup পর্যালোচনা এবং পরীক্ষা
ব্যাকআপ, পার্ট 5: লিনাক্সের জন্য ব্যাকুলা এবং ভিম ব্যাকআপ পরীক্ষা করা
ব্যাকআপ পার্ট 6: ব্যাকআপ টুলের তুলনা
ব্যাকআপ পার্ট 7: উপসংহার

কারো দ্বারা কোন কিছু ডাকঘরে পাঠানো: পাভেল ডেমকোভিচ

উত্স: www.habr.com