FreeFileSync এবং 7-zip ব্যবহার করে ডেটা ব্যাকআপ

Anamnesis, তাই কথা বলতে:

Fujitsu rx300 s6 সার্ভার, RAID6 এর 6 1TB ডিস্ক, XenServer 6.2 ইনস্টল করা, বেশ কয়েকটি সার্ভার ঘুরছে, তার মধ্যে বেশ কয়েকটি বল সহ উবুন্টু, 3,5 মিলিয়ন ফাইল, 1,5 TB ডেটা, এই সবই ধীরে ধীরে বৃদ্ধি পাচ্ছে এবং ফুলে যাচ্ছে।

টাস্ক: একটি ফাইল সার্ভার থেকে ডেটা ব্যাকআপ সেট আপ করুন, আংশিকভাবে দৈনিক, আংশিকভাবে সাপ্তাহিক।
আমাদের কাছে RAID5 সহ একটি উইন্ডোজ ব্যাকআপ মেশিন রয়েছে (একটি RAID কন্ট্রোলার সহ একটি দুর্বল স্ট্যান্ডার্ড সিস্টেম ইউনিট মাদারের মধ্যে তৈরি) এবং ফাইলগুলির বর্তমান অবস্থার মধ্যবর্তী কপি করার জন্য একটি পৃথক 2TB ডিস্ক রয়েছে৷ যেকোন লিনাক্স ডিস্ট্রিবিউশন ব্যবহার করা সম্ভব ছিল, কিন্তু এই মেশিনটি ইতিমধ্যেই একটি রেইড অ্যারে এবং একটি উইন্ডোজ লাইসেন্স সহ উপলব্ধ ছিল।

একটি ব্যাকআপ সার্ভারে ইনস্টল করুন ফ্রিফাইলসিঙ্ক, আমরা শিডিউলারের মাধ্যমে 18 ঘন্টা পরে সন্ধ্যায় একবার সমস্ত ফাইল সার্ভার শেয়ার থেকে একটি সারিতে সবকিছুর একটি "আয়না" সেট আপ করি৷

একটি গুরুত্বপূর্ণ বিষয়: একটি ব্যাচ টাস্ক সংরক্ষণ করার সময়, "সম্পূর্ণ হয়ে গেলে টাস্ক উইন্ডো বন্ধ করুন" চেক করতে ভুলবেন না, অন্যথায় প্রসেসগুলি গুন এবং গুণিত হবে৷

আমরা অস্থায়ী ফাইলগুলিকে মাস্ক ব্যতিক্রমগুলিতে নিক্ষেপ করি: *.dwl, *.dwl2, *.tmp।

FreeFileSync নেটওয়ার্কটি অত্যন্ত ভালভাবে ব্যবহার করে, কপি করা বেশ কয়েকটি থ্রেডে সঞ্চালিত হয়, বড় ফাইলগুলি অনুলিপি করার সময় গতি 80 এমবিপিএসে পৌঁছায়, ছোট ফাইলগুলিতে কোনও ব্লকিং পাওয়া যায়নি।

পূর্বে ব্যবহৃত সার্ভারের পরিবর্তে স্থানীয় ব্যাকআপ সার্ভারে সংরক্ষণাগার করা হবে কপিয়ার নেটওয়ার্ক সংরক্ষণাগার সহ। উপায় দ্বারা, TheCopier মহান! কিন্তু এই ধরনের ভলিউমের সাথে, ব্যাকআপে 1Gbps ইন্টারফেস এবং ফাইল ওয়ানে 2Gbps (দুটি নেটওয়ার্ক কার্ডের বন্ড) থাকা সত্ত্বেও সবকিছু স্থানান্তর করার সময় নেই।

এছাড়াও আগে ব্যবহৃত SyncToy, কিন্তু যখন ফাইলের সংখ্যা 1,5-2 মিলিয়ন ছাড়িয়ে যায়, তখন এটি স্বাভাবিকভাবে কাজ করা বন্ধ করে দেয়, এটি সহজভাবে মোকাবেলা করতে পারে না।

প্রয়োজনীয় ফোল্ডার আর্কাইভ করার জন্য, আমরা একটি ব্যাচ ফাইল লিখি 7-জিপ:

এখন সেট করুন=%TIME:~0,-3%
এখন সেট করুন=%এখন::=.%
এখন সেট করুন=%এখন: =0%
এখন সেট করুন=%DATE:~-4%।%DATE:~3,2%।%DATE:~0,2%_%now%
C:"প্রোগ্রাম ফাইল"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"প্রোগ্রাম ফাইল"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"প্রোগ্রাম ফাইল"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"প্রোগ্রাম ফাইল"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“প্রোগ্রাম ফাইল”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"প্রোগ্রাম ফাইল"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“প্রোগ্রাম ফাইল”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“প্রোগ্রাম ফাইল”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“প্রোগ্রাম ফাইল”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“প্রোগ্রাম ফাইল”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - একটি সংরক্ষণাগার তৈরি করা
:: -tzip বা -t7z - সংরক্ষণাগার প্রকার (জিপ 1.5-2 গুণ দ্রুত)
:: -mx=1 — কম্প্রেশন অনুপাত (1 সর্বনিম্ন, 9 সর্বাধিক মান x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - মাল্টিথ্রেডিং সক্ষম করে যেখানে এটি সক্রিয় নয়
:: -mtc=off - ফাইল সিস্টেম টাইমস্ট্যাম্প নিষ্ক্রিয় করে (যখন সংরক্ষিত, পরিবর্তিত, ইত্যাদি)
:: -ssw - লেখার জন্য খোলা ফাইলগুলিও সংকুচিত করে
:: -xr!.Sync* - অস্থায়ী BtSync ফাইলগুলিকে সংরক্ষণাগার থেকে বাদ দেয়, স্থায়ী ফাইলগুলিকে রেখে দেয়

সেট now=% ইত্যাদির নির্মাণ আপনাকে ফাইলের নামে রেকর্ডিং সময়ের বিন্যাস সংরক্ষণ করতে দেয় কোনো সমস্যা ছাড়াই যে দিন বা মাসের সংখ্যা 10 এর কম ছিল, অর্থাৎ আমরা একটি শূন্য প্রতিস্থাপন করি।

মন্তব্য -xr!.Sync* হল একটি মূল কথা যা মূলত ব্যবহৃত হয়েছে BTSync.

500 গিগাবাইট পর্যন্ত এবং 700-800 হাজার ফাইল পর্যন্ত, BTSync এখনও সূক্ষ্ম কাজ করেছে, ফ্লাইতে সিঙ্ক্রোনাইজ করেছে, কিন্তু বর্তমান ভলিউমগুলির সাথে এটি উবুন্টু ফাইল সার্ভারে এবং উইন্ডোজ ব্যাকআপ উভয় ক্ষেত্রেই মেমরি এবং প্রসেসর সংস্থানগুলিকে খুব গ্রাস করছে যেখানে এটি চালু হয়েছিল। পরিষেবা, এবং ধ্রুবক পড়া এবং লেখার মাধ্যমে কেবল ডিস্ক সিস্টেমকে ধর্ষণ করে।

যদিও আর্কাইভারটি 7-জিপ, আমরা এটিকে নেটিভ 7z-এর পরিবর্তে জিপ ফর্ম্যাটে সংরক্ষণ করি, কারণ এটি অনেক দ্রুত, এবং mx=1 এর সাথে কম্প্রেশনে কার্যত কোন পার্থক্য নেই, এটি অনেক পরীক্ষা দ্বারা যাচাই করা হয়েছে।

আর্কাইভগুলি একে একে কার্যকর করা হয়।

আর্কাইভ সহ ফোল্ডারটি fpurge ইউটিলিটি ব্যবহার করে একটি নির্ধারিত কাজের মাধ্যমেও পরিষ্কার করা হয়, আর্কাইভগুলি এক সপ্তাহের বেশি পুরানো থাকে না।
ফলস্বরূপ, আমাদের কাছে আগের দিনের ফাইলগুলির একটি অনুলিপি, সেইসাথে গত সপ্তাহের আর্কাইভ রয়েছে; FreeFileSync মুছে ফেলা ফাইলগুলিকে ট্র্যাশে রাখে৷

উত্স: www.habr.com