پشتیبان گیری از داده ها با استفاده از FreeFileSync و 7-zip

شرح حال، به اصطلاح:

سرور فوجیتسو rx300 s6، RAID6 از 6 دیسک 1 ترابایتی، XenServer 6.2 نصب شده، چندین سرور در حال چرخش، از جمله اوبونتو با چندین توپ، 3,5 میلیون فایل، 1,5 ترابایت داده، همه اینها به تدریج در حال رشد و تورم است.

وظیفه: پشتیبان‌گیری از داده‌ها را از یک سرور فایل، تا حدی روزانه، تا حدی هفتگی تنظیم کنید.
ما یک دستگاه پشتیبان ویندوز با RAID5 (یک واحد سیستم استاندارد ضعیف با یک کنترلر RAID درون مادر) به اضافه یک دیسک 2 ترابایتی جداگانه برای کپی کردن متوسط ​​از وضعیت فعلی فایل ها داریم. امکان استفاده از هر توزیع لینوکس وجود داشت، اما این دستگاه قبلاً با یک آرایه حمله و مجوز ویندوز در دسترس بود.

روی سرور پشتیبان نصب کنید Freefilesync، ما یک "آینه" از همه چیز در یک ردیف از همه اشتراک‌گذاری‌های سرور فایل یک بار در روز بعد از 18 ساعت با اجرای آن از طریق زمان‌بندی تنظیم می‌کنیم.

یک نکته مهم: هنگام ذخیره یک کار دسته ای، حتماً "بستن پنجره کار پس از اتمام" را علامت بزنید، در غیر این صورت فرآیندها ضرب و چند برابر می شوند.

ما فایل های موقت را به استثناهای ماسک می اندازیم: *.dwl، *.dwl2، *.tmp.

FreeFileSync به خوبی از شبکه استفاده می کند، کپی در چندین رشته انجام می شود، سرعت در هنگام کپی فایل های بزرگ به 80 مگابیت در ثانیه می رسد، هیچ مسدودی در فایل های کوچک یافت نشد.

بایگانی در یک سرور پشتیبان محلی به جای سرور استفاده شده قبلی انجام می شود دستگاه کپی با آرشیو شبکه به هر حال، TheCopier عالی است! اما با چنین حجم هایی، با وجود رابط 1 گیگابیت بر ثانیه در نسخه پشتیبان و 2 گیگابیت در ثانیه در فایل یک (پیوند دو کارت شبکه) به سادگی زمان انتقال همه چیز را ندارد.

همچنین قبلا استفاده شده است SyncToy، اما وقتی تعداد فایل ها از 1,5-2 میلیون فراتر رفت، به طور معمول از کار افتاد، به سادگی نمی توانست با آن کنار بیاید.

برای آرشیو پوشه های لازم، یک فایل دسته ای برای آن می نویسیم 7-zip:

اکنون تنظیم کنید=%TIME:~0،-3%
تنظیم کنید=%اکنون::=.%
اکنون تنظیم کنید=%اکنون: =0%
تنظیم اکنون=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%اکنون%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C: "Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - ایجاد یک آرشیو
:: -tzip یا -t7z - نوع آرشیو (زیپ 1.5-2 برابر سریعتر است)
:: -mx=1 — نسبت فشرده سازی (1 حداقل، 9 مقدار حداکثر x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - چند رشته ای را در جایی که فعال نیست فعال می کند
:: -mtc=off - مهرهای زمانی سیستم فایل را غیرفعال می کند (در صورت ذخیره، اصلاح و غیره)
:: -ssw - همچنین فایل های باز شده برای نوشتن را فشرده می کند
:: -xr!.Sync* - فایل های موقت BtSync را از بایگانی حذف می کند و فایل های دائمی را باقی می گذارد

ساخت set now=% و غیره به شما این امکان را می دهد که فرمت زمان ضبط را در یک نام فایل ذخیره کنید بدون اینکه مشکلی ایجاد شود که تعداد روز یا ماه کمتر از 10 بود، یعنی صفر را جایگزین می کنیم.

نظر -xr!.Sync* مقدماتی است که از مورد استفاده اولیه باقی مانده است BTSync.

تا 500 گیگابایت و 700-800 هزار فایل، BTSync همچنان خوب کار می‌کرد، همزمان همگام‌سازی می‌شد، اما با حجم فعلی، حافظه و منابع پردازشگر را هم در سرور فایل اوبونتو و هم در پشتیبان‌گیری ویندوز که توسط آن راه‌اندازی شد بسیار مصرف می‌کرد. سرویس، و همچنین به سادگی سیستم دیسک را با خواندن و نوشتن مداوم تجاوز کرد.

اگرچه آرشیو 7 زیپ است، اما ما آن را به جای 7z بومی با فرمت zip بایگانی می کنیم، زیرا سرعت آن بسیار بیشتر است و عملاً تفاوتی در فشرده سازی با mx=1 وجود ندارد، این با آزمایش های زیادی تأیید شده است.

آرشیوها یکی یکی اجرا می شوند.

پوشه دارای بایگانی نیز از طریق یک کار برنامه ریزی شده با استفاده از ابزار fpurge پاک می شود و بایگانی ها بیش از یک هفته باقی نمی مانند.
در نتیجه، ما یک کپی از فایل های روز قبل و همچنین آرشیوهای هفته گذشته داریم؛ FreeFileSync فایل های حذف شده را در سطل زباله قرار می دهد.

منبع: www.habr.com