Anamnez, belə deyək:
Fujitsu rx300 s6 server, 6 6TB diskdən ibarət RAID1, XenServer 6.2 quraşdırılıb, bir neçə server fırlanır, bunlar arasında bir neçə topla Ubuntu, 3,5 milyon fayl, 1,5 TB məlumat, bütün bunlar tədricən böyüyür və şişir.
Tapşırıq: fayl serverindən qismən gündəlik, qismən həftəlik məlumat ehtiyat nüsxəsini qurun.
Bizdə RAID5 (anada quraşdırılmış RAID nəzarətçisi olan zəif standart sistem bloku) və faylların cari vəziyyətinin aralıq surətini çıxarmaq üçün ayrıca 2TB disk olan Windows ehtiyat nüsxə maşınımız var. İstənilən Linux paylanmasından istifadə etmək mümkün idi, lakin bu maşın artıq reyd massivi və Windows lisenziyası ilə mövcud idi.
Yedək serverə quraşdırın , biz bütün fayl server paylaşımlarından gündə bir dəfə axşam 18 saatdan sonra onu planlaşdırıcı vasitəsilə işlətməklə ardıcıl olaraq hər şeyin “güzgüsünü” qururuq.
Vacib bir məqam: toplu tapşırığı saxlayarkən “Tamamlananda tapşırıq pəncərəsini bağla” işarəsini qoymağınızdan əmin olun, əks halda proseslər çoxalacaq və çoxalacaq.
Müvəqqəti faylları maska istisnalarına atırıq: *.dwl, *.dwl2, *.tmp.
FreeFileSync şəbəkədən son dərəcə yaxşı istifadə edir, surət çıxarma bir neçə iplikdə baş verir, böyük faylları köçürərkən sürət 80 Mbit/s-ə çatır, kiçik fayllarda bloklama aşkar edilməyib.
Arxivləşdirmə əvvəllər istifadə edilənin əvəzinə yerli ehtiyat serverdə aparılacaq şəbəkə arxivləşdirmə ilə. Yeri gəlmişkən, TheCopier əladır! Ancaq bu cür həcmlərlə ehtiyat nüsxədə 1Gbps interfeys və birinci faylda 2Gbps (iki şəbəkə kartının əlaqəsi) olmasına baxmayaraq, hər şeyi köçürməyə sadəcə vaxtı yoxdur.
Əvvəllər də istifadə olunub , lakin faylların sayı 1,5-2 milyonu keçəndə normal işləməyi dayandırdı, sadəcə öhdəsindən gələ bilmədi.
Lazımi qovluqları arxivləşdirmək üçün toplu faylı yazırıq :
indi təyin et=%TIME:~0,-3%
indi ayarla=%indi::=.%
indi təyin et=%indi: =0%
indi təyin et=%TARİX:~-4%.%TARİX:~3,2%.%TARİX:~0,2%_%indi%
C:"Proqram Faylları"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Proqram Faylları"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Proqram Faylları"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Proqram Faylları”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Proqram Faylları”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Proqram Faylları”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Proqram Faylları”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Proqram Faylları”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Proqram Faylları”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - arxiv yaratmaq
:: -tzip və ya -t7z - arxiv növü (zip 1.5-2 dəfə sürətlidir)
:: -mx=1 — sıxılma nisbəti (1 minimum, 9 maksimum dəyər x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - aktivləşdirilmədiyi yerlərdə çox iş parçacığını aktivləşdirir
:: -mtc=off - fayl sistemi vaxt ştamplarını söndürür (saxlandıqda, dəyişdirildikdə və s.)
:: -ssw - həm də yazmaq üçün açılan faylları sıxır
:: -xr!.Sync* - daimi faylları tərk edərək müvəqqəti BtSync fayllarını arxivləşdirmədən xaric edir
set now=% və sair konstruksiyası günün və ya ayın sayı 10-dan az olduqda yaranan problem olmadan fayl adında qeyd vaxtının formatını saxlamağa imkan verir, yəni sıfırı əvəz edirik.
Şərh -xr!.Sync* ilkin istifadə olunandan qalan əsas elementdir .
500 GB-a qədər və 700-800 min fayla qədər BTSync hələ də yaxşı işləyirdi, tez sinxronlaşdırılırdı, lakin mövcud həcmlərlə həm Ubuntu fayl serverində, həm də işə salındığı Windows ehtiyat nüsxəsində çox yaddaş və prosessor resurslarını istehlak edirdi. xidmət, həm də daimi oxumaq və yazma ilə sadəcə zorlanmış disk sistemi.
Arxivator 7-zip olsa da, biz onu yerli 7z əvəzinə zip formatında arxivləşdiririk, çünki o, daha sürətlidir və mx=1 ilə sıxılmada praktiki olaraq heç bir fərq yoxdur, bu, bir çox təcrübələrlə təsdiqlənib.
Arxivlər bir-bir icra olunur.
Arxivləri olan qovluq da fpurge yardım proqramından istifadə edərək planlaşdırılmış tapşırıq vasitəsilə təmizlənir, arxivləri bir həftədən çox olmayan saxlayır.
Nəticədə, bizdə əvvəlki gün üçün faylların surəti, eləcə də son həftənin arxivləri var; FreeFileSync silinmiş faylları zibil qutusuna qoyur.
Mənbə: www.habr.com