Αναμνησία, ας πούμε έτσι:
Διακομιστής Fujitsu rx300 s6, RAID6 6 δίσκων 1TB, ο XenServer 6.2 είναι σε λειτουργία, αρκετοί διακομιστές λειτουργούν, συμπεριλαμβανομένου του Ubuntu με αρκετά κοινόχρηστα στοιχεία, 3,5 εκατομμύρια αρχεία, 1,5 TB δεδομένων, όλα αυτά σταδιακά αυξάνονται και διογκώνονται.
Εργασία: δημιουργία αντιγράφων ασφαλείας δεδομένων από έναν διακομιστή αρχείων, εν μέρει σε καθημερινή βάση, εν μέρει σε εβδομαδιαία βάση.
Έχουμε ένα μηχάνημα με Windows για δημιουργία αντιγράφων ασφαλείας με RAID5 (λόγω φτώχειας, μια κανονική μονάδα συστήματος με ενσωματωμένο ελεγκτή RAID στη μητρική πλακέτα) καθώς και έναν ξεχωριστό δίσκο 2TB για ενδιάμεση αντιγραφή της τρέχουσας κατάστασης των αρχείων. Ήταν δυνατή η χρήση οποιασδήποτε διανομής Linux, αλλά αυτό το μηχάνημα είχε ήδη έναν πίνακα RAID και μια άδεια χρήσης των Windows.
Εγκατάσταση στον διακομιστή αντιγράφων ασφαλείας , δημιουργούμε έναν "καθρέφτη" όλων των στοιχείων στη σειρά από όλους τους κοινόχρηστους διακομιστές αρχείων μία φορά την ημέρα το βράδυ μετά τις 18 μ.μ., εκκινώντας μέσω του χρονοπρογραμματιστή.
Σημαντικό: κατά την αποθήκευση μιας ομαδικής εργασίας, φροντίστε να επιλέξετε το "Κλείσιμο παραθύρου εργασίας όταν ολοκληρωθεί", διαφορετικά οι διεργασίες θα πολλαπλασιάζονται συνεχώς.
Προσθέτουμε προσωρινά αρχεία στις εξαιρέσεις με μάσκα: *.dwl, *.dwl2, *.tmp.
Το FreeFileSync χρησιμοποιεί το δίκτυο εξαιρετικά καλά, η αντιγραφή γίνεται σε πολλές ροές, η ταχύτητα φτάνει τα 80 Mbps κατά την αντιγραφή μεγάλων αρχείων, δεν βρέθηκαν σημεία συμφόρησης σε μικρά αρχεία.
Θα κάνουμε αρχειοθέτηση σε έναν τοπικό διακομιστή αντιγράφων ασφαλείας αντί για αυτόν που χρησιμοποιούσαμε προηγουμένως. με αρχειοθέτηση δικτύου. Παρεμπιπτόντως, το TheCopier είναι υπέροχο! Αλλά με τέτοιους τόμους, απλά δεν έχει χρόνο να μεταφέρει τα πάντα, παρά τη διεπαφή 1 Gbps στο αντίγραφο ασφαλείας και 2 Gbps στο αρχείο (σύνδεση δύο καρτών δικτύου).
Χρησιμοποιήθηκε επίσης προηγουμένως , αλλά όταν ο αριθμός των αρχείων ξεπέρασε τα 1,5-2 εκατομμύρια, σταμάτησε να λειτουργεί κανονικά, απλώς δεν μπορούσε να αντεπεξέλθει.
Για να αρχειοθετήσουμε τους απαραίτητους φακέλους, γράφουμε ένα αρχείο δέσμης για :
ορισμός τώρα=%TIME:~0,-3%
ορισμός τώρα=%τώρα::=.%
ορισμός τώρα=%τώρα: =0%
ορισμός τώρα=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%τώρα%
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"Αρχεία Προγράμματος"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
:: ένα — δημιουργία αρχείου
:: -tzip ή -t7z — τύπος αρχείου (το zip είναι 1.5-2 φορές πιο γρήγορο)
:: -mx=1 — λόγος συμπίεσης (1 ελάχιστο, 9 μέγιστο x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on — ενεργοποιεί την πολυνηματική λειτουργία όπου δεν είναι ενεργοποιημένη
:: -mtc=off - απενεργοποιεί τις χρονικές σημάνσεις του συστήματος αρχείων (όταν αποθηκεύονται, τροποποιούνται κ.λπ.)
:: -ssw - συμπιέζει επίσης αρχεία που έχουν ανοιχτεί για εγγραφή
:: -xr!.Sync* — εξαιρεί τα προσωρινά αρχεία BtSync από την αρχειοθέτηση, αφήνοντας τα μόνιμα
Η κατασκευή του set now=% και ούτω καθεξής σάς επιτρέπει να αποθηκεύσετε τη μορφή εγγραφής χρόνου στο όνομα αρχείου χωρίς τα προβλήματα που προέκυψαν όταν ο αριθμός ημέρας ή μήνα ήταν μικρότερος από 10, δηλαδή, αντικαθιστούμε με μηδέν.
Το σχόλιο -xr!.Sync* είναι ένα απομεινάρι που έχει απομείνει από το πρωτότυπο .
Έως 500 GB και 700-800 χιλιάδες αρχεία, το BTSync λειτούργησε καλά, συγχρονίστηκε εν κινήσει, αλλά με τους τρέχοντες τόμους κατανάλωνε πόρους μνήμης και επεξεργαστή τόσο στον διακομιστή αρχείων Ubuntu όσο και στον διακομιστή αντιγράφων ασφαλείας των Windows, όπου ξεκίνησε από την υπηρεσία, και επίσης απλώς βίασε το σύστημα δίσκων με συνεχείς αναγνώσεις και εγγραφές.
Παρόλο που ο αρχειοθέτης είναι 7-zip, αρχειοθετούμε σε μορφή zip αντί για την εγγενή 7z, επειδή είναι πολύ πιο γρήγορος και δεν υπάρχει πρακτικά καμία διαφορά στη συμπίεση με mx=1, όπως έχει επαληθευτεί από πολλά πειράματα.
Τα αρχεία εκτελούνται με τη σειρά τους.
Ο καθαρισμός του φακέλου με αρχεία γίνεται επίσης μέσω μιας προγραμματισμένης εργασίας χρησιμοποιώντας το βοηθητικό πρόγραμμα fpurge, αφήνοντας αρχεία όχι παλαιότερα από μία εβδομάδα.
Ως αποτέλεσμα, έχουμε ένα αντίγραφο των αρχείων της προηγούμενης ημέρας, καθώς και αρχεία της τελευταίας εβδομάδας. Το FreeFileSync τοποθετεί τα διαγραμμένα αρχεία στον κάδο απορριμμάτων.
Πηγή: www.habr.com
