Ήθελα από καιρό να γράψω για το πώς αποθηκεύω τα αρχεία μου και πώς δημιουργώ αντίγραφα ασφαλείας, αλλά ποτέ δεν το βρήκα. Πρόσφατα εμφανίστηκε εδώ ένα άρθρο, κάπως παρόμοιο με το δικό μου αλλά με διαφορετική προσέγγιση.
Προσπαθώ να βρω την τέλεια μέθοδο για την αποθήκευση αρχείων εδώ και πολλά χρόνια. Νομίζω ότι το βρήκα, αλλά πάντα υπάρχει κάτι να βελτιώσω, αν έχετε ιδέες για το πώς να το κάνετε καλύτερα, θα χαρώ να το διαβάσω.
Θα ξεκινήσω λέγοντάς σας λίγα λόγια για τον εαυτό μου, κάνω ανάπτυξη ιστοσελίδων και φωτογραφίζω στον ελεύθερο χρόνο μου. Εξ ου και το συμπέρασμα ότι πρέπει να αποθηκεύσω εργασίες και προσωπικά έργα, φωτογραφίες, βίντεο και άλλα αρχεία.
Έχω περίπου 680 GB αρχείων, το 90% των οποίων είναι φωτογραφίες και βίντεο.
Κυκλοφορία αρχείων στις αποθήκες μου:
Εδώ είναι ένα κατά προσέγγιση διάγραμμα για το πώς και πού αποθηκεύονται όλα τα αρχεία μου.
Τώρα περισσότερο.
Όπως μπορείτε να δείτε, η καρδιά των πάντων είναι το NAS μου, δηλαδή το Synology DS214, ένα από τα πιο απλά NAS της Synology, ωστόσο, αντιμετωπίζει όλα όσα χρειάζομαι.
dropbox
Το μηχάνημα εργασίας μου είναι ένα macbook pro 13, 2015. Έχω 512 GB εκεί, αλλά φυσικά δεν χωράνε όλα τα αρχεία, αποθηκεύω μόνο ότι χρειάζεται αυτή τη στιγμή. Συγχρονίζω όλα τα προσωπικά μου αρχεία και φακέλους με το Dropbox, ξέρω ότι δεν είναι πολύ αξιόπιστο, αλλά εκτελεί μόνο τη λειτουργία συγχρονισμού. Και το κάνει καλύτερα, τουλάχιστον από ότι έχω δοκιμάσει. Και δοκίμασα όλα τα περίφημα και όχι τόσο διάσημα σύννεφα.
Το Synology έχει επίσης το δικό του σύννεφο, μπορείτε να το αναπτύξετε στο NAS σας, προσπάθησα αρκετές φορές να αλλάξω από το Dropbox στο Synology Cloud Station, αλλά πάντα υπήρχαν προβλήματα με το συγχρονισμό, υπήρχαν πάντα κάποια σφάλματα ή δεν τα συγχρονίζω όλα.
Όλα τα σημαντικά αρχεία αποθηκεύονται στο φάκελο Dropbox, μερικές φορές αποθηκεύω κάτι στην επιφάνεια εργασίας μου, για να μην χάσω κάτι, έφτιαξα έναν συμβολικό σύνδεσμο προς το φάκελο Dropbox χρησιμοποιώντας το πρόγραμμα MacDropAny.
Ο φάκελος "Λήψη μου" δεν συγχρονίζεται με κανέναν τρόπο, αλλά δεν υπάρχει τίποτα σημαντικό εκεί, μόνο προσωρινά αρχεία. Αν κατεβάσω κάτι σημαντικό, το αντιγράφω στον κατάλληλο φάκελο στο Dropbox.
Οι περιπέτειές μου με το DropboxΚάποτε, κάπου το 2013-2014, είχα αποθηκεύσει όλα τα αρχεία μου στο Dropbox και μόνο εκεί, δεν υπήρχαν αντίγραφα ασφαλείας. Τότε δεν είχα 1Tb, δηλαδή δεν το πλήρωσα, είχα περίπου 25Gb, που κέρδισα προσκαλώντας φίλους ή άλλες εργασίες.
Μια ωραία πρωία άνοιξα τον υπολογιστή και εξαφανίστηκαν όλα τα αρχεία μου, έλαβα και ένα γράμμα από το Dropbox όπου ζητούν συγγνώμη και ότι τα αρχεία μου εξαφανίστηκαν με δική τους υπαιτιότητα. Μου έδωσαν έναν σύνδεσμο όπου μπορούσα να επαναφέρω τα αρχεία μου, αλλά φυσικά δεν έγινε επαναφορά τίποτα. Για αυτό μου έδωσαν 1Tb για ένα χρόνο και μετά έγινα πελάτης τους, όσο περίεργο κι αν ακούγεται, αλλά δεν τους εμπιστεύτηκα ποτέ.
Όπως έγραψα παραπάνω, δεν μπορούσα να βρω ένα σύννεφο που ήταν πιο κατάλληλο για μένα, πρώτον, δεν υπήρχαν ακόμα προβλήματα συγχρονισμού και, δεύτερον, πολλές διαφορετικές υπηρεσίες λειτουργούν μόνο με το Dropbox.
Git
Τα αρχεία εργασίας αποθηκεύονται στον διακομιστή εργασίας, τα προσωπικά έργα αποθηκεύονται στο GitLab, όλα είναι απλά εδώ.
μηχανή του χρόνου
Κάνω και backup όλου του συστήματος, εξαιρουμένου του φακέλου Dropbox και Downloads φυσικά, για να μην πιάνω χώρο μάταια. Δημιουργώ αντίγραφα ασφαλείας του συστήματος χρησιμοποιώντας το Time Machine, ένα εξαιρετικό εργαλείο που με έχει βοηθήσει περισσότερες από μία φορές. Στο ίδιο NAS το κάνω, ευτυχώς έχει τέτοια λειτουργία. Μπορείτε να το κάνετε σε έναν εξωτερικό σκληρό δίσκο, φυσικά, αλλά δεν είναι τόσο βολικό. Κάθε φορά που χρειάζεται να συνδέσετε μια εξωτερική μονάδα δίσκου και να εκκινήσετε μόνοι σας το Time Machine. Λόγω τεμπελιάς, έκανα συχνά τέτοια αντίγραφα ασφαλείας μία φορά κάθε λίγες εβδομάδες. Κάνει αυτόματα αντίγραφα ασφαλείας στον διακομιστή, δεν το παρατηρώ καν πότε το κάνει. Εργάζομαι από το σπίτι, επομένως έχω πάντα ένα νέο αντίγραφο ασφαλείας ολόκληρου του συστήματός μου. Ένα αντίγραφο γίνεται πολλές φορές την ημέρα, δεν μέτρησα πόσες φορές και πόσο συχνά.
NAS
Εδώ συμβαίνει όλη η μαγεία.
Το Synology έχει ένα εξαιρετικό εργαλείο, λέγεται Cloud Sync, νομίζω ότι από το όνομα είναι ξεκάθαρο τι κάνει.
Μπορεί να συγχρονίσει πολλά συστήματα cloud μεταξύ τους, ή πιο συγκεκριμένα, να συγχρονίσει αρχεία από έναν διακομιστή NAS με άλλα σύννεφα. Νομίζω ότι υπάρχει μια ανασκόπηση αυτού του προγράμματος στο διαδίκτυο. Δεν θα μπω σε λεπτομέρειες. Καλύτερα να περιγράψω πώς το χρησιμοποιώ.
Στον διακομιστή έχω έναν φάκελο δίσκου που ονομάζεται Dropbox, είναι ένα αντίγραφο του λογαριασμού μου στο Dropbox, το Cloud Sync είναι υπεύθυνο για το συγχρονισμό όλων αυτών. Εάν κάτι συνέβη στα αρχεία στο Dropbox, θα συμβεί στον διακομιστή, δεν έχει σημασία αν έχει διαγραφεί ή δημιουργηθεί. Γενικά, κλασικός συγχρονισμός.
Δίσκος Yandex
Στη συνέχεια, ρίχνω όλα αυτά τα αρχεία στον δίσκο Yandex μου, τον χρησιμοποιώ ως αυτοσχέδιο δίσκο αντιγράφων ασφαλείας, δηλαδή ρίχνω τα αρχεία εκεί αλλά δεν διαγράφω τίποτα από εκεί, αποδεικνύεται ότι είναι μια τέτοια χωματερή αρχείων, αλλά βοήθησε μερικές φορές.
Google Drive
Εκεί στέλνω μόνο το φάκελο "Photos", επίσης σε λειτουργία συγχρονισμού, το κάνω μόνο για εύκολη προβολή φωτογραφιών στο Google Photos και με τη δυνατότητα να διαγράψω φωτογραφίες από εκεί και διαγράφονται παντού (εκτός φυσικά από το δίσκο Yandex). Θα γράψω για την παρακάτω φωτογραφία· θα μπορούσατε ακόμη και να γράψετε ένα ξεχωριστό άρθρο εκεί.
HyperBackup
Αλλά όλα αυτά δεν είναι πολύ αξιόπιστα· εάν διαγράψετε κατά λάθος ένα αρχείο, θα διαγραφεί παντού και μπορείτε να το θεωρήσετε χαμένο. Μπορείτε, φυσικά, να κάνετε επαναφορά από το δίσκο Yandex, αλλά πρώτον, ένα αντίγραφο ασφαλείας σε ένα μέρος δεν είναι από μόνο του πολύ αξιόπιστο και ο ίδιος ο δίσκος Yandex δεν είναι μια υπηρεσία στην οποία μπορείτε να είστε 100% σίγουροι, παρόλο που δεν έχει υπάρξει ποτέ προβλήματα με αυτό.
Επομένως, προσπαθούσα πάντα να αποθηκεύω αρχεία κάπου αλλού, με ένα κανονικό σύστημα δημιουργίας αντιγράφων ασφαλείας.
Το Synology έχει επίσης ένα εργαλείο για αυτό, που ονομάζεται HyperBackup, δημιουργεί αντίγραφα ασφαλείας των αρχείων είτε σε άλλους διακομιστές Synology είτε σε ορισμένες λύσεις cloud από τρίτους κατασκευαστές.
Μπορεί επίσης να δημιουργήσει αντίγραφα ασφαλείας σε εξωτερικούς δίσκους που είναι συνδεδεμένοι σε NAS, κάτι που έκανα μέχρι πρόσφατα. Αλλά αυτό δεν είναι επίσης αξιόπιστο, για παράδειγμα, εάν υπάρχει πυρκαγιά, τότε το τέλος τόσο του διακομιστή όσο και του σκληρού δίσκου.
Συνολογία Γ2
Εδώ προσεγγίζουμε σταδιακά μια άλλη υπηρεσία, αυτή τη φορά από την ίδια τη Synology. Έχει τα δικά του σύννεφα για την αποθήκευση αντιγράφων ασφαλείας. Έχει σχεδιαστεί ειδικά για το HyperBackup, δημιουργεί αντίγραφα ασφαλείας εκεί κάθε μέρα, αλλά αυτό είναι ένα καλά μελετημένο αντίγραφο ασφαλείας, υπάρχουν εκδόσεις αρχείων, χρονοδιάγραμμα, ακόμη και πελάτες για Windows και mac os.
Αυτό είναι όλο για αποθήκευση αρχείων, ελπίζω τα αρχεία μου να είναι ασφαλή.
Τώρα ας προχωρήσουμε στην ταξινόμηση των αρχείων.
Ταξινομώ συνηθισμένα αρχεία, βιβλία, σαρώσεις εγγράφων και άλλα ασήμαντα αρχεία σε φακέλους με το χέρι, όπως όλα τα άλλα. Συνήθως δεν είναι πολλά και σπάνια τα ανοίγω.
Το πιο δύσκολο πράγμα είναι η ταξινόμηση φωτογραφιών και βίντεο, έχω πολλά από αυτά.
Βγάζω από πολλές δεκάδες έως αρκετές εκατοντάδες φωτογραφίες το μήνα. Φωτογραφίζω με DSLR, drone και μερικές φορές με το τηλέφωνό μου. Οι φωτογραφίες μπορεί να είναι προσωπικές ή για στοκ. Επίσης μερικές φορές τραβάω βίντεο στο σπίτι (όχι αυτό που νομίζετε, μόνο οικογενειακά βίντεο, συχνά με την κόρη μου). Πρέπει επίσης να αποθηκευτεί και να ταξινομηθεί με κάποιο τρόπο ώστε να μην γίνει χάος.
Έχω έναν φάκελο στο ίδιο Dropbox που ονομάζεται Ταξινόμηση εικόνων, υπάρχουν υποφάκελοι όπου πηγαίνουν όλες οι φωτογραφίες και τα βίντεο, από εκεί λαμβάνονται και ταξινομούνται όπου χρειάζεται.
Η ταξινόμηση πραγματοποιείται στον διακομιστή NAS, υπάρχουν σενάρια bash που εκτελούνται εκεί που εκκινούνται αυτόματα μία φορά την ημέρα και κάνουν τη δουλειά τους. Το NAS είναι επίσης υπεύθυνο για την εκκίνησή τους· υπάρχει ένας προγραμματιστής εργασιών που είναι υπεύθυνος για την εκκίνηση όλων των σεναρίων και άλλων εργασιών. Μπορείτε να διαμορφώσετε πόσο συχνά και πότε θα εκκινούνται οι εργασίες, αν είναι απλούστερο, να διασυνδέσετε με μια διεπαφή.
Κάθε φάκελος έχει το δικό του σενάριο. Τώρα περισσότερα για τους φακέλους:
Κηφήνας — ορίστε φωτογραφίες από drone που τράβηξα για προσωπικούς σκοπούς. Πρώτα επεξεργάζομαι όλες τις φωτογραφίες στο lightroom και μετά εξάγω JPG σε αυτόν τον φάκελο. Από εκεί καταλήγουν σε έναν άλλο φάκελο Dropbox, το «Photo».
Υπάρχει ένας φάκελος "Drone" και εκεί έχουν ήδη ταξινομηθεί ανά έτος και μήνα. Τα ίδια τα σενάρια δημιουργούν τους απαραίτητους φακέλους και μετονομάζουν τις φωτογραφίες σύμφωνα με το πρότυπό μου, συνήθως αυτή είναι η ημερομηνία και η ώρα λήψης της φωτογραφίας, προσθέτω επίσης έναν τυχαίο αριθμό στο τέλος για να μην εμφανίζονται αρχεία με το ίδιο όνομα. Δεν θυμάμαι γιατί η ρύθμιση των δευτερολέπτων στο όνομα του αρχείου δεν ήταν κατάλληλη για αυτούς τους σκοπούς.
Το δέντρο μοιάζει με αυτό: Photo/Drone/2019/05 — Μάιος/01 — Μάιος — 2019_19.25.53_37.jpg
Βίντεο Drone — Δεν τραβάω βίντεο με drone ακόμα, υπάρχουν πολλά να μάθω, δεν έχω χρόνο για αυτό τώρα, αλλά έχω ήδη δημιουργήσει έναν φάκελο.
Λειτουργίες εικόνας — υπάρχουν δύο φάκελοι μέσα, όταν βρίσκονται αρχεία εκεί, απλά είτε συμπιέζονται στη μέγιστη πλευρά στα 2000 px για δημοσίευση στο Διαδίκτυο, είτε ανατρέπονται οι εικόνες, δεν το χρειάζομαι πλέον, αλλά δεν έχω διαγράψει ακόμα τον φάκελο.
Πανόραμα — εδώ μπαίνουν τα πανοραμικά, όπως μπορεί να μαντέψετε, τα αποθηκεύω χωριστά μιας και πρόκειται για συγκεκριμένο τύπο φωτογραφίας, συνήθως τα βγάζω με drone. Κάνω επίσης κανονικές πανοραμικές εικόνες, αλλά κάνω και 360 πανοράματα και μερικές φορές σφαίρες, τέτοιου είδους πανοράματα σαν μικρούς πλανήτες, το κάνω και με drone. Από αυτόν τον φάκελο, όλες οι φωτογραφίες πηγαίνουν επίσης στο Photo/Panoramas/2019/01 - Μάιος - 2019_19.25.53_37.jpg. Εδώ δεν ταξινομώ ανά μήνα γιατί δεν υπάρχουν τόσα πανοράματα.
Προσωπική Φωτογραφία — Εδώ είναι οι φωτογραφίες που βγάζω με μια DSLR, συνήθως αυτές είναι οικογενειακές φωτογραφίες ή ταξίδια, γενικά, φωτογραφίες που τραβήχτηκαν για μνήμη και για μένα. Επεξεργάζομαι επίσης ακατέργαστες φωτογραφίες στο Lightroom και στη συνέχεια τις εξάγω εδώ.
Από εδώ φτάνουν εδώ: Φωτογραφία/2019/05 — Μάιος/01 — Μάιος — 2019_19.25.53_37.jpg
Αν φωτογράφισα κάποιο είδος γιορτής ή κάτι άλλο που θα ήταν καλύτερα αποθηκευμένο ξεχωριστά, τότε στον φάκελο 2019 δημιουργώ έναν φάκελο με το όνομα της γιορτής και αντιγράφω τη φωτογραφία εκεί με μη αυτόματο τρόπο.
RAW — εδώ είναι οι πηγές φωτογραφιών. Πάντα φωτογραφίζω σε RAW, αποθηκεύω όλες τις φωτογραφίες σε JPG, αλλά μερικές φορές θέλω να αποθηκεύσω και αρχεία RAW, μερικές φορές θέλω να επεξεργαστώ ένα καρέ διαφορετικά. Συνήθως αυτή είναι η φύση και μόνο οι καλύτερες λήψεις φτάνουν εκεί, όχι όλες στη σειρά.
Φωτογραφία Αρχείου — εδώ δημοσιεύω φωτογραφίες για στοκ φωτογραφίες, τις οποίες βγάζω είτε με DSLR είτε με drone. Η ταξινόμηση είναι ίδια όπως σε άλλες φωτογραφίες, μόνο στον δικό της ξεχωριστό φάκελο.
Στον ριζικό κατάλογο του Dropbox, υπάρχει ένας φάκελος Μεταφορτώσεις κάμερας, αυτός είναι ο προεπιλεγμένος φάκελος στον οποίο η εφαρμογή για κινητά Dropbox ανεβάζει όλες τις φωτογραφίες και τα βίντεο. Όλες οι φωτογραφίες της συζύγου από το τηλέφωνο απορρίπτονται με αυτόν τον τρόπο. Ανεβάζω επίσης όλες τις φωτογραφίες και τα βίντεο από το τηλέφωνό μου εδώ και από εκεί τα ταξινομώ σε ξεχωριστό φάκελο. Αλλά το κάνω με διαφορετικό τρόπο, πιο βολικό για μένα. Υπάρχει ένα τέτοιο πρόγραμμα για Android, το FolderSync, σου επιτρέπει να τραβήξεις όλες τις φωτογραφίες από το κινητό σου, να τις ανεβάσεις στο Dropbox και μετά να τις διαγράψεις από το τηλέφωνο. Υπάρχουν πολλές ρυθμίσεις, το προτείνω. Τα βίντεο από το τηλέφωνό σας μπαίνουν επίσης σε αυτόν τον φάκελο· επίσης ταξινομούνται όπως όλες οι φωτογραφίες, ανά έτος και μήνα.
Μάζεψα όλα τα σενάρια μόνος μου από διάφορες οδηγίες στο Διαδίκτυο, δεν βρήκα έτοιμες λύσεις. Δεν ξέρω τίποτα απολύτως για τα σενάρια bash, ίσως υπάρχουν κάποια λάθη ή κάποια πράγματα θα μπορούσαν να γίνουν καλύτερα, αλλά το πιο σημαντικό για μένα είναι ότι κάνουν τη δουλειά τους και κάνουν ό,τι χρειάζομαι.
Τα σενάρια ανέβηκαν στο GitHub:
Προηγουμένως, για να ταξινομήσω φωτογραφίες και βίντεο, χρησιμοποιούσα το Hazel σε mac os, όλα είναι πιο εύκολα εκεί, όλες οι εργασίες δημιουργούνται οπτικά, δεν χρειάζεται να γράψω κώδικα, αλλά υπάρχουν δύο μειονεκτήματα. Πρώτον, πρέπει να διατηρήσετε όλους τους φακέλους στον υπολογιστή έτσι ώστε όλα να λειτουργούν καλά και δεύτερον, εάν ξαφνικά μεταβώ σε Windows ή Linux, δεν υπάρχουν τέτοια προγράμματα εκεί. Προσπάθησα να ψάξω για μια εναλλακτική, αλλά όλα ήταν μάταια. Μια λύση με σενάρια στον διακομιστή είναι μια πιο καθολική λύση.
Όλα τα σενάρια έχουν ρυθμιστεί ώστε να εκτελούνται μία φορά την ημέρα, συνήθως τη νύχτα. Αλλά αν δεν έχετε χρόνο να περιμένετε και πρέπει να εκτελέσετε με κάποιο τρόπο το απαιτούμενο σενάριο τώρα, υπάρχουν δύο λύσεις: συνδεθείτε μέσω SSH στον διακομιστή και εκτελέστε το απαιτούμενο σενάριο ή μεταβείτε στον πίνακα διαχείρισης και επίσης εκτελέστε μη αυτόματα το απαιτούμενο γραφή. Όλα αυτά μου φαίνονται άβολα, οπότε βρήκα μια τρίτη λύση. Υπάρχει ένα πρόγραμμα για Android που μπορεί να στείλει εντολές ssh. Δημιούργησα πολλές εντολές, η καθεμία έχει το δικό της κουμπί και τώρα αν χρειαστεί να ταξινομήσω, για παράδειγμα, φωτογραφίες που τράβηξα από drone, τότε απλώς πατάω ένα κουμπί και το σενάριο εκτελείται. Το πρόγραμμα ονομάζεται SSHing, υπάρχουν και άλλα παρόμοια, αλλά για μένα αυτό είναι το πιο βολικό.
Έχω επίσης αρκετούς από τους δικούς μου ιστότοπους, είναι περισσότερο για προβολή, σχεδόν κανείς δεν πηγαίνει εκεί, αλλά και πάλι δεν βλάπτει να κάνετε ένα αντίγραφο ασφαλείας. Τρέχω τους ιστότοπούς μου στο DigitalOcean, όπου εγκατέστησα τον πίνακα aaPanel. Εκεί είναι δυνατή η δημιουργία αντιγράφων ασφαλείας όλων των αρχείων και όλων των βάσεων δεδομένων, αλλά στον ίδιο δίσκο.
Η αποθήκευση ενός αντιγράφου ασφαλείας στον ίδιο δίσκο δεν συμβαίνει, επομένως χρησιμοποιώ επίσης ένα σενάριο bash για να πάω εκεί και να αντιγράψω τα πάντα στον διακομιστή μου, αρχειοθετώντας τα πάντα σε ένα αρχείο με την ημερομηνία στο όνομα.
Ελπίζω τουλάχιστον κάποιος να βοηθηθεί από τις μεθόδους που χρησιμοποιώ και με τις οποίες μοιράστηκα.
Όπως φαίνεται από το άρθρο, αγαπώ τον αυτοματισμό και προσπαθώ να αυτοματοποιήσω ό,τι είναι δυνατό, δεν περιέγραψα πολλά πράγματα από την άποψη του αυτοματισμού, καθώς αυτά είναι ήδη άλλα θέματα και άλλα άρθρα.
Πηγή: www.habr.com