Desidero da tempo scrivere su come archivio i miei file e su come eseguo i backup, ma non ci sono mai riuscito. Recentemente è apparso qui un articolo, in qualche modo simile al mio ma con un approccio diverso.
Sono ormai molti anni che cerco di trovare il metodo perfetto per archiviare i file. Penso di averlo trovato, ma c'è sempre qualcosa da migliorare, se hai qualche idea su come farlo al meglio, sarò felice di leggerlo.
Inizierò raccontandovi qualche parola su di me, mi occupo di sviluppo web e scatto fotografie nel tempo libero. Da qui la conclusione che devo archiviare lavori e progetti personali, foto, video e altri file.
Ho circa 680 GB di file, il 90% dei quali sono foto e video.
Circolazione dei file nei miei archivi:
Ecco un diagramma approssimativo di come e dove sono archiviati tutti i miei file.
Ora di più.
Come puoi vedere, il cuore di tutto è il mio NAS, ovvero il Synology DS214, uno dei NAS più semplici di Synology, tuttavia, fa fronte a tutto ciò di cui ho bisogno.
dropbox
La mia macchina da lavoro è un MacBook Pro 13, 2015. Ho 512 GB lì, ma ovviamente non tutti i file ci stanno, memorizzo solo ciò che è necessario al momento. Sincronizzo tutti i miei file e cartelle personali con Dropbox, so che non è molto affidabile, ma svolge solo la funzione di sincronizzazione. E lo fa meglio, almeno da quello che ho provato. E ho provato tutte le nuvole famose e meno famose.
Anche Synology ha un proprio cloud, puoi distribuirlo sul tuo NAS, ho provato più volte a passare da Dropbox a Synology Cloud Station, ma c'erano sempre problemi con la sincronizzazione, c'erano sempre degli errori o non sincronizzavo tutto.
Tutti i file importanti sono archiviati nella cartella Dropbox, a volte salvo qualcosa sul desktop, per non perdere qualcosa ho creato un collegamento simbolico alla cartella Dropbox utilizzando il programma MacDropAny.
La mia cartella Download non è sincronizzata in alcun modo, ma non c'è nulla di importante, solo file temporanei. Se scarico qualcosa di importante, lo copio nella cartella appropriata in Dropbox.
Le mie avventure con DropboxC'era una volta, da qualche parte nel 2013-2014, archiviavo tutti i miei file in Dropbox e solo lì non c'erano backup. Allora non avevo 1 TB, cioè non l'ho pagato, avevo circa 25 Gb, che guadagnavo invitando amici o altre attività.
Una bella mattina ho acceso il computer e tutti i miei file sono scomparsi, ho anche ricevuto una lettera da Dropbox in cui si scusano e dicono che i miei file sono scomparsi per colpa loro. Mi hanno fornito un collegamento dove avrei potuto ripristinare i miei file, ma ovviamente non è stato ripristinato nulla. Per questo mi hanno dato 1 TB per un anno, dopodiché sono diventato loro cliente, per quanto strano possa sembrare, ma non mi sono mai fidato di loro.
Come ho scritto sopra, non sono riuscito a trovare un cloud più adatto a me, in primo luogo non c'erano ancora problemi di sincronizzazione e, in secondo luogo, molti servizi diversi funzionano solo con Dropbox.
Idiota
I file di lavoro sono archiviati sul server di lavoro, i progetti personali sono archiviati su GitLab, qui tutto è semplice.
tempo macchina
Faccio anche il backup dell'intero sistema, esclusa ovviamente la cartella Dropbox e Download, per non occupare spazio invano. Eseguo il backup del sistema utilizzando Time Machine, uno strumento eccellente che mi ha aiutato più di una volta. Lo faccio sullo stesso NAS, fortunatamente ha una funzione del genere. Puoi farlo su un HDD esterno, ovviamente, ma non è così conveniente. Ogni volta che devi collegare un'unità esterna e avviare tu stesso Time Machine. Per pigrizia, spesso eseguivo tali backup una volta ogni poche settimane. Effettua automaticamente i backup sul server, non mi accorgo nemmeno quando lo fa. Lavoro da casa, quindi ho sempre un backup aggiornato dell'intero sistema. Una copia viene fatta più volte al giorno, non ho contato quante volte e quanto spesso.
NAS
È qui che avviene tutta la magia.
Synology ha un ottimo strumento, si chiama Cloud Sync, penso che dal nome sia chiaro cosa fa.
Può sincronizzare molti sistemi cloud tra loro o, più precisamente, sincronizzare i file da un server NAS con altri cloud. Penso che ci sia una recensione di questo programma online. Non entrerò nei dettagli. Sarà meglio descrivere come lo utilizzo.
Sul server ho una cartella del disco chiamata Dropbox, è una copia del mio account Dropbox, Cloud Sync è responsabile della sincronizzazione di tutto questo. Se è successo qualcosa ai file in Dropbox, accadrà sul server, non importa se è stato cancellato o creato. In generale, sincronizzazione classica.
Unità Yandex
Successivamente, lancio tutti questi file sul mio disco Yandex, lo uso come disco di backup fatto in casa, cioè lancio i file lì ma non cancello nulla da lì, risulta essere un tale dump di file, ma mi ha aiutato un paio di volte.
Google drive
Lì invio solo la cartella "Foto", anche in modalità sincronizzazione, lo faccio solo per una comoda visualizzazione delle foto in Google Foto e con la possibilità di eliminare le foto da lì e vengono cancellate ovunque (ad eccezione del disco Yandex ovviamente). Scriverò della foto qui sotto; potresti anche scrivere un articolo separato lì.
HyperBackup
Ma tutto questo non è molto affidabile: se elimini accidentalmente un file, verrà cancellato ovunque e potrai considerarlo perso. Ovviamente puoi ripristinare dal disco Yandex, ma in primo luogo, un backup in un unico posto non è molto affidabile di per sé, e il disco Yandex stesso non è un servizio di cui puoi essere sicuro al 100%, anche se non ce n'è mai stato uno problemi con esso.
Pertanto ho sempre cercato di archiviare i file altrove, con un normale sistema di backup.
Synology dispone anche di uno strumento per questo, si chiama HyperBackup, esegue il backup dei file su altri server Synology o su alcune soluzioni cloud di produttori di terze parti.
Può anche eseguire backup su unità esterne collegate a un NAS, che è quello che facevo fino a poco tempo fa. Ma anche questo non è affidabile, ad esempio, se si verifica un incendio, la fine sia del server che dell'HDD.
Sinologia C2
Qui ci avviciniamo gradualmente a un altro servizio, questa volta della stessa Synology. Dispone di cloud propri per l'archiviazione dei backup. È progettato specificamente per HyperBackup, esegue backup lì ogni giorno, ma questo è un backup ben congegnato, ci sono versioni di file, una sequenza temporale e persino client per Windows e Mac OS.
Questo è tutto per l'archiviazione dei file, spero che i miei file siano al sicuro.
Passiamo ora all'ordinamento dei file.
Ordino manualmente file ordinari, libri, scansioni di documenti e altri file non importanti in cartelle, proprio come tutto il resto. Di solito non ce ne sono molti e li apro raramente.
La cosa più difficile è ordinare foto e video, ne ho molti.
Scatto da diverse dozzine a diverse centinaia di foto al mese. Scatto con una DSLR, un drone e talvolta con il mio telefono. Le foto possono essere personali o di archivio. A volte giro anche video casalinghi (non quello che potresti pensare, solo video di famiglia, spesso con mia figlia). Deve anche essere in qualche modo archiviato e ordinato in modo che non diventi un disastro.
Ho una cartella nello stesso Dropbox chiamata Sort Images, ci sono sottocartelle in cui vanno tutte le foto e i video, da lì vengono presi e ordinati dove necessario.
L'ordinamento avviene sul server NAS, lì sono in esecuzione gli script bash che vengono avviati automaticamente una volta al giorno e fanno il loro lavoro. Il NAS è anche responsabile del loro avvio; c'è un pianificatore di attività che è responsabile dell'avvio di tutti gli script e altre attività. Puoi configurare la frequenza e il momento in cui verranno avviate le attività, cron con un'interfaccia se è più semplice.
Ogni cartella ha il proprio script. Ora ulteriori informazioni sulle cartelle:
Fuco — ecco le foto di un drone che ho scattato per scopi personali. Per prima cosa elaboro tutte le foto in Lightroom, quindi esporto JPG in questa cartella. Da lì finiscono in un'altra cartella Dropbox, "Foto".
C'è una cartella "Drone" e lì sono già ordinati per anno e mese. Gli script stessi creano le cartelle necessarie e rinominano le foto stesse secondo il mio modello, di solito questa è la data e l'ora in cui è stata scattata la foto, alla fine aggiungo anche un numero casuale in modo che i file con lo stesso nome non vengano visualizzati. Non ricordo perché impostare i secondi nel nome del file non fosse adatto a questi scopi.
L'albero si presenta così: Photo/Drone/2019/05 — Maggio/01 — Maggio — 2019_19.25.53_37.jpg
Drone Video — Non giro ancora video con il drone, c'è molto da imparare, non ho tempo adesso, ma ho già creato una cartella.
Operazioni sulle immagini — ci sono due cartelle all'interno, quando i file vengono trovati lì, vengono semplicemente compressi sul lato massimo a 2000px per la pubblicazione su Internet, oppure le immagini vengono capovolte, non ne ho più bisogno, ma non ho eliminato le cartelle cartella ancora.
panorami — è qui che entrano in gioco i panorami, come puoi immaginare, li conservo separatamente poiché si tratta di un tipo specifico di foto, di solito li scatto con un drone. Faccio anche panorami normali, ma faccio anche panorami a 360 gradi e talvolta sfere, questo tipo di panorami come piccoli pianeti, lo faccio anche con un drone. Da questa cartella, tutte le foto vanno anche a Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Qui non ordinamento per mese perché non ci sono molti panorami.
Foto personale — Ecco le foto che scatto con una DSLR, di solito si tratta di foto di famiglia o di viaggio, in generale, foto che vengono scattate per ricordo e per me stesso. Elaboro anche le foto grezze in Lightroom e poi le esporto qui.
Da qui arrivano qui: Photo/2019/05 — Maggio/01 — Maggio — 2019_19.25.53_37.jpg
Se ho fotografato qualche tipo di celebrazione o qualcos'altro che sarebbe meglio archiviare separatamente, nella cartella 2019 creo una cartella con il nome della celebrazione e copio lì la foto manualmente.
RAW - ecco le fonti delle foto. Scatto sempre in RAW, memorizzo tutte le foto in JPG, ma a volte voglio archiviare anche i file RAW, a volte voglio elaborare un fotogramma in modo diverso. Di solito questa è la natura e solo gli scatti migliori arrivano lì, non tutti di seguito.
Archivi di fotografie - qui carico foto per foto d'archivio, che scatto su una DSLR o su un drone. L'ordinamento è lo stesso delle altre foto, solo nella sua cartella separata.
Nella directory principale di Dropbox è presente una cartella Caricamenti fotocamera, questa è la cartella predefinita in cui l'applicazione mobile Dropbox carica tutte le foto e i video. Tutte le foto della moglie dal telefono vengono eliminate in questo modo. Inoltre carico qui tutte le mie foto e i video dal mio telefono e da lì li ordino in una cartella separata. Ma lo faccio in un modo diverso, più conveniente per me. Esiste un programma simile per Android, FolderSync, che ti permette di prendere tutte le foto dal tuo cellulare, caricarle su Dropbox e poi cancellarle dal telefono. Ci sono molte impostazioni, lo consiglio. Anche i video del tuo telefono vanno in questa cartella; anch'essi sono ordinati come tutte le foto, per anno e mese.
Ho raccolto personalmente tutti gli script da varie istruzioni su Internet, non ho trovato soluzioni già pronte. Non so assolutamente nulla degli script bash, forse ci sono degli errori o alcune cose potrebbero essere fatte meglio, ma la cosa più importante per me è che facciano il loro lavoro e facciano ciò di cui ho bisogno.
Gli script sono stati caricati su GitHub:
In precedenza, per ordinare foto e video, usavo Hazel sotto Mac OS, lì tutto è più semplice, tutte le attività vengono create visivamente, non è necessario scrivere codice, ma ci sono due svantaggi. In primo luogo, è necessario conservare tutte le cartelle sul computer in modo che tutto funzioni bene e, in secondo luogo, se passo improvvisamente a Windows o Linux, non ci sono programmi simili lì. Ho provato a cercare un'alternativa ma sono state tutte inutili. Una soluzione con script sul server è una soluzione più universale.
Tutti gli script sono configurati per essere eseguiti una volta al giorno, solitamente di notte. Ma se non hai tempo di aspettare e devi in qualche modo eseguire subito lo script richiesto, ci sono due soluzioni: connetterti tramite SSH al server ed eseguire lo script richiesto, oppure andare al pannello di amministrazione ed eseguire anche manualmente lo script richiesto sceneggiatura. Tutto questo mi sembra scomodo, quindi ho trovato una terza soluzione. Esiste un programma per Android in grado di inviare comandi ssh. Ho creato diversi comandi, ognuno ha il proprio pulsante e ora se devo ordinare, ad esempio, le foto che ho scattato da un drone, basta premere un pulsante e lo script viene eseguito. Il programma si chiama SSHing, ce ne sono altri simili, ma per me questo è il più conveniente.
Ho anche molti dei miei siti, sono più per lo spettacolo, quasi nessuno ci va, ma comunque non fa male fare un backup. Gestisco i miei siti su DigitalOcean, dove ho installato il pannello aaPanel. Lì è possibile effettuare copie di backup di tutti i file e di tutti i database, ma sullo stesso disco.
Archiviare un backup sullo stesso disco non è il caso, quindi utilizzo anche uno script bash per andare lì e copiare tutto sul mio server, archiviando tutto in un archivio con la data nel nome.
Spero che almeno qualcuno venga aiutato dai metodi che utilizzo e con i quali ho condiviso.
Come si vede dall'articolo, amo l'automazione e cerco di automatizzare tutto ciò che è possibile, non ho descritto molte cose dal punto di vista dell'automazione, visto che questi sono già altri argomenti e altri articoli.
Fonte: habr.com