Volevo scrivere da tempo su come archivio i miei file, come faccio i backup, ma non riuscivo mai a trovare il tempo. Recentemente è uscito un articolo simile al mio, ma con un approccio diverso.
Da molti anni cerco il metodo ideale per archiviare i file. Penso di averlo trovato, ma c'è sempre spazio per migliorare; se hai idee su come fare meglio, sarei felice di leggerle.
Comincerò dicendo un paio di parole su di me: mi occupo di sviluppo web e nel tempo libero faccio fotografie. Di conseguenza, ho bisogno di archiviare progetti di lavoro e personali, foto, video e altri file.
Ho circa 680 GB di file, di cui il 90% sono foto e video.
Il ciclo dei file nei miei archivi:
Qui c'è uno schema approssimativo di come e dove sono archiviati tutti i miei file.
Ora più nel dettaglio.
Come si può vedere, il cuore di tutto è il mio NAS, precisamente il Synology DS214, uno dei NAS più semplici della Synology; tuttavia, gestisce tutto ciò di cui ho bisogno.
Dropbox
La mia macchina da lavoro è un MacBook Pro 13, del 2015. Ho 512 GB, ma ovviamente non ci stanno tutti i file, quindi archivio solo ciò che mi serve al momento. Sincronizzo tutti i miei file e cartelle personali con Dropbox; so che non è molto affidabile, ma esegue solo la funzione di sincronizzazione. E lo fa meglio di qualsiasi altra opzione che ho provato, almeno tra le famose e meno famose soluzioni cloud.
Anche Synology ha il proprio cloud, è possibile attivarlo sul proprio NAS. Ho provato diverse volte a passare da Dropbox a Synology Cloud Station, ma ho sempre avuto problemi di sincronizzazione, sempre errori o non tutto veniva sincronizzato.
Tutti i file importanti sono archiviati nella cartella Dropbox; a volte salvo qualcosa sul desktop e per non perderlo ho fatto un symlink nella cartella Dropbox utilizzando il programma MacDropAny.
La cartella Download non viene sincronizzata, ma non contiene nulla di importante, solo file temporanei. Se scarico qualcosa di importante, lo copio nella cartella corrispondente in Dropbox.
Le mie avventure con DropboxUna volta, tanto tempo fa, tra il 2013 e il 2014, tenevo tutti i file su Dropbox e solo su quello, senza alcun backup. Allora non avevo 1TB, quindi non pagavo per quello, avevo circa 25GB, guadagnati invitando amici o completando altre attività.
Una bella mattina accendo il computer e tutti i miei file sono scomparsi, ho anche ricevuto una mail da Dropbox in cui si scusano e affermano che i miei file sono andati persi a causa loro. Mi hanno fornito un link attraverso il quale potevo recuperare i miei file, ma chiaramente non ho recuperato nulla. In compenso, mi hanno regalato 1TB per un anno, dopo di che sono diventato loro cliente; per quanto strano possa sembrare, non mi sono mai fidato di loro.
Come ho scritto sopra, non sono riuscito a trovare un cloud più adatto a me, prima di tutto perché non c'erano problemi di sincronizzazione, in secondo luogo perché molti servizi funzionano solo con Dropbox.
Git
I file di lavoro vengono archiviati sul server di lavoro, i progetti personali su GitLab, tutto qui.
Time Machine
Inoltre faccio un backup dell'intero sistema, escludendo ovviamente le cartelle Dropbox e Downloads, per non occupare spazio inutilmente. Faccio il backup del sistema tramite Time Machine, uno strumento eccellente che mi ha aiutato molte volte. Lo faccio sullo stesso NAS, per fortuna c'è questa funzione. Certo, si può fare anche su un HDD esterno, ma non è così comodo. Ogni volta bisogna collegare il disco esterno e avviare manualmente Time Machine. Per pigrizia, spesso facevo questi backup ogni poche settimane. Sul server, invece, esegue automaticamente il backup, non me ne accorgo nemmeno quando lo fa. Lavoro da casa, quindi ho sempre una copia di sicurezza aggiornata di tutto il mio sistema. Faccio copie diverse volte al giorno, non ho mai contato quante volte e con quale frequenza.
NAS
Qui avviene tutta la magia.
Synology ha uno strumento eccellente chiamato Cloud Sync, penso che dal nome sia chiaro cosa faccia.
Può sincronizzare molti sistemi cloud tra loro, per essere più precisi, sincronizza i file dal server NAS con altri cloud. Suppongo che ci siano recensioni su questo programma in rete, non voglio entrare nei dettagli. Preferisco descrivere come lo uso.
Sul server ho una cartella chiamata Dropbox, che è una copia del mio account Dropbox; la sincronizzazione di tutto ciò è gestita da Cloud Sync. Se succede qualcosa ai file su Dropbox, accade anche sul server, non importa se viene eliminato o creato di nuovo. In generale, una sincronizzazione classica.
Yandex Disk
In seguito, carico tutti questi file sul mio Yandex disk, che uso come disco di backup fai-da-te, quindi carico i file lì ma non ne elimino nessuno, diventa una vera e propria discarica di file, ma un paio di volte mi ha salvato.
Google Drive
Lì invio solo la cartella «Photos», anche in modalità di sincronizzazione, lo faccio solo per una visualizzazione comoda delle foto in Google Foto e per poter eliminare le foto da lì e vengono eliminate ovunque (eccetto Yandex disk, ovviamente). Di foto ne parlerò più avanti, si potrebbe scrivere un articolo a parte.
HyperBackup
Ma tutto ciò non è molto affidabile, se per sbaglio elimini un file, viene eliminato ovunque e lo si può considerare perduto. Certo, è possibile ripristinarlo da Yandex disk, ma in primo luogo il backup in un solo posto non è molto sicuro da solo, e inoltre Yandex disk non è quel servizio di cui puoi essere sicuro al 100%, anche se finora non ho avuto problemi con esso.
Perciò ho sempre cercato di conservare i file anche altrove, già con un sistema di backup adeguato.
Synology ha anche uno strumento per questo, si chiama HyperBackup, ed esegue il backup dei file su altri server Synology o su soluzioni cloud di fornitori esterni.
È anche in grado di effettuare il backup su dischi esterni collegati al NAS, ed è quello che ho fatto fino a poco tempo fa. Ma anche questo non è affidabile, per esempio, se c'è un incendio, è la fine sia per il server che per l'HDD.
Synology C2
Qui arriviamo gradualmente a un altro servizio, già di Synology stessa. Ha i suoi cloud per la conservazione dei backup. È progettato specificamente per HyperBackup, e fa un backup lì ogni giorno, ma questo è un backup ben pensato, ci sono versioni dei file, una timeline e anche client per Windows e macOS.
Con questo, per la conservazione dei file è tutto, spero che i miei file siano al sicuro.
Ora passiamo alla classificazione dei file.
File normali, libri, scansioni di documenti e altri file poco importanti li classifico come tutti, manualmente in cartelle. Di solito non sono molti e li apro raramente.
La parte più difficile è classificare le foto e i video, ne ho molti.
Faccio da qualche decina a qualche centinaio di foto al mese. Scatto con la reflex, il drone e a volte con il telefono. Le foto possono essere personali o per stock. A volte registro anche video domestici (non quello che pensate, solo video di famiglia, più spesso con mia figlia). Anche questi devono essere conservati e classificati in modo che non diventi un casino.
Ho una cartella nello stesso Dropbox, chiamata Sort Images, che contiene sottocartelle dove vengono inserite tutte le foto e i video, da dove vengono prelevati e classificati dove necessario.
La classificazione avviene sul server NAS, dove lavorano script bash che vengono avviati automaticamente una volta al giorno per svolgere il loro lavoro. Anche l'avvio di questi script è responsabilità del NAS, dove c'è un pianificatore di attività che è responsabile dell'esecuzione di tutti gli script e di altri compiti. È possibile configurare con quale frequenza e quando verranno avviati i compiti, un cron con interfaccia se è più semplice.
Per ogni cartella c'è il proprio script. Ora, più in dettaglio sulle cartelle:
Drone — qui si trovano le foto del drone che ho scattato per scopi personali. Prima elaboro tutte le foto in Lightroom, poi faccio l'esportazione in JPG in questa cartella. Da lì vengono trasferite in un'altra cartella Dropbox, "Photo".
Lì c'è una cartella "Drone" e lì vengono già organizzate per anni e mesi. Gli script creano automaticamente le cartelle necessarie e rinominano le foto secondo il mio modello, solitamente sono la data e l'ora in cui sono state scattate, aggiungo anche un numero casuale alla fine, per evitare di avere file con lo stesso nome. Non ricordo perché per questi scopi non era adatta l'impostazione dei secondi nel nome del file.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — al momento non registro video con il drone, devo ancora imparare molto, non ho tempo per farlo ora, ma ho già creato la cartella.
Images Operations — qui dentro ci sono due cartelle, quando i file vi entrano vengono semplicemente compressi sulla dimensione massima fino a 2000px per la pubblicazione su internet, oppure viene fatto un flip delle immagini, questo non mi serve più, ma finora non ho eliminato la cartella.
Panoramas — qui si trovano, come non è difficile indovinare, le panoramiche, le conservo separatamente perché sono un tipo specifico di foto, di solito le realizzo con il drone. Faccio anche panoramiche normali, ma faccio anche panoramiche 360 e a volte sfere, un tipo di panoramiche simile a piccoli pianeti, le faccio anch'esse con il drone. Da questa cartella tutte le foto vanno anche in Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Qui non faccio classificazione per mesi dato che non ci sono molte panoramiche.
Personal Photo — Qui si trovano le foto che scatto con la reflex, di solito sono foto di famiglia o di viaggi, insomma, foto che scatto per ricordare e per me stesso. Anche le foto grezze le elaboro in Lightroom e poi le esportiamo qui.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Se ho registrato qualche evento speciale o qualsiasi cosa che vorrei conservare separatamente, creo una cartella nel 2019 con il nome dell'evento e copio lì le foto a mano.
RAW — qui ci sono gli originali delle foto. Scatto sempre in RAW, conservo tutte le foto in JPG ma a volte voglio avere anche i file RAW, a volte desidero elaborare diversamente qualche scatto. Di solito si tratta di natura e qui ci vanno solo i migliori scatti, non tutti quelli che ho.
Stock Photo — qui carico le foto per stock, che faccio sia con la reflex che con il drone. La suddivisione è la stessa di altre foto, semplicemente in una mia cartella separata.
Nella directory principale di Dropbox, c'è una cartella chiamata Camera Uploads, questa è la cartella predefinita in cui l'app mobile di Dropbox carica tutte le foto e i video. Tutte le foto di mia moglie dal telefono vengono caricate in questo modo. Anche io carico qui tutte le mie foto e video dal telefono e poi le organizzo in cartelle separate. Ma lo faccio in modo diverso, più comodo per me. C'è un programma per Android, FolderSync, che permette di prelevare tutte le foto dal cellulare, caricarle su Dropbox e poi eliminarle dal telefono. Ha molte impostazioni, lo consiglio. In questa cartella vanno anche i video dal telefono, che vengono classificati come tutte le foto, per anni e mesi.
Ho raccolto tutti gli script da varie istruzioni online, non ho trovato soluzioni pronte. Non so nulla di script bash, potrebbe esserci qualche errore o alcune cose potrebbero essere fatte meglio, ma la cosa più importante per me è che fanno il loro lavoro e svolgono ciò di cui ho bisogno.
Ho caricato gli script su GitHub:
In passato per organizzare foto e video ho usato Hazel su macOS, lì tutto è più semplice, tutte le attività vengono create visivamente, non è necessario scrivere codice, ma ci sono due svantaggi. Primo, bisogna mantenere tutte le cartelle sul computer affinché funzioni bene e secondo, se dovessi passare a Windows o Linux non ci sono programmi simili. Ho provato a cercare alternative ma erano tutte inefficaci. La soluzione con gli script sul server è una soluzione più universale.
Tutti gli script sono impostati per essere eseguiti una volta al giorno, di solito di notte. Ma se non c'è tempo di aspettare e c'è bisogno di eseguire uno script adesso, ci sono due soluzioni: collegarsi via SSH al server e eseguire lo script desiderato oppure entrare nell'area admin e avviare manualmente lo script. Tutto questo mi sembra scomodo, quindi ho trovato una terza soluzione. C'è un programma per Android, che può inviare comandi ssh. Ho creato diversi comandi, ognuno con il proprio pulsante, e ora se devo ordinare, per esempio, le foto che ho scattato con il drone, basta premere un pulsante e lo script si attiva. Il programma si chiama SSHing, ce ne sono altri simili, ma per me questo è il più comodo.
Ho anche diversi miei siti, sono più per forma, ci entra praticamente nessuno, ma comunque fare un backup non fa mai male. I siti li tengo su DigitalOcean, dove ho installato il pannello aaPanel. Qui c'è la possibilità di fare backup di tutti i file e di tutti i database, ma sulla stessa unità.
Conservare il backup sulla stessa unità non è una buona idea, quindi anch'io tramite uno script bash mi collego e copio tutto sul mio server, archiviando tutto in un unico archivio con la data nel nome.
Spero che i metodi che utilizzo e di cui ho condiviso possano aiutare almeno qualcuno.
Come si può vedere dall'articolo, amo l'automazione e cerco di automatizzare tutto ciò che è possibile; non ho descritto molte cose sotto l'aspetto dell'automazione, poiché si tratta di altri argomenti e di altri articoli.
Fonte: habr.com
