Feia temps que volia escriure sobre com emmagatzeme els meus fitxers i com faig còpies de seguretat, però mai no hi vaig arribar. Fa poc va aparèixer un article aquí, una mica semblant al meu però amb un enfocament diferent.
Fa molts anys que intento trobar el mètode perfecte per emmagatzemar fitxers. Crec que l'he trobat, però sempre hi ha alguna cosa a millorar, si teniu alguna idea sobre com fer-ho millor, estaré encantat de llegir-lo.
Començaré explicant-vos unes paraules sobre mi, faig desenvolupament web i faig fotografies en el meu temps lliure. D'aquí la conclusió que necessito emmagatzemar treballs i projectes personals, fotos, vídeos i altres fitxers.
Tinc uns 680 GB de fitxers, el 90 per cent dels quals són fotos i vídeos.
Circulació d'arxius als meus magatzems:
Aquí teniu un diagrama aproximat de com i on s'emmagatzemen tots els meus fitxers.
Ara més.
Com podeu veure, el cor de tot és el meu NAS, és a dir, el Synology DS214, un dels NAS més senzills de Synology, però, fa front a tot el que necessito.
Dropbox
La meva màquina de treball és un macbook pro 13, 2015. Hi tinc 512 GB, però, per descomptat, no hi caben tots els fitxers, només emmagatzeme el que es necessita de moment. Sincronitzo tots els meus fitxers i carpetes personals amb Dropbox, sé que no és molt fiable, però només fa la funció de sincronització. I ho fa millor, almenys pel que he provat. I vaig provar tots els núvols famosos i no tan famosos.
Synology també té el seu propi núvol, el podeu implementar al vostre NAS, he intentat diverses vegades canviar de Dropbox a Synology Cloud Station, però sempre hi ha hagut problemes de sincronització, sempre hi ha errors o no ho he sincronitzat tot.
Tots els fitxers importants s'emmagatzemen a la carpeta Dropbox, de vegades deso alguna cosa al meu escriptori, per no perdre res, vaig fer un enllaç simbòlic a la carpeta Dropbox mitjançant el programa MacDropAny.
La meva carpeta de descàrregues no està sincronitzada de cap manera, però no hi ha res important, només fitxers temporals. Si descarrego alguna cosa important, la copio a la carpeta adequada de Dropbox.
Les meves aventures amb DropboxHi havia una vegada, en algun lloc del 2013-2014, vaig emmagatzemar tots els meus fitxers a Dropbox i només allà no hi havia còpies de seguretat. Aleshores no tenia 1Tb, és a dir, no ho pagava, tenia uns 25Gb, que em guanyava convidant amics o altres tasques.
Un bon matí vaig encendre l'ordinador i tots els meus fitxers van desaparèixer, també vaig rebre una carta de Dropbox on em demanen disculpes i que els meus fitxers van desaparèixer per culpa seva. Em van donar un enllaç on podia restaurar els meus fitxers, però per descomptat no es va restaurar res. Per això em van donar 1Tb durant un any, després del qual em vaig convertir en el seu client, per estrany que sembli, però mai vaig confiar en ells.
Com vaig escriure més amunt, no vaig trobar un núvol més adequat per a mi, en primer lloc, encara no hi havia problemes de sincronització i, en segon lloc, molts serveis diferents només funcionen amb Dropbox.
anar
Els fitxers de treball s'emmagatzemen al servidor de treball, els projectes personals s'emmagatzemen a GitLab, aquí tot és senzill.
Màquina del temps
També faig una còpia de seguretat de tot el sistema, excloent la carpeta Dropbox i Descàrregues, per descomptat, per no ocupar espai en va. Faig una còpia de seguretat del sistema amb Time Machine, una excel·lent eina que m'ha ajudat més d'una vegada. Ho faig al mateix NAS, afortunadament té aquesta funció. Podeu fer-ho en un disc dur extern, per descomptat, però no és tan convenient. Cada vegada que necessiteu connectar una unitat externa i llançar Time Machine. A causa de la mandra, sovint feia aquestes còpies de seguretat un cop cada poques setmanes. Fa còpies de seguretat automàticament al servidor, ni tan sols m'adono quan ho fa. Treballo des de casa, així que sempre tinc una còpia de seguretat nova de tot el meu sistema. Una còpia es fa diverses vegades al dia, no vaig comptar quantes vegades i amb quina freqüència.
NAS
Aquí és on passa tota la màgia.
Synology té una eina excel·lent, es diu Cloud Sync, crec que pel nom queda clar què fa.
Pot sincronitzar molts sistemes de núvol entre si, o més precisament, sincronitzar fitxers d'un servidor NAS amb altres núvols. Crec que hi ha una revisió d'aquest programa en línia. No entraré en detalls. Millor descriu com ho faig servir.
Al servidor tinc una carpeta de disc anomenada Dropbox, és una còpia del meu compte de Dropbox, Cloud Sync s'encarrega de sincronitzar tot això. Si ha passat alguna cosa amb els fitxers de Dropbox, passarà al servidor, no importa si s'ha suprimit o creat. En general, sincronització clàssica.
Unitat de Yandex
A continuació, llenço tots aquests fitxers al meu disc Yandex, l'utilitzo com a disc de còpia de seguretat casolà, és a dir, llenço els fitxers allà però no suprimeixo res d'allà, resulta que és un abocador de fitxers, però va ajudar un parell de vegades.
Google Drive
Allà només envio la carpeta "Fotos", també en mode de sincronització, només ho faig per a una visualització còmoda de les fotos a Google Fotos i amb la possibilitat d'esborrar fotos d'allà i s'esborren a tot arreu (excepte el disc Yandex, és clar). Escriuré sobre la foto a continuació; fins i tot hi podeu escriure un article separat.
HyperBackup
Però tot això no és gaire fiable; si suprimeixes accidentalment un fitxer, s'eliminarà a tot arreu i pots considerar-lo perdut. Per descomptat, podeu restaurar des del disc Yandex, però en primer lloc, una còpia de seguretat en un sol lloc no és gaire fiable en si mateixa, i el disc Yandex en si no és un servei en què pugueu tenir confiança al 100%, tot i que mai no n'hi ha hagut. problemes amb ell.
Per tant, sempre he intentat emmagatzemar fitxers en un altre lloc, amb un sistema de còpia de seguretat normal.
Synology també té una eina per a això, s'anomena HyperBackup, fa còpies de seguretat dels fitxers a altres servidors de Synology o a algunes solucions al núvol de fabricants de tercers.
També pot fer còpies de seguretat a unitats externes connectades a un NAS, que és el que feia fins fa poc. Però això tampoc és fiable, per exemple, si hi ha un incendi, el final tant del servidor com de l'HDD.
Sinologia C2
Aquí ens apropem a poc a poc a un altre servei, aquesta vegada del mateix Synology. Té els seus propis núvols per emmagatzemar còpies de seguretat. Està dissenyat específicament per a HyperBackup, hi fa còpies de seguretat cada dia, però aquesta és una còpia de seguretat ben pensada, hi ha versions de fitxers, una línia de temps i fins i tot clients per a Windows i mac os.
Això és tot per emmagatzemar fitxers, espero que els meus fitxers estiguin segurs.
Ara passem a ordenar els fitxers.
Ordeno arxius normals, llibres, escanejos de documents i altres fitxers sense importància en carpetes a mà, igual que tota la resta. Normalment no n'hi ha molts i poques vegades els obro.
El més difícil és ordenar fotos i vídeos, en tinc molts.
Faig des de diverses desenes fins a diversos centenars de fotos al mes. Faig fotos amb una DSLR, un drone i de vegades amb el meu telèfon. Les fotos poden ser personals o per a estoc. També de vegades filmo vídeos casolans (no el que penseu, només vídeos familiars, sovint amb la meva filla). També s'ha d'emmagatzemar i ordenar d'alguna manera perquè no es converteixi en un embolic.
Tinc una carpeta al mateix Dropbox que es diu Ordenar imatges, hi ha subcarpetes on van totes les fotos i vídeos, a partir d'aquí es prenen i s'ordenen on cal.
L'ordenació es fa al servidor NAS, hi ha scripts bash que s'executen que s'inicien automàticament un cop al dia i fan la seva feina. El NAS també és responsable de llançar-los; hi ha un planificador de tasques que s'encarrega de llançar tots els scripts i altres tasques. Podeu configurar amb quina freqüència i quan s'iniciaran les tasques, cron amb una interfície si és més senzill.
Cada carpeta té el seu propi script. Ara més sobre les carpetes:
drone — Aquí hi ha fotos d'un dron que vaig fer amb finalitats personals. Primer processo totes les fotos a lightroom i després exporto JPG a aquesta carpeta. A partir d'aquí acaben en una altra carpeta de Dropbox, "Foto".
Hi ha una carpeta "Drone" i allà ja estan ordenats per any i mes. Els mateixos scripts creen les carpetes necessàries i canvien el nom de les fotos segons la meva plantilla, normalment aquesta és la data i l'hora en què es va fer la foto, també afegeixo un número aleatori al final perquè no apareguin els fitxers amb el mateix nom. No recordo per què establir segons al nom del fitxer no era adequat per a aquests propòsits.
L'arbre té aquest aspecte: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Vídeo drone — Encara no filmo vídeo amb dron, hi ha molt per aprendre, ara no tinc temps, però ja he creat una carpeta.
Operacions d'imatge — Hi ha dues carpetes a dins, quan hi ha fitxers, simplement es comprimeixen al costat màxim fins a 2000 px per publicar-los a Internet, o les imatges s'inverteixen, ja no ho necessito, però encara no he esborrat la carpeta.
panorames — aquí és on entren les panoràmiques, com podeu suposar, les guardo per separat ja que es tracta d'un tipus de fotografia concret, normalment les faig amb un dron. També faig panoràmiques habituals, però també faig panoràmiques 360 i de vegades esferes, aquest tipus de panoràmiques com petits planetes, també ho faig amb un dron. Des d'aquesta carpeta, totes les fotos també van a Photo/Panoramas/2019/01 - Maig - 2019_19.25.53_37.jpg. Aquí no ordeno per mes perquè no hi ha tantes panoràmiques.
Foto personal — Aquí teniu les fotos que faig amb una DSLR, normalment són fotos de família o de viatge, en general, fotos que es fan per a la memòria i per a mi. També processo fotos en brut a Lightroom i després les exporto aquí.
Des d'aquí arriben aquí: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Si vaig fotografiar algun tipus de celebració o alguna cosa més que s'hagués d'emmagatzemar millor per separat, a la carpeta 2019 creo una carpeta amb el nom de la celebració i hi copio la foto manualment.
RAW - Aquí teniu les fonts fotogràfiques. Jo sempre disparo en RAW, emmagatzeme totes les fotos en JPG, però de vegades també vull emmagatzemar fitxers RAW, de vegades vull processar un fotograma de manera diferent. Normalment això és la natura i només hi arriben els millors trets, no tots seguits.
Foto d'estoc — aquí penjo fotos per a fotos d'arxiu, que faig amb una DSLR o amb un drone. L'ordenació és la mateixa que en altres fotos, només a la seva pròpia carpeta separada.
Al directori arrel de Dropbox, hi ha una carpeta de càrregues de càmera, aquesta és la carpeta predeterminada a la qual l'aplicació mòbil de Dropbox penja totes les fotos i vídeos. Totes les fotos de l'esposa des del telèfon es deixen caure d'aquesta manera. També penjo totes les meves fotos i vídeos des del meu telèfon aquí i des d'allà els ordeno en una carpeta separada. Però ho faig d'una altra manera, més convenient per a mi. Hi ha un programa per a Android, FolderSync, que us permet fer totes les fotos des del vostre telèfon mòbil, penjar-les a Dropbox i després eliminar-les del telèfon. Hi ha moltes configuracions, ho recomano. Els vídeos del vostre telèfon també van a aquesta carpeta; també s'ordenen com totes les fotos, per any i mes.
Vaig recollir jo mateix tots els scripts de diverses instruccions a Internet; no vaig trobar cap solució preparada. No sé res dels scripts bash, potser hi ha alguns errors o algunes coses es podrien fer millor, però el més important per a mi és que facin la seva feina i facin el que necessito.
Els scripts es van penjar a GitHub:
Anteriorment, per ordenar fotos i vídeos, feia servir Hazel sota mac os, allà tot és més fàcil, totes les tasques es creen visualment, no cal escriure codi, però hi ha dos inconvenients. En primer lloc, cal mantenir totes les carpetes de l'ordinador perquè tot funcioni bé i, en segon lloc, si de sobte canvio a Windows o Linux, no hi ha aquests programes. Vaig intentar buscar una alternativa però tots van ser en vano. Una solució amb scripts al servidor és una solució més universal.
Tots els scripts estan configurats per executar-se una vegada al dia, normalment a la nit. Però si no teniu temps d'esperar i heu d'executar d'alguna manera l'script necessari ara, hi ha dues solucions: connecteu-vos mitjançant SSH al servidor i executeu l'script requerit, o aneu al tauler d'administració i també executeu manualment el requerit. guió. Tot això em sembla incòmode, així que vaig trobar una tercera solució. Hi ha un programa per a Android que pot enviar ordres ssh. Vaig crear diverses ordres, cadascuna té el seu propi botó, i ara si necessito ordenar, per exemple, les fotos que vaig fer des d'un dron, només preme un botó i s'executa l'script. El programa es diu SSHing, n'hi ha d'altres semblants, però per a mi aquest és el més convenient.
També tinc diversos llocs dels meus propis, són més per mostrar, gairebé ningú hi va, però tot i així no fa mal fer una còpia de seguretat. Executeixo els meus llocs a DigitalOcean, on vaig instal·lar el panell aaPanel. Allà és possible fer còpies de seguretat de tots els fitxers i de totes les bases de dades, però al mateix disc.
Emmagatzemar una còpia de seguretat al mateix disc no és el cas, així que també faig servir un script bash per anar-hi i copiar-ho tot al meu servidor, arxivant-ho tot en un arxiu amb la data al nom.
Espero que almenys algú pugui ser ajudat pels mètodes que faig servir i amb els quals he compartit.
Com es pot veure a l'article, m'encanta l'automatització i intento automatitzar tot el que és possible, no he descrit moltes coses des del punt de vista de l'automatització, ja que ja són altres temes i altres articles.
Font: www.habr.com