Hai tempo que quería escribir sobre como gardo os meus ficheiros e como fago copias de seguranza, pero nunca cheguei a facelo. Hai pouco apareceu aquí un artigo, algo parecido ao meu pero cun enfoque diferente.
Levo moitos anos intentando atopar o método perfecto para almacenar ficheiros. Creo que o atopei, pero sempre hai algo que mellorar, se tes algunha idea de como facelo mellor, estarei encantado de lelo.
Comezo contándovos unhas palabras sobre min mesmo, fago desenvolvemento web e fago fotografías no meu tempo libre. De aí a conclusión de que necesito almacenar traballos e proxectos persoais, fotos, vídeos e outros arquivos.
Teño uns 680 GB de ficheiros, o 90 por cento dos cales son fotos e vídeos.
Circulación de ficheiros nos meus almacéns:
Aquí tes un diagrama aproximado de como e onde se almacenan todos os meus ficheiros.
Agora máis.
Como podes ver, o corazón de todo é o meu NAS, é dicir, o Synology DS214, un dos NAS máis sinxelos de Synology, con todo, fai fronte a todo o que necesito.
Dropbox
A miña máquina de traballo é un macbook pro 13, 2015. Teño alí 512 GB, pero por suposto non caben todos os ficheiros, só gardo o que necesito polo momento. Sincronizo todos os meus ficheiros e cartafoles persoais con Dropbox, sei que non é moi fiable, pero só realiza a función de sincronización. E faino mellor, polo menos polo que eu probei. E probei todas as nubes famosas e non tan famosas.
Synology tamén ten a súa propia nube, podes implementala no teu NAS, tentei varias veces cambiar de Dropbox a Synology Cloud Station, pero sempre houbo problemas coa sincronización, sempre houbo algúns erros ou non sincronizou todo.
Todos os ficheiros importantes almacénanse no cartafol Dropbox, ás veces gardo algo no meu escritorio, para non perder algo, fixen unha ligazón simbólica ao cartafol Dropbox mediante o programa MacDropAny.
O meu cartafol de descargas non está sincronizado de ningún xeito, pero non hai nada importante alí, só ficheiros temporais. Se descargo algo importante, cópioo no cartafol correspondente en Dropbox.
As miñas aventuras con DropboxÉrase unha vez, nalgún lugar de 2013-2014, gardaba todos os meus ficheiros en Dropbox e só alí non había copias de seguridade. Despois non tiña 1Tb, é dicir, non o paguei, tiña uns 25Gb, que gañaba invitando amigos ou outras tarefas.
Unha boa mañá prendín o ordenador e todos os meus arquivos desapareceron, tamén recibín unha carta de Dropbox na que se desculpan e que os meus arquivos desapareceron por culpa súa. Déronme unha ligazón onde podía restaurar os meus ficheiros, pero por suposto non se restaurou nada. Para iso déronme 1Tb durante un ano, despois de que me convertín no seu cliente, por estraño que pareza, pero nunca me fiei deles.
Como escribín anteriormente, non puiden atopar unha nube máis adecuada para min, en primeiro lugar, aínda non houbo problemas de sincronización e, en segundo lugar, moitos servizos diferentes só funcionan con Dropbox.
ir
Os ficheiros de traballo gárdanse no servidor de traballo, os proxectos persoais gárdanse en GitLab, aquí todo é sinxelo.
Time Machine
Tamén fago unha copia de seguridade de todo o sistema, excluíndo o cartafol Dropbox e Descargas por suposto, para non ocupar espazo en balde. Fago unha copia de seguridade do sistema usando Time Machine, unha excelente ferramenta que me axudou máis dunha vez. Fágoo no mesmo NAS, afortunadamente ten esa función. Podes facelo nun disco duro externo, por suposto, pero non é tan cómodo. Cada vez que necesites conectar unha unidade externa e iniciar Time Machine ti mesmo. Por mor da preguiza, moitas veces facía tales copias de seguridade unha vez cada poucas semanas. Fai automaticamente copias de seguridade no servidor, nin sequera me decate cando o fai. Traballo desde casa, polo que sempre teño unha copia de seguranza nova de todo o meu sistema. Faise unha copia varias veces ao día, non contei cantas veces e cantas veces.
NAS
Aquí é onde ocorre toda a maxia.
Synology ten unha excelente ferramenta, chámase Cloud Sync, creo que polo nome queda claro o que fai.
Pode sincronizar moitos sistemas de nube entre si ou, máis precisamente, sincronizar ficheiros dun servidor NAS con outras nubes. Creo que hai unha revisión deste programa en liña. Non vou entrar en detalles. É mellor que describa como o uso.
No servidor teño un cartafol de disco chamado Dropbox, é unha copia da miña conta de Dropbox, Cloud Sync encárgase de sincronizar todo isto. Se ocorreu algo cos ficheiros de Dropbox, ocorrerá no servidor, non importa se se borra ou se crea. En xeral, sincronización clásica.
Unidade de Yandex
A continuación, boto todos estes ficheiros no meu disco Yandex, úsoo como un disco de copia de seguridade caseiro, é dicir, tiro os ficheiros alí pero non borro nada de alí, resulta que é un vertedoiro de ficheiros, pero axudou un par de veces.
Google Drive
Alí envío só o cartafol "Fotos", tamén en modo de sincronización, só fago isto para a visualización cómoda das fotos en Google Fotos e coa posibilidade de eliminar fotos desde alí e bótanse en todas partes (excepto no disco Yandex, por suposto). Escribirei sobre a foto a continuación; incluso podes escribir alí un artigo separado.
HyperBackup
Pero todo isto non é moi fiable; se elimina accidentalmente un ficheiro, eliminarase de todas partes e podes consideralo perdido. Por suposto, podes restaurar desde o disco Yandex, pero en primeiro lugar, unha copia de seguridade nun lugar non é moi fiable en si mesma e o propio disco Yandex non é un servizo no que poidas estar seguro ao 100%, aínda que nunca houbo ningún. problemas con el.
Polo tanto, sempre intentei gardar ficheiros noutro lugar, cun sistema de copia de seguridade normal.
Synology tamén ten unha ferramenta para iso, chámase HyperBackup, fai copias de seguridade dos ficheiros noutros servidores de Synology ou nalgunhas solucións na nube de fabricantes de terceiros.
Tamén pode facer copias de seguridade en unidades externas conectadas a un NAS, que é o que fixen ata hai pouco. Pero isto tampouco é fiable, por exemplo, se hai un incendio, o final tanto do servidor como do disco duro.
Sinoloxía C2
Aquí imos achegando pouco a pouco a outro servizo, esta vez do propio Synology. Ten as súas propias nubes para almacenar copias de seguridade. Está deseñado especificamente para HyperBackup, fai copias de seguridade alí todos os días, pero esta é unha copia de seguridade ben pensada, hai versións de ficheiros, unha liña de tempo e mesmo clientes para Windows e mac os.
Isto é todo para o almacenamento de ficheiros, espero que os meus ficheiros estean seguros.
Agora imos pasar á ordenación dos ficheiros.
Clasifico a man ficheiros ordinarios, libros, escaneos de documentos e outros ficheiros sen importancia en cartafoles, como todo o demais. Normalmente non hai moitos e poucas veces os abro.
O máis difícil é clasificar fotos e vídeos, teño moitos deles.
Fago de varias ducias a varios centos de fotos ao mes. Disparo cunha DSLR, un dron e ás veces no meu teléfono. As fotos poden ser persoais ou para stock. Tamén ás veces grabo vídeos domésticos (non o que pensas, só vídeos familiares, moitas veces coa miña filla). Tamén hai que gardar e ordenar dalgún xeito para que non se convirta nunha desorde.
Teño no mesmo Dropbox un cartafol que se chama Ordenar imaxes, hai subcartafoles onde van todas as fotos e vídeos, a partir de aí tómanse e ordénanse onde sexa necesario.
A clasificación ten lugar no servidor NAS, hai scripts bash que se executan alí que se lanzan automaticamente unha vez ao día e fan o seu traballo. O NAS tamén é responsable de lanzalos; hai un programador de tarefas que se encarga de lanzar todos os scripts e outras tarefas. Podes configurar a frecuencia e cando se lanzarán as tarefas, cron cunha interface se é máis sinxelo.
Cada cartafol ten o seu propio script. Agora máis sobre cartafoles:
zangão — Aquí tes fotos dun dron que tomei con fins persoais. Primeiro proceso todas as fotos en lightroom e despois exporto JPG a este cartafol. A partir de aí acaban noutro cartafol de Dropbox, "Foto".
Hai un cartafol "Drone" e alí xa están ordenados por ano e mes. Os propios scripts crean os cartafoles necesarios e cambian o nome das fotos segundo o meu modelo, normalmente esta é a data e a hora na que se tomou a foto, tamén engado un número aleatorio ao final para que non aparezan os ficheiros co mesmo nome. Non recordo por que configurar segundos no nome do ficheiro non era axeitado para estes propósitos.
A árbore ten o seguinte aspecto: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Video de drones — Aínda non grabo vídeo cun dron, hai moito que aprender, agora non teño tempo para iso, pero xa creei un cartafol.
Operacións de imaxe — hai dous cartafoles no seu interior, cando se atopan ficheiros alí, simplemente comprímense no lado máximo ata 2000px para a súa publicación en Internet, ou as imaxes son volteadas, xa non o necesito, pero aínda non eliminei o cartafol.
Panorámicas — Aquí é onde entran as panorámicas, como podes adiviñar, gárdoas por separado xa que se trata dun tipo específico de foto, adoito saco cun dron. Tamén fago panorámicas habituais, pero tamén fago panorámicas 360 e ás veces esferas, este tipo de panorámicas como planetas pequenos, tamén o fago cun dron. Desde este cartafol, todas as fotos tamén van a Photo/Panoramas/2019/01 - Maio - 2019_19.25.53_37.jpg. Aquí non ordeno por mes porque non hai tantas panorámicas.
Foto persoal — Aquí están as fotos que saco cunha DSLR, normalmente son fotos familiares ou de viaxe, en xeral, fotos que se fan para a memoria e para min. Tamén proceso fotos en bruto en Lightroom e despois exporto aquí.
Desde aquí chegan aquí: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Se fotografei algún tipo de celebración ou outra cousa que sería mellor gardar por separado, entón no cartafol de 2019 creo un cartafol co nome da celebración e copio a foto alí manualmente.
RAW - Aquí están as fontes fotográficas. Sempre disparo en RAW, gardo todas as fotos en JPG, pero ás veces tamén quero almacenar ficheiros RAW, ás veces quero procesar un cadro de xeito diferente. Normalmente esta é a natureza e só chegan as mellores tomas, non todas seguidas.
Foto de Stock — aquí subo fotos para fotos de stock, que saco nunha DSLR ou nun dron. A clasificación é a mesma que noutras fotos, só nun cartafol separado.
No directorio raíz de Dropbox, hai un cartafol de cargas da cámara, este é o cartafol predeterminado no que a aplicación móbil Dropbox carga todas as fotos e vídeos. Todas as fotos da muller do teléfono son eliminadas deste xeito. Tamén subo todas as miñas fotos e vídeos desde o meu teléfono aquí e desde alí ordenoos nun cartafol separado. Pero fágoo doutro xeito, máis cómodo para min. Existe un programa deste tipo para Android, FolderSync, que permítelle sacar todas as fotos do seu teléfono móbil, cargalas en Dropbox e despois eliminalas do teléfono. Hai moitos axustes, recoméndoo. Os vídeos do teu teléfono tamén entran neste cartafol; tamén están ordenados como todas as fotos, por ano e mes.
Recollei eu todos os scripts de varias instrucións en Internet; non atopei ningunha solución preparada. Non sei nada sobre os scripts bash, quizais haxa algúns erros ou algunhas cousas poderían facerse mellor, pero o máis importante para min é que fagan o seu traballo e fagan o que necesito.
Os scripts foron cargados en GitHub:
Anteriormente, para ordenar fotos e vídeos, usei Hazel en mac os, todo é máis fácil alí, todas as tarefas créanse visualmente, non hai que escribir código, pero hai dúas desvantaxes. En primeiro lugar, cómpre manter todos os cartafoles do ordenador para que todo funcione ben e, en segundo lugar, se cambio de súpeto a Windows ou Linux, non hai programas deste tipo. Intentei buscar unha alternativa pero todas foron en vano. Unha solución con scripts no servidor é unha solución máis universal.
Todos os scripts están configurados para executarse unha vez ao día, normalmente pola noite. Pero se non tes tempo para agardar e necesitas executar agora o script necesario dalgún xeito, hai dúas solucións: conectarte mediante SSH ao servidor e executar o script necesario, ou ir ao panel de administración e executar manualmente o necesario. guión. Todo isto paréceme incómodo, así que atopei unha terceira solución. Hai un programa para Android que pode enviar comandos ssh. Creei varios comandos, cada un ten o seu propio botón, e agora se teño que ordenar, por exemplo, as fotos que tirei dun dron, só premo un botón e execútase o script. O programa chámase SSHing, hai outros similares, pero para min este é o máis cómodo.
Tamén teño varios sitios meus, son máis para mostrar, case ninguén vai alí, pero aínda así non está de máis facer unha copia de seguridade. Eu executo os meus sitios en DigitalOcean, onde instalei o panel aaPanel. Alí é posible facer copias de seguridade de todos os ficheiros e de todas as bases de datos, pero no mesmo disco.
Gardar unha copia de seguridade no mesmo disco non é o caso, polo que tamén uso un script bash para ir alí e copialo todo no meu servidor, arquivando todo nun arquivo coa data no nome.
Espero que polo menos alguén se axude cos métodos que uso e cos que compartín.
Como se pode ver no artigo, encántame a automatización e intento automatizar todo o que é posible, non describín moitas cousas dende o punto de vista da automatización, xa que xa son outros temas e outros artigos.
Fonte: www.habr.com