Hace tiempo que quería escribir sobre cómo almaceno mis archivos y cómo hago copias de seguridad, pero nunca lo logré. Recientemente apareció aquí un artículo, algo similar al mío pero con un enfoque diferente.
Llevo muchos años intentando encontrar el método perfecto para almacenar archivos. Creo que lo encontré, pero siempre hay algo que mejorar, si tienes alguna idea sobre cómo hacerlo mejor, estaré feliz de leerla.
Empezaré contándote algunas palabras sobre mí, hago desarrollo web y tomo fotografías en mi tiempo libre. De ahí la conclusión de que necesito almacenar proyectos personales y de trabajo, fotos, vídeos y otros archivos.
Tengo alrededor de 680 GB de archivos, el 90 por ciento de los cuales son fotos y vídeos.
Circulación de archivos en mis almacenes:
Aquí hay un diagrama aproximado de cómo y dónde se almacenan todos mis archivos.
Ahora más.
Como puede ver, el corazón de todo es mi NAS, concretamente el Synology DS214, uno de los NAS más sencillos de Synology, sin embargo, se adapta a todo lo que necesito.
Dropbox
Mi máquina de trabajo es una macbook pro 13, 2015. Tengo 512 GB allí, pero, por supuesto, no caben todos los archivos, solo guardo lo que necesito en este momento. Sincronizo todos mis archivos y carpetas personales con Dropbox, sé que no es muy confiable, pero solo realiza la función de sincronización. Y lo hace mejor, al menos por lo que he probado. Y probé todas las nubes famosas y no tan famosas.
Synology también tiene su propia nube, puedes implementarla en tu NAS, intenté varias veces cambiar de Dropbox a Synology Cloud Station, pero siempre hubo problemas con la sincronización, siempre hubo algunos errores o no sincronicé todo.
Todos los archivos importantes se almacenan en la carpeta de Dropbox, a veces guardo algo en mi escritorio, para no perder algo, hice un enlace simbólico a la carpeta de Dropbox usando el programa MacDropAny.
Mi carpeta de Descargas no está sincronizada de ninguna manera, pero allí no hay nada importante, solo archivos temporales. Si descargo algo importante, lo copio a la carpeta correspondiente en Dropbox.
Mis aventuras con DropboxÉrase una vez, en algún momento de 2013-2014, almacené todos mis archivos en Dropbox y solo allí no había copias de seguridad. Entonces no tenía 1Tb, es decir, no lo pagué, tenía unos 25Gb, que ganaba invitando amigos u otras tareas.
Una buena mañana encendí la computadora y todos mis archivos desaparecieron, también recibí una carta de Dropbox donde se disculpan y que mis archivos desaparecieron por su culpa. Me dieron un enlace donde podía restaurar mis archivos, pero por supuesto no se restauró nada. Por esto me dieron 1Tb durante un año, después del cual me convertí en su cliente, por extraño que parezca, pero nunca confié en ellos.
Como escribí anteriormente, no pude encontrar una nube que fuera más adecuada para mí; en primer lugar, todavía no hubo problemas de sincronización y, en segundo lugar, muchos servicios diferentes solo funcionan con Dropbox.
Git
Los archivos de trabajo se almacenan en el servidor de trabajo, los proyectos personales se almacenan en GitLab, aquí todo es simple.
máquina del tiempo
También hago una copia de seguridad de todo el sistema, excluyendo la carpeta de Dropbox y Descargas por supuesto, para no ocupar espacio en vano. Realizo una copia de seguridad del sistema usando Time Machine, una excelente herramienta que me ha ayudado más de una vez. Lo hago en el mismo NAS, afortunadamente tiene esa función. Puedes hacerlo en un disco duro externo, por supuesto, pero no es tan conveniente. Cada vez que necesite conectar un disco externo e iniciar Time Machine usted mismo. Por pereza, solía hacer copias de seguridad una vez cada pocas semanas. Automáticamente hace copias de seguridad en el servidor, ni siquiera me doy cuenta cuando lo hace. Trabajo desde casa, por lo que siempre tengo una copia de seguridad nueva de todo mi sistema. Se hace una copia varias veces al día, no conté cuántas veces ni con qué frecuencia.
NAS
Aquí es donde ocurre toda la magia.
Synology tiene una herramienta excelente, se llama Cloud Sync, creo que por el nombre queda claro lo que hace.
Puede sincronizar muchos sistemas en la nube entre sí o, más precisamente, sincronizar archivos desde un servidor NAS con otras nubes. Creo que hay una reseña de este programa en línea. No entraré en detalles. Será mejor que describa cómo lo uso.
En el servidor tengo una carpeta de disco llamada Dropbox, es una copia de mi cuenta de Dropbox, Cloud Sync se encarga de sincronizar todo esto. Si algo pasó con los archivos en Dropbox, sucederá en el servidor, no importa si se elimina o se crea. En general, sincronización clásica.
Disco Yandex
A continuación, arrojo todos estos archivos a mi disco Yandex, lo uso como un disco de respaldo casero, es decir, arrojo los archivos allí pero no elimino nada de allí, resulta ser un volcado de archivos, pero ayudó un par de veces.
Google Drive
Allí envío solo la carpeta "Fotos", también en modo de sincronización, lo hago solo para ver cómodamente las fotos en Google Photos y con la posibilidad de eliminar fotos desde allí y se eliminan en todas partes (excepto en el disco Yandex, por supuesto). Escribiré sobre la foto a continuación; incluso podrías escribir un artículo aparte allí.
Hipercopia de seguridad
Pero todo esto no es muy confiable, si borras accidentalmente un archivo, se borrará de todas partes y podrás considerarlo perdido. Por supuesto, puede restaurar desde el disco Yandex, pero en primer lugar, una copia de seguridad en un solo lugar no es muy confiable en sí misma y el disco Yandex en sí no es un servicio en el que pueda estar 100% seguro, aunque nunca ha habido ninguno. problemas con eso.
Por eso, siempre intenté almacenar los archivos en otro lugar, con un sistema de copia de seguridad normal.
Synology también tiene una herramienta para esto, se llama HyperBackup, realiza una copia de seguridad de los archivos en otros servidores Synology o en algunas soluciones en la nube de terceros fabricantes.
También puede realizar copias de seguridad en unidades externas conectadas a un NAS, que es lo que hacía yo hasta hace poco. Pero esto tampoco es confiable, por ejemplo, si hay un incendio, el servidor y el disco duro terminan.
Sinología C2
Aquí nos acercamos poco a poco a otro servicio, esta vez del propio Synology. Tiene sus propias nubes para almacenar copias de seguridad. Está diseñado específicamente para HyperBackup, hace copias de seguridad allí todos los días, pero esta es una copia de seguridad bien pensada, hay versiones de archivos, una línea de tiempo e incluso clientes para Windows y Mac OS.
Eso es todo en cuanto al almacenamiento de archivos, espero que mis archivos estén seguros.
Ahora pasemos a ordenar los archivos.
Clasifico a mano archivos normales, libros, documentos escaneados y otros archivos sin importancia en carpetas, como todo lo demás. Normalmente no hay muchos y rara vez los abro.
Lo más difícil es ordenar fotos y vídeos, tengo muchos.
Tomo desde varias docenas hasta varios cientos de fotografías al mes. Disparo con una DSLR, un dron y, a veces, con mi teléfono. Las fotos pueden ser personales o de archivo. A veces también grabo vídeos caseros (no es lo que podrías pensar, solo vídeos familiares, a menudo con mi hija). También es necesario almacenarlo y clasificarlo de alguna manera para que no se convierta en un desastre.
Tengo una carpeta en el mismo Dropbox que se llama Ordenar Imágenes, hay subcarpetas donde van todas las fotos y videos, de ahí se toman y ordenan donde sea necesario.
La clasificación se realiza en el servidor NAS, allí se ejecutan scripts bash que se inician automáticamente una vez al día y hacen su trabajo. El NAS también es responsable de ejecutarlos; hay un programador de tareas que es responsable de ejecutar todos los scripts y otras tareas. Puedes configurar con qué frecuencia y cuándo se iniciarán las tareas, cron con una interfaz si es más sencillo.
Cada carpeta tiene su propio script. Ahora más sobre carpetas:
Drone — Aquí hay fotos de un dron que tomé con fines personales. Primero proceso todas las fotos en Lightroom y luego exporto JPG a esta carpeta. Desde allí terminan en otra carpeta de Dropbox, "Foto".
Hay una carpeta “Drone” y ahí ya están ordenados por año y mes. Los propios scripts crean las carpetas necesarias y cambian el nombre de las fotos según mi plantilla, generalmente esta es la fecha y hora en que se tomó la foto, también agrego un número aleatorio al final para que no aparezcan archivos con el mismo nombre. No recuerdo por qué establecer segundos en el nombre del archivo no era adecuado para estos fines.
El árbol se ve así: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Video de drones — Todavía no grabo vídeos con un dron, hay mucho que aprender, no tengo tiempo para ello ahora, pero ya he creado una carpeta.
Operaciones de imagen — hay dos carpetas adentro, cuando se encuentran archivos allí, simplemente se comprimen en el lado máximo a 2000 px para publicarlos en Internet o se voltean las imágenes, ya no lo necesito, pero aún no he eliminado la carpeta.
panoramas — aquí es donde entran las panorámicas, como puedes imaginar, las guardo por separado ya que es un tipo específico de foto, normalmente las tomo con un dron. También hago panoramas regulares, pero también hago panoramas de 360 y a veces de esferas, este tipo de panoramas como de planetas pequeños, también lo hago con un drone. Desde esta carpeta, todas las fotos también van a Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Aquí no ordeno por mes porque no hay tantas panorámicas.
Foto personal — Aquí están las fotos que hago con una DSLR, normalmente son fotos familiares o de viajes, en general, fotos que se toman para el recuerdo y para mí. También proceso fotografías sin procesar en Lightroom y luego las exporto aquí.
De aquí llegan hasta aquí: Foto/2019/05 — Mayo/01 — Mayo — 2019_19.25.53_37.jpg
Si fotografié algún tipo de celebración o algo más que sería mejor almacenar por separado, entonces en la carpeta 2019 creo una carpeta con el nombre de la celebración y copio la foto allí manualmente.
RAW — aquí están las fuentes de las fotos. Siempre disparo en RAW, almaceno todas las fotos en JPG, pero a veces también quiero almacenar archivos RAW, a veces quiero procesar un fotograma de manera diferente. Normalmente esto es naturaleza y sólo llegan allí las mejores tomas, no todas seguidas.
Foto de archivo — aquí subo fotos de archivo, que tomo con una DSLR o con un dron. La clasificación es la misma que en otras fotos, solo que en su propia carpeta separada.
En el directorio raíz de Dropbox, hay una carpeta Cargas de cámara, esta es la carpeta predeterminada en la que la aplicación móvil de Dropbox carga todas las fotos y videos. Todas las fotos de la esposa del teléfono se eliminan de esta manera. También subo aquí todas mis fotos y vídeos desde mi teléfono y desde allí los ordeno en una carpeta separada. Pero lo hago de otra forma, más cómoda para mí. Existe un programa de este tipo para Android, FolderSync, que le permite tomar todas las fotos desde su teléfono móvil, subirlas a Dropbox y luego eliminarlas del teléfono. Hay muchas configuraciones, lo recomiendo. Los vídeos de tu teléfono también van a esta carpeta; también están ordenados como todas las fotos, por año y mes.
Yo mismo recopilé todos los scripts a partir de varias instrucciones en Internet, no encontré ninguna solución preparada. No sé nada de scripts bash, tal vez haya algunos errores o algunas cosas se podrían hacer mejor, pero lo más importante para mí es que hacen su trabajo y hacen lo que necesito.
Los scripts se cargaron en GitHub:
Anteriormente, para ordenar fotos y videos, usaba Hazel en Mac OS, allí todo es más fácil, todas las tareas se crean visualmente, no es necesario escribir código, pero hay dos desventajas. En primer lugar, es necesario conservar todas las carpetas de la computadora para que todo funcione bien y, en segundo lugar, si de repente cambio a Windows o Linux, no existen tales programas allí. Intenté buscar una alternativa pero todas fueron en vano. Una solución con scripts en el servidor es una solución más universal.
Todos los scripts están configurados para ejecutarse una vez al día, normalmente por la noche. Pero si no tiene tiempo para esperar y necesita ejecutar de alguna manera el script requerido ahora, hay dos soluciones: conectarse vía SSH al servidor y ejecutar el script requerido, o ir al panel de administración y también ejecutar manualmente el script requerido. guion. Todo esto me parece un inconveniente, así que encontré una tercera solución. Existe un programa para Android que puede enviar comandos ssh. Creé varios comandos, cada uno tiene su propio botón y ahora, si necesito ordenar, por ejemplo, fotos que tomé con un dron, solo presiono un botón y se ejecuta el script. El programa se llama SSHing, hay otros similares, pero para mí este es el más conveniente.
También tengo varios sitios propios, son más para mostrar, casi nadie va allí, pero aún así no está de más hacer una copia de seguridad. Ejecuto mis sitios en DigitalOcean, donde instalé el panel aaPanel. Allí es posible realizar copias de seguridad de todos los archivos y de todas las bases de datos, pero en el mismo disco.
Almacenar una copia de seguridad en el mismo disco no es el caso, por lo que también uso un script bash para ir allí y copiar todo a mi servidor, archivando todo en un solo archivo con la fecha en el nombre.
Espero que al menos a alguien le ayuden los métodos que uso y con los que compartí.
Como se puede ver en el artículo, me encanta la automatización y trato de automatizar todo lo que sea posible, no describí muchas cosas desde el punto de vista de la automatización, ya que estos ya son otros temas y otros artículos.
Fuente: habr.com