Desde hace tiempo quería escribir sobre cómo almaceno mis archivos, cómo hago copias de seguridad, pero siempre lo he ido posponiendo. Recientemente apareció aquí un artículo que se parece al mío, pero con un enfoque diferente.
He estado tratando durante muchos años de encontrar el método perfecto para almacenar mis archivos. Creo que lo he encontrado, pero siempre hay algo que mejorar; si tienes ideas sobre cómo hacerlo mejor, estaré encantado de leerlas.
Empezaré diciendo un poco sobre mí; soy desarrollador web y en mi tiempo libre me gusta fotografiar. Por lo tanto, necesito almacenar tanto proyectos laborales como personales, fotos, videos y otros archivos.
Tengo alrededor de 680 GB de archivos, de los cuales el 90% son fotos y videos.
El ciclo de archivos en mis almacenamientos:
Aquí hay un esquema aproximado de cómo y dónde se almacenan todos mis archivos.
Ahora en más detalle.
Como se puede ver, el corazón de todo es mi NAS, específicamente el Synology DS214, uno de los NAS más simples de la empresa Synology; sin embargo, se las arregla con todo lo que necesito.
Dropbox
Mi máquina de trabajo es un MacBook Pro de 13 pulgadas del 2015. Tengo allí 512GB, pero, por supuesto, no todos los archivos caben; solo guardo lo que necesito en este momento. Sin embargo, sincronizo todos mis archivos y carpetas personales con Dropbox. Sé que no es muy confiable, pero solo cumple la función de sincronización. Y lo hace mejor que cualquier otro que he probado, al menos de los que he utilizado, incluidos todos los servicios en la nube famosos y menos conocidos.
Synology también tiene su propio servicio de nube, que se puede implementar en su propio NAS. He intentado varias veces cambiar de Dropbox a Synology Cloud Station, pero siempre había problemas de sincronización, siempre ocurrían errores o no sincronizaba todo.
Todos mis archivos importantes se almacenan en la carpeta de Dropbox. A veces guardo algo en el escritorio, y para no perder nada he creado un enlace simbólico en la carpeta de Dropbox con la ayuda del programa MacDropAny.
La carpeta de Descargas no se sincroniza, pero no hay nada importante allí, solo archivos temporales. Si descargo algo importante, lo copio a la carpeta correspondiente en Dropbox.
Mis aventuras con DropboxHace mucho tiempo, alrededor de 2013-2014, guardaba todos mis archivos solo en Dropbox, sin copias de seguridad. No tenía 1TB, es decir, no pagaba por ello; tenía alrededor de 25GB, que conseguí invitando amigos o completando otras tareas.
Una hermosa mañana, encendí mi computadora y todos mis archivos habían desaparecido. También recibí un correo de Dropbox disculpándose y diciendo que mis archivos se habían perdido por su culpa. Me dieron un enlace para intentar recuperar mis archivos, pero, por supuesto, no pude recuperar nada. A cambio, me regalaron 1TB por un año y, aunque parezca extraño, me convertí en su cliente, aunque nunca les confié por completo.
Como mencioné antes, no encontré otra nube que se ajuste a mis necesidades. En primer lugar, no había problemas de sincronización, y en segundo lugar, muchos otros servicios solo funcionan con Dropbox.
Git
Los archivos de trabajo están almacenados en el servidor de trabajo, los proyectos personales en GitLab, aquí todo es sencillo.
Time Machine
También hago una copia de seguridad de todo el sistema, excluyendo la carpeta de Dropbox y la de Descargas, por supuesto, para no ocupar espacio innecesariamente. Realizo la copia de seguridad del sistema a través de Time Machine, una herramienta excelente que me ha salvado en varias ocasiones. La hago en el mismo NAS, afortunadamente tiene esa función. Se puede hacer en un HDD externo, claro, pero no es tan conveniente. Hay que conectar el disco externo cada vez y lanzar Time Machine manualmente. Debido a la pereza, a menudo hacía esas copias de seguridad cada pocas semanas. En el servidor, sin embargo, el backup se hace automáticamente, ni siquiera me doy cuenta de cuándo lo hace. Trabajo desde casa, así que siempre tengo una copia de seguridad reciente de todo mi sistema. Se realizan copias varias veces al día, no he contado cuántas veces ni con qué frecuencia.
NAS
Aquí es donde ocurre toda la magia.
Synology tiene una excelente herramienta llamada Cloud Sync, creo que con el nombre se entiende lo que hace.
Puede sincronizar muchos sistemas en la nube entre sí, para ser más preciso, sincroniza archivos desde el servidor NAS a otras nubes. Supongo que hay reseñas de esta aplicación en internet. No entraré en detalles. Mejor describiré cómo la uso.
En el servidor tengo una carpeta llamada Dropbox, que es una copia de mi cuenta de Dropbox; la sincronización de todo esto la gestiona Cloud Sync. Si sucede algo con los archivos en Dropbox, también ocurrirá en el servidor, no importa si se eliminan o se crean. En resumen, es una sincronización clásica.
Yandex Disk
Luego, subo todos estos archivos a mi Yandex Disk, que utilizo como un disco de respaldo casero, es decir, subo archivos allí pero no borro nada de allí, se convierte en un lugar de acumulación de archivos, pero me ha salvado en un par de ocasiones.
Google Drive
Allí solo mando la carpeta "Photos", también en modo de sincronización, lo hago solo para facilitar la visualización de fotos en Google Photos y con la posibilidad de eliminar fotos de allí, que se borran en todas partes (menos en Yandex Disk, claro). Sobre las fotos escribiré más abajo, realmente se podría escribir un artículo separado sobre eso.
HyperBackup
Pero todo esto no es muy confiable, si elimino un archivo accidentalmente, se elimina en todos lados y se puede considerar perdido. Se puede restaurar desde Yandex Disk, pero en primer lugar, tener un respaldo en un solo lugar no es muy seguro por sí mismo, y además, Yandex Disk no es ese tipo de servicio en el que se puede tener una confianza del 100%, aunque hasta ahora no he tenido problemas con él.
Por eso siempre he intentado almacenar archivos en otro lugar, ya con un sistema de respaldo adecuado.
Synology también tiene una herramienta para esto, llamada HyperBackup, realiza respaldos de archivos ya sea en otros servidores Synology o en soluciones en la nube de terceros.
También puede hacer copias de seguridad en discos externos conectados al NAS, así lo hice hasta hace poco. Pero esto también es poco confiable, por ejemplo, si hay un incendio, es el fin tanto para el servidor como para el HDD.
Synology C2
Aquí llegamos suavemente a otro servicio, ya de Synology. Tienen sus propias nubes para almacenar respaldos. Está diseñado específicamente para HyperBackup, realiza un respaldo allí cada día, pero ya es un respaldo pensado, tiene versiones de archivos, cronología e incluso clientes para Windows y Mac OS.
Con esto, termina el tema de almacenamiento de archivos, espero que mis archivos estén a salvo.
Ahora pasemos a la organización de archivos.
Los archivos normales, libros, escaneos de documentos y otros archivos poco importantes los organizo a mano en carpetas, como todos. Por lo general, no son muchos y los abro raramente.
Lo más complicado es organizar las fotos y videos, tengo muchos.
Hago desde varias decenas hasta varios cientos de fotos al mes. Utilizo una cámara réflex, un dron y a veces el teléfono. Las fotos pueden ser personales o para bancos de imágenes. También a veces grabo videos familiares (no como ustedes piensan, solo videos familiares, más a menudo con mi hija). También hay que encontrar una forma de almacenarlos y organizarlos para que no se conviertan en un caos.
Tengo una carpeta en Dropbox llamada Sort Images, donde hay subcarpetas donde se guardan todas las fotos y videos; de ahí se sacan y se ordenan donde corresponde.
La clasificación se realiza en el servidor NAS, donde funcionan scripts bash que se ejecutan automáticamente una vez al día y hacen su trabajo. El NAS también es responsable de su ejecución, hay un programador de tareas que se encarga de iniciar todos los scripts y otras tareas. Se puede configurar con qué frecuencia y cuándo se ejecutarán las tareas, es un cron con interfaz, si se quiere decir de manera simple.
Para cada carpeta hay un script propio. Ahora, más en detalle sobre las carpetas:
Drone — aquí se almacenan las fotos del dron que he tomado con fines personales. Primero edito todas las fotos en Lightroom, luego exporto JPG a esta carpeta. Desde allí, se trasladan a otra carpeta en Dropbox, "Photo".
Ahí hay una carpeta llamada "Drone" y allí se ordenan por años y meses. Los scripts crean automáticamente las carpetas necesarias y renombrar las fotos según mi plantilla, que normalmente consiste en la fecha y hora en que se tomó la foto, además agrego un número aleatorio al final, para que no haya archivos con el mismo nombre. No recuerdo por qué la configuración de segundos en el nombre del archivo no era adecuada para estos fines.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — actualmente no estoy grabando videos con el dron,hay mucho que aprender y no tengo tiempo para eso, pero ya he creado la carpeta.
Images Operations — aquí hay dos carpetas; cuando entran archivos, simplemente se comprimen por el lado más largo a 2000px para publicación en internet o se da vuelta a las imágenes. Esto último no lo necesito, pero por ahora no he eliminado la carpeta.
Panoramas — aquí, como es fácil adivinar, van las panorámicas; las guardo por separado ya que es un tipo específico de foto, normalmente las hago con el dron. También hago panorámicas normales, pero también panorámicas 360 y a veces esferas, este tipo de panorámicas que parecen pequeños planetas las hago también con el dron. Desde esta carpeta, todas las fotos se trasladan a Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Aquí no hago ordenamiento por meses ya que no hay tantas panorámicas.
Personal Photo — aquí se almacenan las fotos que tomo con la cámara réflex, generalmente son fotos familiares o de viajes, en resumen, fotos que se hacen para recordar y para mí. También edito las fotos en crudo en Lightroom y luego las exporto aquí.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Si he grabado algún evento o algo que debería ser almacenado por separado, creo una carpeta con el nombre del evento en la carpeta 2019 y copio las fotos allí a mano.
RAW — aquí es donde se almacenan los archivos originales de las fotos. Siempre grabo en RAW, guardo todas las fotos en JPG, pero a veces me gusta también conservar los archivos RAW, a veces quiero procesar alguna toma de manera diferente. Normalmente se trata de naturaleza y aquí solo se incluyen las mejores tomas, no todas.
Stock Photo — aquí subo fotos para stock, que hago ya sea con mi cámara réflex o con el dron. La clasificación es la misma que la de otras fotos, simplemente en su propia carpeta.
En el directorio raíz de Dropbox, hay una carpeta llamada Camera Uploads, que es la carpeta predeterminada donde la aplicación móvil de Dropbox coloca todas las fotos y videos. Todas las fotos de mi esposa desde su teléfono se suben así. Yo también subo todas mis fotos y videos desde el teléfono aquí y desde aquí los clasifico en carpetas separadas. Pero lo hago de una manera diferente, más conveniente para mí. Hay un programa para Android, FolderSync, que permite tomar todas las fotos del móvil, subirlas a Dropbox y luego borrarlas del teléfono. Tiene muchas configuraciones, lo recomiendo. También aquí se suben videos del teléfono, que se clasifican igual que todas las fotos, por años y meses.
He reunido todos los scripts yo mismo de varias instrucciones en Internet, no encontré soluciones listas. No sé nada sobre scripts de bash, puede que haya algunos errores o que se podrían hacer algunas cosas mejor, pero lo más importante para mí es que cumplen su función y hacen lo que necesito.
He subido los scripts a GitHub:
Antes, para clasificar fotos y videos, usaba Hazel en Mac OS; allí todo es más fácil, todas las tareas se crean visualmente y no hay que escribir código, pero aquí hay dos desventajas. Primero, hay que mantener todas las carpetas en la computadora para que todo funcione bien y segundo, si de repente cambio a Windows o Linux, no hay programas como esos. Intenté buscar alternativas, pero todas eran insatisfactorias. La solución con scripts en el servidor es una solución más universal.
Todos los scripts están configurados para ejecutarse una vez al día, generalmente por la noche. Pero si no hay tiempo para esperar y necesito ejecutar un script ahora, hay dos soluciones: conectarse por SSH al servidor y ejecutar el script necesario o ingresar al panel de administración y también lanzar manualmente el script requerido. Todo esto me parece incómodo, por lo que encontré una tercera solución. Hay un programa para Android que puede enviar comandos SSH. He creado varios comandos, cada uno con su propio botón, y ahora, si necesito ordenar, por ejemplo, las fotos que tomé con el dron, solo presiono un botón y el script se activa. El programa se llama SSHing, hay otros similares, pero para mí este es el más cómodo.
También tengo varios sitios web, son más bien un cumplimiento, casi nadie los visita, pero de todos modos, hacer backup no está de más. Mis sitios los mantengo en DigitalOcean, donde instalé el panel aaPanel. Allí hay opción para hacer copias de seguridad de todos los archivos y bases de datos, pero en el mismo disco.
Guardar el backup en el mismo disco no es correcto, así que también a través de un script bash me conecto y copio todo a mi servidor, archivando todo en un solo archivo con la fecha en el nombre.
Espero que al menos a alguien le ayuden los métodos que utilizo y con los que compartí.
Como se puede ver en el artículo, me gusta la automatización y trato de automatizar todo lo que sea posible, no he descrito muchas cosas desde el punto de vista de la automatización, ya que son otros temas y otros artículos.
Fuente: habr.com
