Eu queria há muito tempo escrever sobre como armazeno meus arquivos, como faço backups, mas nunca consegui. Recentemente, apareceu um artigo aqui, que de certa forma se assemelha ao meu, mas com uma abordagem diferente.
Há muitos anos eu tento encontrar o método ideal para armazenar arquivos. Acho que encontrei, mas sempre há algo que pode ser melhorado. Se você tiver alguma ideia de como fazer isso melhor, ficarei feliz em ler.
Começarei dizendo algumas palavras sobre mim: eu trabalho com desenvolvimento web e, no meu tempo livre, fotografo. Isso significa que preciso armazenar meus projetos de trabalho e pessoais, fotos, vídeos e outros arquivos.
Tenho cerca de 680 GB de arquivos, dos quais 90% são fotos e vídeos.
O ciclo de arquivos em meus armazenamentos:
Aqui está um diagrama aproximado de como e onde todos os meus arquivos são armazenados.
Agora, mais detalhes.
Como pode ser visto, o coração de tudo isso é meu NAS, especificamente o Synology DS214, um dos NAS mais simples da Synology. No entanto, ele suporta tudo que preciso.
Dropbox
Meu computador é um MacBook Pro de 13 polegadas de 2015. Tenho 512GB, mas obviamente não consigo armazenar todos os arquivos lá; guardo apenas o que é necessário no momento. Todos os meus arquivos e pastas pessoais estão sincronizados com o Dropbox. Sei que não é muito confiável, mas ele só faz a função de sincronização. E ele faz isso da melhor forma possível, pelo menos em relação ao que experimentei. Já experimentei todos os serviços de armazenamento em nuvem famosos e não tão famosos.
A Synology também tem sua própria nuvem, que pode ser configurada em seu NAS. Tentei algumas vezes mudar do Dropbox para a Synology Cloud Station, mas sempre tive problemas de sincronização, sempre apareciam erros ou nem tudo era sincronizado.
Todos os arquivos importantes estão armazenados na pasta do Dropbox. Às vezes, salvo algo na área de trabalho; para não perder nada, criei um link simbólico para a pasta do Dropbox usando o programa MacDropAny.
A pasta de Downloads não é sincronizada, mas não contém nada importante, apenas arquivos temporários. Se eu baixar algo importante, copio para a pasta correspondente no Dropbox.
Minhas aventuras com o DropboxHá muito tempo, entre 2013 e 2014, eu armazenava todos os meus arquivos apenas no Dropbox, sem backups. Naquela época, eu não tinha 1TB, ou seja, não pagava por isso; tinha cerca de 25GB, que ganhei convidando amigos ou completando outras tarefas.
Certa manhã, liguei o computador e todos os meus arquivos desapareceram. Também recebi um e-mail do Dropbox pedindo desculpas e informando que seus arquivos tinham sumido por culpa deles. Eles me deram um link para que eu pudesse recuperar meus arquivos, mas, claro, nada foi recuperado. Em compensação, eles me deram 1TB grátis por um ano, e, por estranho que pareça, acabei me tornando cliente deles, embora nunca tenha confiado completamente neles.
Como mencionei antes, não consegui encontrar uma nuvem mais adequada para mim. Em primeiro lugar, não tive problemas de sincronização até agora. Em segundo lugar, muitos serviços funcionam apenas com o Dropbox.
Git
Os arquivos de trabalho estão armazenados no servidor de trabalho e os projetos pessoais no GitLab, é tudo bem simples.
Time Machine
Além disso, faço backup de todo o sistema, excluindo as pastas Dropbox e Downloads, é claro, para não ocupar espaço desnecessariamente. Faço o backup do sistema através do Time Machine, uma ferramenta excelente que já me salvou inúmeras vezes. Faço isso no mesmo NAS, felizmente, lá existe essa função. Também é possível fazer em um HDD externo, mas não é tão conveniente. Preciso conectar o disco externo toda vez e iniciar o Time Machine manualmente. Por preguiça, muitas vezes esses backups eram feitos de várias em várias semanas. No servidor, o backup é feito automaticamente, eu nem percebo quando isso acontece. Trabalho de casa, então sempre tenho uma cópia de segurança atualizada de todo o meu sistema. Cópias são feitas várias vezes ao dia, não contabilizei quantas vezes e com que frequência.
NAS
É aqui que toda a mágica acontece.
A Synology tem uma ferramenta excelente chamada Cloud Sync, acho que pelo nome é possível entender o que ela faz.
Ela pode sincronizar muitos sistemas de nuvem entre si. Para ser mais preciso, sincroniza arquivos do servidor NAS com outras nuvens. Acredito que há análises sobre este programa na internet, não vou entrar em detalhes. Vou descrever como a utilizo.
No servidor, tenho uma pasta chamada Dropbox, que é uma cópia da minha conta do Dropbox. A sincronização de tudo isso é realizada pelo Cloud Sync. Se algo acontecer com os arquivos no Dropbox, isso também ocorrerá no servidor, não importa se é uma edição, exclusão ou criação. É uma sincronização clássica.
Yandex Disk
Em seguida, coloco todos esses arquivos no meu Yandex Disk, que uso como um disco de backup caseiro. Ou seja, coloco arquivos lá, mas não excluo nada. Assim, acabo criando uma bagunça de arquivos, mas já me salvou algumas vezes.
Google Drive
Eu envio apenas a pasta "Photos" para lá, também em modo de sincronização; faço isso apenas para facilitar a visualização das fotos no Google Fotos e para poder excluir fotos de lá, que são excluídas em todos os lugares (exceto no Yandex Disk, é claro). Vou escrever sobre as fotos abaixo, onde posso escrever um artigo separado sobre isso.
HyperBackup
Mas tudo isso não é muito confiável, se eu apagar um arquivo acidentalmente, ele será excluído em todos os lugares e pode ser considerado perdido. Claro, posso restaurá-lo do Yandex Disk, mas, em primeiro lugar, um backup em um só lugar não é muito seguro por si só, e o próprio Yandex Disk não é um serviço em que se pode confiar 100%, apesar de nunca ter tido problemas com ele.
Portanto, sempre procurei armazenar arquivos em outro lugar, já com um sistema de backup adequado.
A Synology também possui uma ferramenta para isso, chamada HyperBackup, que faz backup de arquivos para outros servidores Synology ou para soluções em nuvem de terceiros.
Além disso, ele pode fazer backup em discos externos conectados ao NAS, como eu fazia até recentemente. Mas isso também não é confiável; por exemplo, se houver um incêndio, é o fim tanto para o servidor quanto para o HDD.
Synology C2
Aqui fazemos uma transição suave para outro serviço, já da própria Synology. Eles possuem suas nuvens para armazenamento de backups. É especificamente projetado para o HyperBackup, faz backup todos os dias, mas é um backup mais elaborado, com versões de arquivos, linha do tempo e até clientes para Windows e macOS.
Com isso, quanto ao armazenamento de arquivos, é isso; espero que meus arquivos estejam seguros.
Agora vamos para a classificação de arquivos.
Arquivos comuns, livros, digitalizações de documentos e outros arquivos menos importantes, eu classifique manualmente em pastas, assim como todos. Normalmente não são muitos e eu os abro raramente.
O mais complicado é a classificação de fotos e vídeos, pois tenho muitos.
Tiro de várias dezenas a várias centenas de fotos por mês. Faço fotos com uma câmera reflex, com um drone e às vezes com o celular. As fotos podem ser pessoais ou para bancos de imagens. Também às vezes faço vídeos caseiros (não o que você está pensando, apenas vídeos familiares, mais com a minha filha). Eles também precisam ser armazenados e classificados de alguma forma, para não ficarem uma bagunça.
Eu tenho uma pasta no mesmo Dropbox chamada Sort Images, onde há subpastas para onde todas as fotos e vídeos vão, de onde são retirados e classificados para o lugar certo.
A classificação ocorre no servidor NAS, onde scripts bash são executados automaticamente uma vez por dia para realizar suas funções. O NAS também é responsável pela execução deles, pois possui um agendador de tarefas que organiza a execução de todos os scripts e outras tarefas. É possível configurar com que frequência e quando as tarefas serão iniciadas, um cron com interface, se preferir.
Para cada pasta, existe um script específico. Agora, mais detalhes sobre as pastas:
Drone — aqui vão as fotos do drone que tirei para fins pessoais. Primeiro, edito todas as fotos no Lightroom, depois faço a exportação em JPG para esta pasta. Daqui, elas vão para outra pasta no Dropbox, "Photo".
Lá há uma pasta chamada "Drone", onde elas já são classificadas por anos e meses. Os scripts criam automaticamente as pastas necessárias e renomeiam as fotos de acordo com meu padrão, que geralmente é a data e a hora em que a foto foi tirada, além de adicionar um número aleatório no final para evitar que arquivos tenham o mesmo nome. Não lembro porque a inclusão de segundos no nome do arquivo não funcionou para esses fins.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — ainda não estou filmando com o drone, preciso aprender muito sobre isso e não tenho tempo agora, mas já criei a pasta.
Images Operations — aqui dentro há duas pastas; quando os arquivos caem aqui, eles são simplesmente compactados para um lado máximo de 2000px para publicação na internet, ou é feita uma virada de imagens, mas isso não é necessário para mim, então ainda não deletei a pasta.
Panoramas — aqui vão, como não é difícil adivinhar, as panorâmicas, que mantenho separadas por serem um tipo específico de foto, geralmente feitas com o drone. Faço panorâmicas normais, mas também faço panorâmicas 360 e, às vezes, esferas, que são panorâmicas em forma de pequenos planetas, também feitas com o drone. Dessa pasta, todas as fotos vão para Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Aqui, não faço classificação por meses, já que não há muitas panorâmicas.
Personal Photo — aqui vão as fotos que tiro com a câmera reflex, geralmente fotos de família ou de viagens, em resumo, fotos que tiro para guardar memórias e para mim. Também edito as fotos brutas no Lightroom e depois as extrapolo aqui.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Se eu registrar alguma celebração ou algo que eu preferiria guardar separadamente, crio uma pasta com o nome da celebração na pasta de 2019 e copio as fotos manualmente para lá.
RAW — aqui estão os originais das fotos. Eu sempre fotografo em RAW, guardo todas as fotos em JPG, mas às vezes gostaria de manter também os arquivos RAW, às vezes quero processar uma imagem de forma diferente. Normalmente, isso é natureza e apenas as melhores imagens entram aqui, não todas aleatoriamente.
Foto de Stock — aqui eu coloco as fotos para os bancos de imagens, que faço tanto com a câmera reflex quanto com o drone. A organização é a mesma que nas outras fotos, apenas em uma pasta separada.
Na diretória raiz do Dropbox, há uma pasta de Uploads de Câmera, que é a pasta padrão onde o aplicativo móvel do Dropbox envia todas as fotos e vídeos. Todas as fotos da minha esposa, tiradas do telefone, são enviadas assim. Eu também coloco todas as minhas fotos e vídeos do telefone aqui e depois classifico-os em uma pasta separada. Mas eu faço isso de uma forma diferente, mais conveniente para mim. Existe um programa para Android, o FolderSync, que permite pegar todas as fotos do celular, enviá-las para o Dropbox e depois excluí-las do telefone. Tem muitas configurações, recomendo. Para esta pasta também vão os vídeos do telefone, que são organizados como todas as fotos, por anos e meses.
Eu compilei todos os scripts por conta própria a partir de várias instruções da internet, não encontrei soluções prontas. Eu realmente não sei nada sobre scripts bash, pode haver alguns erros ou algumas coisas que poderiam ter sido feitas melhor, mas o mais importante — para mim, eles cumprem sua função e fazem o que eu preciso.
Os scripts estão no GitHub:
Antes, eu usava o Hazel para classificar fotos e vídeos no macOS, onde tudo era mais fácil, todas as tarefas eram criadas visualmente, sem precisar escrever código, mas tem duas desvantagens. Primeiro, preciso manter todas as pastas no computador para que tudo funcione bem e, segundo, se por acaso eu migrar para Windows ou Linux, não há programas desse tipo lá. Tentei procurar alternativas, mas todas eram insatisfatórias. A solução com scripts no servidor é uma solução mais universal.
Todos os scripts estão configurados para serem executados uma vez por dia, geralmente à noite. Mas se não houver tempo para esperar e precisar executar um script agora, há duas soluções: conectar-se via SSH ao servidor e executar o script desejado ou acessar o painel de administração e também iniciar manualmente o script desejado. Tudo isso me parece um incômodo, então encontrei uma terceira solução. Existe um programa para Android que pode enviar comandos SSH. Criei vários comandos, cada um com seu botão, e agora, se preciso classificar, por exemplo, as fotos que tirei com o drone, basta pressionar um botão e o script é acionado. O programa se chama SSHing, existem outros semelhantes, mas este é o mais conveniente para mim.
Eu também tenho alguns sites próprios, eles são mais para 'cumprir tabela', pois quase ninguém acessa, mas ainda assim fazer backup não faz mal. Mantenho os sites na DigitalOcean, onde instalei o painel aaPanel. Há a possibilidade de fazer backups de todos os arquivos e bancos de dados, mas no mesmo disco.
Guardar o backup no mesmo disco não é ideal, então, através de um script bash, faço o acesso lá e copio tudo para meu servidor, compactando tudo em um único arquivo com a data no nome.
Espero que ao menos alguém se beneficie das soluções que uso e compartilhei.
Como pode ser visto do artigo, gosto de automação e tento automatizar tudo o que é possível, não descrevi muitas coisas do ponto de vista da automação, já que isso envolve outros temas e outros artigos.
Fonte: habr.com
