Há muito tempo eu queria escrever sobre como armazeno meus arquivos e como faço backups, mas nunca tive tempo para isso. Recentemente apareceu aqui um artigo, um pouco semelhante ao meu, mas com uma abordagem diferente.
Há muitos anos venho tentando encontrar o método perfeito para armazenar arquivos. Acho que encontrei, mas sempre há algo para melhorar, se você tiver alguma ideia de como fazer melhor, ficarei feliz em ler.
Vou começar contando algumas palavras sobre mim, faço desenvolvimento web e tiro fotos nas horas vagas. Daí a conclusão de que preciso armazenar projetos pessoais e de trabalho, fotos, vídeos e outros arquivos.
Tenho cerca de 680 GB de arquivos, 90% dos quais são fotos e vídeos.
Circulação de arquivos em meus storages:
Aqui está um diagrama aproximado de como e onde todos os meus arquivos são armazenados.
Agora mais.
Como podem ver, o coração de tudo é o meu NAS, nomeadamente o Synology DS214, um dos NAS mais simples da Synology, no entanto, dá conta de tudo o que preciso.
Dropbox
Minha máquina de trabalho é um macbook pro 13, 2015. Tenho 512GB lá, mas claro que não cabem todos os arquivos, só guardo o que é necessário no momento. Sincronizo todos os meus arquivos e pastas pessoais com o Dropbox, sei que não é muito confiável, mas apenas executa a função de sincronização. E ele faz isso melhor, pelo menos pelo que tentei. E experimentei todas as nuvens famosas e não tão famosas.
A Synology também tem nuvem própria, você pode implantá-la no seu NAS, tentei várias vezes mudar do Dropbox para o Synology Cloud Station, mas sempre houve problemas de sincronização, sempre houve alguns erros ou não sincronizei tudo.
Todos os arquivos importantes ficam armazenados na pasta Dropbox, às vezes salvo algo no meu desktop, para não perder nada, fiz um link simbólico para a pasta Dropbox usando o programa MacDropAny.
Minha pasta Download não está sincronizada de forma alguma, mas não há nada importante lá, apenas arquivos temporários. Se eu baixar algo importante, copio para a pasta apropriada no Dropbox.
Minhas aventuras com o DropboxEra uma vez, em algum momento de 2013-2014, que eu armazenava todos os meus arquivos no Dropbox e só lá não havia backups. Aí eu não tinha 1Tb, ou seja, não paguei, tinha uns 25Gb, que ganhei convidando amigos ou outras tarefas.
Uma bela manhã liguei o computador e todos os meus arquivos desapareceram, também recebi uma carta do Dropbox pedindo desculpas e dizendo que meus arquivos desapareceram por culpa deles. Eles me deram um link onde eu poderia restaurar meus arquivos, mas é claro que nada foi restaurado. Para isso me deram 1 TB por um ano, depois do qual me tornei cliente deles, por mais estranho que pareça, mas nunca confiei neles.
Como escrevi acima, não consegui encontrar uma nuvem mais adequada para mim, em primeiro lugar, ainda não houve problemas de sincronização e, em segundo lugar, muitos serviços diferentes funcionam apenas com o Dropbox.
Git
Os arquivos de trabalho são armazenados no servidor de trabalho, os projetos pessoais são armazenados no GitLab, tudo é simples aqui.
máquina do tempo
Também faço backup de todo o sistema, excluindo a pasta Dropbox e Downloads claro, para não ocupar espaço em vão. Faço backup do sistema usando o Time Machine, uma excelente ferramenta que já me ajudou mais de uma vez. Faço isso no mesmo NAS, felizmente tem essa função. Você pode fazer isso em um disco rígido externo, é claro, mas não é tão conveniente. Sempre que você precisar conectar uma unidade externa e iniciar o Time Machine você mesmo. Por causa da preguiça, muitas vezes fiz esses backups uma vez a cada poucas semanas. Ele faz backups automaticamente para o servidor, nem percebo quando ele faz isso. Eu trabalho em casa, então sempre tenho um backup novo de todo o meu sistema. A cópia é feita várias vezes ao dia, não contei quantas vezes e com que frequência.
NAS
É aqui que toda a magia acontece.
A Synology tem uma ferramenta excelente, chama-se Cloud Sync, acho que pelo nome fica claro o que ela faz.
Ele pode sincronizar muitos sistemas em nuvem entre si ou, mais precisamente, sincronizar arquivos de um servidor NAS com outras nuvens. Acho que há uma revisão deste programa online. Não vou entrar em detalhes. É melhor descrever como o uso.
No servidor tenho uma pasta em disco chamada Dropbox, é uma cópia da minha conta Dropbox, o Cloud Sync é responsável por sincronizar tudo isso. Se algo aconteceu com os arquivos do Dropbox, acontecerá no servidor, não importa se foi excluído ou criado. Em geral, sincronização clássica.
Unidade Yandex
Em seguida, jogo todos esses arquivos no meu disco Yandex, uso-o como um disco de backup caseiro, ou seja, jogo os arquivos lá, mas não apago nada de lá, acaba sendo um despejo de arquivos, mas ajudou algumas vezes.
Google drive
Lá eu envio apenas a pasta “Fotos”, também em modo de sincronização, faço isso apenas para uma visualização conveniente das fotos no Google Fotos e com a possibilidade de deletar fotos de lá e elas são deletadas em todos os lugares (exceto no disco Yandex, claro). Vou escrever sobre a foto abaixo; você pode até escrever um artigo separado lá.
HiperBackup
Mas tudo isso não é muito confiável: se você excluir acidentalmente um arquivo, ele será excluído de todos os lugares e você poderá considerá-lo perdido. Você pode, é claro, restaurar a partir do disco Yandex, mas em primeiro lugar, um backup em um local não é muito confiável por si só, e o disco Yandex em si não é um serviço no qual você possa ter 100% de confiança, mesmo que nunca tenha havido qualquer problemas com isso.
Portanto, sempre tentei armazenar os arquivos em outro lugar, com um sistema de backup normal.
A Synology também possui uma ferramenta para isso, chamada HyperBackup, que faz backup de arquivos para outros servidores Synology ou para algumas soluções em nuvem de fabricantes terceirizados.
Ele também pode fazer backups em unidades externas conectadas a um NAS, que era o que eu fazia até recentemente. Mas isso também não é confiável, por exemplo, se houver um incêndio, será o fim do servidor e do HDD.
Sinologia C2
Aqui abordamos gradualmente outro serviço, desta vez da própria Synology. Possui nuvens próprias para armazenamento de backups. Ele é projetado especificamente para HyperBackup, ele faz backups lá todos os dias, mas é um backup bem pensado, tem versões de arquivos, uma linha do tempo e até clientes para Windows e Mac OS.
Isso é tudo para armazenamento de arquivos, espero que meus arquivos estejam seguros.
Agora vamos passar para a classificação dos arquivos.
Eu classifico arquivos comuns, livros, digitalizações de documentos e outros arquivos sem importância em pastas manualmente, assim como todo o resto. Normalmente não são muitos e raramente os abro.
O mais difícil é ordenar fotos e vídeos, tenho muitos.
Tiro de dezenas a centenas de fotos por mês. Fotografo com uma DSLR, um drone e às vezes com meu telefone. As fotos podem ser pessoais ou para estoque. Às vezes também gravo vídeos caseiros (não o que você imagina, apenas vídeos de família, muitas vezes com minha filha). Ele também precisa ser armazenado e classificado de alguma forma para que não se torne uma bagunça.
Eu tenho uma pasta no mesmo Dropbox chamada Sort Images, existem subpastas para onde vão todas as fotos e vídeos, a partir daí eles são tirados e classificados onde necessário.
A classificação ocorre no servidor NAS, há scripts bash em execução que são iniciados automaticamente uma vez por dia e fazem seu trabalho. O NAS também é responsável por lançá-los; existe um agendador de tarefas que é responsável por lançar todos os scripts e outras tarefas. Você pode configurar com que frequência e quando as tarefas serão iniciadas, cron com uma interface se for mais simples.
Cada pasta possui seu próprio script. Agora mais sobre pastas:
Zangão — aqui estão fotos de um drone que tirei para fins pessoais. Primeiro processo todas as fotos no lightroom e depois exporto JPG para esta pasta. A partir daí eles vão para outra pasta do Dropbox, “Foto”.
Existe uma pasta “Drone” e lá eles já estão ordenados por ano e mês. Os próprios scripts criam as pastas necessárias e renomeiam as fotos de acordo com o meu template, geralmente é a data e hora em que a foto foi tirada, também adiciono um número aleatório no final para que não apareçam arquivos com o mesmo nome. Não me lembro por que definir segundos no nome do arquivo não era adequado para esses fins.
A árvore fica assim: Foto/Drone/2019/05 — Maio/01 — Maio — 2019_19.25.53_37.jpg
Drone Vídeo — Ainda não gravo vídeo com drone, tenho muito o que aprender, não tenho tempo para isso agora, mas já criei uma pasta.
Operações de imagem — tem duas pastas dentro, quando os arquivos são encontrados lá, eles são simplesmente compactados no máximo até 2000px para publicação na Internet, ou as imagens são invertidas, não preciso mais disso, mas ainda não apaguei a pasta.
Panoramas - é aqui que entram os panoramas, como você pode imaginar, eu os guardo separadamente por se tratar de um tipo específico de foto, costumo tirar com drone. Também faço panoramas regulares, mas também faço panoramas 360 e às vezes esferas, esse tipo de panoramas como pequenos planetas, também faço com drone. Desta pasta, todas as fotos também vão para Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Aqui não classifico por mês porque não há muitos panoramas.
Foto pessoal — Aqui estão as fotos que tiro com uma DSLR, geralmente são fotos de família ou de viagem, em geral, fotos que são tiradas para memória e para mim. Também processo fotos raw no Lightroom e depois as exporto aqui.
Daqui eles chegam aqui: Foto/2019/05 — Maio/01 — Maio — 2019_19.25.53_37.jpg
Se eu fotografei algum tipo de comemoração ou outra coisa que ficaria melhor guardada separadamente, então na pasta 2019 eu crio uma pasta com o nome da comemoração e copio a foto lá manualmente.
RAW - aqui estão as fontes das fotos. Sempre tiro fotos em RAW, guardo todas as fotos em JPG, mas às vezes quero armazenar arquivos RAW também, às vezes quero processar um quadro de forma diferente. Normalmente isso é a natureza e apenas as melhores fotos chegam lá, não todas seguidas.
Stock Photo - aqui eu carrego fotos para banco de imagens, que tiro em uma DSLR ou em um drone. A classificação é igual às outras fotos, apenas em uma pasta separada.
No diretório raiz do Dropbox, há uma pasta Camera Uploads, esta é a pasta padrão na qual o aplicativo móvel Dropbox carrega todas as fotos e vídeos. Todas as fotos da esposa tiradas do telefone são descartadas dessa forma. Também carrego aqui todas as minhas fotos e vídeos do meu telefone e, a partir daí, os classifico em uma pasta separada. Mas faço isso de uma forma diferente, mais conveniente para mim. Existe um programa para Android, o FolderSync, que permite tirar todas as fotos do seu celular, enviá-las para o Dropbox e depois excluí-las do telefone. Existem muitas configurações, eu recomendo. Os vídeos do seu telefone também vão para esta pasta; eles também são classificados como todas as fotos, por ano e mês.
Eu mesmo coletei todos os scripts de várias instruções na Internet, não encontrei nenhuma solução pronta. Não sei nada sobre scripts bash, talvez haja alguns erros ou algumas coisas poderiam ser feitas melhor, mas o mais importante para mim é que eles façam o seu trabalho e façam o que eu preciso.
Os scripts foram carregados no GitHub:
Anteriormente, para classificar fotos e vídeos, eu usava o Hazel no Mac OS, tudo é mais fácil lá, todas as tarefas são criadas visualmente, não é necessário escrever código, mas há duas desvantagens. Em primeiro lugar, você precisa manter todas as pastas do computador para que tudo funcione bem e, em segundo lugar, se eu mudar repentinamente para o Windows ou Linux, não existem tais programas lá. Tentei procurar uma alternativa, mas todas foram em vão. Uma solução com scripts no servidor é uma solução mais universal.
Todos os scripts são configurados para serem executados uma vez por dia, geralmente à noite. Mas se você não tem tempo para esperar e precisa executar de alguma forma o script necessário agora, existem duas soluções: conectar-se via SSH ao servidor e executar o script necessário, ou ir ao painel de administração e também executar manualmente o necessário roteiro. Tudo isso me parece inconveniente, então encontrei uma terceira solução. Existe um programa para Android que pode enviar comandos ssh. Criei vários comandos, cada um tem seu botão, e agora se eu precisar ordenar, por exemplo, fotos que tirei de um drone, basta apertar um botão e o script roda. O programa chama-se SSHing, existem outros semelhantes, mas para mim este é o mais conveniente.
Também tenho vários sites próprios, são mais para exibição, quase ninguém vai lá, mas mesmo assim não custa fazer um backup. Eu administro meus sites no DigitalOcean, onde instalei o painel aaPanel. Lá é possível fazer cópias de segurança de todos os arquivos e de todos os bancos de dados, mas no mesmo disco.
Armazenar um backup no mesmo disco não é o caso, então eu também uso um script bash para ir até lá e copiar tudo para o meu servidor, arquivando tudo em um arquivo com a data no nome.
Espero que pelo menos alguém seja ajudado pelos métodos que utilizo e com os quais compartilhei.
Como pode ser visto no artigo, adoro automação e procuro automatizar tudo o que é possível, não descrevi muitas coisas do ponto de vista da automação, pois já são outros tópicos e outros artigos.
Fonte: habr.com