J'ai longtemps voulu écrire sur la façon dont je stocke mes fichiers, comment je fais des sauvegardes, mais je n'avais jamais eu le temps. Récemment, un article est apparu ici, quelque chose de similaire au mien mais avec une approche différente.
Depuis de nombreuses années, j'essaie de trouver la méthode idéale pour le stockage de mes fichiers. Je pense que je l'ai trouvée, mais il y a toujours des améliorations possibles, donc si vous avez des idées pour améliorer, je serais ravi de les lire.
Je commencerai par dire quelques mots sur moi-même. Je fais du développement web et dans mon temps libre, je photographie. Par conséquent, j'ai besoin de stocker mes projets professionnels et personnels, des photos, des vidéos et d'autres fichiers.
J'ai environ 680 Go de fichiers, dont 90 % sont des photos et des vidéos.
Le cycle de fichiers dans mes stockages :
Voici un schéma approximatif de la façon dont et où tous mes fichiers sont stockés.
Maintenant, plus de détails.
Comme vous pouvez le voir, le cœur de tout cela est mon NAS, à savoir le Synology DS214, l'un des NAS les plus simples de l'entreprise Synology, mais il gère tout ce dont j'ai besoin.
Dropbox
Mon ordinateur de travail est un MacBook Pro 13, modèle 2015. J'y ai 512 Go, mais il est évident que tous les fichiers ne tiennent pas, je ne garde que ceux nécessaires pour le moment. Tous mes fichiers et dossiers personnels sont synchronisés avec Dropbox. Je sais que ce n'est pas très fiable, mais il remplit uniquement la fonction de synchronisation. Et il le fait mieux que tout ce que j'ai essayé, du moins parmi les services de cloud les plus connus et moins connus.
Synology a aussi son propre cloud, que l'on peut déployer sur son NAS. J'ai essayé plusieurs fois de passer de Dropbox à Synology Cloud Station, mais il y avait toujours des problèmes de synchronisation, avec toujours des erreurs, ou tout n'était pas synchronisé.
Tous mes fichiers importants sont stockés dans le dossier Dropbox. Parfois, je sauvegarde quelque chose sur le bureau pour ne pas perdre, j'ai créé un lien symbolique dans le dossier Dropbox à l'aide du programme MacDropAny.
Mon dossier de téléchargement n'est pas synchronisé, mais il n'y a rien d'important, seulement des fichiers temporaires. Si je télécharge quelque chose d'important, je le copie dans le dossier correspondant dans Dropbox.
Mes aventures avec DropboxIl y a longtemps, vers 2013-2014, je stockais tous mes fichiers uniquement dans Dropbox, sans aucune sauvegarde. À l'époque, je n'avais pas 1 To, donc je ne payais pas pour cela, j'avais environ 25 Go, que j'avais gagnés en invitant des amis ou en accomplissant d'autres tâches.
Un beau matin, j'ai allumé mon ordinateur et tous mes fichiers avaient disparu. J'ai aussi reçu un e-mail de Dropbox s'excusant et m'informant que mes fichiers avaient disparu à cause d'eux. Ils m'ont donné un lien pour restaurer mes fichiers, mais il va sans dire que rien n'a été récupéré. En revanche, ils m'ont offert 1 To gratuit pendant un an, après quoi je suis devenu leur client. Aussi étrange que cela puisse paraître, je ne leur ai jamais vraiment fait confiance.
Comme je l'ai dit précédemment, je n'ai pas pu trouver d'autre cloud qui me convienne. Tout d'abord, il n'y avait pas de problèmes de synchronisation et deuxièmement, de nombreux autres services ne fonctionnent qu'avec Dropbox.
Git
Les fichiers professionnels sont stockés sur le serveur de travail, mes projets personnels sur GitLab, c'est assez simple.
Time Machine
Je fais également une sauvegarde de tout le système, en excluant le dossier Dropbox et Download, bien sûr, pour ne pas occuper inutilement de l’espace. Je sauvegarde le système avec Time Machine, un excellent outil qui m'a déjà sauvé la mise. Je le fais sur le même NAS, heureusement, il a cette fonctionnalité. On peut bien sûr utiliser un disque dur externe, mais ce n'est pas aussi pratique. Chaque fois, il faut connecter le disque externe et lancer Time Machine soi-même. Par paresse, j'avais souvent tendance à le faire tous les quelques semaines. Sur le serveur, la sauvegarde se fait automatiquement, je ne remarque même pas quand cela arrive. Je travaille de chez moi, donc j'ai toujours une copie de sauvegarde fraîche de tout mon système. Des copies sont faites plusieurs fois par jour, je n'ai jamais compté combien de fois ni à quelle fréquence.
NAS
C'est ici que la magie opère.
Synology a un excellent outil, appelé Cloud Sync, dont le nom indique clairement sa fonction.
Il peut synchroniser de nombreux systèmes cloud entre eux, plus précisément, il peut synchroniser des fichiers depuis le serveur NAS vers d'autres clouds. Je pense qu'une présentation de ce programme existe en ligne, donc je vais éviter d'entrer dans les détails. Mieux vaut que je décrive comment je l'utilise.
J'ai sur le serveur un dossier nommé Dropbox, qui est une copie de mon compte Dropbox ; c'est Cloud Sync qui s'occupe de la synchronisation de tout cela. Si quelque chose se passe avec les fichiers dans Dropbox, cela se produira également sur le serveur, qu'il s'agisse de modifications, de suppressions ou de créations. En gros, c'est de la synchronisation classique.
Yandex Disk
Ensuite, je déplace tous ces fichiers sur mon Yandex Disk. Je l'utilise comme un disque de sauvegarde fait maison, c'est-à-dire que j'y dépose des fichiers mais je n'en supprime rien. Cela devient donc une sorte de fourre-tout de fichiers, mais cela m'a déjà sauvé la mise quelques fois.
Google Drive
Je n'envoie là-bas que le dossier «Photos», également en mode synchronisation, et je fais cela uniquement pour un affichage pratique des photos dans Google Photos, avec la possibilité de supprimer des photos de là-bas, et elles sont supprimées partout (sauf sur Yandex Disk, bien sûr). Je parlerai des photos ci-dessous, là, on pourrait en fait écrire un article séparé.
HyperBackup
Mais tout cela n'est pas très fiable, si je supprime accidentellement un fichier, il sera supprimé partout et on peut le considérer comme perdu. Bien sûr, je peux le restaurer à partir de Yandex Disk, mais d'une part, il n'est pas très fiable d'avoir une sauvegarde à un seul endroit, et d'autre part, Yandex Disk lui-même n'est pas un service sur lequel on peut compter à 100 %, même si je n'ai jamais eu de problèmes avec.
C'est pourquoi j'ai toujours essayé de garder les fichiers ailleurs, avec un vrai système de sauvegarde.
Synology dispose également d'un outil pour cela, appelé HyperBackup, qui effectue des sauvegardes de fichiers soit sur d'autres serveurs Synology, soit sur des solutions cloud de fabricants tiers.
Il peut également effectuer des sauvegardes sur des disques externes branchés à des NAS, c'est ce que je faisais jusqu'à récemment. Mais cela n'est pas sûr non plus ; par exemple, en cas d'incendie, c'est la fin pour le serveur et le HDD.
Synology C2
Ici, nous arrivons doucement à un autre service, venant directement de Synology. Ils ont leur propre cloud pour stocker les sauvegardes. Il est spécialement conçu pour HyperBackup, il effectue des sauvegardes là-bas chaque jour, mais c'est une sauvegarde bien pensée, il y a des versions de fichiers, une chronologie et même des clients pour Windows et macOS.
C'est tout pour le stockage de fichiers, j'espère que mes fichiers sont en sécurité.
Passons maintenant au tri des fichiers.
Les fichiers ordinaires, livres, scans de documents et autres fichiers peu importants, je les trie comme tout le monde manuellement. En général, il n'y en a pas beaucoup et je les ouvre rarement.
Le plus difficile est de trier les photos et les vidéos, j'en ai beaucoup.
Je prends entre quelques dizaines et plusieurs centaines de photos par mois. Je les prends avec un reflex, un drone et parfois avec mon téléphone. Les photos peuvent être personnelles ou pour des banques d'images. Parfois, je fais aussi des vidéos familiales (pas ce que vous pensez, juste des vidéos de famille, plus souvent avec ma fille). Il faut aussi les stocker et les trier pour que ça ne soit pas en désordre.
J'ai un dossier dans le même Dropbox, appelé Sort Images, où il y a des sous-dossiers pour toutes les photos et vidéos, à partir desquels elles sont prises et triées où il faut.
Le tri s'effectue sur le serveur NAS, où des scripts bash s'exécutent automatiquement une fois par jour pour effectuer leur travail. Le NAS est également responsable de leur exécution, car il dispose d'un planificateur de tâches qui gère l'exécution de tous les scripts et autres tâches. Il est possible de configurer la fréquence et le moment des exécutions, c'est un cron avec une interface, si c'est plus simple.
Chaque dossier a son propre script. Maintenant, des détails sur les dossiers :
Drone — ici se trouvent les photos du drone que j'ai prises à titre personnel. Je traite d'abord toutes les photos dans Lightroom, puis j'en fais l'export JPG dans ce dossier. De là, elles vont dans un autre dossier Dropbox, « Photo ».
Il y a un dossier « Drone » et là, elles sont triées par années et mois. Les scripts créent eux-mêmes les dossiers nécessaires et renomment les photos selon mon modèle, habituellement la date et l'heure de la prise de vue, j'ajoute également à la fin un chiffre aléatoire pour éviter d'avoir des fichiers avec le même nom. Je ne me souviens plus pourquoi l'ajout des secondes dans le nom de fichier n'était pas approprié pour ces objectifs.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — je ne filme pas encore avec un drone, il reste beaucoup à apprendre et je n'ai pas le temps en ce moment, mais j'ai déjà créé le dossier.
Images Operations — à l'intérieur, il y a deux dossiers, lorsque des fichiers y sont déplacés, ils sont soit compressés à la plus grande dimension jusqu'à 2000 px pour publication sur Internet, soit les images sont retournées, ça ne m'est plus nécessaire, mais jusqu'ici, je n'ai pas supprimé le dossier.
Panoramas — comme il est facile de deviner, ici se trouvent des panoramas, je les garde séparément car c'est un type de photo spécifique, je les fais généralement avec un drone. Je fais également des panoramas réguliers mais aussi des panoramas à 360 et parfois des sphères, un type de panorama comme de petites planètes, que je fais aussi avec un drone. De ce dossier toutes les photos vont également dans Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Ici, je ne fais pas de tri par mois car il n'y a pas tant de panoramas.
Personal Photo — Ici se trouvent les photos que je prends avec un reflex, généralement ce sont des photos de famille ou de voyages, en gros des photos pour la mémoire et pour moi. Je traite également les photos brutes dans Lightroom et ensuite les exporte ici.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Si j'ai filmé un événement ou autre chose que je préfère conserver séparément, je crée dans le dossier 2019 un dossier avec le nom de l'événement et j'y copie les photos à la main.
RAW — ici se trouvent les fichiers source des photos. Je prends toujours des photos en RAW, je conserve toutes mes images en JPG, mais parfois j'ai aussi envie de garder les fichiers RAW, parfois j'aimerais traiter une certaine image différemment. En général, c'est la nature et seuls les meilleurs clichés y sont placés, pas tout au hasard.
Photo de Stock — ici je dépose les photos pour les banques d'images, que je prends soit avec un reflex, soit avec un drone. La classification est la même que pour les autres photos, juste dans un dossier distinct.
Dans le répertoire racine de Dropbox, il y a un dossier Camera Uploads, c'est le dossier par défaut dans lequel l'application mobile Dropbox dépose toutes les photos et vidéos. Toutes les photos de ma femme provenant de son téléphone sont déposées ainsi. J'y mets également toutes mes photos et vidéos de mon téléphone, puis je les classe dans un dossier séparé. Mais je le fais d'une manière différente, plus pratique pour moi. Il existe un programme pour Android, FolderSync, qui permet de prendre toutes les photos du mobile, de les télécharger sur Dropbox et ensuite de les supprimer du téléphone. Il y a de nombreux paramètres, je recommande. Les vidéos de mon téléphone vont également dans ce dossier, elles sont classées de la même façon que toutes les photos, par années et par mois.
Tous les scripts, je les ai rassemblés moi-même à partir de différentes instructions sur Internet, je n'ai pas trouvé de solutions toutes faites. Je ne sais rien sur les scripts bash, il y a peut-être des erreurs ou certaines choses qui pourraient être faites mieux, mais le plus important pour moi est qu'ils accomplissent leur tâche et font ce que j'ai besoin.
Les scripts sont disponibles sur GitHub :
Auparavant, pour le tri des photos et vidéos, j'utilisais Hazel sur macOS, tout y est plus simple, toutes les tâches se créent visuellement, pas besoin d'écrire de code, mais il y a deux inconvénients. Premièrement, il faut garder tous les dossiers sur l'ordinateur pour que tout fonctionne bien et deuxièmement, si jamais je passe à Windows ou Linux, il n'y a pas de tels programmes. J'ai essayé de chercher des alternatives mais elles étaient toutes infructueuses. La solution avec des scripts sur le serveur est une solution plus universelle.
Tous les scripts sont configurés pour s'exécuter une fois par jour, généralement la nuit. Mais si vous n'avez pas le temps d'attendre et que vous devez exécuter un script immédiatement, il y a deux solutions : se connecter au serveur via SSH pour exécuter le script requis ou accéder à l'interface d'administration et lancer manuellement le script. Tout cela me semble peu pratique, c'est pourquoi j'ai trouvé une troisième solution. Il existe une application pour Android qui peut envoyer des commandes SSH. J'ai créé plusieurs commandes, chacune avec son propre bouton, et maintenant, si je dois trier, par exemple, des photos prises avec un drone, il suffit d'appuyer sur un bouton et le script s'exécute. L'application s'appelle SSHing, il y en a d'autres similaires, mais celle-ci est la plus pratique pour moi.
J'ai aussi plusieurs de mes propres sites, ils sont plus là pour la forme, pratiquement personne ne s'y rend, mais faire une sauvegarde ne fait jamais de mal. Je garde mes sites sur DigitalOcean, où j'ai installé le panneau aaPanel. Il y a une option pour faire des sauvegardes de tous les fichiers et de toutes les bases de données, mais sur le même disque.
Conserver la sauvegarde sur le même disque n'est pas une bonne idée, donc j'utilise également un script bash pour y accéder et copier tout sur mon serveur, en archivant le tout dans une seule archive avec la date dans le nom.
J'espère que mes méthodes, que j'utilise et que j'ai partagées, aideront au moins quelqu'un.
Comme on peut le voir dans l'article, j'aime l'automatisation et j'essaie d'automatiser tout ce qui est possible, je n'ai pas abordé de nombreuses choses du point de vue de l'automatisation, car ce sont déjà d'autres sujets et d'autres articles.
Source : habr.com
