Pendant longtemps, j'ai voulu écrire sur la façon dont je stocke mes fichiers, comment je fais des sauvegardes, mais mes mains n'y sont jamais parvenues. Récemment, un article est paru ici, un peu similaire au mien, mais avec une approche différente.
J'ai essayé pendant des années de trouver la méthode parfaite pour stocker des fichiers. Je pense l'avoir trouvé, mais il y a toujours quelque chose à améliorer, s'il y a des réflexions pour l'améliorer, je le lirai avec plaisir.
Je vais commencer par vous dire quelques mots sur moi, je suis développeur web et je prends des photos sur mon temps libre. D'où la conclusion que j'ai besoin de stocker des projets professionnels et personnels, des photos, des vidéos et d'autres fichiers.
J'ai environ 680 Go de fichiers, dont 90 % sont des photos et des vidéos.
Fichiers de cyclisme dans mes coffres :
Voici un schéma approximatif de comment et où tous mes fichiers sont stockés.
Maintenant plus.
Comme vous pouvez le voir, le cœur de tout est mon NAS, à savoir le Synology DS214, l'un des NAS les plus simples de Synology, cependant, il fait face à tout ce dont j'ai besoin.
Dropbox
Ma machine de travail est un macbook pro 13, 2015. J'ai 512 Go là-bas, mais tous les fichiers ne tiennent pas seuls, je ne stocke que ce dont j'ai besoin pour le moment. Je synchronise tous mes fichiers et dossiers personnels avec Dropbox, je sais que ce n'est pas très fiable, mais il n'effectue que la fonction de synchronisation. Et il le fait le mieux, du moins d'après ce que j'ai essayé. Et j'ai essayé tous les nuages célèbres et pas très.
Synology a aussi son propre cloud, vous pouvez le déployer sur votre NAS, j'ai essayé plusieurs fois de transférer de Dropbox vers Synology Cloud Station, mais il y avait toujours des problèmes de synchronisation, toujours quelques erreurs, ou tout n'était pas synchronisé.
Tous les fichiers importants sont stockés dans le dossier Dropbox, parfois j'enregistre quelque chose sur le bureau, pour ne rien perdre, j'ai créé un lien symbolique vers le dossier Dropbox à l'aide du programme MacDropAny.
Le dossier de téléchargement n'est en aucun cas synchronisé, mais il n'y a rien d'important, seulement des fichiers temporaires. Si je télécharge quelque chose d'important, je le copie dans le dossier approprié de Dropbox.
Mes aventures avec DropboxIl était une fois, quelque part en 2013-2014, je gardais tous les fichiers dans Dropbox et seulement dedans, il n'y avait pas de sauvegardes. Ensuite, je n'avais pas 1 To, c'est-à-dire que je ne l'ai pas payé, j'avais environ 25 Go, que j'ai gagnés en invitant des amis ou d'autres tâches.
Un beau matin, j'ai allumé l'ordinateur et tous mes fichiers ont disparu, j'ai également reçu un e-mail de Dropbox où ils s'excusent et que mes fichiers ont disparu à cause de leur faute. Ils m'ont donné un lien où je pouvais restaurer mes fichiers, mais rien n'a été restauré par lui-même. Pour cela, ils m'ont donné 1 To pendant un an, après quoi je suis devenu leur client, aussi étrange que cela puisse paraître, mais je ne leur ai jamais fait confiance.
Comme je l'ai écrit ci-dessus, je ne pouvais pas trouver un cloud plus adapté pour moi, premièrement, il n'y avait pas encore de problèmes de synchronisation, et deuxièmement, beaucoup de toutes sortes de services ne fonctionnent qu'avec Dropbox.
Git
Les fichiers de travail sont stockés sur le serveur de travail, les projets personnels sur GitLab, tout est simple ici.
Machine à temps
Je fais également une sauvegarde de l'ensemble du système, à l'exclusion du dossier Dropbox et Téléchargements, afin de ne pas prendre de place en vain. Je sauvegarde le système via Time Machine, un excellent outil, il m'a aidé plus d'une fois. Je le fais sur le même NAS, car il y a une telle fonction là-bas. Vous pouvez le faire sur un disque dur externe, bien sûr, mais ce n'est pas si pratique. Vous devez connecter un lecteur externe à chaque fois et démarrer Time Machine vous-même. Par paresse, j'ai souvent fait de telles sauvegardes toutes les quelques semaines. Sur le serveur, il fait automatiquement une sauvegarde, je ne remarque même pas quand il le fait. Je travaille à domicile, j'ai donc toujours une nouvelle sauvegarde de l'ensemble de mon système. Une copie est faite plusieurs fois par jour, je n'ai pas compté combien de fois et à quelle fréquence.
NAS
C'est là que toute la magie opère.
Synology a un excellent outil, il s'appelle Cloud Sync, je pense que c'est clair d'après le nom ce qu'il fait.
Il peut synchroniser de nombreux systèmes cloud entre eux, pour être plus précis, il peut synchroniser les fichiers d'un serveur NAS avec d'autres clouds. Je pense qu'il y a un aperçu de ce programme sur le réseau. Je n'entrerai pas dans les détails. Je préfère décrire comment je l'utilise.
Sur le serveur, j'ai un dossier disque appelé Dropbox, c'est une copie de mon compte Dropbox, Cloud Sync fait toute la synchronisation. Si quelque chose est arrivé aux fichiers dans Dropbox, cela se produira également sur le serveur, peu importe s'il s'agit de supprimer/créer. En général, synchronisation classique.
Disque Yandex
De plus, je jette tous ces fichiers sur mon disque Yandex, je l'utilise comme disque de sauvegarde maison, c'est-à-dire que je jette les fichiers là-bas mais ne supprime rien à partir de là, il s'avère qu'un tel vidage de fichiers, mais cela a aidé deux-trois fois.
Google Drive
J'y envoie uniquement le dossier "Photos", également en mode synchronisation, je le fais uniquement pour une visualisation pratique des photos dans Google Photos et avec la possibilité de supprimer des photos à partir de là et elles sont supprimées partout (sauf pour le disque Yandex lui-même) . Je vais écrire sur la photo ci-dessous, là, vous pouvez généralement écrire un article séparé.
hypersauvegarde
Mais tout cela n'est pas très fiable, si vous supprimez accidentellement un fichier, alors il sera supprimé partout et vous pourrez le considérer comme perdu. Vous pouvez, bien sûr, restaurer à partir d'un disque Yandex, mais premièrement, une sauvegarde en un seul endroit n'est pas très fiable en soi, et le disque Yandex lui-même n'est pas le service dans lequel vous pouvez être sûr à 100%, bien qu'il n'ait jamais eu problèmes.
Par conséquent, j'ai toujours essayé de stocker des fichiers ailleurs, déjà avec un système de sauvegarde normal.
Synology dispose également d'un outil pour cela, il s'appelle HyperBackup, il sauvegarde les fichiers soit sur d'autres serveurs Synology, soit sur certaines solutions cloud tierces.
Il sait également comment sauvegarder sur des disques externes connectés au NAS-y, ce que je faisais jusqu'à récemment. Mais ce n'est pas non plus fiable, par exemple, s'il y a un incendie, alors la fin du serveur et du disque dur.
Synologie C2
Ici, nous approchons en douceur d'un autre service, déjà de Synology lui-même. Elle a ses propres clouds pour stocker les sauvegardes. Il est affûté spécifiquement pour HyperBackup, il y fait une sauvegarde tous les jours, mais c'est déjà une sauvegarde bien pensée, il existe des versions de fichiers, une chronologie et même des clients pour windows et mac os.
C'est tout, avec le stockage de fichiers, j'espère que mes fichiers sont en sécurité.
Passons maintenant au tri des fichiers.
Fichiers ordinaires, livres, numérisations de documents et autres fichiers sans importance, comme tout le reste, je les trie dans des dossiers avec mes mains. D'habitude il n'y en a pas beaucoup et je les ouvre rarement.
Le plus difficile est de trier les photos et les vidéos, j'en ai beaucoup.
Je prends des photos de quelques dizaines à quelques centaines par mois. Je filme avec un DSLR, un drone et parfois avec mon téléphone. Les photos sont personnelles et pour les stocks. Je tourne aussi parfois des vidéos à la maison (pas ce que vous pensiez, juste des vidéos de famille, plus souvent avec ma fille). Il doit également être stocké et trié d'une manière ou d'une autre, afin qu'il n'y ait pas de bouillie.
J'ai un dossier dans la même Dropbox appelé Trier les images, il y a des sous-dossiers où vont toutes les photos et vidéos, à partir de là elles sont prises et triées si nécessaire.
Le tri a lieu sur le serveur NAS, il existe des scripts bash qui s'exécutent automatiquement une fois par jour et font leur travail. Le NAS est également responsable de leur lancement, il y a un planificateur de tâches qui se charge de lancer tous les scripts et autres tâches. Vous pouvez configurer la fréquence et le moment d'exécution des tâches, l'interface cron si c'est plus facile.
Chaque dossier a son propre script. En savoir plus sur les dossiers :
Drone - voici des photos d'un drone que j'ai prises à des fins personnelles. Tout d'abord, je traite toutes les photos dans lightroom, puis j'exporte le JPG dans ce dossier. à partir de là, ils se retrouvent dans un autre dossier Dropbox, "Photo".
Il y a un dossier "Drone" et là ils sont déjà triés par année et par mois. Les scripts eux-mêmes créent les dossiers nécessaires et renomment les photos elles-mêmes selon mon modèle, généralement c'est la date et l'heure à laquelle la photo a été prise, j'ajoute également un nombre aléatoire à la fin pour que les fichiers portant le même nom ne se révèlent pas. Je ne me souviens pas pourquoi la définition de secondes dans le nom du fichier n'était pas adaptée à ces fins.
L'arbre ressemble à ceci : Photo/Drone/2019/05 - Mai/01 - Mai - 2019_19.25.53_37.jpg
Drone vidéo - Je ne fais pas encore de vidéo avec un drone, il y a beaucoup à apprendre là-bas, je n'ai pas le temps pour cela maintenant, mais j'ai déjà créé un dossier.
Opérations sur les images - il y a deux dossiers à l'intérieur, lorsque des fichiers y arrivent, ils sont simplement soit compressés au maximum à 2000px pour publication sur Internet, soit un retournement d'images est fait, je n'en ai plus besoin, mais jusqu'à présent je n'ai 't supprimé le dossier.
Panoramas - les panoramas, comme ce n'est pas difficile à deviner, arrivez ici, je les stocke séparément, puisqu'il s'agit d'un type de photo spécifique, je les prends généralement avec un drone. Je fais aussi des panoramas réguliers, mais je fais aussi des panoramas 360 et parfois des sphères, genre de panoramas comme des petites planètes, je le fais aussi avec un drone. Toutes les photos de ce dossier se retrouvent également dans Photo/Panoramas/2019/01 - Mai - 2019_19.25.53_37.jpg. Ici je ne trie pas par mois, car il n'y a pas tellement de panoramas.
Photo personnelle - Voici les photos que je prends sur un reflex, généralement ce sont des photos de famille ou de voyages, en général, des photos qui sont prises en souvenir et pour moi. Je traite également des photos brutes dans lightroom, puis je les exporte ici.
D'ici ils arrivent ici : Photo/2019/05 – Mai/01 – Mai – 2019_19.25.53_37.jpg
Si j'ai photographié une sorte de célébration ou quelque chose d'autre qui serait mieux stocké séparément, alors dans le dossier 2019, je crée un dossier avec le nom de la célébration et j'y copie la photo avec mes mains.
RAW - voici la source de la photo. Je prends toujours des photos en RAW, je stocke toutes les photos en JPG, mais parfois je veux aussi stocker des fichiers RAW, parfois je veux traiter un cadre différemment. Habituellement, c'est la nature et seuls les meilleurs clichés y arrivent, pas tous d'affilée.
Stock photo - ici, je télécharge des photos pour les stocks, ce que je fais soit sur un reflex numérique, soit sur un drone. Le tri est le même que sur les autres photos, juste dans son propre dossier séparé.
Dans le répertoire racine de Dropbox, il y a un dossier Camera Uploads, c'est le dossier par défaut dans lequel l'application mobile Dropbox y télécharge toutes les photos et vidéos. Toutes les photos de la femme du téléphone sont rejetées de cette manière. Je jette également toutes mes photos et vidéos de mon téléphone ici et les trie dans un dossier séparé à partir d'ici. Mais je le fais d'une manière différente, plus pratique pour moi. Il existe un tel programme pour Android, FolderSync, il vous permet de prendre toutes les photos de votre mobile, de les télécharger sur Dropbox puis de les supprimer de votre téléphone. Il y a beaucoup de réglages, je recommande. Les vidéos du téléphone tombent également dans ce dossier, elles sont également triées, comme toutes les photos, par année et par mois.
J'ai collecté moi-même tous les scripts à partir de toutes sortes d'instructions sur Internet, je n'ai pas trouvé de solutions toutes faites. Je ne connais rien du tout aux scripts bash, peut-être qu'il y a des erreurs ou que certaines choses pourraient être mieux faites, mais le plus important pour moi est qu'ils fassent leur travail et fassent ce dont j'ai besoin.
Scripts téléchargés sur github :
Auparavant, j'utilisais Hazel pour mac os pour trier les photos, les vidéos, tout y est plus facile, toutes les tâches sont créées visuellement, il n'est pas nécessaire d'écrire du code, mais il y a deux inconvénients. Premièrement, vous devez conserver tous les dossiers sur l'ordinateur pour que tout fonctionne bien, et deuxièmement, si je passe soudainement à Windows ou Linux, il n'y a pas de tels programmes là-bas. J'ai essayé de chercher une alternative mais ils n'étaient pour rien. Une solution avec des scripts sur le serveur est une solution plus universelle.
Tous les scripts sont configurés pour s'exécuter une fois par jour, généralement la nuit. Mais s'il n'y a pas de temps à attendre et que vous devez d'une manière ou d'une autre exécuter le script souhaité maintenant, il existe deux solutions : connectez-vous via SSH au serveur et exécutez le script souhaité, ou accédez au panneau d'administration et exécutez manuellement le script souhaité dans le de la même façon. Tout cela ne me semble pas commode, j'ai donc trouvé une troisième solution. Il existe un programme Android qui peut envoyer des commandes ssh. J'ai créé plusieurs commandes, chacune a son propre bouton, et maintenant si j'ai besoin de trier, par exemple, les photos que j'ai prises du drone, j'appuie simplement sur un bouton et le script fonctionne. Le programme s'appelle SSHing, il y en a d'autres similaires, mais pour moi c'est le plus pratique.
J'ai aussi plusieurs de mes propres sites, ils sont plus pour le spectacle, presque personne n'y va, mais ça ne fait toujours pas de mal de faire une sauvegarde. Je garde les sites sur DigitalOcean, j'y ai installé le panel aaPanel. Il existe une option pour sauvegarder tous les fichiers et toutes les bases de données, mais sur le même lecteur.
Garder une sauvegarde sur le même disque n'est pas le cas, donc je frappe également dessus via le script bash et copie tout sur mon serveur, en archivant tout dans une archive avec la date dans le titre.
J'espère qu'au moins quelqu'un aidera les méthodes que j'utilise et avec qui j'ai partagé.
Comme vous pouvez le voir dans l'article, j'adore l'automatisation et j'essaie d'automatiser tout ce qui est possible, je n'ai pas décrit beaucoup de choses du point de vue de l'automatisation, car ce sont déjà d'autres sujets et d'autres articles.
Source: habr.com