Ich wollte schon lange darüber schreiben, wie ich meine Dateien speichere und Backups mache, aber dazu kam es bisher nicht. Kürzlich erschien hier ein Artikel, der in mancher Hinsicht meinem etwas ähnelt, jedoch einen anderen Ansatz verfolgt.
Ich habe viele Jahre versucht, die für mich ideale Methode zur Dateispeicherung zu finden. Ich denke, ich habe sie gefunden, aber es gibt immer Verbesserungsmöglichkeiten. Wenn jemand Ideen hat, wie es besser geht, freue ich mich über Anregungen.
Ich beginne damit, ein paar Worte zu mir zu sagen: Ich beschäftige mich mit Webentwicklung und fotografiere in meiner Freizeit. Daraus folgt, dass ich sowohl Arbeits- als auch persönliche Projekte, Fotos, Videos und andere Dateien speichern muss.
Ich habe etwa 680 GB an Dateien, davon sind ungefähr 90 % Fotos und Videos.
Der Kreislauf der Dateien in meinen Speichern:
Hier ist ein schematisches Beispiel, wie und wo all meine Dateien gespeichert werden.
Jetzt näher im Detail.
Wie man sieht, ist mein NAS das Herzstück, nämlich das Synology DS214, eines der einfachsten NAS-Modelle von Synology. Dennoch erfüllt es alle meine Anforderungen.
Dropbox
Ich arbeite mit einem MacBook Pro 13, Baujahr 2015. Ich habe dort 512 GB, aber es passen natürlich nicht alle Dateien darauf. Ich speichere nur das, was ich gerade benötige. Alle meine persönlichen Dateien und Ordner synchronisiere ich mit Dropbox. Ich weiß, dass es nicht besonders zuverlässig ist, aber es erfüllt seine Funktion der Synchronisation am besten aus all den Lösungen, die ich ausprobiert habe. Und ich habe wirklich alle bekannten und weniger bekannten Cloud-Dienste getestet.
Auch Synology hat eine eigene Cloud, die man auf seinem NAS aufsetzen kann. Ich habe mehrmals versucht, von Dropbox auf die Synology Cloud Station umzusteigen, aber da gab es immer Probleme mit der Synchronisation. Es traten ständig irgendwelche Fehler auf, oder nicht alle Dateien wurden synchronisiert.
Alle wichtigen Dateien befinden sich im Ordner Dropbox. Manchmal speichere ich etwas auf dem Desktop, um nichts zu verlieren, und habe einen Symlink in den Dropbox-Ordner mit Hilfe des Programms MacDropAny erstellt.
Der Download-Ordner wird bei mir nicht synchronisiert, aber da sind auch keine wichtigen Dateien drin, nur temporäre Dateien. Wenn ich etwas Wichtiges herunterlade, kopiere ich es in den entsprechenden Ordner in Dropbox.
Meine Abenteuer mit DropboxVor vielen Jahren, etwa 2013-2014, habe ich alle meine Dateien nur in Dropbox gespeichert, ohne Backups. Zu der Zeit hatte ich nicht einmal 1 TB, also habe ich dafür auch nichts bezahlt; ich hatte ungefähr 25 GB, die ich durch das Einladen von Freunden oder andere Aufgaben verdient habe.
Eines schönen Morgens schaltete ich meinen Computer ein und alle meine Dateien waren verschwunden. Ich erhielt eine E-Mail von Dropbox, in der sie sich entschuldigten und erklärten, dass meine Dateien wegen eines Fehlers ihrerseits verloren gegangen waren. Sie gaben mir einen Link, über den ich meine Dateien wiederherstellen konnte, aber selbstverständlich wurde nichts wiederhergestellt. Dafür schenkten sie mir ein Jahr lang 1 TB, woraufhin ich ihr Kunde wurde. So seltsam es auch klingt, aber ich habe ihnen nie vertraut.
Wie bereits erwähnt, konnte ich keinen besseren Cloud-Dienst finden. Zum einen gab es damals noch Synchronisierungsprobleme und zum anderen funktionieren viele Services nur mit Dropbox.
Git
Berufliche Dateien werden auf dem Arbeitsserver gespeichert, persönliche Projekte auf GitLab, das ist ganz einfach.
Time Machine
Ich mache auch ein Backup des gesamten Systems, wobei ich natürlich den Dropbox-Ordner und die Downloads auslasse, um nicht unnötig Speicherplatz zu verschwenden. Das System-Backup mache ich mit Time Machine, einem großartigen Tool, das mir schon oft geholfen hat. Ich speichere es auf demselben NAS, zum Glück gibt es dort eine solche Funktion. Natürlich kann man es auch auf eine externe HDD machen, aber das ist nicht so bequem. Man muss jedes Mal die externe Festplatte anschließen und Time Machine manuell starten. Aus Faulheit habe ich solche Backups oft nur alle paar Wochen gemacht. Auf dem Server hingegen wird das Backup automatisch erstellt, ich bemerke nicht einmal, wann es passiert. Ich arbeite von zu Hause aus, also habe ich immer eine aktuelle Sicherungskopie meines gesamten Systems. Die Backups werden mehrmals am Tag erstellt, ich habe nie gezählt, wie oft und wie regelmäßig.
NAS
Hier passiert die ganze Magie.
Synology hat ein großartiges Tool, das Cloud Sync heißt. Ich denke, aus dem Namen geht hervor, was es macht.
Es kann viele Cloud-Systeme miteinander synchronisieren, genauer gesagt, Dateien vom NAS-Server mit anderen Clouds synchronisieren. Es gibt wahrscheinlich eine Übersicht zu diesem Programm im Internet, ich werde nicht ins Detail gehen. Ich beschreibe lieber, wie ich es benutze.
Auf meinem Server habe ich einen Ordner namens Dropbox, der eine Kopie meines Dropbox-Kontos ist. Die Synchronisierung übernimmt Cloud Sync. Wenn etwas mit den Dateien in Dropbox passiert, geschieht dasselbe auch auf dem Server, egal ob es sich um das Löschen oder das Erstellen handelt. Kurz gesagt, es handelt sich um eine klassische Synchronisierung.
Yandex Disk
Darüber hinaus lade ich all diese Dateien auf meinen Yandex Disk hoch, den ich als selbstgebauten Backup-Disk nutze. Ich lade Dateien dort ab, lösche aber nichts, sodass es sich zu einer Art Dateiablage entwickelt hat. Manchmal hat mir das wirklich geholfen.
Google Drive
Dort sende ich nur den Ordner „Fotos“, ebenfalls im Synchronisationsmodus. Ich mache das nur, um die Fotos in Google Fotos bequem ansehen zu können und um die Möglichkeit zu haben, Fotos dort zu löschen. Wenn ich sie lösche, verschwinden sie überall (außer natürlich von Yandex Disk). Über die Fotos werde ich später schreiben, darüber könnte man sogar einen eigenen Artikel verfassen.
HyperBackup
Aber all das ist nicht besonders zuverlässig. Wenn ich eine Datei versehentlich lösche, wird sie überall gelöscht und gilt als verloren. Natürlich kann ich sie aus dem Yandex-Disk wiederherstellen, aber erstens ist ein Backup an einem Ort nicht sehr zuverlässig an sich, und Yandex-Disk ist nicht gerade ein Service, dem ich zu 100 % vertrauen kann, auch wenn ich bisher noch keine Probleme damit hatte.
Deshalb habe ich immer versucht, Dateien auch woanders zu speichern, bereits mit einem vernünftigen Backup-System.
Synology bietet ebenfalls ein Werkzeug dafür an, das HyperBackup heißt. Es ermöglicht, Backups entweder auf anderen Synology-Servern oder aufCloud-Lösungen von Drittanbietern zu erstellen.
Es kann auch Backups auf externe Festplatten erstellen, die an die NAS angeschlossen sind. Genau das habe ich bis vor kurzem gemacht. Aber auch das ist nicht zuverlässig; zum Beispiel, wenn es einen Brand gibt, ist sowohl der Server als auch die HDD am Ende.
Synology C2
Hier kommen wir sanft zu einem anderen Service, der von Synology selbst angeboten wird. Es gibt eigene Clouds zur Speicherung von Backups, die speziell für HyperBackup konzipiert sind. Es erstellt täglich Backups dort, und es ist ein durchdachtes Backup-System; dort gibt es Versionen der Dateien, einen Zeitstrahl und sogar Clients für Windows und macOS.
Das war's zum Thema Dateispeicherung. Ich hoffe, meine Dateien sind in Sicherheit.
Lass uns nun zur Dateiorganisation übergehen.
Gewöhnliche Dateien, Bücher, Dokumentenscans und andere weniger wichtige Dateien sortiere ich wie viele andere manuell in Ordner. Normalerweise sind es nicht viele und ich öffne sie selten.
Die größte Herausforderung ist die Sortierung von Fotos und Videos, da ich viele davon habe.
Ich mache jeden Monat von einigen Dutzend bis zu mehreren Hundert Fotos. Ich fotografiere mit einer Spiegelreflexkamera, einer Drohne und manchmal auch mit dem Handy. Die Fotos sind sowohl privat als auch für Stockzwecke. Manchmal mache ich auch Familienvideos (nicht das, was Sie denken, einfach nur Familienvideos, oft mit meiner Tochter). Auch diese müssen irgendwo aufbewahrt und sortiert werden, damit es nicht chaotisch wird.
Ich habe einen Ordner im gleichen Dropbox, der Sort Images heißt. Dort gibt es Unterordner, in die alle Fotos und Videos gelangen; von dort aus werden sie entnommen und dorthin sortiert, wo sie hingehören.
Die Sortierung erfolgt auf einem NAS-Server, wo Bash-Skripte automatisch einmal täglich ausgeführt werden, um ihre Arbeit zu erledigen. Das NAS ist ebenfalls für deren Ausführung zuständig; es gibt einen Aufgabenplaner, der die Ausführung aller Skripte und anderen Aufgaben übernimmt. Man kann einstellen, wie oft und wann Aufgaben ausgeführt werden; es gibt eine Benutzeroberfläche für den Cron-Job, so gesagt.
Für jeden Ordner gibt es ein eigenes Skript. Jetzt mehr Details zu den Ordnern:
Drone — hier landen die Fotos, die ich mit der Drohne aus persönlichen Gründen aufgenommen habe. Zuerst bearbeite ich alle Fotos in Lightroom, dann exportiere ich sie als JPG in diesen Ordner. Von dort gelangen sie in einen anderen Dropbox-Ordner, "Photo".
Dort gibt es einen Ordner "Drone", wo sie nach Jahren und Monaten sortiert werden. Die Skripte erstellen automatisch die benötigten Ordner und benennen die Fotos nach meinem Schema um, normalerweise das Datum und die Uhrzeit der Aufnahme. Am Ende füge ich eine zufällige Zahl hinzu, um zu verhindern, dass Dateien mit demselben Namen entstehen. Ich kann mich nicht erinnern, warum für diese Zwecke die Angabe der Sekunden im Dateinamen nicht geeignet war.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — ich filme im Moment nicht mit der Drohne, es gibt vieles zu lernen und zurzeit habe ich keine Zeit dafür, aber ich habe bereits einen Ordner erstellt.
Images Operations — hier gibt es zwei Unterordner, wenn Dateien dort landen, werden sie entweder auf die maximale Seite von 2000px für die Veröffentlichung im Internet komprimiert oder die Bilder werden gedreht. Letzteres brauche ich nicht, aber ich habe den Ordner vorerst nicht gelöscht.
Panoramas — Hier landen die Panoramen, wie man sich leicht vorstellen kann. Ich speichere sie separat, da es sich um eine spezielle Art von Fotos handelt, die ich normalerweise mit einer Drohne mache. Ich erstelle auch normale Panoramen, sowie 360-Grad-Panoramen und gelegentlich Sphären, die wie kleine Planeten aussehen und ebenfalls mit einer Drohne gemacht werden. Aus diesem Ordner gelangen alle Fotos auch in Photo/Panoramas/2019/01 — Mai — 2019_19.25.53_37.jpg. Ich sortiere nicht nach Monaten, da es nicht so viele Panoramen gibt.
Persönliches Foto — Hier landen Fotos, die ich mit einer Spiegelreflexkamera mache, meist Familienfotos oder Reiseimpressionen. Es sind im Grunde Fotos, die für die Erinnerung und für mich selbst gemacht werden. Auch bearbeite ich die Rohfotos in Lightroom und exportiere sie dann hierhin.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Wenn ich jedoch eine Feier oder ähnliches aufgenommen habe, das besser separat aufbewahrt werden sollte, erstelle ich im Ordner 2019 einen neuen Ordner mit dem Namen der Feier und kopiere die Fotos händisch dorthin.
RAW — Hier landen die Originale der Fotos. Ich fotografiere immer im RAW-Format; alle Fotos speichere ich als JPG, aber manchmal möchte ich auch die RAW-Dateien behalten, um einen bestimmten Schnappschuss anders zu bearbeiten. Normalerweise handelt es sich um Naturaufnahmen, und dort kommen nur die besten Aufnahmen hinein, nicht alle.
Stock-Foto — hier lade ich Fotos für Stock auf, die ich entweder mit meiner Spiegelreflexkamera oder mit einer Drohne mache. Die Sortierung ist dieselbe wie bei anderen Fotos, einfach in einen eigenen Ordner.
Im Hauptverzeichnis von Dropbox gibt es den Ordner Camera Uploads; das ist der Standardordner, in den die mobile Dropbox-Anwendung alle Fotos und Videos hochlädt. Alle Fotos meiner Frau von ihrem Handy landen so dort. Auch ich lade alle meine Fotos und Videos von meinem Handy hier hoch und sortiere sie dann in einen separaten Ordner. Ich mache das jedoch auf eine andere, mir angenehmere Weise. Es gibt eine App für Android namens FolderSync, die es ermöglicht, alle Fotos vom Handy auf Dropbox hochzuladen und sie dann vom Telefon zu löschen. Dort gibt es viele Einstellungen, ich empfehle sie. In diesen Ordner gelangen auch die Videos vom Handy, die ebenso wie alle Fotos nach Jahren und Monaten sortiert werden.
Alle Skripte habe ich selbst aus verschiedenen Anleitungen im Internet zusammengestellt, ich habe keine fertigen Lösungen gefunden. Ich kenne mich überhaupt nicht mit Bash-Skripten aus; möglicherweise gibt es einige Fehler oder Dinge, die man besser machen könnte. Aber das Wichtigste für mich ist, dass sie ihre Arbeit erledigen und das tun, was ich benötige.
Ich habe die Skripte auf GitHub hochgeladen:
Früher habe ich Hazel unter macOS verwendet, um Fotos und Videos zu sortieren. Dort ist alles viel einfacher, da alle Aufgaben visuell erstellt werden, ohne dass man Code schreiben muss. Aber es gibt zwei Nachteile. Erstens muss man alle Ordner auf dem Computer behalten, damit alles gut funktioniert, und zweitens, falls ich auf Windows oder Linux umsteige, gibt es dort keine solchen Programme. Ich habe nach Alternativen gesucht, aber alle waren unbrauchbar. Die Lösung mit Skripten auf dem Server ist universeller.
Alle Skripte sind so konfiguriert, dass sie einmal täglich, meist nachts, ausgeführt werden. Wenn ich jedoch nicht warten möchte und ein Skript sofort ausführen muss, gibt es zwei Lösungen: Entweder ich verbinde mich per SSH mit dem Server und führe das benötigte Skript aus, oder ich gehe ins Admin-Panel und starte das Skript manuell. Beides erscheint mir jedoch unpraktisch, also habe ich eine dritte Lösung gefunden. Es gibt eine App für Android, die SSH-Befehle senden kann. Ich habe mehrere Befehle erstellt, jeder hat einen eigenen Knopf, und wenn ich beispielsweise die Fotos sortieren möchte, die ich mit der Drohne gemacht habe, drücke ich einfach einen Knopf und das Skript wird ausgeführt. Die App heißt SSHing, es gibt auch andere ähnliche, aber für mich ist diese die bequemste.
Ich habe auch mehrere eigene Websites, die eher als Übung dienen; kaum jemand besucht sie, aber ein Backup ist trotzdem sinnvoll. Ich hoste die Websites auf DigitalOcean und habe dort die aaPanel-Oberfläche installiert. Sie ermöglicht es, Backups aller Dateien und Datenbanken zu erstellen, jedoch auf derselben Festplatte.
Es ist nicht ratsam, Backups auf derselben Festplatte zu speichern. Daher greife ich auch über ein Bash-Skript darauf zu und kopiere alles auf meinen Server, während ich alles in einem Archiv mit Datum im Namen komprimiere.
Ich hoffe, dass die Methoden, die ich benutze und geteilt habe, jemandem helfen werden.
Wie aus dem Artikel hervorgeht, liebe ich Automatisierung und versuche, alles möglichst zu automatisieren. Viele Dinge habe ich nicht aus der Perspektive der Automatisierung beschrieben, da das bereits andere Themen und Artikel betrifft.
Quelle: habr.com
