Ich wollte schon lange darüber schreiben, wie ich meine Dateien speichere, wie ich Backups mache, aber ich kam einfach nicht dazu. Vor kurzem erschien hier ein Artikel, der in mancher Hinsicht meinem ähnelt, aber einen anderen Ansatz hat.
Ich versuche seit vielen Jahren, die ideale Methode zur Dateispeicherung für mich zu finden. Ich glaube, ich habe sie gefunden, aber es gibt immer etwas zu verbessern. Wenn jemand Ideen hat, wie man es besser machen kann, lese ich das gerne.
Ich beginne damit, ein paar Worte über mich zu sagen: Ich beschäftige mich mit Webentwicklung und fotografiere in meiner Freizeit. Daraus ergibt sich, dass ich arbeite und persönliche Projekte, Fotos, Videos und andere Dateien speichern muss.
Ich habe etwa 680 GB an Dateien, davon sind 90 Prozent Fotos und Videos.
Der Kreislauf der Dateien in meinen Speichern:
Hier ist ein beispielhaftes Schema, wie und wo all meine Dateien gespeichert sind.
Jetzt im Detail.
Wie man sieht, ist das Herzstück alles mein NAS, nämlich Synology DS214, einer der einfachsten NAS-Geräte von Synology. Es bewältigt jedoch alles, was ich brauche.
Dropbox
Mein Arbeitsgerät ist ein MacBook Pro 13 von 2015. Ich habe dort 512 GB, aber natürlich passen nicht alle Dateien hinein. Ich speichere nur das, was ich gerade benötige. Alle meine persönlichen Dateien und Ordner synchronisiere ich mit Dropbox. Ich weiß, dass das nicht sehr zuverlässig ist, aber es erfüllt nur die Funktion der Synchronisierung. Und das macht es am besten, zumindest von dem, was ich ausprobiert habe. Ich habe alle bekannten und weniger bekannten Cloud-Dienste getestet.
Synology hat auch seine eigene Cloud, die man auf seinem NAS einrichten kann. Ich habe mehrmals versucht, von Dropbox zu Synology Cloud Station zu wechseln, aber dort gab es immer Synchronisierungsprobleme, ständig irgendwelche Fehler, oder es wurde nicht alles synchronisiert.
Alle wichtigen Dateien werden im Dropbox-Ordner gespeichert. Manchmal speichere ich etwas auf dem Desktop; um nichts zu verlieren, habe ich mit der Software MacDropAny einen Symbollink zum Dropbox-Ordner erstellt.
Der Download-Ordner wird bei mir nicht synchronisiert, aber dort ist auch nichts Wichtiges, nur temporäre Dateien. Wenn ich etwas Wichtiges herunterlade, kopiere ich es in den entsprechenden Ordner in Dropbox.
Meine Abenteuer mit DropboxFrüher, etwa 2013-2014, habe ich alle meine Dateien nur in Dropbox gespeichert, ohne Backups. Damals hatte ich kein 1 TB, also habe ich dafür nicht bezahlt; ich hatte etwa 25 GB, die ich durch das Einladen von Freunden oder andere Aufgaben verdient habe.
Eines schönen Morgens schaltete ich meinen Computer ein und all meine Dateien waren verschwunden. Zudem erhielt ich eine Nachricht von Dropbox, in der sie sich entschuldigten und sagten, dass meine Dateien durch ihr Verschulden verloren gegangen seien. Sie gaben mir einen Link, über den ich meine Dateien wiederherstellen konnte, aber selbstverständlich wurde nichts wiederhergestellt. Dafür schenkten sie mir ein Jahr lang 1 TB, wonach ich ihr Kunde wurde, so seltsam es auch klingen mag, aber ich habe ihnen nie vertraut.
Wie oben erwähnt, konnte ich keinen besseren Cloud-Dienst für mich finden. Erstens gab es noch keine Synchronisierungsprobleme, und zweitens funktionieren viele verschiedene Dienste nur mit Dropbox.
Git
Die Arbeitsdateien werden auf dem Arbeitsserver gespeichert, persönliche Projekte auf GitLab, hier ist alles einfach.
Time Machine
Ich mache auch ein Backup des gesamten Systems, wobei ich selbstverständlich den Ordner Dropbox und Downloads ausschließe, um keinen Platz zu verschwenden. Das Systembackup mache ich mit Time Machine, einem ausgezeichneten Werkzeug, das mir schon oft geholfen hat. Ich mache es auf demselben NAS, glücklicherweise gibt es diese Funktion. Natürlich kann man auch auf eine externe HDD sichern, aber das ist nicht so bequem. Man muss jedes Mal die externe Festplatte anschließen und Time Machine selbst starten. Wegen Faulheit habe ich solche Backups oft nur alle paar Wochen gemacht. Auf dem Server hingegen macht es automatisch ein Backup, ich bemerke gar nicht, wann das geschieht. Ich arbeite von zu Hause, daher habe ich immer eine aktuelle Sicherungskopie meines gesamten Systems. Es werden mehrmals am Tag Kopien angefertigt, ich habe nicht gezählt, wie oft und wie häufig.
NAS
Hier passiert die ganze Magie.
Synology hat ein hervorragendes Tool namens Cloud Sync, ich denke, der Name sagt bereits, was es tut.
Es kann viele Cloud-Systeme untereinander synchronisieren, genauer gesagt, es synchronisiert Dateien von NAS-Servern mit anderen Clouds. Ich denke, es gibt eine Übersicht über dieses Programm im Internet, also werde ich nicht ins Detail gehen. Ich beschreibe besser, wie ich es benutze.
Auf dem Server habe ich einen Ordner namens Dropbox, der eine Kopie meines Dropbox-Kontos ist, die Synchronisierung übernimmt Cloud Sync. Wenn in Dropbox etwas mit den Dateien passiert, passiert das auch auf dem Server, egal ob es sich um Löschungen oder Erstellungen handelt. Im Großen und Ganzen ist es eine klassische Synchronisierung.
Yandex.Disk
Danach lade ich all diese Dateien auf meinen Yandex.Disk, den ich als selbstgemachte Backup-Disk nutze, das heißt, ich lade die Dateien dort hoch, lösche aber nichts davon, es wird also eine Art Dateimülldeponie, die mir aber schon ein paar Mal geholfen hat.
Google Drive
Dorthin sende ich nur den Ordner „Fotos“, ebenfalls im Synchronisationsmodus, ich mache das nur für eine bequeme Ansicht von Fotos in Google Fotos und mit der Möglichkeit, Fotos dort zu löschen, und sie werden überall gelöscht (außer natürlich von Yandex Disk). Über die Fotos schreibe ich weiter unten, das könnte man sogar in einem separaten Artikel ausführlich behandeln.
HyperBackup
Aber das ist alles nicht sehr zuverlässig, wenn ich versehentlich eine Datei lösche, wird sie überall gelöscht und gilt als verloren. Natürlich kann man sie von Yandex Disk wiederherstellen, aber erstens ist ein Backup an einem Ort nicht sehr zuverlässig, und Yandex Disk selbst ist nicht der Service, bei dem man sich zu 100 % sicher sein kann, obwohl es bisher noch nie Probleme gab.
Deshalb habe ich immer versucht, die Dateien auch woanders aufzubewahren, bereits mit einem ordentlichen Backup-System.
Synology hat auch ein Werkzeug dafür, das heißt HyperBackup, es erstellt Backups von Dateien entweder auf andere Synology-Server oder auf einige Cloud-Lösungen von Drittanbietern.
Es kann auch Backups auf externe Festplatten erstellen, die an die NAS angeschlossen sind, so habe ich es bis vor kurzem gemacht. Aber auch das ist nicht zuverlässig, zum Beispiel bei einem Brand wäre es sowohl für den Server als auch für die HDD das Ende.
Synology C2
Hier nähern wir uns einem anderen Service, der von Synology selbst stammt. Es gibt eigene Clouds für die Speicherung von Backups. Es ist speziell auf HyperBackup ausgelegt, es erstellt dort jeden Tag ein Backup, aber das ist bereits ein durchdachtes Backup, es gibt Versionen von Dateien, einen Zeitverlauf und sogar Clients für Windows und Mac OS.
Damit ist das Thema Dateispeicherung abgeschlossen, ich hoffe, meine Dateien sind in Sicherheit.
Jetzt kommen wir zur Sortierung der Dateien.
Gewöhnliche Dateien, Bücher, Scans von Dokumenten und andere unwichtige Dateien sortiere ich wie die meisten von Hand in Ordner. In der Regel sind es nicht viele und ich öffne sie selten.
Die schwierigste Aufgabe ist die Sortierung von Fotos und Videos, da ich viele davon habe.
Ich mache monatlich von einigen Dutzend bis mehreren Hundert Fotos. Ich fotografiere mit einer Spiegelreflexkamera, einer Drohne und manchmal mit dem Handy. Die Fotos sind sowohl privat als auch für Stockfotos. Außerdem mache ich gelegentlich Heimvideos (nicht das, was Sie denken, einfach Familienvideos, häufig mit meiner Tochter). Auch diese müssen irgendwie aufbewahrt und sortiert werden, damit es keine Unordnung gibt.
Ich habe einen Ordner im gleichen Dropbox mit dem Namen Sort Images, dort gibt es Unterordner, wo alle Fotos und Videos hineingelangen, von wo aus sie genommen und sortiert werden, wo nötig.
Die Sortierung erfolgt auf dem NAS-Server, dort laufen Bash-Skripte, die automatisch einmal täglich gestartet werden und ihre Arbeit erledigen. Das NAS ist auch für deren Start verantwortlich, es gibt einen Aufgabenplaner, der für das Ausführen aller Skripte und anderer Aufgaben zuständig ist. Man kann einstellen, wie oft und wann die Aufgaben gestartet werden, ein Cron mit einer Benutzeroberfläche, wenn es einfacher ist.
Für jeden Ordner gibt es ein eigenes Skript. Jetzt im Detail zu den Ordnern:
Drohnen — hier gelangen die Fotos von der Drohne, die ich zu privaten Zwecken aufgenommen habe. Zuerst bearbeite ich alle Fotos in Lightroom, danach exportiere ich JPGs in diesen Ordner. Von dort gelangen sie in einen anderen Dropbox-Ordner, „Foto“.
Dort gibt es einen Ordner „Drohen“, in dem sie nach Jahren und Monaten sortiert werden. Die Skripte erstellen selbst die notwendigen Ordner und benennen die Fotos nach meiner Vorlage um, normalerweise ist das das Datum und die Uhrzeit der Aufnahme, außerdem füge ich am Ende eine zufällige Zahl hinzu, damit die Dateien nicht den gleichen Namen haben. Ich erinnere mich nicht, warum die Angabe der Sekunden im Dateinamen für diese Zwecke nicht geeignet war.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drohnenvideo — ich filme derzeit noch keine Videos mit der Drohne, daran gibt es viel zu lernen, ich habe im Moment keine Zeit dafür, aber ich habe bereits den Ordner erstellt.
Bildoperationen — hier gibt es zwei Ordner, wenn Dateien dort hineingelangen, werden sie entweder an der längeren Seite auf 2000px für die Veröffentlichung im Internet komprimiert oder es wird ein Bildflip durchgeführt, das brauche ich zwar nicht, aber ich habe den Ordner vorerst nicht gelöscht.
Panoramen — hier gelangen, wie man leicht erraten kann, die Panoramafotos. Ich speichere sie separat, da dies eine spezielle Art von Fotos ist, normalerweise mache ich sie mit einer Drohne. Ich mache auch gewöhnliche Panoramen, aber ich mache auch 360-Grad-Panoramen und manchmal Kugeln, eine Form von Panoramen, die wie kleine Planeten aussehen, mache ich ebenfalls mit einer Drohne. Aus diesem Ordner gelangen alle Fotos auch nach Foto/Panoramen/2019/01 — Mai — 2019_19.25.53_37.jpg. Hier sortiere ich nicht nach Monaten, da es nicht so viele Panoramen gibt.
Persönliches Foto — hier gelangen die Fotos, die ich mit der Spiegelreflexkamera mache, normalerweise sind das Familienfotos oder Reisebilder, kurz gesagt, Fotos, die als Erinnerung und für mich selbst gemacht werden. Auch unbearbeitete Fotos bearbeite ich in Lightroom und exportiere sie dann hierher.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Wenn ich jedoch eine Feier oder ähnliches aufgenommen habe, das ich lieber separat aufbewahren möchte, erstelle ich im Ordner 2019 einen Ordner mit dem Titel der Feier und kopiere die Fotos dort manuell.
RAW — Hier landen die Originalfotos. Ich mache immer Aufnahmen im RAW-Format, alle Fotos speichere ich im JPG-Format, aber manchmal möchte ich auch die RAW-Dateien aufbewahren, manchmal möchte ich einen bestimmten Shot anders bearbeiten. Normalerweise handelt es sich um Naturaufnahmen und hier landen nur die besten Bilder, nicht alle durcheinander.
Stockfoto — Hier lade ich Fotos für Stock-Portale hoch, die ich entweder mit einer Spiegelreflexkamera oder mit einer Drohne mache. Die Sortierung ist die gleiche wie bei anderen Fotos, einfach in einen eigenen Ordner.
Im Stammverzeichnis von Dropbox gibt es einen Ordner Camera Uploads, das ist der Standardordner, in den die mobile Dropbox-Anwendung alle Fotos und Videos hochlädt. Alle Fotos meiner Frau vom Telefon werden so hochgeladen. Ich lade auch alle meine Fotos und Videos vom Telefon hier hoch und sortiere sie dann in einen eigenen Ordner. Aber ich mache das auf eine andere, für mich bequemere Weise. Es gibt ein Programm für Android, FolderSync, das es ermöglicht, alle Fotos vom Handy zu nehmen, sie in Dropbox hochzuladen und sie dann vom Telefon zu löschen. Es gibt viele Einstellungen, ich empfehle es. In diesen Ordner gelangen auch Videos vom Telefon, die ebenfalls wie alle Fotos nach Jahren und Monaten sortiert werden.
Alle Skripte habe ich selbst aus verschiedenen Anleitungen im Internet zusammengestellt, ich habe keine fertigen Lösungen gefunden. Ich kenne mich überhaupt nicht mit Bash-Skripten aus, möglicherweise sind einige Fehler vorhanden oder gewisse Dinge könnten besser umgesetzt werden, aber das Wichtigste für mich ist, dass sie ihre Arbeit erledigen und das tun, was ich brauche.
Die Skripte habe ich auf GitHub hochgeladen:
Früher habe ich zum Sortieren von Fotos und Videos Hazel unter macOS verwendet, das ist natürlich alles einfacher, dort werden alle Aufgaben visuell erstellt, man muss keinen Code schreiben, aber das hat auch zwei Nachteile. Erstens muss man alle Ordner auf dem Computer haben, damit alles gut funktioniert, und zweitens, falls ich plötzlich auf Windows oder Linux umsteige, gibt es dort solche Programme nicht. Ich habe nach Alternativen gesucht, aber alle waren nicht wirklich gut. Eine Lösung mit Skripten auf dem Server ist universeller.
Alle Skripte sind so konfiguriert, dass sie einmal täglich, normalerweise nachts, ausgeführt werden. Wenn jedoch keine Zeit bleibt und ein bestimmtes Skript sofort ausgeführt werden muss, gibt es zwei Lösungen: sich per SSH mit dem Server verbinden und das benötigte Skript ausführen oder sich in das Admin-Panel einloggen und das Skript manuell starten. Das erscheint mir jedoch unpraktisch, weshalb ich eine dritte Lösung gefunden habe. Es gibt eine App für Android, die SSH-Befehle senden kann. Ich habe mehrere Befehle erstellt, jeder hat seinen eigenen Knopf, und jetzt kann ich einfach einen Knopf drücken, um beispielsweise Fotos zu sortieren, die ich mit der Drohne gemacht habe, und das Skript wird ausgelöst. Die App heißt SSHing, es gibt auch andere ähnliche, aber für mich ist diese die bequemste.
Ich habe auch einige eigene Websites, die mehr nur zur Freude dienen; praktisch niemand besucht sie, aber ein Backup schadet nicht. Ich hoste die Websites bei DigitalOcean und habe dort aaPanel installiert. Dort gibt es die Möglichkeit, Sicherungskopien aller Dateien und Datenbanken zu erstellen, jedoch auf dem gleichen Laufwerk.
Ein Backup auf demselben Laufwerk zu speichern, ist nicht ideal, daher gehe ich ebenfalls über ein Bash-Skript dahin und kopiere alles auf meinen Server, wobei ich alles in einer Archivdatei mit dem Datum im Namen archiviere.
Ich hoffe, dass meine Methoden, die ich benutze und mit denen ich geteilt habe, jemandem helfen.
Wie aus dem Artikel ersichtlich, liebe ich Automatisierung und versuche, alles zu automatisieren, was nur möglich ist. Ich habe viele Dinge nicht aus der Perspektive der Automatisierung beschrieben, da dies bereits andere Themen und Artikel sind.
Quelle: habr.com
