Ich wollte schon lange darüber schreiben, wie ich meine Dateien speichere, wie ich Backups erstelle, aber ich kam nie dazu. Kürzlich erschien hier ein Artikel, der meinem ähnelt, aber einen anderen Ansatz verfolgt.
Ich versuche seit Jahren, die perfekte Methode zum Speichern von Dateien zu finden. Ich glaube, ich habe es gefunden, aber es gibt immer etwas zu verbessern. Wenn es Ideen gibt, wie man es besser machen kann, werde ich es gerne lesen.
Zunächst erzähle ich Ihnen ein paar Worte über mich selbst, ich bin Webentwickler und fotografiere in meiner Freizeit. Daher die Schlussfolgerung, dass ich berufliche und persönliche Projekte, Fotos, Videos und andere Dateien speichern muss.
Ich habe etwa 680 GB an Dateien, davon sind 90 Prozent Fotos und Videos.
Wechselnde Dateien in meinen Tresoren:
Hier ist ein ungefähres Diagramm, wie und wo alle meine Dateien gespeichert sind.
Jetzt mehr.
Wie Sie sehen, ist das Herzstück von allem mein NAS, nämlich die Synology DS214, eines der einfachsten NAS von Synology, das jedoch alles meistert, was ich brauche.
Dropbox
Mein Arbeitsgerät ist ein MacBook Pro 13, 2015. Ich habe dort 512GB, aber nicht alle Dateien passen von alleine, ich speichere nur das, was ich gerade brauche. Ich synchronisiere alle meine persönlichen Dateien und Ordner mit Dropbox. Ich weiß, dass dies nicht sehr zuverlässig ist, aber es übernimmt nur die Synchronisierungsfunktion. Und er macht es am besten, zumindest was ich versucht habe. Und ich habe alle berühmten und nicht sehr wolkenlosen ausprobiert.
Synology verfügt auch über eine eigene Cloud, die Sie auf Ihrem NAS bereitstellen können. Ich habe mehrmals versucht, von Dropbox auf die Synology Cloud Station zu übertragen, aber es gab immer Synchronisierungsprobleme, immer einige Fehler oder nicht alles wurde synchronisiert.
Alle wichtigen Dateien werden im Dropbox-Ordner gespeichert. Manchmal speichere ich etwas auf dem Desktop. Um nichts zu verlieren, habe ich mit dem Programm MacDropAny einen symbolischen Link zum Dropbox-Ordner erstellt.
Der Download-Ordner ist in keiner Weise synchronisiert, aber es gibt dort nichts Wichtiges, nur temporäre Dateien. Wenn ich etwas Wichtiges herunterlade, kopiere ich es in den entsprechenden Ordner in Dropbox.
Meine Abenteuer mit DropboxEs war einmal, irgendwo in den Jahren 2013 und 2014, als ich alle Dateien in Dropbox aufbewahrte und nur darin keine Backups vorhanden waren. Dann hatte ich nicht 1 TB, das heißt, ich habe nicht dafür bezahlt, sondern etwa 25 GB, die ich mir durch das Einladen von Freunden oder andere Aufgaben verdient habe.
Eines schönen Morgens schaltete ich den Computer ein und alle meine Dateien verschwanden. Außerdem erhielt ich eine E-Mail von Dropbox, in der sie sich entschuldigten und mir mitteilten, dass meine Dateien durch ihr Verschulden verschwunden seien. Sie gaben mir einen Link, über den ich meine Dateien wiederherstellen konnte, aber nichts wurde von selbst wiederhergestellt. Dafür gaben sie mir ein Jahr lang 1 TB, danach wurde ich ihr Kunde, egal wie seltsam es klingen mag, aber ich habe ihnen nie vertraut.
Wie ich oben geschrieben habe, konnte ich keine für mich passendere Cloud finden, erstens gab es noch keine Synchronisierungsprobleme und zweitens funktionieren viele Dienste aller Art nur mit Dropbox.
Git
Arbeitsdateien werden auf dem Arbeitsserver gespeichert, persönliche Projekte auf GitLab, hier ist alles einfach.
Time Machine
Ich erstelle auch ein Backup des gesamten Systems, mit Ausnahme des Dropbox- und Download-Ordners, um nicht umsonst Speicherplatz zu beanspruchen. Ich sichere das System mit Time Machine, einem hervorragenden Tool, das mir mehr als einmal geholfen hat. Ich mache es auf dem gleichen NAS, da es dort eine solche Funktion gibt. Sie können dies natürlich auch auf einer externen Festplatte tun, aber das ist nicht so praktisch. Sie müssen jedes Mal ein externes Laufwerk anschließen und Time Machine selbst starten. Aus Faulheit habe ich solche Backups oft alle paar Wochen erstellt. Auf dem Server erstellt er automatisch ein Backup, ich merke es gar nicht, wenn er es macht. Da ich von zu Hause aus arbeite, habe ich immer ein neues Backup meines gesamten Systems. Eine Kopie wird mehrmals am Tag erstellt, ich habe nicht gezählt, wie oft und wie oft.
NAS
Hier geschieht die ganze Magie.
Synology hat ein großartiges Tool, es heißt Cloud Sync. Ich denke, aus dem Namen geht klar hervor, was es tut.
Es kann viele Cloud-Systeme miteinander synchronisieren, genauer gesagt, es kann Dateien von einem NAS-Server mit anderen Clouds synchronisieren. Ich denke, es gibt eine Übersicht über dieses Programm im Netzwerk. Ich werde nicht auf Details eingehen. Ich beschreibe lieber, wie ich es verwende.
Auf dem Server habe ich einen Festplattenordner namens Dropbox, es ist eine Kopie meines Dropbox-Kontos, Cloud Sync übernimmt die gesamte Synchronisierung. Wenn etwas mit den Dateien in Dropbox passiert, passiert es auch auf dem Server, egal ob gelöscht/erstellt. Im Allgemeinen klassische Synchronisation.
Yandex-Festplatte
Außerdem werfe ich alle diese Dateien auf meine Yandex-Festplatte, ich verwende sie als selbstgemachte Sicherungsfestplatte, das heißt, ich werfe die Dateien dorthin, lösche aber nichts von dort, es stellt sich ein solcher Dump von Dateien heraus, aber es hat geholfen ein paar Mal.
Google Drive
Ich sende dort nur den Ordner „Fotos“, auch im Synchronisierungsmodus. Ich mache dies nur zum bequemen Anzeigen von Fotos in Google Fotos und mit der Möglichkeit, Fotos von dort zu löschen, und sie werden überall gelöscht (außer auf der Yandex-Festplatte selbst). . Über das Foto werde ich unten schreiben, dort kann man generell einen separaten Artikel schreiben.
Hyperbackup
Dies alles ist jedoch nicht sehr zuverlässig. Wenn Sie eine Datei versehentlich löschen, wird sie überall gelöscht und Sie können sie als verloren betrachten. Sie können natürlich von einer Yandex-Festplatte wiederherstellen, aber erstens ist ein Backup an einem Ort an sich nicht sehr zuverlässig, und die Yandex-Festplatte selbst ist nicht der Dienst, bei dem Sie sich hundertprozentig sicher sein können, obwohl dies noch nie der Fall war Probleme damit.
Daher habe ich immer versucht, Dateien woanders zu speichern, bereits mit einem normalen Backup-System.
Synology verfügt hierfür auch über ein Tool namens HyperBackup, das Dateien entweder auf anderen Synology-Servern oder auf einigen Cloud-Lösungen von Drittanbietern sichert.
Er weiß auch, wie man Backups auf externen Laufwerken macht, die an das NAS-y angeschlossen sind, was ich bis vor Kurzem auch gemacht habe. Dies ist aber auch nicht zuverlässig, wenn beispielsweise ein Brand ausbricht, ist sowohl der Server als auch die Festplatte kaputt.
Synology C2
Hier nähern wir uns reibungslos einem weiteren Dienst, bereits von Synology selbst. Sie verfügt über eigene Clouds zum Speichern von Backups. Es ist speziell für HyperBackup geschärft, es erstellt dort jeden Tag ein Backup, aber das ist schon ein durchdachtes Backup, es gibt Dateiversionen, eine Zeitleiste und sogar Clients für Windows und Mac OS.
Das ist alles, mit der Dateispeicherung hoffe ich, dass meine Dateien sicher sind.
Kommen wir nun zum Sortieren der Dateien.
Normale Akten, Bücher, Dokumentenscans und andere unwichtige Akten sortiere ich wie alles andere mit meinen Händen in Ordner. Normalerweise gibt es nicht viele davon und ich öffne sie selten.
Am schwierigsten ist es, Fotos und Videos zu sortieren, ich habe viele davon.
Ich mache ein paar Dutzend bis ein paar Hundert Fotos pro Monat. Ich fotografiere mit einer DSLR, einer Drohne und manchmal auch mit meinem Handy. Fotos sind persönlich und dienen der Bestände. Ich drehe auch manchmal Heimvideos (nicht das, was Sie dachten, nur Familienvideos, öfter mit meiner Tochter). Außerdem muss es irgendwie gelagert und sortiert werden, damit kein Brei entsteht.
Ich habe in derselben Dropbox einen Ordner namens „Bilder sortieren“. Es gibt Unterordner, in denen alle Fotos und Videos abgelegt werden. Von dort werden sie aufgenommen und bei Bedarf sortiert.
Die Sortierung erfolgt auf dem NAS-Server, es gibt Bash-Skripte, die einmal am Tag automatisch laufen und ihre Arbeit erledigen. Das NAS ist auch für deren Start verantwortlich. Es gibt einen Taskplaner, der für den Start aller Skripte und anderer Aufgaben verantwortlich ist. Sie können konfigurieren, wie oft und wann Aufgaben ausgeführt werden. Dies ist über die Cron-Schnittstelle einfacher.
Jeder Ordner hat sein eigenes Skript. Nun mehr zu Ordnern:
Drohne - Hier sind Fotos von einer Drohne, die ich für persönliche Zwecke aufgenommen habe. Zuerst bearbeite ich alle Fotos in Lightroom, dann exportiere ich das JPG in diesen Ordner. Von dort landen sie in einem anderen Dropbox-Ordner, „Foto“.
Es gibt einen Ordner „Drone“ und dort sind sie bereits nach Jahr und Monat sortiert. Die Skripte selbst erstellen die notwendigen Ordner und benennen die Fotos selbst gemäß meiner Vorlage um, normalerweise ist dies das Datum und die Uhrzeit, an dem das Foto aufgenommen wurde, ich füge am Ende auch eine Zufallszahl hinzu, damit keine Dateien mit demselben Namen angezeigt werden. Ich kann mich nicht erinnern, warum das Setzen von Sekunden im Dateinamen für diese Zwecke nicht geeignet war.
Der Baum sieht so aus: Photo/Drone/2019/05 - May/01 - May - 2019_19.25.53_37.jpg
Drohnenvideo - Ich mache noch keine Videos mit einer Drohne, da gibt es viel zu lernen, dafür ist jetzt keine Zeit, aber ich habe bereits einen Ordner erstellt.
Bildoperationen - Da sind zwei Ordner drinnen, wenn dort Dateien auftauchen, werden sie einfach entweder auf die maximale Seite auf 2000px für die Veröffentlichung im Internet komprimiert oder es wird ein Flip von Bildern gemacht, das brauche ich nicht mehr, habe es aber bisher Der Ordner wurde nicht gelöscht.
Panoramen - Panoramen, das ist nicht schwer zu erraten, kommen hierher, ich speichere sie separat, da es sich um eine bestimmte Art von Fotos handelt, mache ich sie normalerweise mit einer Drohne. Ich mache auch normale Panoramen, aber ich mache auch 360-Grad-Panoramen und manchmal Kugelpanoramen, solche Panoramen wie kleine Planeten, ich mache das auch mit einer Drohne. Alle Fotos aus diesem Ordner landen auch in Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Hier verzichte ich auf eine Sortierung nach Monaten, da es nicht so viele Panoramen gibt.
Persönliches Foto - Hier sind die Fotos, die ich mit einer Spiegelreflexkamera mache, normalerweise sind das Familienfotos oder Reisen, im Allgemeinen Fotos, die als Andenken und für mich selbst gemacht werden. Ich verarbeite auch Rohfotos in Lightroom und exportiere sie dann hierher.
Von hier aus gelangen sie hierher: Photo/2019/05 – May/01 – May – 2019_19.25.53_37.jpg
Wenn ich eine Feier oder etwas anderes fotografiert habe, das besser separat aufbewahrt werden sollte, dann erstelle ich im Ordner 2019 einen Ordner mit dem Namen der Feier und kopiere das Foto dort mit meinen Händen.
RAW - hier ist die Quelle des Fotos. Ich fotografiere immer in RAW, ich speichere alle Fotos in JPG, aber manchmal möchte ich auch RAW-Dateien speichern, manchmal möchte ich ein Bild anders verarbeiten. Normalerweise ist das die Natur und nur die besten Aufnahmen kommen dorthin, nicht alle hintereinander.
Stockfoto - hier lade ich Fotos für Stockaufnahmen hoch, die ich entweder auf einer DSLR oder einer Drohne mache. Die Sortierung erfolgt wie bei anderen Fotos, nur in einem eigenen separaten Ordner.
Im Stammverzeichnis von Dropbox gibt es einen Ordner „Kamera-Uploads“. Dies ist der Standardordner, in den die mobile Dropbox-App alle Fotos und Videos dort hochlädt. Alle Fotos der Frau vom Telefon werden auf diese Weise gelöscht. Außerdem werfe ich alle meine Fotos und Videos von meinem Handy hierher und sortiere sie von hier aus in einen separaten Ordner. Aber ich mache es anders, bequemer für mich. Es gibt ein solches Programm für Android, FolderSync, mit dem Sie alle Fotos von Ihrem Handy aufnehmen, in Dropbox hochladen und dann von Ihrem Handy löschen können. Es gibt viele Einstellungen, die ich empfehle. In diesen Ordner fallen auch Videos vom Telefon, sie sind, wie alle Fotos, auch nach Jahr und Monat sortiert.
Ich habe alle Skripte selbst aus allen möglichen Anleitungen im Internet gesammelt, vorgefertigte Lösungen habe ich nicht gefunden. Ich weiß überhaupt nichts über Bash-Skripte, vielleicht gibt es ein paar Fehler oder einige Dinge könnten besser gemacht werden, aber das Wichtigste für mich ist, dass sie ihren Job machen und das tun, was ich brauche.
Auf Github hochgeladene Skripte:
Zuvor habe ich Hazel für Mac OS zum Sortieren von Fotos und Videos verwendet. Dort ist alles einfacher, alle Aufgaben werden visuell erstellt, es ist nicht erforderlich, Code zu schreiben, aber es gibt zwei Nachteile. Erstens müssen Sie alle Ordner auf dem Computer behalten, damit alles gut funktioniert, und zweitens, wenn ich plötzlich zu Windows oder Linux wechsle, dann gibt es dort keine solchen Programme. Ich habe versucht, nach einer Alternative zu suchen, aber es ging ihnen nur um nichts. Eine Lösung mit Skripten auf dem Server ist eine universellere Lösung.
Alle Skripte sind so konfiguriert, dass sie einmal täglich, normalerweise nachts, ausgeführt werden. Wenn Sie jedoch keine Zeit zum Warten haben und das gewünschte Skript jetzt irgendwie ausführen müssen, gibt es zwei Lösungen: Stellen Sie eine Verbindung über SSH zum Server her und führen Sie das gewünschte Skript aus, oder gehen Sie zum Admin-Panel und führen Sie das gewünschte Skript manuell aus gleicher Weg. Das alles scheint mir nicht bequem zu sein, also habe ich eine dritte Lösung gefunden. Es gibt ein Android-Programm, das SSH-Befehle senden kann. Ich habe mehrere Befehle erstellt, jeder hat seine eigene Schaltfläche, und wenn ich jetzt beispielsweise die Fotos sortieren muss, die ich mit der Drohne aufgenommen habe, drücke ich einfach eine Schaltfläche und das Skript funktioniert. Das Programm heißt SSHing, es gibt andere ähnliche, aber für mich ist dies das bequemste.
Ich habe auch mehrere eigene Websites, die eher zur Schau dienen, fast niemand besucht sie, aber es schadet trotzdem nicht, ein Backup zu erstellen. Ich behalte die Seiten auf DigitalOcean, dort habe ich das aaPanel-Panel installiert. Es besteht die Möglichkeit, alle Dateien und alle Datenbanken zu sichern, jedoch auf demselben Laufwerk.
Das Speichern eines Backups auf derselben Festplatte ist nicht der Fall, daher greife ich auch über das Bash-Skript darauf zu, kopiere alles auf meinen Server und archiviere alles in einem Archiv mit dem Datum im Titel.
Ich hoffe, dass zumindest jemand die Methoden unterstützt, die ich verwende und mit denen ich geteilt habe.
Wie Sie dem Artikel entnehmen können, liebe ich Automatisierung und versuche alles zu automatisieren, was möglich ist. Viele Dinge habe ich nicht aus Sicht der Automatisierung beschrieben, da es sich bereits um andere Themen und andere Artikel handelt.
Source: habr.com