很长一段时间以来，我都想写下我如何存储文件，如何进行备份，但我的手一直没有时间去做。 最近，这里出现了一篇文章，和我的有点相似，但是方法不同。
多年来我一直在努力寻找存储文件的完美方法。 我想我找到了，但总有一些地方需要改进，如果有任何关于如何让它变得更好的想法，我会很高兴地阅读它。
首先，我会告诉你一些关于我自己的话，我是一名网络开发人员，在空闲时间拍照。 因此得出结论，我需要存储工作和个人项目、照片、视频和其他文件。
我有大约 680 GB 的文件，其中 90% 是照片和视频。
在我的保险库中循环文件：
这是我所有文件的存储方式和存储位置的近似图。
现在更多。
如您所见，一切的核心是我的 NAS，即 Synology DS214，它是 Synology 最简单的 NAS 之一，但是，它可以满足我的一切需求。
Dropbox
我的工作机器是 macbook pro 13, 2015。 我那里有 512GB，但不是所有文件都适合自己，我只存储我目前需要的东西。 我用 Dropbox 同步我所有的个人文件和文件夹，我知道这不是很可靠，但它只执行同步功能。 他做得最好，至少从我的尝试来看是这样。 我尝试了所有著名的但不是很云。
Synology 也有自己的云，你可以部署在你的 NAS 上，我试过几次从 Dropbox 转移到 Synology Cloud Station，但总是有同步问题，总是有一些错误，或者不是所有的东西都被同步。
所有重要文件都存储在 Dropbox 文件夹中，有时我会在桌面上保存一些东西，以免丢失某些东西，我使用 MacDropAny 程序创建了一个指向 Dropbox 文件夹的符号链接。
下载文件夹没有以任何方式同步，但那里没有什么重要的东西，只有临时文件。 如果我下载了一些重要的东西，然后我将它复制到 Dropbox 中的相应文件夹中。
我与 Dropbox 的冒险曾几何时，在 2013 年至 2014 年的某个时候，我将所有文件都保存在 Dropbox 中，而且只有在其中，没有备份。 然后我没有1Tb，也就是我没有付费，我有大约25Gb，我通过邀请朋友或其他任务赚取的。
一个晴朗的早晨，我打开电脑，我所有的文件都消失了，我还收到一封来自 Dropbox 的电子邮件，他们在邮件中道歉，我的文件由于他们的错误而丢失了。 他们给了我一个链接，我可以在其中恢复我的文件，但没有任何东西可以自行恢复。 为此，他们给了我 1Tb 一年，之后我成为了他们的客户，不管这听起来多么奇怪，但我从不信任他们。
正如我上面写的，我找不到更适合我的云，首先，还没有同步问题，其次，很多各种各样的服务只能与 Dropbox 一起工作。
混帐
工作文件存放在工作服务器，个人项目存放在GitLab，这里一切都很简单。
时间机器
我还备份了整个系统，不包括Dropbox和Downloads文件夹本身，以免白占空间。 我通过 Time Machine 备份系统，这是一个非常棒的工具，它不止一次地帮助了我。 我在同一个NAS上做，因为那里有这样的功能。 当然，您可以在外部 HDD 上执行此操作，但不太方便。 您每次都需要连接一个外部驱动器并自行启动 Time Machine。 由于懒惰，我经常每隔几周就做一次这样的备份。 在服务器上，他自动备份，我什至没有注意到他什么时候做的。 我在家工作，所以我总是有整个系统的全新备份。 一天复印几次，我没数过多少次，多少次。
NAS
这就是所有魔法发生的地方。
Synology 有一个很棒的工具，它叫做 Cloud Sync，我想从名字就可以清楚地知道它的作用。
它可以将许多云系统相互同步，更准确地说，它可以将来自NAS服务器的文件与其他云同步。 我认为网络上有这个程序的概述。 我不会详细介绍。 我宁愿描述我如何使用它。
在服务器上，我有一个名为 Dropbox 的磁盘文件夹，它是我 Dropbox 帐户的副本，Cloud Sync 完成所有同步。 如果 Dropbox 中的文件发生了问题，它也会发生在服务器上，删除/创建都没有关系。 一般来说，经典同步。
Yandex磁盘
此外，我将所有这些文件都放在我的 Yandex 磁盘上，我将其用作自制备份磁盘，也就是说，我将文件扔在那里但不从那里删除任何内容，结果是这样的文件转储，但它有帮助一些时间。
Google Drive
我只将“照片”文件夹发送到那里，也是在同步模式下，我这样做只是为了方便查看 Google 相册中的照片，并且能够从那里删除照片，而且它们在任何地方都被删除了（Yandex 磁盘本身除外） . 我将在下面写下照片，您通常可以在那里写一篇单独的文章。
超级备份
但这一切都不太可靠，如果你不小心删除了一个文件，那么它就会到处都被删除，你可以认为它丢失了。 当然，您可以从 Yandex 磁盘恢复，但首先，一个地方的备份本身并不是很可靠，而且 Yandex 磁盘本身并不是您可以 100% 确定的服务，尽管它从未有过问题。
因此，我总是尝试将文件存储在其他地方，已经有一个正常的备份系统。
Synology 也有一个工具，它叫做 HyperBackup，它可以将文件备份到其他 Synology 服务器或某些第三方云解决方案。
他还知道如何备份到连接到 NAS-y 的外部驱动器，直到最近我才这样做。 但这也不靠谱，比如发生火灾，那么服务器和硬盘都完蛋了。
群晖 C2
在这里，我们正在顺利地接近另一项服务，该服务已经来自 Synology 本身。 她有自己的云来存储备份。 专门为HyperBackup打磨的，它每天都在那里做备份，但这已经是经过深思熟虑的备份了，有文件版本，有时间线，甚至还有windows和mac os的客户端。
仅此而已，有了文件存储，我希望我的文件是安全的。
现在让我们继续对文件进行排序。
常规文件、书籍、文档扫描件和其他不重要的文件，就像其他所有东西一样，我用手将它们分类到文件夹中。 通常数量不多，我很少打开它们。
最难的是整理照片和视频，我有很多。
我每个月拍几十张到几百张。 我用数码单反相机、无人机拍摄，有时用手机拍摄。 照片是个人照片和股票照片。 我有时也会拍摄家庭视频（不是你想的那样，只是家庭视频，更多时候是和我女儿一起）。 它还需要以某种方式存储和分类，以便没有粥。
我在同一个 Dropbox 中有一个名为 Sort Images 的文件夹，所有照片和视频都放在子文件夹中，从那里拍摄并在必要时进行分类。
排序发生在 NAS 服务器上，有 bash 脚本每天自动运行一次并完成它们的工作。 NAS 也负责它们的启动，有一个任务调度器负责启动所有脚本和其他任务。 您可以配置任务运行的频率和时间，如果更容易的话，cron 接口。
每个文件夹都有自己的脚本。 现在更多关于文件夹：
无人机 - 这是我出于个人目的从无人机上拍摄的照片。 首先，我在 lightroom 中处理所有照片，然后将 JPG 导出到此文件夹。 从那里他们最终进入另一个 Dropbox 文件夹“照片”。
有一个文件夹“Drone”，它们已经按年份和月份排序。 脚本自己创建必要的文件夹并根据我的模板自行重命名照片，通常这是拍摄照片的日期和时间，我还在末尾添加一个随机数，这样就不会出现同名文件。 我不记得为什么在文件名中设置秒数不适合这些目的。
树看起来像这样： Photo/Drone/2019/05 - May/01 - May - 2019_19.25.53_37.jpg
无人机视频 - 我还没有用无人机拍摄视频，那里有很多东西要学，现在没有时间，但我已经创建了一个文件夹。
图片操作 - 里面有两个文件夹，当文件在那里时，它们要么被最大压缩到 2000px 以便在 Internet 上发布，要么制作图片翻转，我不再需要这个了，但到目前为止我还没有'删除文件夹。
全景 - 全景图，因为不难猜，到这里，我把它们分开存放，因为这是一种特定类型的照片，我通常用无人机拍摄。 我也做常规全景图，但我也做 360 度全景图，有时是球体，像小行星这样的全景图，我也用无人机做。 此文件夹中的所有照片最终也会出现在 Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg 中。 在这里我不按月份排序，因为没有那么多全景图。
个人照片 - 以下是我用单反拍的照片，一般都是家庭照或者旅行照，一般来说都是留作纪念，留给自己用的。 我还在 lightroom 中处理原始照片，然后将它们导出到这里。
从这里他们到达这里： Photo/2019/05 – May/01 – May – 2019_19.25.53_37.jpg
如果我拍摄某种庆祝活动或其他最好单独存储的东西，那么我会在 2019 文件夹中创建一个以庆祝活动名称命名的文件夹，然后用手将照片复制到那里。
未处理 - 这是照片的来源。 我总是以 RAW 格式拍摄，我将所有照片存储为 JPG 格式，但有时我也想存储 RAW 文件，有时我想以不同方式处理帧。 通常这是自然现象，只有最好的镜头才能到达那里，而不是连续拍摄。
图片 - 在这里我上传股票照片，我在数码单反相机或无人机上上传照片。 排序与其他照片相同，只是在其自己的单独文件夹中。
在 Dropbox 的根目录下，有一个 Camera Uploads 文件夹，这是 Dropbox 移动应用上传所有照片和视频的默认文件夹。 手机里所有老婆的照片就这样丢掉了。 我还将手机中的所有照片和视频都扔到这里，然后从这里将它们分类到一个单独的文件夹中。 但我用不同的方式来做，对我来说更方便。 Android 有这样一个程序，FolderSync，它允许您从手机中拍摄所有照片，将它们上传到 Dropbox，然后从手机中删除它们。 有很多设置，我推荐。 来自手机的视频也属于这个文件夹，它们也像所有照片一样按年和月分类。
我自己从网上的各种说明中收集了所有的脚本，我没有找到现成的解决方案。 我对 bash 脚本一无所知，也许有一些错误或者有些事情可以做得更好，但对我来说最重要的是他们做他们的工作并做我需要的。
上传到github的脚本：
以前，我使用 Hazel for mac os 对照片、视频进行排序，那里一切都更容易，所有任务都是可视化创建的，不需要编写代码，但有两个缺点。 首先，您需要保留计算机上的所有文件夹，以便一切正常，其次，如果我突然切换到 windows 或 linux，那么那里就没有这些程序了。 试图寻找替代方案，但他们一无所获。 在服务器上使用脚本的解决方案是一种更通用的解决方案。
所有脚本都配置为每天运行一次，通常是在晚上。 但是，如果没有时间等待并且您现在需要以某种方式执行所需的脚本，则有两种解决方案：通过 SSH 连接到服务器并执行所需的脚本，或者转到管理面板并在同样的方式。 这一切在我看来都不方便，所以我找到了第三种解决方案。 有一个Android程序可以发送ssh命令。 我创建了几个命令，每个命令都有自己的按钮，现在如果我需要排序，例如，我从无人机拍摄的照片，那么我只需按一个按钮，脚本就可以运行。 这个程序叫做SSHing，还有其他类似的程序，但对我来说这是最方便的。
我也有几个自己的站点，它们更多是为了展示，几乎没有人去那里，但是做一个备份还是无妨。 我将网站保留在 DigitalOcean 上，我在那里安装了 aaPanel 面板。 有一个选项可以备份所有文件和所有数据库，但在同一个驱动器上。
在同一个磁盘上保留备份不是这种情况，所以我也通过 bash 脚本敲它并将所有内容复制到我的服务器，将所有内容存档在一个存档中，标题中有日期。
我希望至少有人会帮助我使用和分享的方法。
正如您从这篇文章中看到的那样，我喜欢自动化，并且我尝试使所有可能的东西都自动化，我没有从自动化的角度描述很多东西，因为这些已经是其他主题和其他文章了。
来源： habr.com