写真やその他のファイルの保管と自動分類。 NAS Synology に基づくファイル ストレージの操作

ファイルの保存方法とバックアップの作成方法について長い間書きたいと思っていましたが、なかなか実行できませんでした。 最近、ここに記事が掲載されました。これは私と多少似ていますが、アプローチが異なります。
記事自体。

私は何年もの間、ファイルを保存するための完璧な方法を見つけようとしてきました。 見つかったと思いますが、改善すべき点は常にあります。より良くする方法についてのアイデアがあれば、喜んで読みます。

まず私自身について少しお話します。私は Web 開発を行っており、自由時間には写真を撮っています。 したがって、仕事や個人のプロジェクト、写真、ビデオ、その他のファイルを保存する必要があるという結論に達しました。

約 680 GB のファイルがあり、その 90% は写真とビデオです。

私のストレージ内のファイルの循環:

これは、すべてのファイルがどのように、どこに保存されるかを示す概略図です。

今もっと。

ご覧のとおり、すべての中心は私の NAS、つまり Synology DS214 です。これは、Synology の最もシンプルな NAS の XNUMX つですが、私が必要とするものすべてに対応します。

ドロップボックス

私の仕事用マシンは MacBook Pro 13, 2015 です。 そこには512GBありますが、もちろんすべてのファイルが収まるわけではなく、現時点で必要なものだけを保存しています。 私はすべての個人ファイルとフォルダーを Dropbox と同期しています。Dropbox があまり信頼できないことは承知していますが、同期機能のみを実行します。 そして、少なくとも私が試した限りでは、彼はそれを最もうまくやってくれます。 そして、有名な雲もそうでない雲もすべて試してみました。

Synology には独自のクラウドもあり、NAS に展開できます。Dropbox から Synology Cloud Station に切り替えようと何度か試みましたが、常に同期に問題が発生したり、常に何らかのエラーが発生したり、すべてが同期されなかったりしました。

重要なファイルはすべて Dropbox フォルダーに保存されます。時々、何かを失わないようにデスクトップに何かを保存することがあります。MacDropAny プログラムを使用して Dropbox フォルダーへのシンボリック リンクを作成しました。
ダウンロード フォルダーはまったく同期されていませんが、そこには重要なものは何もなく、一時ファイルがあるだけです。 重要なものをダウンロードした場合は、Dropbox の適切なフォルダーにコピーします。

Dropbox を使った私の冒険かつて、2013 年から 2014 年にかけて、すべてのファイルを Dropbox に保存していましたが、そこにはバックアップがありませんでした。 その後、私は 1Tb を持っていませんでした。つまり、料金を支払わなかったのです。友人を招待したり、他のタスクで稼いだ約 25Gb を持っていました。

ある晴れた朝、コンピュータの電源を入れたところ、すべてのファイルが消えました。また、Dropbox から謝罪の手紙と、Dropbox のせいでファイルが消えてしまったという内容の手紙も受け取りました。 ファイルを復元できるリンクを教えてもらいましたが、もちろん何も復元されませんでした。 このために彼らは私に 1Tb を XNUMX 年間与え、その後、どんなに奇妙に聞こえるかもしれないが、私は彼らのクライアントになりましたが、私は彼らを決して信頼しませんでした。

上で書いたように、私にとってこれ以上適したクラウドは見つかりませんでした。第一に、まだ同期の問題が発生していないこと、第二に、多くのさまざまなサービスが Dropbox でのみ動作することです。

Gitの

仕事用ファイルは仕事用サーバーに保存され、個人用プロジェクトは GitLab に保存され、ここではすべてが簡単です。

タイムマシン

無駄にスペースを占有しないように、もちろん Dropbox と Downloads フォルダーを除くシステム全体のバックアップも作成します。 私は Time Machine を使用してシステムをバックアップしています。これは私を何度も助けてくれた優れたツールです。 同じNAS上で実行していますが、幸いにもそのような機能があります。 もちろん、外付け HDD でも実行できますが、それほど便利ではありません。 外部ドライブを接続して Time Machine を自分で起動する必要があるたびに。 私は怠け者だったので、数週間に一度このようなバックアップを作成することが多かったです。 彼は自動的にサーバーにバックアップを作成しますが、私は彼がいつそれを行うかさえ気づきません。 私は在宅勤務をしているので、システム全体の最新のバックアップを常に取っています。 コピーは一日に数回行われますが、何回、どのくらいの頻度でコピーが行われたかは数えませんでした。

NAS

ここですべての魔法が起こります。

Synology には Cloud Sync という優れたツールがあります。名前から何をするかは明らかだと思います。

多くのクラウド システムを相互に同期できます。より正確には、NAS サーバーのファイルを他のクラウドと同期できます。 このプログラムについてのレビューがオンラインにあると思います。 詳細には触れません。 私がそれをどのように使用するかを説明した方がよいでしょう。

サーバー上には Dropbox というディスク フォルダーがあり、これは私の Dropbox アカウントのコピーであり、Cloud Sync がこれらすべての同期を担当します。 Dropbox 内のファイルに何かが発生した場合、それはサーバー上で発生し、ファイルが削除されたか作成されたかは関係ありません。 一般的には、古典的な同期です。

Yandexディスク

次に、これらすべてのファイルをYandexディスクに投げます。それを自家製のバックアップディスクとして使用します。つまり、そこにファイルを投げますが、そこからは何も削除しません。これはそのようなファイルのダンプであることがわかりますが、それは数回役に立ちました。

Googleドライブ

そこで私は「写真」フォルダーのみを送信します。これも同期モードで、Google フォトの写真を便利に表示するためだけにこれを行い、そこから写真を削除する機能を備えています。写真はどこにでも削除されます（もちろん、Yandex ディスクを除く）。 以下の写真について書きますが、別の記事を書いても構いません。

ハイパーバックアップ

しかし、これはすべてあまり信頼できるものではなく、誤ってファイルを削除した場合、そのファイルはどこからでも削除され、失われたと考えることができます。 もちろん、Yandex ディスクから復元することもできますが、まず、一か所にバックアップすること自体はあまり信頼できません。また、これまで一度も復元されたことがなかったとしても、Yandex ディスク自体は 100% 安心できるサービスではありません。それに伴う問題。

そのため、私は常に通常のバックアップ システムを使用して、ファイルを別の場所に保存するようにしていました。

Synology には、HyperBackup と呼ばれるこのためのツールもあり、ファイルを他の Synology サーバーまたはサードパーティ メーカーのクラウド ソリューションにバックアップします。
NAS に接続されている外部ドライブにバックアップを作成することもでき、私は最近までそうしていました。 しかし、これも信頼できません。たとえば、火災が発生した場合、サーバーと HDD の両方が停止します。

Synology C2

ここでは、徐々に別のサービスにアプローチしていきます。今回は Synology 自体からです。 バックアップを保存するための独自のクラウドがあります。 これは HyperBackup 用に特別に設計されており、彼は毎日そこでバックアップを作成していますが、これはよく考えられたバックアップであり、ファイル バージョン、タイムライン、さらには Windows と Mac OS 用のクライアントさえあります。

ファイル ストレージについては以上です。ファイルが安全であることを願っています。

次に、ファイルの並べ替えに進みます。

私は、他のものと同じように、普通のファイル、本、書類のスキャン、その他の重要でないファイルを手動でフォルダーに分類します。 通常、それらの数はそれほど多くなく、めったに開きません。

写真やビデオがたくさんあるので、一番難しいのは整理することです。

月に数十枚から数百枚の写真を撮ります。 デジタル一眼レフカメラ、ドローン、そして時々携帯電話で撮影しています。 写真は個人用でもストック用でも構いません。 私は時々ホームビデオを撮影することもあります（皆さんが想像しているようなものではありません。単なる家族のビデオで、娘と一緒に撮影することが多いです）。 また、散らからないように、何らかの方法で保管し、分類する必要があります。

同じ Dropbox 内に Sort Images というフォルダーがあり、すべての写真とビデオが保存されるサブフォルダーがあり、そこから必要に応じて撮影され、並べ替えられます。

並べ替えは NAS サーバー上で行われ、そこでは bash スクリプトが実行されており、XNUMX 日 XNUMX 回自動的に起動され、そのジョブを実行します。 NAS はそれらの起動も担当します。すべてのスクリプトやその他のタスクの起動を担当するタスク スケジューラがあります。 タスクを起動する頻度とタイミングを設定できます。簡単な場合はインターフェイスを使用して cron を実行できます。

各フォルダーには独自のスクリプトがあります。 次に、フォルダーについて詳しく説明します。

ドローン — これは私が個人的な目的で撮影したドローンからの写真です。 まず、すべての写真を Lightroom で処理し、JPG をこのフォルダーにエクスポートします。 そこから、最終的に別の Dropbox フォルダ「写真」に移動します。

「Drone」フォルダーがあり、そこにはすでに年と月でソートされています。 スクリプト自体が必要なフォルダーを作成し、テンプレートに従って写真自体の名前を変更します。通常、これは写真が撮影された日時です。また、同じ名前のファイルが表示されないように最後に乱数を追加します。 ファイル名に秒を設定することがこれらの目的に適していない理由は覚えていません。

ツリーは次のようになります: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

ドローンビデオ — まだドローンでビデオを撮影していません。学ぶことがたくさんあります。今は時間がありませんが、すでにフォルダーを作成しています。

画像の操作 — 中には 2000 つのフォルダーがあり、そこでファイルが見つかると、インターネット上で公開するために最大 XNUMX ピクセルに圧縮されるか、画像が反転されます。これはもう必要ありませんが、フォルダーはまだ削除していません。

パノラマ — ここでパノラマの出番です。ご想像のとおり、これは特定の種類の写真なので、私はパノラマを別に保存し、通常はドローンで撮影します。 通常のパノラマも作成しますが、360 度のパノラマや、小さな惑星のような球体パノラマも作成し、ドローンも使用します。 このフォルダーから、すべての写真は Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg にも移動します。 パノラマがそれほど多くないため、ここでは月ごとに並べ替えません。

個人的な写真 — これは私がデジタル一眼レフカメラで撮った写真です。通常、これらは家族の写真や旅行、一般的には思い出や自分自身のために撮った写真です。 また、RAW 写真を Lightroom で処理して、ここにエクスポートします。

ここからここに到着します: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

ある種のお祝いや、別個に保存したほうがよいものを撮影した場合は、2019 フォルダー内にお祝いの名前のフォルダーを作成し、そこに写真を手動でコピーします。

RAW — ここに写真のソースがあります。 私はいつも RAW で撮影し、すべての写真を JPG で保存していますが、場合によっては RAW ファイルも保存したい場合や、フレームを別の方法で処理したい場合もあります。 通常、これは自然であり、連続してすべてが届くわけではなく、最高のショットのみがそこに届きます。

ストックフォト — ここでは、デジタル一眼レフカメラまたはドローンで撮影したストックフォト用の写真をアップロードします。 並べ替えは他の写真の場合と同じですが、独自の別のフォルダーに保存されるだけです。

Dropbox のルート ディレクトリには、Camera Uploads フォルダがあります。これは、Dropbox モバイル アプリケーションがすべての写真とビデオをアップロードするデフォルトのフォルダです。 携帯電話からの妻の写真はすべてこの方法で削除されます。 また、携帯電話からすべての写真とビデオをここにアップロードし、そこから別のフォルダーに分類します。 しかし、私はそれを、私にとってより便利な別の方法で行います。 Android には FolderSync というプログラムがあり、これを使用すると、携帯電話からすべての写真を取り出し、Dropbox にアップロードしてから、携帯電話から削除できます。 設定項目も豊富なのでオススメです。 携帯電話のビデオもこのフォルダーに入り、他の写真と同様に年と月ごとに分類されます。

インターネット上のさまざまな説明からすべてのスクリプトを自分で収集しましたが、既製の解決策は見つかりませんでした。 私は bash スクリプトについてはまったく知りません。おそらく、いくつかのエラーや、もっと良くできる点があるかもしれません。しかし、私にとって最も重要なことは、bash スクリプトが適切な仕事をし、私が必要としているものを実行してくれるということです。

スクリプトは GitHub にアップロードされました。 https://github.com/pelinoleg/bash-scripts

以前は、写真やビデオを分類するために Mac OS で Hazel を使用していました。すべてが簡単で、すべてのタスクが視覚的に作成され、コードを記述する必要がありません。しかし、欠点が XNUMX つあります。 まず、すべてが正常に動作するように、すべてのフォルダーをコンピューター上に保持する必要があります。次に、突然 Windows または Linux に切り替えた場合、そこにはそのようなプログラムが存在しません。 代替手段を探してみましたが、どれも無駄でした。 サーバー上でスクリプトを使用するソリューションは、より汎用的なソリューションです。

すべてのスクリプトは、XNUMX 日に XNUMX 回、通常は夜間に実行されるように構成されています。 しかし、待つ時間がなく、何らかの方法で必要なスクリプトを今すぐ実行する必要がある場合は、解決策が XNUMX つあります。SSH 経由でサーバーに接続し、必要なスクリプトを実行するか、管理パネルに移動して必要なスクリプトを手動で実行します。脚本。 私にとってこれはすべて不便に思えたので、XNUMX番目の解決策を見つけました。 Android には ssh コマンドを送信できるプログラムがあります。 いくつかのコマンドを作成し、それぞれに独自のボタンが付いています。たとえば、ドローンから撮影した写真を並べ替える必要がある場合は、ボタンを XNUMX つ押すだけでスクリプトが実行されます。 このプログラムは SSHing と呼ばれるもので、他にも同様のプログラムがありますが、私にとってはこれが最も便利です。

私も自分のサイトをいくつか持っていますが、それらは見せるためのもので、そこに行く人はほとんどいませんが、それでもバックアップを作成することに問題はありません。 私は DigitalOcean でサイトを運営しており、そこに aaPanel パネルをインストールしています。 そこでは、すべてのファイルとすべてのデータベースのバックアップ コピーを同じディスク上に作成できます。

同じディスクにバックアップを保存することはできないので、bash スクリプトを使用してそこに移動し、すべてをサーバーにコピーし、名前に日付を含む XNUMX つのアーカイブにすべてをアーカイブします。

私が使用し、共有した方法によって、少なくとも誰かが助けられることを願っています。

この記事からわかるように、私は自動化が大好きで、可能なことはすべて自動化しようとしていますが、自動化の観点からは多くのことについては説明しませんでした。これらはすでに他のトピックや他の記事にあるためです。

出所： habr.com