PC を経由せずに、あるクラウドから別のクラウドにファイルを転送する方法

死、離婚、引っ越しは、人の人生で最もストレスの多い状況の XNUMX つです。
"アメリカン・ホラー・ストーリー"。

- アンドリュク、家を出るんだ、引っ越しを手伝ってくれ、何もかもが私には合わない :(
- さて、何人いますか？
— トン* 7-8...
*トン (jarg) - テラバイト。

最近、インターネットをサーフィンしているときに、さまざまな種類のデータを移行するための方法やモデルに関する多くの資料が Habré や同様のリソースで入手可能であるにもかかわらず、このトピックに関する質問が依然としてインターネット上に存在することに気づきました。 何らかの理由で、必ずしも詳細な回答が得られるとは限りません。 この事実をきっかけに、ある日、同様のソリューションの実装に関するメモを収集し、別の投稿の形で整理することにしました。

一般に、あるデバイス、システム、サービスから別のデバイス、システム、サービスに、煩わしい頻度でデータを転送する必要があります。 試行錯誤を通じて、多くの興味深い製品を知ることができただけでなく、これから話したいソリューションの機能とコストのバランスを見つけることもできました。

デザイン

設計と調査作業の結果、移行プロセスの品質と効率は、データが配置されている、または配置される予定の「サイト」の技術的特性だけでなく、物理的な場所にも依存することが判明しました。

移行マネージャーは、プロセスの「ロジック」（移行を管理するソフトウェア）が機能するコンピューティング ノードです。

つまり、「移行マネージャー」の配置には XNUMX つのモデルがあります。

• モデルA。 少なくとも XNUMX つのサイトがローカル ネットワーク内からのみアクセスできる場合は、同じネットワーク上に「移行マネージャー」を配置する価値があります。 パフォーマンスと移行時間は、サイトを接続するチャネルの速度と稼働時間によって依然として制限されるためです。
• モデルB。 データの送信元と受信者の両方がローカル ネットワークの外部にアクセスできる場合、「移行マネージャー」は、それらの間のチャネルの速度と稼働時間が明らかに優れている場所に配置する必要があります。

上記を何らかの方法で分解するために、記事の主な質問からタスクに戻り、それらを技術仕様に形式化することを提案します。

まず、使用しているソフトウェアがクラウドをサポートしているかどうかを確認する必要があります。 Mail.ru、Yandex、Google ドライブ、Mega、Nextloud?

簡単に言うと「はい！」です。

私が使う Rclone.

Rclone - クラウドストレージ用のrsync。 ファイルやフォルダーを 45 種類以上のストレージと同期するように設計されたオープン ソース ソフトウェア。

以下はそのほんの一部です。
— Alibaba Cloud (Aliyun) オブジェクト ストレージ システム (OSS)
- アマゾンS3
— セフ
—デジタルオーシャンスペース
-ドロップボックス
- Googleクラウドストレージ
- グーグルドライブ
- Google フォト
- HTTP
-IBM COS S3
— Mail.ruクラウド
――メガ
- Microsoft Azure Blob ストレージ
- Microsoft OneDrive
— ミニオ
— ネクストクラウド
- オープンスタックスイフト
— Oracleクラウドストレージ
— 自分のクラウド
— ラックスペースクラウドファイル
- rsync.net
- SFTP
- WebDAV
— Yandex ディスク

説明:
— MD5/SHA1 ハッシュを使用したファイルの整合性のチェック。
— ファイルの作成/変更のタイムスタンプを保存します。
- 部分的な同期をサポートします。
— 新しいファイルのみをコピーします。
— 同期 (一方向)。
— ファイルのチェック (ハッシュによる)。
— あるクラウド アカウントから別のクラウド アカウントに同期する機能。
- 暗号化のサポート。
- ローカル ファイル キャッシュのサポート。
— FUSE 経由でクラウド サービスをマウントする機能。

Rclone は、データ バックアップの自動化に関連する大部分の問題の解決にも役立つことを自分で付け加えておきます。 プロジェクト「ヴァイナモイネン」.

次のタスクは、「移行マネージャー」配置モデルを選択することです。

さまざまなパブリック クラウド サービスであるすべてのデータ ソースには、インターネット経由でアクセスできます。 API 経由も含みます。 XNUMX 台の受信機のうち XNUMX 台が同じことを行います。 Nextcloud 自体がどこにデプロイされているか、またそれにどのようなアクセスが利用できるかは明確ではありません。

考えられる選択肢を XNUMX つ数えてみました。

1. ホーム/企業ネットワーク内の独自のサーバー上。
2. サービス プロバイダーのデータ センターのレンタル ラックにある独自のサーバー上。
3. サービスプロバイダーからレンタルしたサーバー上。
4. サービス/ホスティング プロバイダーを使用した仮想サーバー (VDS/VPS) 上 
5. サービスプロバイダーから SaaSモデルによると

Nextcloud が依然としてクラウド ストレージを作成および使用するためのソフトウェアであることを考慮すると、インターネット経由でのアクセスは XNUMX つのオプションすべてで利用できると言って間違いありません。 この場合、「移行マネージャー」を配置するための最適なモデルは次のようになります。 モデルB.

「移行マネージャー」のプラットフォームとして選択されたモデルに従って、私の観点から最適なオプションの XNUMX つである仮想サーバーを選択します。 M9 データセンター ロシア最大のインターネット トラフィック交換ポイント MSK-IX。

XNUMX 番目に決定する必要があるのは、仮想サーバーの構成を決定することです。 

VDS 構成パラメータを選択するときは、サイト間のチャネルの幅、移動されるファイルの数とサイズ、移行ストリームの数と設定に応じて必要なパフォーマンスを考慮する必要があります。 OS に関しては、Rclone は Windows や Linux を含むさまざまなオペレーティング システム上で動作するクロスプラットフォーム ソフトウェアです。

複数の移行プロセスを、たとえ一定の頻度で開始する予定がある場合は、リソースの料金を支払って VDS をレンタルするオプションを検討する価値があります。

創造

以上を踏まえ、今回のプロトタイプを作成する際には以下の構成のVDSを選択しました。

月額560ルーブルかかります。 クーポン利用による15％割引含む ストレスがない.

この選択は、技術仕様の条件に準拠するために、Windows OS 上のノードの方が、注文可能な他の OS よりも構成が簡単であるという事実によるものです。

余談: ちなみに、セキュリティを強化するために、この仮想サーバーはノードの XNUMX つに割り当てられています。 安全な仮想ネットワーク。 RDP 経由でのアクセスはそこからのみ許可されます...

VDS を作成し、RDP 経由でデスクトップにアクセスできるようになったら、最初に行う必要があるのは、Rclone と Web-GUI の環境を準備することです。 それらの。 残念ながら、最初にインストールされた IE 11 は、使用するソフトウェアで常に正しく動作するとは限らないため、新しいデフォルトのブラウザ (Chrome など) をインストールしてください。 

環境を準備したら、ソフトウェアパッケージとともにアーカイブをダウンロードします Windows用Rclone そして開梱します。 

次に、Windows コマンド ライン モードでコマンドを実行し、抽出されたファイルのあるフォルダーに移動します。 私の場合、それは管理者のホームフォルダーにあります。

C:UsersAdministrator>cd rclone

移行後、Web-GUI から Rclone を起動するコマンドを実行します。

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

ここで、「login」と「password」は、引用符なしで指定したログイン名とパスワードです。

コマンドを実行すると、ターミナルに次のように表示されます。

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

Rclone グラフィカル Web インターフェイスがブラウザで自動的に開きます。

Web-GUI はまだテスト バージョンの段階にあり、コマンド ライン インターフェイスが持つすべての Rclone 管理機能を備えていないにもかかわらず、その機能はデータ移行には十分です。 そしてもう少し。

調整

次のステップは、データが存在する、または今後存在するサイトへの接続を設定することです。 そして、最初のラインはメインのデータ受信者である Nextcloud になります。

1. これを行うには、セクションに移動してください 構成 Web-GUI。 

2. 新しい構成の作成の開始 - ボタン 新しい構成.

3. サイト名の設定 - フィールド このドライブの名前 (参考までに)：ネクストクラウド。

4. ストレージの種類またはタイプの選択 選択: Nextcloud と Owncloud の場合、主なデータ交換インターフェイスは WebDAV です。

5. 次に、をクリックします ステップ2：セットアップ ドライブを開き、接続パラメータのリストを開いて入力します。 

- 5.1 URLに接続するhttpホストのURL — WebDAV インターフェイスのハイパーテキスト リンク。 Nextcloud では、インターフェイスの左下隅の設定にあります。
- 5.2 使用している Webdav サイト/サービス/ソフトウェアの名前 — WebDAV インターフェース名。 このような接続が多数ある場合に混乱しないように、このフィールドはオプションです。
- 5.3 ユーザー名 — 認証用のユーザー名
- 5.4 パスワード — 認証用パスワード
- 5.5 ユーザー/パスの代わりのベアラー トークン (マカロンなど) とベアラー トークンを取得するために実行するコマンド 詳細オプションには、追加のパラメータと認証コマンドがあります。 これらは私の Nextcloud では使用されません。

6. 次のクリック 構成の作成 構成が作成されたことを確認するには、セクションに進みます。 構成 Web インターフェイス... 同じページから、新しく作成した設定を削除または編集できます。

サイトへの接続の機能を確認するには、セクションに移動してください。 冒険者。 Вполе リモート 設定したサイトの名前を入力し、クリックします。 Open。 ファイルとディレクトリのリストが表示される場合、サイトへの接続は機能しています。

より確実にするには、Web インターフェイスを通じてフォルダーの作成/削除、またはファイルのダウンロード/削除を行うことができます。

接続される XNUMX 番目のプラットフォームは Yandex ディスクになります。

• 最初の XNUMX つのステップは Nextcloud の接続プロセスと似ています。
• 次に、すべてをそのままにしておきます。つまり、 ステップ 2: ドライブのセットアップ それらを空のままにし、詳細オプションは何も変更しません。
• 触れ<XNUMXxXNUMX><XNUMXxXNUMX>м<XNUMXxDXNUMX><XNUMXxDXNUMX><XNUMXxXNUMX> 構成の作成.
• Yandex 認証ページがブラウザで開きます。その後、接続の成功に関するメッセージと、Rclone に戻るよう求めるメッセージが表示されます。
• 私たちがやることはセクションをチェックすることです 設定.

移行

XNUMX つのサイトが接続されている場合、それらの間でデータを移行することができます。 プロセス自体は、以前に実行した Nextcloud への接続の機能を確認するのと似ています。

• に行く 冒険者.
• テンプレートの選択 2 つ並べて.
• それぞれで リモート サイトの名前を指定します。
• 触れ<XNUMXxXNUMX><XNUMXxXNUMX>м<XNUMXxDXNUMX><XNUMXxDXNUMX><XNUMXxXNUMX> Open.
• それぞれのファイルとフォルダーのディレクトリが表示されます。

移行プロセスを開始するには、データ ソース ディレクトリ内のファイルを含む目的のフォルダーを選択し、それをマウスで宛先ディレクトリにドラッグするだけです。

残りのサイトを追加し、サイト間でデータを移行するメカニズムは、上記で実行した操作と似ています。 作業中にエラーが発生した場合は、Rclone with Web-GUI が実行されているターミナルでエラーの詳細を確認できます。

一般に、次のドキュメントは、 Rclone は広範囲にわたっており、Web サイトやインターネット上で入手できるため、使用に問題はありません。 これで、PC をバイパスして、あるクラウドから別のクラウドにファイルを転送する方法に関する最初の投稿が完了したと考えます。

PS 最後の声明に同意できない場合は、どのようなトピックが「取り上げられていない」のか、またどのような意味で継続する価値があるのか​​をコメントに記入してください。

出所： habr.com