死亡、離婚和搬家是任何人一生中壓力最大的三種情況。
「美國恐怖故事」。
- Andryukh，我要離開家，幫我搬家，一切都不適合我:(
- 好吧，有多少人？
— 噸* 7-8...
*Ton (jarg) - 太字節。
最近，我在上網時注意到，儘管在 Habré 和類似資源上有很多關於遷移各種類型資料的方法和模型的資料，但有關該主題的問題仍然出現在網路上。 由於某種原因，並不總是能收到詳細的答案。 這一事實促使我有一天收集有關類似解決方案實施的筆記，並將它們以單獨帖子的形式安排。
一般來說，我必須以一些煩人的頻率將資料從一個裝置、系統和服務傳輸到另一個裝置、系統和服務。 透過反覆試驗，我不僅熟悉了許多有趣的產品，而且還找到了我要談論的解決方案的功能和成本之間的平衡點
設計
設計和調查工作的結果表明，遷移過程的品質和效率不僅取決於資料所在或將要位於的「站點」的技術特徵，還取決於它們的物理位置。
遷移管理器是一個運算節點，流程的「邏輯」（用於管理遷移的軟體）在該節點上運作。
即放置「遷移管理器」有兩種模型
- 型號A。 如果至少其中一個站點只能從本地網路內部訪問，那麼值得在同一網路上放置一個「遷移管理器」。 因為效能和遷移時間仍然受到連接站點的通道的速度和正常運作時間的限制。
- B型。 如果資料來源和接收方都可以存取本地網路之外的數據，那麼「遷移管理器」應該位於它們之間的通道的速度和正常運行時間明顯更好的地方。
為了以某種方式分解上述內容，我建議從文章的主要問題回到任務，並將它們形式化為技術規格。
首先，我需要確定我使用的軟體是否支援雲端： Mail.ru、Yandex、Google Drive、Mega、Nextloud?
簡短的回答是：“是的！”
我用 .
Rclone - 用於雲端儲存的 rsync。 開源軟體旨在將檔案和資料夾與超過 45 種類型和類型的儲存同步。
以下只是其中的一些：
— 阿里雲（Aliyun）物件儲存系統（OSS）
- 亞馬遜S3
— 頭孢
—數位海洋空間
—Dropbox
- 谷歌雲端儲存
- 谷歌雲端硬碟
- 谷歌照片
- HTTP
-IBM COS S3
— Mail.ru 雲
-百萬
- 微軟Azure Blob存儲
- 微軟OneDrive
— 米尼奧
— 下一個雲
- Openstack 斯威夫特
— Oracle 雲端存儲
— 自己的雲
— Rackspace 雲端文件
- rsync.net
- SFTP
- 網路DAV
— Yandex 磁碟
主要功能：
— 使用 MD5/SHA1 雜湊值檢查檔案的完整性。
— 儲存建立/變更檔案的時間戳記。
- 支援部分同步。
— 僅複製新檔案。
— 同步（單向）。
— 檢查檔案（透過雜湊值）。
— 能夠從一個雲端帳戶同步到另一個雲端帳戶。
- 加密支援。
- 支援本機檔案快取。
— 能夠透過 FUSE 安裝雲端服務。
我自己補充一下，Rclone 也幫我解決了與自動化資料備份相關的大部分問題 .
下一個任務是選擇「遷移管理器」放置模型。
所有資料來源都是各種公有雲服務，都可以透過網路存取。 包括透過 API。 三分之二的接收者也這樣做。 目前還不清楚 Nextcloud 本身部署在哪裡以及它有哪些存取權限？
我算了五個可能的選擇：
- 在您的家庭/公司網路中您自己的伺服器上。
- 在服務提供者資料中心租用的機架中您自己的伺服器上。
- 在向服務提供者租用的伺服器上。
- 在具有服務/託管提供者的虛擬伺服器 (VDS/VPS) 上
- 來自服務提供者
考慮到 Nextcloud 仍然是用於創建和使用雲端儲存的軟體，我們可以有把握地說，所有五個選項都可以透過網路存取它。 在這種情況下，放置“遷移經理”的最佳模型將是 - B型.
根據選擇作為“遷移管理器”平台的模型，從我的角度來看，我將選擇最佳選項之一 - 虛擬伺服器 俄羅斯最大的網路流量交換點MSK-IX。
需要做出的第三個決定是決定虛擬伺服器配置。
選擇 VDS 配置參數時，您需要以所需的效能為指導，這取決於站點之間通道的寬度、要移動的檔案的數量和大小、遷移流的數量和設定。 至於作業系統，Rclone是跨平台軟體，可以運行在各種作業系統上，包括Windows和Linux。
如果您計劃啟動多個遷移過程，甚至以一定的頻率啟動，那麼值得考慮選擇租用 VDS 並支付資源費用。
創建
基於上述，在創建本文的原型時，我選擇了以下配置的VDS。
費用為560盧布/月。 包括使用優惠券可享 15% 折扣 無壓力.
這種選擇是因為，為了符合我們技術規範的條件，Windows 作業系統下的節點比可訂購的其他作業系統更容易配置。
題外話：順便說一句，為了更高的安全性，這個虛擬伺服器被分配給其中一個節點 。 並且僅允許從那裡通過 RDP 訪問它......
建立VDS並透過RDP存取桌面後，您需要做的第一件事是準備Rclone和Web-GUI的環境。 那些。 安裝新的預設瀏覽器，例如 Chrome，因為最初安裝的 IE 11 不幸的是並非總是能與所使用的軟體一起正常工作。
環境準備好後，下載附帶軟體包的壓縮包 並打開包裝。
接下來，在 Windows 命令列模式下，執行命令以轉到包含解壓縮檔案的資料夾。 對我來說，它位於管理員的主資料夾中：
C:UsersAdministrator>cd rclone
轉換後，我們執行指令從 Web-GUI 啟動 Rclone：
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
其中「login」和「password」是您指定的登入名稱和密碼，當然不帶引號。
執行命令後，終端機顯示
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
Rclone 圖形 Web 介面會自動在瀏覽器中開啟。
雖然Web-GUI仍處於測試版本階段，尚未具備命令列介面所具有的所有Rclone管理功能，但其功能對於資料遷移來說已經足夠了。 甚至更多。
調整
下一步是建立與資料所在或將要位於的站點的連線。 第一個將是主要資料接收器 - Nextcloud。
1. 為此，請轉到以下部分 配置 網路圖形使用者介面。
2. 開始建立新配置 - 按鈕 新配置.
3. 設定網站名稱 - 字段 此磁碟機的名稱（供您參考）: 下一個雲。
4. 選擇儲存類型或類型 選擇：對於Nextcloud和Owncloud來說，主要的資料交換介面是WebDAV。
5. 接下來，點擊 第 2 步：設置 驅動器，打開連接參數列表並填寫。
- 5.1。 用於連接 URL 的 http 主機的 URL — WebDAV 介面的超文本連結。 在 Nextcloud 中，它們位於設定 - 介面的左下角。
- 5.2。 您正在使用的 Webdav 網站/服務/軟體的名稱 — WebDAV 介面名稱。 該字段是可選的，您可以自己選擇，以免在有很多此類連接時感到困惑。
- 5.3 用戶名 — 授權使用者名稱
- 5.4。 密碼： — 授權密碼
- 5.5。 不記名令牌而不是用戶/通行證（例如杏仁餅）和運行命令以獲取不記名令牌 進階選項中有附加參數和授權命令。 我的 Nextcloud 中沒有使用它們。
6. 下一步點擊 建立配置 並確保已建立配置，請前往 部分 配置 Web介面...透過同一頁面，可以刪除或編輯新建立的配置。
若要檢查站點連接的功能，請前往以下部分 探險者... 在現場 遙控器 輸入配置網站的名稱，然後按一下 已提交。 如果您看到檔案和目錄列表，則表示與網站的連線正常。
為了更有說服力，您可以透過 Web 介面建立/刪除資料夾或下載/刪除檔案。
要連接的第二個平台將是 Yandex 磁碟。
- 前四個步驟與 Nextcloud 連接過程類似。
- 接下來，我們將所有內容保留原樣，即中的字段 第 2 步：設定驅動器 我們將它們留空，並且不更改高級選項中的任何內容。
- 我們按 建立配置.
- Yandex 授權頁面在瀏覽器中打開，之後您會收到一條有關成功連線的訊息以及返回 Rclone 的提議。
- 我們要做的就是檢查該部分 配置.
遷移
當我們連接兩個站點時，我們就可以在它們之間遷移資料。 這個過程本身類似於我們之前執行的檢查 Nextcloud 連接的功能。
- 去 探險者.
- 選擇模板 2-並排.
- 在每個 遙控器 表示您的網站的名稱。
- 我們按 已提交.
- 我們看到每個文件和資料夾的目錄。
要開始遷移過程，剩下的就是在資料來源目錄中選擇包含檔案的所需資料夾，然後用滑鼠將其拖曳到目標目錄。
新增剩餘站點並在它們之間遷移資料的機制與上面執行的操作類似。 如果您在工作中遇到錯誤，您可以在執行帶有 Web-GUI 的 Rclone 的終端中研究有關錯誤的詳細資訊。
一般來說，文檔 內容廣泛，可在網站和網路上取得，不會造成任何使用困難。 至此，我認為關於如何繞過 PC 將文件從一個雲傳輸到另一個雲的第一篇文章就完成了。
聚苯乙烯 如果您不同意最後的陳述，請在評論中寫下：「未涵蓋的主題」以及以何種方式值得繼續。
來源： www.habr.com