Cách chuyển tệp từ đám mây này sang đám mây khác mà không cần thông qua PC

Cái chết, ly hôn và chuyển đi là ba trong số những tình huống căng thẳng nhất trong cuộc đời mỗi người.
"Câu chuyện kinh dị Mỹ".

- Andryukh, tôi sắp rời nhà, giúp tôi di chuyển, mọi thứ không vừa với tôi :(
- Được rồi, có bao nhiêu?
- Tấn* 7-8...
*Tấn (jarg) - Terabyte.

Gần đây, khi lướt Internet, tôi nhận thấy rằng mặc dù có sẵn trên Habré và các tài nguyên tương tự với rất nhiều tài liệu về các phương pháp và mô hình di chuyển các loại dữ liệu khác nhau, các câu hỏi về chủ đề này vẫn xuất hiện trên Internet. Vì lý do nào đó không phải lúc nào cũng nhận được câu trả lời chi tiết. Thực tế này đã thôi thúc tôi một ngày nào đó thu thập các ghi chú về việc thực hiện một giải pháp tương tự và sắp xếp chúng dưới dạng một bài đăng riêng.

Nói chung, tôi phải chuyển dữ liệu từ thiết bị, hệ thống và dịch vụ này sang thiết bị, hệ thống và dịch vụ khác với tần suất khó chịu. Điều này, qua quá trình thử và sai, cho phép tôi không chỉ làm quen với nhiều sản phẩm thú vị mà còn tìm ra sự cân bằng giữa chức năng và chi phí của giải pháp mà tôi muốn nói đến

Thiết kế

Hóa ra là kết quả của công việc thiết kế và khảo sát, chất lượng và hiệu quả của quá trình di chuyển không chỉ phụ thuộc vào đặc tính kỹ thuật của “địa điểm” nơi dữ liệu đang hoặc sẽ được đặt mà còn phụ thuộc vào vị trí thực tế của chúng.

Trình quản lý di chuyển là một nút điện toán trong đó “logic” của quy trình—phần mềm quản lý di chuyển—chức năng.

Nghĩa là, có hai mô hình để đặt “người quản lý di chuyển”

• Mẫu A. Nếu ít nhất một trong các trang web chỉ có thể được truy cập từ bên trong mạng cục bộ thì bạn nên đặt một “trình quản lý di chuyển” trên cùng một mạng. Bởi vì hiệu suất và thời gian di chuyển vẫn bị giới hạn bởi tốc độ và thời gian hoạt động của kênh kết nối các trang web.
• Mẫu B. Nếu cả nguồn và người nhận dữ liệu đều có quyền truy cập bên ngoài mạng cục bộ thì “trình quản lý di chuyển” phải được đặt ở nơi tốc độ và thời gian hoạt động của kênh giữa chúng rõ ràng sẽ tốt hơn.

Để phần nào phân tích những điều trên, tôi đề xuất quay lại các nhiệm vụ từ câu hỏi chính của bài viết và chính thức hóa chúng thành các thông số kỹ thuật.

Đầu tiên mình cần tìm hiểu xem phần mềm mình đang sử dụng có hỗ trợ cloud không: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Câu trả lời ngắn gọn là có!"

Tôi đang sử dụng Rclone.

Rclone - rsync để lưu trữ đám mây. Phần mềm nguồn mở được thiết kế để đồng bộ hóa các tệp và thư mục với hơn 45 loại và kiểu lưu trữ.

Đây chỉ là một vài trong số họ:
— Hệ thống lưu trữ đối tượng trên nền tảng đám mây của Alibaba (Aliyun) (OSS)
- Amazon S3
— Ceph
—Không gian đại dương kỹ thuật số
—Dropbox
- Bộ nhớ đám mây của Google
- Google Drive
- Google Ảnh
- HTTP
-IBM COS S3
— Đám mây Mail.ru
-Siêu cấp
- Bộ lưu trữ Microsoft Azure Blob
- Microsoft OneDrive
— Minio
— Đám mây tiếp theo
- Openstack Swift
— Lưu trữ đám mây Oracle
— riêngCloud
- Tệp đám mây Rackspace
- rsync.net
- SFTP
- WebDAV
- Đĩa Yandex

Chức năng chính:
— Kiểm tra tính toàn vẹn của tệp bằng hàm băm MD5/SHA1.
— Lưu dấu thời gian để tạo/thay đổi tập tin.
- Hỗ trợ đồng bộ hóa một phần.
— Chỉ sao chép các tập tin mới.
- Đồng bộ hóa (một chiều).
— Kiểm tra tập tin (bằng hàm băm).
— Khả năng đồng bộ hóa từ tài khoản đám mây này sang tài khoản đám mây khác.
- Hỗ trợ mã hóa.
- Hỗ trợ bộ nhớ đệm tập tin cục bộ.
- Khả năng gắn kết các dịch vụ đám mây thông qua FUSE.

Tôi sẽ tự nói thêm rằng Rclone cũng giúp tôi giải quyết phần lớn các vấn đề liên quan đến việc tự động sao lưu dữ liệu trong dự án "Väinämöinen".

Nhiệm vụ tiếp theo là chọn mô hình vị trí “người quản lý di chuyển”.

Tất cả các nguồn dữ liệu, là các dịch vụ đám mây công cộng khác nhau, đều có thể truy cập được qua Internet. Bao gồm thông qua API. Hai trong số ba người nhận cũng làm như vậy. Không rõ Nextcloud được triển khai ở đâu và nó có quyền truy cập gì?

Tôi đếm được năm lựa chọn có thể:

1. Trên máy chủ của riêng bạn trong mạng gia đình/công ty của bạn.
2. Trên máy chủ của riêng bạn trong giá thuê của trung tâm dữ liệu của nhà cung cấp dịch vụ.
3. Trên một máy chủ được thuê từ một nhà cung cấp dịch vụ.
4. Trên máy chủ ảo (VDS/VPS) với nhà cung cấp dịch vụ/lưu trữ 
5. Từ nhà cung cấp dịch vụ theo mô hình SaaS

Xem xét rằng Nextcloud vẫn là phần mềm để tạo và sử dụng bộ lưu trữ đám mây, chúng ta có thể nói một cách an toàn rằng quyền truy cập vào nó qua Internet có sẵn ở cả năm tùy chọn. Và trong trường hợp này, mô hình tối ưu để đặt “người quản lý di chuyển” sẽ là - mô hình B.

Theo mô hình được chọn làm nền tảng cho “trình quản lý di chuyển”, tôi sẽ chọn một trong những tùy chọn tối ưu, theo quan điểm của tôi - một máy chủ ảo trong Trung tâm dữ liệu M9 Điểm trao đổi lưu lượng truy cập Internet lớn nhất của Nga MSK-IX.

Quyết định thứ ba cần đưa ra là quyết định cấu hình máy chủ ảo. 

Khi chọn tham số cấu hình VDS, bạn cần được hướng dẫn về hiệu suất cần thiết, tùy thuộc vào độ rộng của kênh giữa các trang, số lượng và kích thước tệp được di chuyển, số lượng luồng di chuyển và cài đặt. Đối với HĐH, Rclone là phần mềm đa nền tảng chạy trên nhiều hệ điều hành khác nhau, bao gồm cả Windows và Linux.

Nếu bạn dự định khởi chạy một số quy trình di chuyển và thậm chí ở một tần suất nhất định, thì bạn nên xem xét tùy chọn thuê VDS có tính phí tài nguyên.

sự sáng tạo

Dựa vào những điều trên, khi tạo nguyên mẫu cho bài viết này, tôi đã chọn VDS ở cấu hình sau.

có giá 560 rúp/tháng. bao gồm giảm giá 15% khi sử dụng phiếu giảm giá KHÔNG CĂNG THẲNG.

Lựa chọn này là do nút trong hệ điều hành Windows, để tuân thủ các điều kiện trong thông số kỹ thuật của chúng tôi, sẽ dễ cấu hình hơn so với các hệ điều hành khác có sẵn để đặt hàng.

Offtopic: Nhân tiện, để bảo mật tốt hơn, máy chủ ảo này được gán cho một trong các nút mạng ảo an toàn. và quyền truy cập vào nó thông qua RDP chỉ được phép từ đó ...

Sau khi tạo VDS và giành quyền truy cập vào máy tính để bàn thông qua RDP, điều đầu tiên bạn cần làm là chuẩn bị môi trường cho Rclone và Web-GUI. Những thứ kia. Thật không may, hãy cài đặt một trình duyệt mặc định mới, chẳng hạn như Chrome, vì IE 11 được cài đặt ban đầu không phải lúc nào cũng hoạt động chính xác với phần mềm được sử dụng. 

Sau khi chuẩn bị môi trường, tải xuống kho lưu trữ cùng với gói phần mềm Rclone cho Windows và giải nén nó. 

Tiếp theo, trong chế độ dòng lệnh của Windows, thực hiện lệnh để chuyển đến thư mục chứa các tệp được giải nén. Đối với tôi nó nằm trong thư mục chính của quản trị viên:

C:UsersAdministrator>cd rclone

Sau khi chuyển đổi, chúng tôi thực hiện lệnh khởi chạy Rclone từ Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

trong đó “đăng nhập” và “mật khẩu” tất nhiên là thông tin đăng nhập và mật khẩu bạn đã chỉ định, không có dấu ngoặc kép.

Khi thực hiện lệnh, terminal hiển thị

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

và giao diện web đồ họa Rclone tự động mở trong trình duyệt.

Mặc dù thực tế là Web-GUI vẫn đang trong giai đoạn phiên bản thử nghiệm và chưa có tất cả các khả năng quản lý Rclone mà giao diện dòng lệnh có, nhưng các khả năng của nó khá đủ để di chuyển dữ liệu. Và thậm chí nhiều hơn một chút.

điều chỉnh

Bước tiếp theo là thiết lập kết nối tới các trang nơi dữ liệu đang hoặc sẽ được đặt. Và người xếp hàng đầu tiên sẽ là người nhận dữ liệu chính - Nextcloud.

1. Để làm điều này, hãy đi đến phần Cấu hình GUI-Web. 

2. Bắt đầu tạo một cấu hình mới - nút Cấu hình mới.

3. Đặt tên trang web - trường Tên ổ đĩa này (Để bạn tham khảo): Đám mây tiếp theo.

4. Chọn loại hoặc loại lưu trữ Chọn: Đối với Nextcloud và Owncloud, giao diện trao đổi dữ liệu chính là WebDAV.

5. Tiếp theo, bấm vào Bước 2: Thiết lập drive, mở danh sách các thông số kết nối và điền vào. 

- 5.1. URL của máy chủ http để kết nối với URL - liên kết siêu văn bản của giao diện WebDAV. Trong Nextcloud, chúng nằm trong cài đặt - góc dưới bên trái của giao diện.
- 5.2. Tên của trang web/dịch vụ/phần mềm Webdav bạn đang sử dụng — Tên giao diện WebDAV. Trường này là tùy chọn đối với bạn để không bị nhầm lẫn nếu có nhiều kết nối như vậy.
- 5.3 Tên người dùng - Tên người dùng để ủy quyền
- 5.4. Mật khẩu - Mật khẩu để ủy quyền
- 5.5. Mã thông báo mang thay vì người dùng/pass (ví dụ: Macaroon) và Lệnh chạy để nhận mã thông báo mang trong các tùy chọn nâng cao có các tham số và lệnh ủy quyền bổ sung. Chúng không được sử dụng trong Nextcloud của tôi.

6. Nhấp chuột tiếp theo Tạo cấu hình và để đảm bảo rằng cấu hình đã được tạo, hãy chuyển đến phần Cấu hình giao diện web... Thông qua cùng một trang, cấu hình mới tạo có thể bị xóa hoặc chỉnh sửa.

Để kiểm tra chức năng của kết nối đến trang web, hãy chuyển đến phần Gói Thử Nghiệm... Trong lĩnh vực Điều khiển từ xa nhập tên của trang web được cấu hình và nhấp vào Mở. Nếu bạn thấy danh sách các tập tin và thư mục thì kết nối tới trang web đang hoạt động.

Để thuyết phục hơn, bạn có thể tạo/xóa thư mục hoặc tải/xóa file thông qua giao diện web.

Nền tảng thứ hai được kết nối sẽ là đĩa Yandex.

• Bốn bước đầu tiên tương tự như quy trình kết nối Nextcloud.
• Tiếp theo, chúng ta để nguyên mọi thứ, tức là các trường trong Bước 2: Thiết lập ổ đĩa Chúng tôi để trống chúng và không thay đổi bất cứ điều gì trong các tùy chọn nâng cao.
• Chúng tôi nhấn Tạo cấu hình.
• Trang ủy quyền Yandex mở trong trình duyệt, sau đó bạn nhận được thông báo về kết nối thành công và đề nghị quay lại Rclone.
• Những gì chúng tôi làm là kiểm tra phần Config.

Di cư

Khi chúng tôi có hai trang web được kết nối, chúng tôi đã có thể di chuyển dữ liệu giữa chúng. Bản thân quá trình này tương tự như việc kiểm tra chức năng kết nối với Nextcloud mà chúng tôi đã thực hiện trước đó.

• Đi đến Gói Thử Nghiệm.
• Chọn một mẫu 2 bên cạnh nhau.
• Trong mỗi cái của Điều khiển từ xa cho biết tên trang web của bạn.
• Chúng tôi nhấn Mở.
• Chúng tôi thấy một thư mục chứa các tập tin và thư mục cho mỗi người trong số họ.

Để bắt đầu quá trình di chuyển, tất cả những gì còn lại là chọn thư mục mong muốn chứa các tệp trong thư mục nguồn dữ liệu và kéo nó bằng chuột vào thư mục đích.

Cơ chế thêm các trang còn lại và di chuyển dữ liệu giữa chúng cũng tương tự như các thao tác được thực hiện ở trên. Nếu gặp lỗi trong quá trình làm việc, bạn có thể nghiên cứu chi tiết về chúng trong thiết bị đầu cuối nơi Rclone với Web-GUI đang chạy.

Nhìn chung, tài liệu dành cho Rclone rộng rãi và có sẵn trên trang web cũng như trên Internet và không gây ra bất kỳ khó khăn nào khi sử dụng. Với điều này, tôi xem xét bài đăng đầu tiên về cách chuyển tệp từ đám mây này sang đám mây khác, bỏ qua PC của bạn, đã hoàn tất.

PS Nếu bạn không đồng ý với tuyên bố cuối cùng, hãy viết trong phần nhận xét: “chủ đề nào không được đề cập” và nội dung nào đáng để tiếp tục.

Nguồn: www.habr.com