Bagaimana untuk memindahkan fail dari satu awan ke awan lain tanpa melalui PC anda

Kematian, perceraian dan perpindahan adalah tiga situasi paling tertekan dalam kehidupan mana-mana orang.
"Cerita seram Amerika".

- Andryukh, saya akan meninggalkan rumah, bantu saya bergerak, semuanya tidak sesuai dengan saya :(
- Okay, berapa ramai yang ada?
— Tan* 7-8...
*Ton (jarg) - Terabait.

Baru-baru ini, semasa melayari Internet, saya mendapati bahawa walaupun terdapat banyak bahan mengenai kaedah dan model untuk memindahkan pelbagai jenis data di Habré dan sumber yang serupa, soalan mengenai topik ini masih muncul di Internet. Yang, atas sebab tertentu, tidak selalu menerima jawapan terperinci. Fakta ini mendorong saya untuk satu hari mengumpul nota mengenai pelaksanaan penyelesaian yang sama dan menyusunnya dalam bentuk jawatan berasingan.

Secara umum, saya perlu memindahkan data dari satu peranti, sistem dan perkhidmatan kepada yang lain dengan beberapa kekerapan yang menjengkelkan. Yang, melalui percubaan dan kesilapan, membolehkan saya bukan sahaja berkenalan dengan banyak produk yang menarik, tetapi juga untuk mencari keseimbangan antara fungsi dan kos penyelesaian yang ingin saya bincangkan

Проектирование

Ternyata sebagai hasil kerja reka bentuk dan tinjauan, kualiti dan kecekapan proses migrasi bergantung bukan sahaja pada ciri teknikal "tapak" di mana data berada atau akan ditempatkan, tetapi juga pada lokasi fizikalnya.

Pengurus migrasi ialah nod pengkomputeran di mana "logik" proses—perisian untuk mengurus migrasi—berfungsi.

Iaitu, terdapat dua model untuk meletakkan "pengurus migrasi"

• Model A. Jika sekurang-kurangnya satu daripada tapak hanya boleh diakses dari dalam rangkaian tempatan, maka adalah berbaloi untuk meletakkan "pengurus migrasi" pada rangkaian yang sama. Kerana prestasi dan masa migrasi masih terhad oleh kelajuan dan masa aktif saluran yang menyambungkan tapak.
• Model B. Jika kedua-dua sumber dan penerima data mempunyai akses di luar rangkaian tempatan, maka "pengurus migrasi" harus ditempatkan di mana kelajuan dan masa aktif saluran di antara mereka jelas akan menjadi lebih baik.

Untuk entah bagaimana menguraikan perkara di atas, saya mencadangkan untuk kembali kepada tugas dari persoalan utama artikel dan memformalkannya ke dalam spesifikasi teknikal.

Pertama, saya perlu mengetahui sama ada perisian yang saya gunakan menyokong awan: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Jawapan ringkasnya ialah: "YA!"

saya guna Rclone.

Rclone - rsync untuk penyimpanan awan. Perisian Sumber Terbuka direka untuk menyegerakkan fail dan folder dengan lebih daripada 45 jenis dan jenis storan.

Berikut adalah beberapa daripada mereka:
— Sistem Penyimpanan Objek (OSS) Alibaba Cloud (Aliyun)
- Amazon S3
- Ceph
—Angkasa Laut Digital
—Dropbox
- Storan Awan Google
- Google Drive
- Foto Google
- HTTP
-IBM COS S3
— Awan Mail.ru
—Mega
- Storan Blob Microsoft Azure
- Microsoft OneDrive
- Minio
— Nextcloud
- Openstack Swift
— Storan Awan Oracle
— ownCloud
— Fail Awan Rackspace
- rsync.net
- SFTP
- WebDAV
— Cakera Yandex

Fungsi utama:
— Memeriksa integriti fail menggunakan cincang MD5/SHA1.
— Menyimpan cap masa untuk mencipta/menukar fail.
- Menyokong penyegerakan separa.
— Menyalin fail baharu sahaja.
— Penyegerakan (sehala).
— Menyemak fail (dengan cincangan).
— Keupayaan untuk menyegerakkan dari satu akaun awan ke akaun awan yang lain.
- Sokongan penyulitan.
- Sokongan untuk caching fail tempatan.
— Keupayaan untuk memasang perkhidmatan awan melalui FUSE.

Saya akan menambah sendiri bahawa Rclone juga membantu saya menyelesaikan masalah besar yang berkaitan dengan mengautomasikan sandaran data dalam projek "Väinämöinen".

Tugas seterusnya ialah memilih model peletakan "pengurus migrasi".

Semua sumber data, yang merupakan pelbagai perkhidmatan awan awam, boleh diakses melalui Internet. Termasuk melalui API. Dua daripada tiga penerima melakukan perkara yang sama. Tidak jelas di mana Nextcloud sendiri digunakan dan apakah akses yang tersedia untuknya?

Saya mengira lima pilihan yang mungkin:

1. Pada pelayan anda sendiri dalam rangkaian rumah/korporat anda.
2. Pada pelayan anda sendiri dalam rak sewaan pusat data pembekal perkhidmatan.
3. Pada pelayan yang disewa daripada pembekal perkhidmatan.
4. Pada pelayan maya (VDS/VPS) dengan penyedia perkhidmatan/penghosan 
5. Daripada pembekal perkhidmatan mengikut model SaaS

Memandangkan Nextcloud masih merupakan perisian untuk mencipta dan menggunakan storan awan, kami dengan selamat boleh mengatakan bahawa akses kepadanya melalui Internet tersedia dalam semua lima pilihan. Dan dalam kes ini, model optimum untuk meletakkan "pengurus migrasi" ialah - model B.

Menurut model yang dipilih sebagai platform untuk "pengurus migrasi", saya akan memilih salah satu yang optimum, dari sudut pandangan saya, pilihan - pelayan maya dalam Pusat data M9 Titik pertukaran trafik Internet terbesar di Rusia MSK-IX.

Keputusan ketiga yang perlu dibuat ialah memutuskan konfigurasi pelayan maya. 

Apabila memilih parameter konfigurasi VDS, anda perlu berpandukan prestasi yang diperlukan, yang bergantung pada lebar saluran antara tapak, bilangan dan saiz fail yang dialihkan, bilangan aliran migrasi dan tetapan. Bagi OS, Rclone ialah perisian merentas platform yang berjalan pada pelbagai sistem pengendalian, termasuk Windows dan Linux.

Jika anda bercadang untuk melancarkan beberapa proses penghijrahan, dan walaupun pada kekerapan tertentu, maka ia patut mempertimbangkan pilihan untuk menyewa VDS dengan bayaran untuk sumber.

penciptaan

Berdasarkan perkara di atas, semasa membuat prototaip untuk artikel ini, saya memilih VDS dalam konfigurasi berikut.

berharga 560 rubel/bulan. termasuk diskaun 15% menggunakan kupon TIADA TEKANAN.

Pilihan ini disebabkan oleh fakta bahawa nod di bawah OS Windows, untuk mematuhi syarat spesifikasi teknikal kami, adalah lebih mudah untuk dikonfigurasikan berbanding OS lain yang tersedia untuk pesanan.

Luar topik: Dengan cara ini, untuk keselamatan yang lebih baik, pelayan maya ini diberikan kepada salah satu nod rangkaian maya selamat. dan akses kepadanya melalui RDP hanya dibenarkan dari sana...

Selepas mencipta VDS dan mendapat akses ke desktop melalui RDP, perkara pertama yang perlu anda lakukan ialah menyediakan persekitaran untuk Rclone dan Web-GUI. Itu. pasang penyemak imbas lalai baharu, contohnya Chrome, kerana IE 11 yang dipasang pada mulanya, malangnya, tidak selalu berfungsi dengan betul dengan perisian yang digunakan. 

Selepas menyediakan persekitaran, muat turun arkib dengan pakej perisian Rclone untuk Windows dan membongkarnya. 

Seterusnya, dalam mod baris arahan Windows, laksanakan arahan untuk pergi ke folder dengan fail yang diekstrak. Bagi saya ia terletak dalam folder rumah pentadbir:

C:UsersAdministrator>cd rclone

Selepas peralihan, kami melaksanakan arahan untuk melancarkan Rclone dari Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

di mana "log masuk" dan "kata laluan" ialah log masuk dan kata laluan yang anda tentukan, sudah tentu, tanpa petikan.

Setelah melaksanakan arahan, terminal dipaparkan

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

dan antara muka web grafik Rclone dibuka secara automatik dalam penyemak imbas.

Walaupun fakta bahawa Web-GUI masih dalam peringkat versi ujian dan belum mempunyai semua keupayaan pengurusan Rclone yang antara muka baris arahan mempunyai, keupayaannya cukup mencukupi untuk pemindahan data. Dan lebih sedikit lagi.

pelarasan

Langkah seterusnya ialah menyediakan sambungan ke tapak di mana data berada atau akan ditempatkan. Dan barisan pertama akan menjadi penerima data utama - Nextcloud.

1. Untuk melakukan ini, pergi ke bahagian Konfigurasi Web-GUI. 

2. Memulakan penciptaan butang konfigurasi baharu Konfigurasi Baharu.

3. Tetapkan nama tapak - medan Nama pemacu ini (Untuk rujukan anda): Nextcloud.

4. Memilih jenis atau jenis storan pilih: Untuk Nextcloud dan Owncloud, antara muka pertukaran data utama ialah WebDAV.

5. Seterusnya, klik pada Langkah 2: Persediaan memandu, buka senarai parameter sambungan dan isikan. 

- 5.1. URL hos http untuk menyambung ke URL — pautan hiperteks antara muka WebDAV. Dalam Nextcloud ia terletak dalam tetapan - sudut kiri bawah antara muka.
- 5.2. Nama tapak/perkhidmatan/perisian Webdav yang anda gunakan — Nama antara muka WebDAV. Medan adalah pilihan, untuk diri sendiri, supaya tidak keliru jika terdapat banyak sambungan sedemikian.
- 5.3 Nama pengguna — Nama pengguna untuk kebenaran
- 5.4. Kata Laluan — Kata laluan untuk kebenaran
- 5.5. Token pembawa bukannya pengguna/pas (cth Macaroon) dan Perintah untuk dijalankan untuk mendapatkan token pembawa dalam pilihan lanjutan terdapat parameter tambahan dan arahan kebenaran. Mereka tidak digunakan dalam Nextcloud saya.

6. Klik seterusnya Buat konfigurasi dan untuk memastikan konfigurasi dibuat, pergi ke bahagian Konfigurasi antara muka web... Melalui halaman yang sama, konfigurasi yang baru dibuat boleh dipadam atau diedit.

Untuk menyemak kefungsian sambungan ke tapak, pergi ke bahagian Explorer... Di ladang Remotes masukkan nama tapak yang dikonfigurasikan dan klik Buka. Jika anda melihat senarai fail dan direktori, sambungan ke tapak berfungsi.

Untuk lebih meyakinkan, anda boleh membuat/memadam folder atau memuat turun/memadam fail melalui antara muka web.

Platform kedua yang akan disambungkan ialah cakera Yandex.

• Empat langkah pertama adalah serupa dengan proses sambungan Nextcloud.
• Seterusnya, kita biarkan segala-galanya seperti sedia ada, iaitu, medan dalam Langkah 2: Sediakan pemacu Kami membiarkannya kosong dan tidak mengubah apa-apa dalam pilihan lanjutan.
• Kami tekan Buat Konfigurasi.
• Halaman kebenaran Yandex dibuka dalam penyemak imbas, selepas itu anda menerima mesej tentang sambungan yang berjaya dan tawaran untuk kembali ke Rclone.
• Apa yang kami lakukan ialah menyemak bahagian config.

Penghijrahan

Apabila kami mempunyai dua tapak yang disambungkan, kami sudah boleh memindahkan data antara tapak tersebut. Proses itu sendiri adalah serupa dengan menyemak kefungsian sambungan ke Nextcloud, yang kami jalankan sebelum ini.

• Pergi ke Explorer.
• Memilih templat 2 sebelah menyebelah.
• Dalam setiap Remotes nyatakan nama tapak anda.
• Kami tekan Buka.
• Kami melihat direktori fail dan folder untuk setiap satu daripadanya.

Untuk memulakan proses migrasi, yang tinggal hanyalah memilih folder yang dikehendaki dengan fail dalam direktori sumber data dan seretnya dengan tetikus ke direktori destinasi.

Mekanisme untuk menambah tapak yang tinggal dan memindahkan data antara mereka adalah serupa dengan operasi yang dilakukan di atas. Jika anda menghadapi ralat semasa kerja anda, anda boleh mengkaji butiran mengenainya di terminal tempat Rclone dengan Web-GUI sedang berjalan.

Secara umum, dokumentasi untuk Rclone adalah luas dan boleh didapati di laman web dan di Internet, dan tidak boleh menyebabkan sebarang kesulitan dalam penggunaan. Dengan ini, saya menganggap jawatan pertama tentang cara memindahkan fail dari satu awan ke awan lain, memintas PC anda, selesai.

PS Jika anda tidak bersetuju dengan kenyataan terakhir, tulis dalam komen: apakah "topik tidak diliputi" dan dalam vena apa yang patut diteruskan.

Sumber: www.habr.com