Kematian, perceraian, dan perpindahan adalah tiga situasi paling menegangkan dalam kehidupan seseorang.
"Cerita horor Amerika".
- Andryukh, aku akan meninggalkan rumah, bantu aku pindah, semuanya tidak cocok denganku :(
- Oke, ada berapa?
— Ton* 7-8...
*Ton (jarg) - Terabyte.
Baru-baru ini, saat menjelajahi Internet, saya memperhatikan bahwa meskipun banyak materi di Habré dan sumber serupa tersedia tentang metode dan model untuk memigrasi berbagai jenis data, pertanyaan tentang topik ini masih muncul di Internet. Yang karena alasan tertentu tidak selalu mendapat jawaban rinci. Fakta ini mendorong saya untuk suatu hari mengumpulkan catatan tentang penerapan solusi serupa dan menyusunnya dalam bentuk postingan terpisah.
Secara umum, saya harus mentransfer data dari satu perangkat, sistem, dan layanan ke perangkat lain dengan frekuensi yang mengganggu. Yang, melalui trial and error, memungkinkan saya tidak hanya mengenal banyak produk menarik, tetapi juga menemukan keseimbangan antara fungsionalitas dan biaya solusi yang ingin saya bicarakan
Desain
Berdasarkan hasil kerja desain dan survei, kualitas dan efisiensi proses migrasi tidak hanya bergantung pada karakteristik teknis “lokasi” di mana data berada atau akan ditempatkan, namun juga pada lokasi fisiknya.
Manajer migrasi adalah node komputasi tempat “logika” proses—perangkat lunak untuk mengelola migrasi—berfungsi.
Artinya, ada dua model penempatan “manajer migrasi”
- Model A. Jika setidaknya salah satu situs hanya dapat diakses dari dalam jaringan lokal, maka ada baiknya menempatkan “manajer migrasi” di jaringan yang sama. Pasalnya, performa dan waktu migrasi masih dibatasi oleh kecepatan dan uptime saluran yang menghubungkan situs-situs tersebut.
- Model B. Jika sumber dan penerima data memiliki akses di luar jaringan lokal, maka “manajer migrasi” harus ditempatkan di tempat yang kecepatan dan waktu aktif saluran di antara keduanya jelas akan lebih baik.
Untuk menguraikan hal di atas, saya mengusulkan untuk kembali ke tugas dari pertanyaan utama artikel dan memformalkannya ke dalam spesifikasi teknis.
Pertama, saya perlu mencari tahu apakah perangkat lunak yang saya gunakan mendukung cloud: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
Jawaban singkatnya adalah: “YA!”
Saya menggunakan .
Rclone - rsync untuk penyimpanan cloud. Perangkat lunak Open Source dirancang untuk menyinkronkan file dan folder dengan lebih dari 45 jenis dan tipe penyimpanan.
Berikut adalah beberapa di antaranya:
— Sistem Penyimpanan Objek (OSS) Alibaba Cloud (Aliyun)
-Amazon S3
— Ceph
—Ruang Samudera Digital
—Dropbox
- Penyimpanan Google Cloud
- Google Drive
- Foto Google
-HTTP
-IBM KARENA S3
— Awan Mail.ru
-Mega
- Penyimpanan Blob Microsoft Azure
-Microsoft OneDrive
– Minio
— Awan Berikutnya
- Openstack Swift
— Penyimpanan Awan Oracle
— milikCloud
— File Cloud Rackspace
- rsync.net
- SFTP
- WebDAV
— Disk Yandex
овной онал:
— Memeriksa integritas file menggunakan hash MD5/SHA1.
— Menyimpan stempel waktu untuk membuat/mengubah file.
- Mendukung sinkronisasi parsial.
— Hanya menyalin file baru.
— Sinkronisasi (satu arah).
— Memeriksa file (berdasarkan hash).
— Kemampuan untuk melakukan sinkronisasi dari satu akun cloud ke akun cloud lainnya.
- Dukungan enkripsi.
- Dukungan untuk cache file lokal.
— Kemampuan untuk memasang layanan cloud melalui FUSE.
Saya akan menambahkan sendiri bahwa Rclone juga membantu saya memecahkan sebagian besar masalah terkait dengan otomatisasi pencadangan data di .
Tugas selanjutnya adalah memilih model penempatan “manajer migrasi”.
Semua sumber data, yang merupakan berbagai layanan cloud publik, dapat diakses melalui Internet. Termasuk melalui API. Dua dari tiga penerima melakukan hal yang sama. Tidak jelas di mana Nextcloud diterapkan dan akses apa yang tersedia untuk itu?
Saya menghitung lima opsi yang memungkinkan:
- Di server Anda sendiri di jaringan rumah/perusahaan Anda.
- Di server Anda sendiri di rak sewaan di pusat data penyedia layanan.
- Di server yang disewa dari penyedia layanan.
- Pada server virtual (VDS/VPS) dengan penyedia layanan/hosting
- Dari penyedia layanan
Mengingat Nextcloud masih merupakan perangkat lunak untuk membuat dan menggunakan penyimpanan cloud, kami dapat dengan aman mengatakan bahwa akses ke sana melalui Internet tersedia dalam kelima opsi. Dan dalam hal ini, model optimal untuk menempatkan “manajer migrasi” adalah - model B.
Menurut model yang dipilih sebagai platform untuk "manajer migrasi", saya akan memilih salah satu opsi yang optimal, dari sudut pandang saya, - server virtual di Titik pertukaran lalu lintas Internet terbesar di Rusia MSK-IX.
Keputusan ketiga yang perlu diambil adalah memutuskan konfigurasi server virtual.
Saat memilih parameter konfigurasi VDS, Anda perlu dipandu oleh kinerja yang diperlukan, yang bergantung pada lebar saluran antar situs, jumlah dan ukuran file yang dipindahkan, jumlah aliran migrasi dan pengaturan. Sedangkan untuk OS, Rclone merupakan software lintas platform yang berjalan di berbagai sistem operasi, termasuk Windows dan Linux.
Jika Anda berencana meluncurkan beberapa proses migrasi, dan bahkan pada frekuensi tertentu, maka ada baiknya mempertimbangkan opsi menyewa VDS dengan pembayaran sumber daya.
penciptaan
Berdasarkan penjelasan di atas, saat membuat prototipe untuk artikel ini, saya memilih VDS dengan konfigurasi berikut.
seharga 560 rubel/bulan. termasuk diskon 15% menggunakan kupon TANPA STRES.
Pilihan ini disebabkan oleh fakta bahwa node di bawah OS Windows, untuk memenuhi ketentuan spesifikasi teknis kami, lebih mudah dikonfigurasi daripada OS lain yang tersedia untuk dipesan.
Di luar topik: Omong-omong, untuk keamanan yang lebih baik, server virtual ini ditugaskan ke salah satu node . dan akses ke sana melalui RDP hanya diperbolehkan dari sana...
Setelah membuat VDS dan mendapatkan akses ke desktop melalui RDP, hal pertama yang perlu Anda lakukan adalah menyiapkan lingkungan untuk Rclone dan Web-GUI. Itu. menginstal browser default baru, misalnya Chrome, sejak pertama kali menginstal IE 11, sayangnya tidak selalu berfungsi dengan baik dengan software yang digunakan.
Setelah menyiapkan lingkungan, unduh arsip dengan paket perangkat lunak dan membongkarnya.
Selanjutnya, dalam mode baris perintah Windows, jalankan perintah untuk masuk ke folder dengan file yang diekstraksi. Bagi saya itu terletak di folder utama administrator:
C:UsersAdministrator>cd rclone
Setelah transisi, kami menjalankan perintah untuk meluncurkan Rclone dari Web-GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
dimana “login” dan “password” adalah login dan password yang Anda tentukan, tentunya tanpa tanda kutip.
Setelah menjalankan perintah, terminal ditampilkan
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
dan antarmuka web grafis Rclone secara otomatis terbuka di browser.
Meskipun Web-GUI masih dalam tahap uji coba dan belum memiliki semua kemampuan manajemen Rclone seperti yang dimiliki antarmuka baris perintah, kemampuannya cukup memadai untuk migrasi data. Dan bahkan lebih sedikit lagi.
pengaturan
Langkah selanjutnya adalah mengatur koneksi ke situs tempat data berada atau akan ditempatkan. Dan yang pertama dalam barisan adalah penerima data utama - Nextcloud.
1. Untuk melakukan ini, buka bagian tersebut Konfigurasi Web-GUI.
2. Memulai pembuatan konfigurasi baru - tombol Konfigurasi Baru.
3. Tetapkan nama situs - bidang Nama drive ini (Untuk referensi Anda): Awan berikutnya.
4. Memilih jenis atau tipe penyimpanan Pilih: Untuk Nextcloud dan Owncloud, antarmuka pertukaran data utama adalah WebDAV.
5. Selanjutnya, klik Langkah 2: Pengaturan drive, buka daftar parameter koneksi dan isi.
- 5.1. URL host http untuk terhubung ke URL — tautan hypertext dari antarmuka WebDAV. Di Nextcloud, mereka berada di pengaturan - sudut kiri bawah antarmuka.
- 5.2. Nama situs/layanan/perangkat lunak Webdav yang Anda gunakan — Nama antarmuka WebDAV. Bidangnya opsional, untuk Anda sendiri, agar tidak bingung jika koneksi seperti itu banyak.
- 5.3 user name — Nama pengguna untuk otorisasi
- 5.4. Kata Sandi — Kata sandi untuk otorisasi
- 5.5. Token pembawa alih-alih pengguna/pass (misalnya Macaroon) dan Perintah untuk dijalankan untuk mendapatkan token pembawa dalam opsi lanjutan ada parameter tambahan dan perintah otorisasi. Mereka tidak digunakan di Nextcloud saya.
6. Klik berikutnya Buat konfigurasi dan untuk memastikan bahwa konfigurasi telah dibuat, buka bagian tersebut Konfigurasi antarmuka web... Melalui halaman yang sama, konfigurasi yang baru dibuat dapat dihapus atau diedit.
Untuk memeriksa fungsionalitas koneksi ke situs, buka bagian Penjelajah. оле Remote masukkan nama situs yang dikonfigurasi dan klik Open. Jika Anda melihat daftar file dan direktori, koneksi ke situs berfungsi.
Agar lebih meyakinkan, Anda dapat membuat/menghapus folder atau mendownload/menghapus file melalui antarmuka web.
Platform kedua yang terhubung adalah disk Yandex.
- Empat langkah pertama mirip dengan proses koneksi Nextcloud.
- Selanjutnya kita biarkan semuanya apa adanya, yaitu kolom di dalamnya Langkah 2: Siapkan drive Kami membiarkannya kosong dan tidak mengubah apa pun di opsi lanjutan.
- Kami menekan Buat Konfigurasi.
- Halaman otorisasi Yandex terbuka di browser, setelah itu Anda menerima pesan tentang koneksi berhasil dan tawaran untuk kembali ke Rclone.
- Yang kami lakukan adalah memeriksa bagian tersebut config.
Migrasi
Saat kami memiliki dua situs yang terhubung, kami sudah dapat memigrasikan data di antara keduanya. Prosesnya sendiri mirip dengan pengecekan fungsi koneksi ke Nextcloud yang telah kita lakukan sebelumnya.
- Pergi ke Penjelajah.
- Memilih templat 2 berdampingan.
- Di masing-masing Remote tunjukkan nama situs Anda.
- Kami menekan Open.
- Kami melihat direktori file dan folder untuk masing-masingnya.
Untuk memulai proses migrasi, yang tersisa hanyalah memilih folder yang diinginkan dengan file di direktori sumber data dan menyeretnya dengan mouse ke direktori tujuan.
Mekanisme untuk menambahkan situs yang tersisa dan memigrasikan data di antara situs tersebut serupa dengan operasi yang dilakukan di atas. Jika Anda mengalami kesalahan selama bekerja, Anda dapat mempelajari detailnya di terminal tempat Rclone dengan Web-GUI berjalan.
Secara umum, dokumentasi untuk luas dan tersedia di situs web dan di Internet, dan tidak akan menimbulkan kesulitan dalam penggunaan. Dengan ini, saya anggap postingan pertama tentang cara mentransfer file dari satu cloud ke cloud lainnya, melewati PC Anda, sudah selesai.
PS Jika Anda tidak setuju dengan pernyataan terakhir, tulis di komentar: “topik apa yang tidak dibahas” dan dalam hal apa topik tersebut layak untuk dilanjutkan.
Sumber: www.habr.com