Kumaha cara nransper file tina hiji awan ka awan anu sanés tanpa ngalangkungan PC anjeun

Pupusna, cerai, sareng pindah mangrupikeun tilu kaayaan anu paling stres dina kahirupan saha waé.
"Carita Horror Amérika".

- Andryukh, abdi angkat ka bumi, tulungan abdi pindah, sadayana moal cocog sareng abdi :(
- Oké, aya sabaraha?
— Ton* 7-8...
* Ton (jarg) - Terabyte.

Anyar-anyar ieu, nalika surfing Internét, kuring perhatikeun yén sanaos kasadiaan dina Habré sareng sumber anu sami tina seueur bahan ngeunaan metode sareng modél pikeun migrasi sababaraha jinis data, patarosan ngeunaan topik ieu masih muncul dina Internét. Anu, pikeun sababaraha alesan, henteu salawasna nampi jawaban anu lengkep. Kanyataan ieu ngajurung kuring pikeun hiji dinten ngumpulkeun catetan ngeunaan palaksanaan solusi anu sami sareng nyusunna dina bentuk pos anu misah.

Sacara umum, kuring kudu nransper data tina hiji alat, sistem jeung layanan ka sejen kalawan sababaraha frékuénsi bangor. Anu, ngaliwatan trial and error, ngamungkinkeun kuring henteu ngan ukur ngenalkeun seueur produk anu pikaresepeun, tapi ogé mendakan kasaimbangan antara fungsionalitas sareng biaya solusi anu kuring hoyong ngobrolkeun.

Rarancang

Salaku tétéla salaku hasil tina rarancang jeung karya survéy, kualitas sarta efisiensi tina prosés migrasi gumantung teu ukur dina ciri teknis "situs" dimana data aya atawa bakal lokasina, tapi ogé dina lokasi fisik maranéhanana.

Manajer migrasi mangrupikeun titik komputasi dimana "logika" tina prosés-software pikeun ngatur migrasi-fungsi.

Nyaéta, aya dua modél pikeun nempatkeun "manajer migrasi"

• Modél A. Upami sahenteuna salah sahiji situs ngan ukur tiasa diaksés tina jaringan lokal, maka kedah nempatkeun "manajer migrasi" dina jaringan anu sami. Kusabab kinerja sareng waktos migrasi masih dibatesan ku kagancangan sareng uptime saluran anu nyambungkeun situs.
• Modél B. Upami duanana sumber sareng panarima data gaduh aksés di luar jaringan lokal, maka "manajer migrasi" kedah ditempatkeun dimana laju sareng waktos saluran antara aranjeunna écés langkung saé.

Dina raraga kumaha bae decompose di luhur, kuring ngajukeun balik ka tugas ti sual utama artikel jeung formalize kana spésifikasi teknis.

Mimiti, kuring kedah terang upami parangkat lunak anu kuring anggo ngadukung awan: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Jawaban pondokna nyaéta: "YA!"

Kuring nganggo Siklon.

Rclone - rsync pikeun neundeun awan. Parangkat lunak Open Source dirancang pikeun nyinkronkeun file sareng polder sareng langkung ti 45 jinis sareng jinis panyimpenan.

Ieu ngan sababaraha di antarana:
- Sistem Panyimpen Obyék (OSS) Alibaba Cloud (Aliyun)
- Amazon S3
- Cep
— Angkasa Samudra Digital
—Dropbox
- Panyimpenan Awan Google
- Google Drive
- Poto Google
- HTTP
-IBM COS S3
- Awan Mail.ru
—Mega
- Microsoft Azure Blob Panyimpenan
- Microsoft OneDrive
- Minio
— Nextcloud
- Openstack Swift
- Panyimpenan Awan Oracle
- ownCloud
- File Awan Rackspace
- rsync.net
- SFTP
- WebDAV
- Disk Yandex

Fungsi utama:
- Mariksa integritas file nganggo hashes MD5 / SHA1.
- Nyimpen cap waktos kanggo nyiptakeun / ngarobih file.
- Ngarojong sinkronisasi parsial.
- Nyalin ngan ukur file énggal.
- Sinkronisasi (hiji arah).
- Mariksa file (ku hashes).
- Kamampuhan pikeun nyingkronkeun tina hiji akun awan ka anu sanés.
- Pangrojong énkripsi.
- Rojongan pikeun cache file lokal.
- Kamampuhan pikeun masang jasa awan via FUSE.

Kuring bakal nambahan sorangan yén Rclone ogé ngabantosan kuring ngabéréskeun masalah-masalah anu aya hubunganana sareng otomatisasi cadangan data dina. proyék "Väinämöinen".

Tugas salajengna nyaéta milih modél panempatan "manajer migrasi".

Sadaya sumber data, anu mangrupikeun rupa-rupa jasa awan umum, tiasa diaksés ngalangkungan Internét. Kaasup ngaliwatan API. Dua ti tilu panarima lakonan hal nu sarua. Henteu jelas dimana Nextcloud sorangan disebarkeun sareng naon aksés anu sayogi?

Kuring ngitung lima pilihan anu mungkin:

1. Dina server anjeun sorangan dina jaringan asal anjeun / perusahaan.
2. Dina server anjeun sorangan dina rak nyéwa puseur data panyadia ladenan urang.
3. Dina server disewa ti panyadia ladenan.
4. Dina server virtual (VDS/VPS) jeung panyadia ladenan/hosting 
5. Ti panyadia ladenan nurutkeun model SaaS

Nganggap yén Nextcloud masih mangrupikeun parangkat lunak pikeun nyiptakeun sareng ngagunakeun panyimpen awan, urang tiasa nyarios aman yén aksés kana Internét sayogi dina sadaya lima pilihan. Sareng dina hal ieu, modél optimal pikeun nempatkeun "manajer migrasi" bakal - modél B.

Numutkeun modél anu dipilih salaku platform pikeun "manajer migrasi", kuring bakal milih salah sahiji anu optimal, tina sudut pandang kuring, pilihan - server virtual di Puseur data M9 Titik bursa lalu lintas Internét panggedéna di Rusia MSK-IX.

Kaputusan katilu anu kedah dilakukeun nyaéta mutuskeun dina konfigurasi server virtual. 

Nalika milih parameter konfigurasi VDS, anjeun kedah dipandu ku kinerja anu diperyogikeun, anu gumantung kana lebar saluran antara situs, jumlah sareng ukuran file anu dipindahkeun, jumlah aliran migrasi sareng setelan. Sedengkeun pikeun OS, Rclone mangrupikeun parangkat lunak cross-platform anu dijalankeun dina sababaraha sistem operasi, kalebet Windows sareng Linux.

Upami anjeun badé ngaluncurkeun sababaraha prosés migrasi, bahkan dina frékuénsi anu tangtu, maka anjeun kedah mertimbangkeun pilihan nyéwa VDS kalayan mayar sumber daya.

ciptaan

Dumasar di luhur, nalika nyieun prototipe pikeun artikel ieu, kuring milih VDS dina konfigurasi handap.

waragad 560 rubles / bulan. kaasup 15% diskon ngagunakeun Kupon NOSTRESS.

Pilihan ieu kusabab kanyataan yén titik dina Windows OS, pikeun sasuai sareng kaayaan spésifikasi téknis urang, langkung gampang dikonpigurasikeun tibatan pikeun OS anu sanés anu sayogi pikeun pesenan.

Offtopic: Ku jalan kitu, pikeun kaamanan anu langkung ageung, server virtual ieu ditugaskeun ka salah sahiji titik jaringan virtual aman. sareng aksés ka éta via RDP ngan ukur diidinan ti dinya ...

Saatos nyiptakeun VDS sareng kéngingkeun aksés kana desktop via RDP, hal anu munggaran anjeun kedah laksanakeun nyaéta nyiapkeun lingkungan pikeun Rclone sareng Web-GUI. Jelema. masang browser standar anyar, contona Chrome, saprak mimitina dipasang IE 11, hanjakalna, teu salawasna dianggo leres kalayan software dipaké. 

Saatos nyiapkeun lingkungan, unduh arsip sareng pakét parangkat lunak Rclone pikeun Windows jeung ngabongkar eta. 

Salajengna, dina modeu garis paréntah Windows, laksanakeun paréntah pikeun muka polder sareng file anu sasari. Pikeun kuring lokasina dina folder imah administrator:

C:UsersAdministrator>cd rclone

Saatos transisi, urang ngaéksekusi paréntah pikeun ngaluncurkeun Rclone tina Wéb-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

dimana "login" jeung "sandi" mangrupakeun login sareng kecap akses Anjeun dieusian, tangtosna, tanpa tanda petik.

Saatos palaksanaan paréntah, terminal mintonkeun

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

sareng antarmuka wéb grafis Rclone sacara otomatis dibuka dina browser.

Sanaos kanyataan yén Wéb-GUI masih dina tahap uji coba sareng henteu acan gaduh sadaya kamampuan manajemén Rclone anu gaduh antarmuka garis paréntah, kamampuanna cukup pikeun migrasi data. Komo saeutik deui.

carana ngatur

Léngkah satuluyna nyaéta nyetél sambungan ka situs dimana datana aya atanapi bakal aya. Sareng anu pangheulana bakal janten panampi data utama - Nextcloud.

1. Jang ngalampahkeun ieu, buka bagian Konférénsi Wéb-GUI. 

2. Initiating kreasi hiji konfigurasi anyar - tombol Konfigurasi anyar.

3. Setel nami situs - sawah Ngaran drive ieu (Pikeun rujukan anjeun): Nextcloud.

4. Milih jinis atanapi jinis panyimpenan milih: Pikeun Nextcloud jeung Owncloud, panganteur bursa data utama WebDAV.

5. Salajengna, klik dina Léngkah 2: Setup drive, muka daptar parameter sambungan jeung eusian. 

- 5.1. URL host http pikeun nyambung ka URL - link hypertext tina panganteur WebDAV. Dina Nextcloud aranjeunna aya dina setélan - pojok kénca handap antarmuka.
- 5.2. Ngaran situs Webdav / jasa / software nu Anjeun pake - Ngaran panganteur WebDAV. Widang éta opsional, pikeun diri anjeun, supados henteu lieur upami seueur sambungan sapertos kitu.
- 5.3 ngaran pamaké - Ngaran pamaké pikeun otorisasina
- 5.4. password - Sandi pikeun otorisasina
- 5.5. Token pembawa tinimbang pangguna/pass (misalna Macaroon) sareng Paréntah pikeun ngajalankeun pikeun kéngingkeun token pembawa dina pilihan canggih aya parameter tambahan sarta paréntah otorisasina. Éta henteu dianggo dina Nextcloud kuring.

6. Teras klik Jieun config sarta pikeun mastikeun yén konfigurasi dijieun, buka bagian Konfigurasi panganteur web... Ngaliwatan kaca nu sami, konfigurasi nu anyar dijieun bisa dihapus atawa diédit.

Pikeun pariksa pungsionalitas sambungan kana situs, angkat ka bagian éta jelema nu ngajajah... Di lapang Jauh lebetkeun nami situs anu dikonpigurasi teras klik kabuka. Upami anjeun ningali daptar file sareng diréktori, sambungan kana situs éta jalan.

Pikeun leuwih ngayakinkeun, Anjeun bisa nyieun/ngahapus polder atawa ngundeur/ngahapus file ngaliwatan panganteur web.

Platform kadua anu disambungkeun bakal Yandex disk.

• Opat léngkah munggaran sami sareng prosés sambungan Nextcloud.
• Salajengna, urang ninggalkeun sagalana sakumaha anu kasebut, nyaeta, widang di Lengkah 2: Setup drive Urang ninggalkeun aranjeunna kosong tur teu ngarobah nanaon dina pilihan canggih.
• Urang pencét Jieun Config.
• Halaman otorisasi Yandex dibuka dina browser, saatos anjeun nampi pesen ngeunaan sambungan anu suksés sareng tawaran pikeun uih deui ka Rclone.
• Naon anu urang pigawé nyaéta pariksa bagian Konfigurasi.

Migrasi

Lamun urang boga dua situs disambungkeun, urang geus bisa migrasi data antara aranjeunna. Prosésna sorangan sami sareng mariksa pungsionalitas sambungan ka Nextcloud, anu kami lakukeun sateuacana.

• Pindah ka jelema nu ngajajah.
• Milih citakan 2-sisi ku samping.
• Dina masing-masing Jauh nunjukkeun nami situs anjeun.
• Urang pencét kabuka.
• Kami ningali diréktori file sareng polder pikeun masing-masing.

Pikeun ngamimitian prosés migrasi, ngan ukur milih polder anu dipikahoyong sareng file dina diréktori sumber data teras sered nganggo mouse ka diréktori tujuan.

Mékanisme pikeun nambihan situs sésana sareng migrasi data antara aranjeunna sami sareng operasi anu dilakukeun di luhur. Upami anjeun mendakan kasalahan nalika damel, anjeun tiasa diajar rinci ngeunaan éta dina terminal dimana Rclone sareng Wéb-GUI dijalankeun.

Sacara umum, dokuméntasi pikeun Siklon nyaeta éksténsif jeung sadia dina ramatloka sarta dina Internét, sarta teu kudu ngabalukarkeun sagala kasusah dina pamakéan. Kalayan ieu, kuring nganggap tulisan anu munggaran ngeunaan cara nransferkeun file tina hiji awan ka anu sanés, ngalangkungan PC anjeun, lengkep.

PS Upami anjeun henteu satuju sareng pernyataan anu terakhir, nyerat dina koméntar: naon "topik anu henteu katutupan" sareng dina naon anu kedah diteruskeun.

sumber: www.habr.com