Kako prenesti datoteke iz enega oblaka v drugega brez uporabe računalnika

Smrt, ločitev in selitev so tri najbolj stresne situacije v življenju vsakega človeka.
"Ameriška grozljivka".

- Andryukh, grem od doma, pomagaj mi premakniti, vse se ne bo ujemalo z mano :(
- V redu, koliko jih je?
— Tone* 7-8...
*Ton (jarg) - terabajt.

Pred kratkim sem med brskanjem po internetu opazil, da se kljub razpoložljivosti na Habréju in podobnih virih veliko materialov o metodah in modelih selitve različnih vrst podatkov na internetu še vedno pojavljajo vprašanja na to temo. Ki iz nekega razloga ne dobijo vedno podrobnih odgovorov. To dejstvo me je spodbudilo, da sem nekega dne zbral zapiske o implementaciji podobne rešitve in jih uredil v obliki ločene objave.

Na splošno moram prenašati podatke iz ene naprave, sistema in storitve v drugo z nadležno pogostostjo. Kar mi je s poskusi in napakami omogočilo ne samo, da sem se seznanil z veliko zanimivimi izdelki, ampak tudi našel ravnovesje med funkcionalnostjo in ceno rešitve, o kateri želim govoriti

Oblikovanje

Kot se je izkazalo kot rezultat projektantskega in raziskovalnega dela, je kakovost in učinkovitost migracijskega procesa odvisna ne le od tehničnih značilnosti »mesta«, kjer se podatki nahajajo ali se bodo nahajali, temveč tudi od njihove fizične lokacije.

Upravitelj migracije je računalniško vozlišče, na katerem deluje »logika« procesa – programska oprema za upravljanje migracije.

To pomeni, da obstajata dva modela za namestitev "upravitelja migracij"

• Model A. Če je vsaj do enega od spletnih mest mogoče dostopati samo znotraj lokalnega omrežja, potem je vredno postaviti "upravitelja migracij" v isto omrežje. Ker sta zmogljivost in čas selitve še vedno omejena s hitrostjo in časom delovanja kanala, ki povezuje spletna mesta.
• Model B. Če imata tako vir kot prejemnik podatkov dostop zunaj lokalnega omrežja, potem bi moral biti »upravitelj migracije« tam, kjer bosta hitrost in čas delovanja kanala med njima očitno boljši.

Da bi nekako razčlenil zgoraj navedeno, predlagam, da se vrnemo k nalogam iz glavnega vprašanja članka in jih formaliziramo v tehnične specifikacije.

Najprej moram ugotoviti, ali programska oprema, ki jo uporabljam, podpira oblake: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Kratek odgovor je: “DA!”

Uporabljam Rclone.

Rclone - rsync za shranjevanje v oblaku. Odprtokodna programska oprema, zasnovana za sinhronizacijo datotek in map z več kot 45 vrstami in vrstami pomnilnika.

Tukaj je le nekaj izmed njih:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Ceph
—DigitalOcean Spaces
— Dropbox
- Google Cloud Storage
- Google Drive
- Google Photos
- HTTP
-IBM COS S3
— Oblak Mail.ru
— Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Datoteke v oblaku Rackspace
- rsync.net
- SFTP
- WebDAV
— Yandex Disk

Glavna funkcionalnost:
— Preverjanje celovitosti datotek z zgoščenimi vrednostmi MD5/SHA1.
— Shranjevanje časovnih žigov za ustvarjanje/spreminjanje datotek.
- Podpira delno sinhronizacijo.
— Kopiranje samo novih datotek.
— Sinhronizacija (enosmerna).
— Preverjanje datotek (z zgoščenimi vrednostmi).
— Možnost sinhronizacije iz enega računa v oblaku v drugega.
- Podpora za šifriranje.
- Podpora za lokalno predpomnjenje datotek.
— Možnost namestitve storitev v oblaku prek FUSE.

Sama dodam, da mi Rclone pomaga rešiti tudi levji delež težav, povezanih z avtomatizacijo varnostnega kopiranja podatkov v projekt "Väinämöinen".

Naslednja naloga je izbrati model umestitve »upravitelj migracije«.

Vsi viri podatkov, ki so različne javne oblačne storitve, so dostopni preko interneta. Vključno prek API-ja. Dva od treh sprejemnikov storita enako. Ni jasno, kje je sam Nextcloud nameščen in kakšen dostop je na voljo do njega?

Preštel sem pet možnih možnosti:

1. Na lastnem strežniku v domačem/poslovnem omrežju.
2. Na lastnem strežniku v najetem regalu podatkovnega centra ponudnika storitev.
3. Na strežniku, najetem pri ponudniku storitev.
4. Na virtualnem strežniku (VDS/VPS) pri ponudniku storitev/gostovanja 
5. Od ponudnika storitev po modelu SaaS

Glede na to, da je Nextcloud še vedno program za ustvarjanje in uporabo oblačne shrambe, lahko mirno trdimo, da je dostop do nje prek interneta na voljo v vseh petih možnostih. In v tem primeru bo optimalen model za postavitev "upravitelja migracij" - model B.

Glede na model, izbran kot platforma za "upravljalnika migracij", bom izbral eno od optimalnih z mojega vidika možnosti - virtualni strežnik v Podatkovni center M9 Največja ruska točka za izmenjavo internetnega prometa MSK-IX.

Tretja odločitev, ki jo je treba sprejeti, je odločitev o konfiguraciji virtualnega strežnika. 

Pri izbiri konfiguracijskih parametrov VDS se morate osredotočiti na zahtevano zmogljivost, ki je odvisna od širine kanalov med mesti, števila in velikosti datotek, ki se premikajo, števila migracijskih tokov in nastavitev. Kar zadeva OS, je Rclone programska oprema za več platform, ki deluje na različnih operacijskih sistemih, vključno z Windows in Linux.

Če nameravate zagnati več migracijskih procesov in celo z določeno frekvenco, potem je vredno razmisliti o možnosti najema VDS s plačilom virov.

ustvarjanje

Na podlagi zgoraj navedenega sem pri ustvarjanju prototipa za ta članek izbral VDS v naslednji konfiguraciji.

stane 560 rubljev na mesec. vključno s 15% popustom z uporabo kupona BREZ STRESA.

Ta izbira je posledica dejstva, da je vozlišče pod operacijskim sistemom Windows, da bi izpolnjevalo pogoje naših tehničnih specifikacij, lažje konfigurirati kot druge operacijske sisteme, ki so na voljo za naročilo.

Offtopic: Mimogrede, za večjo varnost je ta virtualni strežnik dodeljen enemu od vozlišč varno virtualno omrežje. in dostop do njega preko RDP je dovoljen samo od tam...

Ko ustvarite VDS in pridobite dostop do namizja prek RDP, morate najprej pripraviti okolje za Rclone in Web-GUI. Tisti. namestite nov privzeti brskalnik, na primer Chrome, saj prvotno nameščen IE 11 na žalost ne deluje vedno pravilno z uporabljeno programsko opremo. 

Po pripravi okolja prenesite arhiv s programskim paketom Rclone za Windows in ga razpakirajte. 

Nato v načinu ukazne vrstice sistema Windows izvedite ukaz za prehod v mapo z ekstrahiranimi datotekami. Pri meni se nahaja v domači mapi administratorja:

C:UsersAdministrator>cd rclone

Po prehodu izvedemo ukaz za zagon Rclone iz Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

kjer sta "prijava" in "geslo" prijava in geslo, ki ste ga navedli, seveda brez narekovajev.

Po izvedbi ukaza se prikaže terminal

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

in grafični spletni vmesnik Rclone se samodejno odpre v brskalniku.

Kljub temu, da je Web-GUI še v fazi testne različice in še nima vseh zmožnosti upravljanja Rclone, ki jih ima vmesnik ukazne vrstice, njegove zmožnosti povsem zadostujejo za migracijo podatkov. In celo malo več.

prilagoditev

Naslednji korak je nastavitev povezav do mest, kjer se podatki nahajajo ali se bodo nahajali. In prvi bo na vrsti glavni sprejemnik podatkov - Nextcloud.

1. Če želite to narediti, pojdite na razdelek Konfiguracije Spletni GUI. 

2. Začetek ustvarjanja nove konfiguracije - gumb Nova konfiguracija.

3. Nastavite ime mesta - polje Ime tega pogona (za vašo referenco): Nextcloud.

4. Izbira vrste ali vrste shranjevanja Izberite: Za Nextcloud in Owncloud je glavni vmesnik za izmenjavo podatkov WebDAV.

5. Nato kliknite na 2. korak: Nastavitev pogon, odprite seznam parametrov povezave in izpolnite. 

- 5.1. URL gostitelja http za povezavo z URL-jem — hipertekstna povezava vmesnika WebDAV. V Nextcloudu se nahajajo v nastavitvah - spodnji levi kot vmesnika.
- 5.2. Ime spletnega mesta/storitve/programske opreme Webdav, ki jo uporabljate — Ime vmesnika WebDAV. Polje je neobvezno, zase, da se ne zmedete, če je takih povezav veliko.
- 5.3 uporabniško ime — Uporabniško ime za avtorizacijo
- 5.4. Geslo — Geslo za avtorizacijo
- 5.5. Žeton nosilca namesto uporabnika/prepustnice (npr. Macaroon) in ukaz za zagon za pridobitev žetona nosilca v naprednih možnostih so dodatni parametri in avtorizacijski ukazi. V mojem Nextcloudu se ne uporabljajo.

6. Naslednji klik Ustvari konfiguracijo in se prepričajte, da je konfiguracija ustvarjena, pojdite na razdelek Config spletni vmesnik... Preko iste strani lahko novo ustvarjeno konfiguracijo brišete ali urejate.

Če želite preveriti delovanje povezave s spletnim mestom, pojdite na razdelek Explorer... Na terenu Daljinski upravljalniki vnesite ime konfiguriranega mesta in kliknite Odprto. Če vidite seznam datotek in imenikov, povezava s spletnim mestom deluje.

Za večjo prepričljivost lahko prek spletnega vmesnika ustvarite/izbrišete mapo ali prenesete/izbrišete datoteko.

Druga platforma, ki bo povezana, bo Yandex disk.

• Prvi štirje koraki so podobni postopku povezave Nextcloud.
• Nato pustimo vse tako, kot je, torej polja v 2. korak: Nastavite pogon Pustimo jih prazne in v naprednih možnostih ne spreminjamo ničesar.
• Pritiskamo Ustvari konfiguracijo.
• V brskalniku se odpre avtorizacijska stran Yandex, po kateri prejmete sporočilo o uspešni povezavi in ​​ponudbo za vrnitev v Rclone.
• Kar naredimo, je, da preverimo razdelek config.

Migracija

Ko imamo povezani dve strani, lahko že selimo podatke med njima. Sam postopek je podoben preverjanju funkcionalnosti povezave z Nextcloudom, ki smo ga izvedli prej.

• Pojdi do Explorer.
• Izbira predloge 2-drug ob drugem.
• V vsakem od Daljinski upravljalniki navedite ime vašega spletnega mesta.
• Pritiskamo Odprto.
• Za vsako od njih vidimo imenik datotek in map.

Za začetek procesa selitve preostane le, da v imeniku vira podatkov izberete želeno mapo z datotekami in jo z miško povlečete v ciljni imenik.

Mehanizem za dodajanje preostalih mest in selitev podatkov med njimi je podoben zgoraj izvedenim operacijam. Če med delom naletite na napake, lahko podrobnosti o njih preučite v terminalu, kjer se izvaja Rclone s spletnim uporabniškim vmesnikom.

Na splošno je dokumentacija za Rclone je obsežen in dostopen na spletni strani in internetu ter ne bi smel povzročati težav pri uporabi. S tem menim, da je prva objava o tem, kako prenesti datoteke iz enega oblaka v drugega, mimo računalnika, končana.

PS Če se ne strinjate z zadnjo izjavo, v komentarje napišite: katera »tema ni zajeta« in v kakšnem smislu je vredno nadaljevati.

Vir: www.habr.com