Ako prenášať súbory z jedného cloudu do druhého bez toho, aby ste museli prejsť cez počítač

Smrť, rozvod a sťahovanie sú tri z najstresujúcejších situácií v živote každého človeka.
"American Horror Story".

- Andryukh, odchádzam z domu, pomôž mi pohnúť sa, všetko sa mi do seba nezmestí :(
- Dobre, koľko ich je?
— Tony* 7-8...
*Tón (jarg) – terabajt.

Nedávno som si pri surfovaní po internete všimol, že napriek dostupnosti na Habré a podobných zdrojoch množstva materiálov o metódach a modeloch migrácie rôznych typov dát sa na internete stále objavujú otázky na túto tému. Ktoré z nejakého dôvodu nie vždy dostanú podrobné odpovede. Táto skutočnosť ma podnietila jedného dňa zozbierať poznámky o implementácii podobného riešenia a usporiadať ich do podoby samostatného príspevku.

Vo všeobecnosti musím prenášať dáta z jedného zariadenia, systému a služby do druhého s nejakou nepríjemnou frekvenciou. Čo mi pomocou pokusov a omylov umožnilo nielen zoznámiť sa s množstvom zaujímavých produktov, ale aj nájsť rovnováhu medzi funkčnosťou a cenou riešenia, o ktorom chcem hovoriť.

dizajn

Ako sa ukázalo v dôsledku projekčných a prieskumných prác, kvalita a efektívnosť procesu migrácie nezávisí len od technických charakteristík „miest“, kde sa údaje nachádzajú alebo budú nachádzať, ale aj od ich fyzického umiestnenia.

Migration manager je výpočtový uzol, na ktorom funguje „logika“ procesu – softvér na riadenie migrácie.

To znamená, že existujú dva modely umiestnenia „správcu migrácie“

• Model A. Ak je aspoň jedna z lokalít prístupná iba z lokálnej siete, potom sa oplatí umiestniť „správcu migrácie“ do tej istej siete. Pretože výkon a čas migrácie sú stále obmedzené rýchlosťou a dobou prevádzkyschopnosti kanála spájajúceho lokality.
• Model B. Ak má zdroj aj príjemca údajov prístup mimo lokálnej siete, potom by mal byť „správca migrácie“ umiestnený tam, kde bude rýchlosť a dostupnosť kanála medzi nimi samozrejme lepšia.

Aby som vyššie uvedené nejako rozložil, navrhujem vrátiť sa k úlohám z hlavnej otázky článku a formalizovať ich do technických špecifikácií.

Najprv musím zistiť, či softvér, ktorý používam, podporuje cloudy: Mail.ru, Yandex, Disk Google, Mega, Nextloud?

Krátka odpoveď je: "ÁNO!"

používam Rclone.

Rclone - rsync pre cloudové úložisko. Open Source softvér určený na synchronizáciu súborov a priečinkov s viac ako 45 typmi a typmi úložiska.

Tu je len niekoľko z nich:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Ceph
-DigitalOcean Spaces
— Dropbox
– Google Cloud Storage
- Disk Google
- Fotky Google
- HTTP
-IBM COS S3
— Mail.ru Cloud
— Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
- vlastný Cloud
— Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
- Disk Yandex

Hlavná funkčnosť:
— Kontrola integrity súborov pomocou hash MD5/SHA1.
— Ukladanie časových pečiatok na vytváranie/zmenu súborov.
- Podporuje čiastočnú synchronizáciu.
— Kopírovanie iba nových súborov.
— Synchronizácia (jednosmerná).
— Kontrola súborov (pomocou hash).
— Možnosť synchronizácie z jedného cloudového účtu do druhého.
- Podpora šifrovania.
- Podpora pre lokálne ukladanie súborov do vyrovnávacej pamäte.
— Schopnosť pripojiť cloudové služby cez FUSE.

Sám dodám, že Rclone mi tiež pomáha vyriešiť veľkú časť problémov súvisiacich s automatizáciou zálohovania údajov v projekt "Väinämöinen".

Ďalšou úlohou je vybrať model umiestnenia „správca migrácie“.

Všetky zdroje údajov, ktorými sú rôzne verejné cloudové služby, sú prístupné cez internet. Vrátane cez API. Dva z troch prijímačov robia to isté. Nie je jasné, kde je nasadený samotný Nextcloud a aký prístup má k dispozícii?

Napočítal som päť možností:

1. Na vlastnom serveri vo vašej domácej/firemnej sieti.
2. Na vlastnom serveri v prenajatom stojane dátového centra poskytovateľa služieb.
3. Na serveri prenajatom od poskytovateľa služieb.
4. Na virtuálnom serveri (VDS/VPS) u poskytovateľa služby/hostingu 
5. Od poskytovateľa služieb podľa modelu SaaS

Vzhľadom na to, že Nextcloud je stále softvér na vytváranie a používanie cloudového úložiska, môžeme s istotou povedať, že prístup k nemu cez internet je dostupný vo všetkých piatich možnostiach. A v tomto prípade bude optimálny model umiestnenia „správcu migrácie“ - model B.

Podľa modelu zvoleného ako platforma pre „migračného manažéra“ si vyberiem jednu z optimálnych, z môjho pohľadu, možností – virtuálny server v Dátové centrum M9 Najväčší internetový výmenný bod v Rusku MSK-IX.

Tretím rozhodnutím, ktoré je potrebné urobiť, je rozhodnúť o konfigurácii virtuálneho servera. 

Pri výbere konfiguračných parametrov VDS sa musíte riadiť požadovaným výkonom, ktorý závisí od šírky kanálov medzi lokalitami, počtu a veľkosti presúvaných súborov, počtu migračných tokov a nastavení. Pokiaľ ide o OS, Rclone je multiplatformový softvér, ktorý beží na rôznych operačných systémoch vrátane Windows a Linux.

Ak plánujete spustiť viacero migračných procesov a dokonca v určitej frekvencii, potom stojí za zváženie možnosť prenájmu VDS s platbou za zdroje.

tvorba

Na základe vyššie uvedeného som pri vytváraní prototypu pre tento článok zvolil VDS v nasledujúcej konfigurácii.

stojí 560 rubľov mesačne. vrátane 15% zľavy s použitím kupónu ŽIADNY STRES.

Táto voľba je spôsobená skutočnosťou, že uzol pod OS Windows, aby spĺňal podmienky našich technických špecifikácií, je konfigurovateľný jednoduchšie ako pre iné OS dostupné na objednávku.

Offtopic: Mimochodom, pre väčšiu bezpečnosť je tento virtuálny server priradený k jednému z uzlov zabezpečená virtuálna sieť. a prístup k nemu cez RDP je povolený len odtiaľ...

Po vytvorení VDS a získaní prístupu na plochu cez RDP je prvá vec, ktorú musíte urobiť, pripraviť prostredie pre Rclone a Web-GUI. Tie. nainštalujte nový predvolený prehliadač, napríklad Chrome, pretože pôvodne nainštalovaný IE 11, žiaľ, nie vždy funguje správne s použitým softvérom. 

Po príprave prostredia si stiahnite archív so softvérovým balíkom Rclone pre Windows a rozbaľte ho. 

Ďalej v režime príkazového riadka systému Windows spustite príkaz na prechod do priečinka s extrahovanými súbormi. Pre mňa sa nachádza v domovskom priečinku správcu:

C:UsersAdministrator>cd rclone

Po prechode vykonáme príkaz na spustenie Rclone z webového rozhrania:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

kde „login“ a „password“ sú prihlasovacie meno a heslo, ktoré ste zadali, samozrejme, bez úvodzoviek.

Po vykonaní príkazu sa na termináli zobrazí

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

a v prehliadači sa automaticky otvorí grafické webové rozhranie Rclone.

Napriek tomu, že Web-GUI je stále v štádiu testovacej verzie a ešte nedisponuje všetkými možnosťami správy Rclone, ktorými disponuje rozhranie príkazového riadka, jeho možnosti sú na migráciu dát úplne postačujúce. A ešte o niečo viac.

nastavenie

Ďalším krokom je nastavenie pripojení k stránkam, kde sa údaje nachádzajú alebo budú nachádzať. A prvý v poradí bude hlavný prijímač dát – Nextcloud.

1. Ak to chcete urobiť, prejdite do sekcie nastavenie Web-GUI. 

2. Spustenie vytvorenia novej konfigurácie - tlačidlo Nová konfigurácia.

3. Nastavte pole názov lokality Názov tohto disku (pre vašu informáciu): Nextcloud.

4. Výber typu alebo typu úložiska vybrať: Pre Nextcloud a Owncloud je hlavným rozhraním výmeny údajov WebDAV.

5. Ďalej kliknite na Krok 2: Nastavenie pohon, otvorte zoznam parametrov pripojenia a vyplňte. 

- 5.1. Adresa URL hostiteľa http na pripojenie k adrese URL — hypertextový odkaz rozhrania WebDAV. V Nextcloud sa nachádzajú v nastaveniach - ľavom dolnom rohu rozhrania.
- 5.2. Názov webovej stránky/služby/softvéru Webdav, ktorý používate — Názov rozhrania WebDAV. Pole je voliteľné, pre vás, aby ste sa nezmýlili, ak existuje veľa takýchto spojení.
- 5.3 užívateľské meno — Používateľské meno na autorizáciu
- 5.4. Heslo — Heslo na autorizáciu
- 5.5. Token na doručiteľa namiesto používateľa/priechodu (napr. makarónka) a príkaz spustiť, aby ste získali token na doručiteľa v rozšírených možnostiach sú ďalšie parametre a autorizačné príkazy. V mojom Nextcloude sa nepoužívajú.

6. Ďalšie kliknutie Vytvorte konfiguráciu a aby ste sa uistili, že je konfigurácia vytvorená, prejdite do sekcie Konfig webové rozhranie... Prostredníctvom tej istej stránky je možné novovytvorenú konfiguráciu vymazať alebo upraviť.

Ak chcete skontrolovať funkčnosť pripojenia k lokalite, prejdite do sekcie cestovateľ... V poli Diaľkové ovládače zadajte názov nakonfigurovanej lokality a kliknite Otvorený. Ak vidíte zoznam súborov a adresárov, pripojenie k lokalite funguje.

Aby ste boli presvedčivejšie, môžete vytvoriť/zmazať priečinok alebo stiahnuť/vymazať súbor cez webové rozhranie.

Druhou platformou, ktorá sa má pripojiť, bude disk Yandex.

• Prvé štyri kroky sú podobné procesu pripojenia Nextcloud.
• Ďalej necháme všetko tak, ako je, teda polia v Krok 2: Nastavte disk Necháme ich prázdne a v rozšírených možnostiach nič nemeníme.
• Tlačíme Vytvoriť konfiguráciu.
• V prehliadači sa otvorí autorizačná stránka Yandex, po ktorej dostanete správu o úspešnom pripojení a ponuku na návrat do Rclone.
• Čo robíme, je kontrola sekcie Config.

sťahovanie

Keď máme prepojené dve lokality, už môžeme medzi nimi migrovať dáta. Samotný proces je podobný kontrole funkčnosti pripojenia k Nextcloud, ktorú sme vykonali skôr.

• Ísť do cestovateľ.
• Výber šablóny 2-vedľa seba.
• V každom z Diaľkové ovládače uveďte názov svojej stránky.
• Tlačíme Otvorený.
• Vidíme adresár súborov a priečinkov pre každý z nich.

Na spustenie procesu migrácie zostáva už len vybrať požadovaný priečinok so súbormi v adresári zdroja údajov a myšou ho pretiahnuť do cieľového adresára.

Mechanizmus pridávania zvyšných lokalít a migrácie údajov medzi nimi je podobný operáciám vykonaným vyššie. Ak počas svojej práce narazíte na chyby, môžete si o nich preštudovať podrobnosti v termináli, kde beží Rclone s Web-GUI.

Vo všeobecnosti dokumentácia pre Rclone je rozsiahly a dostupný na webovej stránke a na internete a nemal by spôsobovať žiadne ťažkosti pri používaní. Týmto považujem prvý príspevok o tom, ako prenášať súbory z jedného cloudu do druhého, obísť váš počítač, za dokončený.

PS Ak nesúhlasíte s posledným tvrdením, napíšte do komentárov: aká „téma nie je pokrytá“ a v akom duchu sa oplatí pokračovať.

Zdroj: hab.com