Jak přenášet soubory z jednoho cloudu do druhého, aniž byste museli procházet počítačem

Smrt, rozvod a stěhování jsou tři nejstresovější situace v životě každého člověka.
"Americký hororový příběh".

- Andryukhu, odcházím z domova, pomoz mi se stěhovat, všechno se mi do toho nevejde :(
- Dobře, kolik jich je?
— Tuny* 7-8...
*Ton (jarg) – terabajt.

Nedávno jsem si při brouzdání po internetu všiml, že i přes dostupnost spousty materiálů o metodách a modelech migrace různých typů dat na Habré a podobných zdrojích se na internetu stále objevují dotazy na toto téma. Na které se z nějakého důvodu nedostávají vždy podrobné odpovědi. Tato skutečnost mě podnítila k tomu, abych jednoho dne shromáždil poznámky o realizaci podobného řešení a uspořádal je do podoby samostatného příspěvku.

Obecně musím přenášet data z jednoho zařízení, systému a služby do druhého s nějakou otravnou frekvencí. Což mi metodou pokusů a omylů umožnilo nejen seznámit se se spoustou zajímavých produktů, ale také najít rovnováhu mezi funkčností a cenou řešení, o kterém chci mluvit.

Projektování

Jak se ukázalo v důsledku projekčních a průzkumných prací, kvalita a efektivita procesu migrace závisí nejen na technických vlastnostech „míst“, kde se data nacházejí nebo budou nacházet, ale také na jejich fyzickém umístění.

Migration manager je výpočetní uzel, na kterém funguje „logika“ procesu – software pro řízení migrace.

To znamená, že existují dva modely umístění „manažera migrace“

• Model A. Pokud je alespoň jeden z webů přístupný pouze z místní sítě, pak se vyplatí umístit „správce migrace“ do stejné sítě. Protože výkon a doba migrace jsou stále omezeny rychlostí a dobou provozuschopnosti kanálu spojujícího stránky.
• Model B. Pokud má zdroj i příjemce dat přístup mimo místní síť, pak by měl být „správce migrace“ umístěn tam, kde bude rychlost a dostupnost kanálu mezi nimi samozřejmě lepší.

Abych výše uvedené nějak rozložil, navrhuji vrátit se k úkolům z hlavní otázky článku a formalizovat je do technických specifikací.

Nejprve musím zjistit, zda software, který používám, podporuje cloudy: Mail.ru, Yandex, Disk Google, Mega, Nextloud?

Krátká odpověď zní: "ANO!"

Používám Rclone.

Rclone - rsync pro cloudové úložiště. Open Source software určený k synchronizaci souborů a složek s více než 45 typy a typy úložiště.

Zde je jen několik z nich:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Ceph
—DigitalOcean Spaces
– Dropbox
– Google Cloud Storage
- Disk Google
- Fotky Google
- HTTP
-IBM COS S3
— Cloud Mail.ru
— Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
—Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
— Disk Yandex

Hlavní funkce:
— Kontrola integrity souborů pomocí MD5/SHA1 hash.
— Ukládání časových razítek pro vytváření/změnu souborů.
- Podporuje částečnou synchronizaci.
— Kopírování pouze nových souborů.
— Synchronizace (jednosměrná).
— Kontrola souborů (podle hashů).
— Možnost synchronizace z jednoho cloudového účtu do druhého.
- Podpora šifrování.
- Podpora pro místní ukládání souborů do mezipaměti.
— Schopnost připojit cloudové služby přes FUSE.

Sám dodám, že Rclone mi také pomáhá vyřešit lví podíl problémů souvisejících s automatizací zálohování dat v projekt "Väinämöinen".

Dalším úkolem je vybrat model umístění „správce migrace“.

Všechny zdroje dat, což jsou různé veřejné cloudové služby, jsou přístupné přes internet. Včetně přes API. Dva ze tří přijímačů dělají totéž. Není jasné, kde je nasazen samotný Nextcloud a jaký je k němu přístup?

Napočítal jsem pět možných variant:

1. Na vlastním serveru ve vaší domácí/firemní síti.
2. Na vlastním serveru v pronajatém racku datového centra poskytovatele služeb.
3. Na serveru pronajatém od poskytovatele služeb.
4. Na virtuálním serveru (VDS/VPS) u poskytovatele služeb/hostingu 
5. Od poskytovatele služeb podle modelu SaaS

Vzhledem k tomu, že Nextcloud je stále software pro vytváření a používání cloudového úložiště, můžeme s jistotou říci, že přístup k němu přes internet je dostupný ve všech pěti možnostech. A v tomto případě bude optimální model pro umístění „manažera migrace“ - model B.

Podle modelu zvoleného jako platforma pro „migračního manažera“ zvolím jednu z z mého pohledu optimálních možností – virtuální server v datové centrum M9 Největší ruský internetový výměnný bod MSK-IX.

Třetím rozhodnutím, které je třeba učinit, je rozhodnout o konfiguraci virtuálního serveru. 

Při výběru konfiguračních parametrů VDS se musíte řídit požadovaným výkonem, který závisí na šířce kanálů mezi lokalitami, počtu a velikosti přesouvaných souborů, počtu migračních toků a nastavení. Pokud jde o operační systém, Rclone je multiplatformní software, který běží na různých operačních systémech, včetně Windows a Linux.

Pokud plánujete spustit několik migračních procesů, a to i v určité frekvenci, pak se vyplatí zvážit možnost pronájmu VDS s platbou za zdroje.

tvorba

Na základě výše uvedeného jsem při vytváření prototypu pro tento článek zvolil VDS v následující konfiguraci.

stojí 560 rublů měsíčně. včetně 15% slevy pomocí kupónu ŽÁDNÝ STRES.

Tato volba je způsobena skutečností, že uzel pod OS Windows, aby vyhovoval podmínkám našich technických specifikací, je snadněji konfigurovatelný než u jiných OS dostupných na objednávku.

Offtopic: Mimochodem, pro větší bezpečnost je tento virtuální server přiřazen k jednomu z uzlů zabezpečená virtuální síť. a přístup k němu přes RDP je povolen pouze odtud...

Po vytvoření VDS a získání přístupu k ploše přes RDP je první věcí, kterou musíte udělat, je připravit prostředí pro Rclone a Web-GUI. Tito. nainstalovat nový výchozí prohlížeč, například Chrome, protože původně nainstalovaný IE 11 bohužel ne vždy funguje správně s použitým softwarem. 

Po přípravě prostředí si stáhněte archiv se softwarovým balíčkem Rclone pro Windows a rozbalit to. 

Dále v režimu příkazového řádku Windows spusťte příkaz pro přechod do složky s extrahovanými soubory. Pro mě je umístěn v domovské složce správce:

C:UsersAdministrator>cd rclone

Po přechodu provedeme příkaz ke spuštění Rclone z webového GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

kde „login“ a „password“ jsou vámi zadané přihlašovací jméno a heslo, samozřejmě bez uvozovek.

Po provedení příkazu terminál zobrazí

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

a v prohlížeči se automaticky otevře grafické webové rozhraní Rclone.

Navzdory skutečnosti, že Web-GUI je stále ve stádiu testovací verze a ještě nemá všechny možnosti správy Rclone, které má rozhraní příkazového řádku, jsou jeho možnosti pro migraci dat zcela dostatečné. A ještě trochu víc.

Nastavení

Dalším krokem je nastavení připojení k webům, kde se data nacházejí nebo budou nacházet. A první na řadě bude hlavní přijímač dat – Nextcloud.

1. Chcete-li to provést, přejděte do sekce Konfigy Web-GUI. 

2. Zahájení tvorby nové konfigurace - tlačítko Nová konfigurace.

3. Nastavte pole název webu Název tohoto disku (pro vaši informaci): Nextcloud.

4. Výběr typu nebo typu úložiště vybrat: Pro Nextcloud a Owncloud je hlavním rozhraním pro výměnu dat WebDAV.

5. Dále klikněte na Krok 2: Nastavení pohonu, otevřete seznam parametrů připojení a vyplňte. 

- 5.1. Adresa URL hostitele http pro připojení k URL — hypertextový odkaz rozhraní WebDAV. V Nextcloud jsou umístěny v nastavení - levý dolní roh rozhraní.
- 5.2. Název webu/služby/softwaru Webdav, který používáte — Název rozhraní WebDAV. Pole je pro vás nepovinné, abyste nebyli zmateni, pokud existuje mnoho takových spojení.
- 5.3 Uživatelské jméno — Uživatelské jméno pro autorizaci
- 5.4. Heslo — Heslo pro autorizaci
- 5.5. Token na doručitele místo uživatele/průchodu (např. makarónka) a příkaz ke spuštění pro získání tokenu na nositele v rozšířených možnostech jsou další parametry a autorizační příkazy. V mém Nextcloudu se nepoužívají.

6. Další kliknutí Vytvořit konfiguraci a abyste se ujistili, že je konfigurace vytvořena, přejděte do sekce Konfigurace webové rozhraní... Prostřednictvím stejné stránky lze nově vytvořenou konfiguraci smazat nebo upravit.

Chcete-li zkontrolovat funkčnost připojení k webu, přejděte do sekce Badatel... V poli Remotes zadejte název konfigurovaného webu a klikněte Otevřená. Pokud vidíte seznam souborů a adresářů, připojení k webu funguje.

Chcete-li být přesvědčivější, můžete vytvořit/smazat složku nebo stáhnout/smazat soubor přes webové rozhraní.

Druhou platformou, která se má připojit, bude disk Yandex.

• První čtyři kroky jsou podobné procesu připojení Nextcloud.
• Dále necháme vše tak, jak je, tedy pole v Krok 2: Nastavte jednotku Necháme je prázdné a v pokročilých možnostech nic neměníme.
• Tiskneme Vytvořit konfiguraci.
• V prohlížeči se otevře autorizační stránka Yandex, po které obdržíte zprávu o úspěšném připojení a nabídku k návratu do Rclone.
• Co děláme, je kontrola sekce Config.

Migrace

Když máme propojené dva weby, můžeme již mezi nimi migrovat data. Samotný proces je podobný kontrole funkčnosti připojení k Nextcloud, kterou jsme provedli dříve.

• Jít do Badatel.
• Výběr šablony 2 vedle sebe.
• V každém z Remotes uveďte název svého webu.
• Tiskneme Otevřená.
• U každého z nich vidíme adresář souborů a složek.

Pro zahájení procesu migrace zbývá pouze vybrat požadovanou složku se soubory v adresáři zdroje dat a přetáhnout ji myší do cílového adresáře.

Mechanismus přidávání zbývajících webů a migrace dat mezi nimi je podobný operacím provedeným výše. Pokud během své práce narazíte na chyby, můžete si o nich prostudovat podrobnosti v terminálu, kde běží Rclone s Web-GUI.

Obecně platí, že dokumentace pro Rclone je rozsáhlý a dostupný na webových stránkách a na internetu a neměl by způsobovat žádné potíže při používání. Tímto považuji první příspěvek o tom, jak přenášet soubory z jednoho cloudu do druhého a obejít váš počítač, za dokončený.

PS Pokud s posledním tvrzením nesouhlasíte, napište do komentářů: jaké „téma není zpracováno“ a v jakém duchu stojí za to pokračovat.

Zdroj: www.habr.com