Hur man överför filer från ett moln till ett annat utan att gå via din PC

Död, skilsmässa och flytt är tre av de mest stressiga situationerna i en människas liv.
"American Horror Story".

- Andryukh, jag går hemifrån, hjälp mig att flytta, allt kommer inte att passa in på mig :(
- Okej, hur många är det?
— Ton* 7-8...
*Ton (jarg) - Terabyte.

Nyligen, när jag surfade på Internet, märkte jag att trots tillgängligheten på Habré och liknande resurser av en hel del material om metoder och modeller för att migrera olika typer av data, dyker frågor om detta ämne fortfarande upp på Internet. Som av någon anledning inte alltid får detaljerade svar. Detta faktum fick mig att en dag samla in anteckningar om implementeringen av en liknande lösning och ordna dem i form av ett separat inlägg.

I allmänhet måste jag överföra data från en enhet, system och tjänst till en annan med någon irriterande frekvens. Vilket, genom försök och misstag, gjorde att jag inte bara kunde bekanta mig med många intressanta produkter, utan också hitta en balans mellan funktionalitet och kostnad för den lösning jag vill prata om

utformning

Som det visade sig som ett resultat av design- och undersökningsarbete, beror kvaliteten och effektiviteten av migreringsprocessen inte bara på de tekniska egenskaperna hos "sajterna" där data finns eller kommer att finnas, utan också på deras fysiska plats.

Migrationshanteraren är en datornod där processens "logik" - programvara för att hantera migrering - fungerar.

Det vill säga, det finns två modeller för att placera en "migreringsansvarig"

• Modell A. Om minst en av webbplatserna bara kan nås från det lokala nätverket, är det värt att placera en "migreringshanterare" på samma nätverk. Eftersom prestandan och migreringstiden fortfarande begränsas av hastigheten och drifttiden för kanalen som ansluter webbplatserna.
• Modell B. Om både källan och mottagaren av data har åtkomst utanför det lokala nätverket, så bör "migreringshanteraren" placeras där hastigheten och upptiden för kanalen mellan dem uppenbarligen blir bättre.

För att på något sätt bryta ner ovanstående, föreslår jag att återgå till uppgifterna från huvudfrågan i artikeln och formalisera dem till tekniska specifikationer.

Först måste jag ta reda på om programvaran jag använder stöder moln: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Det korta svaret är: "JA!"

Jag använder Rclone.

Rclone - rsync för molnlagring. Programvara med öppen källkod utformad för att synkronisera filer och mappar med mer än 45 typer och typer av lagring.

Här är bara några av dem:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Ceph
—DigitalOcean Spaces
-Dropbox
- Google Cloud Storage
- Google Drive
- Google Foton
- HTTP
-IBM COS S3
— Mail.ru Cloud
– Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
— Yandex disk

Huvudfunktionalitet:
— Kontrollera integriteten hos filer med MD5/SHA1-hashar.
— Spara tidsstämplar för att skapa/ändra filer.
- Stöder partiell synkronisering.
— Kopierar endast nya filer.
— Synkronisering (envägs).
— Kontrollera filer (genom hash).
— Möjlighet att synkronisera från ett molnkonto till ett annat.
- Krypteringsstöd.
- Stöd för lokal filcache.
— Möjlighet att montera molntjänster via FUSE.

Jag ska tillägga på egen hand att Rclone också hjälper mig att lösa lejonparten av problem relaterade till automatisering av säkerhetskopiering av data i projekt "Väinämöinen".

Nästa uppgift är att välja en "migreringsansvarig" placeringsmodell.

Alla datakällor, som är olika offentliga molntjänster, är tillgängliga via Internet. Inklusive via API. Två av tre mottagare gör samma sak. Det är inte klart var Nextcloud själv är utplacerat och vilken åtkomst är tillgänglig för det?

Jag räknade fem möjliga alternativ:

1. På din egen server i ditt hem-/företagsnätverk.
2. På din egen server i ett hyrt rack i tjänsteleverantörens datacenter.
3. På en server som hyrs av en tjänsteleverantör.
4. På en virtuell server (VDS/VPS) med en tjänste-/värdleverantör 
5. Från tjänsteleverantören enligt SaaS-modellen

Med tanke på att Nextcloud fortfarande är programvara för att skapa och använda molnlagring, kan vi lugnt säga att åtkomst till det via Internet är tillgängligt i alla fem alternativen. Och i det här fallet kommer den optimala modellen för att placera en "migreringschef" att vara - modell B.

Enligt modellen som valts som plattform för "migreringshanteraren" kommer jag att välja ett av de optimala, ur min synvinkel, alternativen - en virtuell server i M9 datacenter Rysslands största utbytespunkt för internettrafik MSK-IX.

Det tredje beslutet som måste fattas är att besluta om den virtuella serverkonfigurationen. 

När du väljer VDS-konfigurationsparametrar måste du vägledas av den nödvändiga prestandan, som beror på bredden på kanalerna mellan webbplatser, antalet och storleken på filer som flyttas, antalet migreringsströmmar och inställningar. När det gäller operativsystemet är Rclone plattformsoberoende programvara som körs på olika operativsystem, inklusive Windows och Linux.

Om du planerar att starta flera migreringsprocesser, och till och med med en viss frekvens, är det värt att överväga alternativet att hyra en VDS med betalning för resurser.

skapande

Baserat på ovanstående, när jag skapade prototypen för den här artikeln, valde jag VDS i följande konfiguration.

kostar 560 rubel/månad. inklusive 15% rabatt med kupong INGEN STRESS.

Detta val beror på det faktum att en nod under Windows OS, för att uppfylla villkoren i våra tekniska specifikationer, är lättare att konfigurera än för andra operativsystem tillgängliga för beställning.

Offtopic: Förresten, för större säkerhet är den här virtuella servern tilldelad en av noderna säkert virtuellt nätverk. och åtkomst till den via RDP är endast tillåten därifrån...

Efter att ha skapat en VDS och fått tillgång till skrivbordet via RDP är det första du behöver göra att förbereda miljön för Rclone och Web-GUI. De där. installera en ny standardwebbläsare, till exempel Chrome, eftersom den initialt installerade IE 11, tyvärr, inte alltid fungerar korrekt med den programvara som används. 

Efter att ha förberett miljön, ladda ner arkivet med mjukvarupaketet Rclone för Windows och packa upp den. 

Därefter, i Windows kommandoradsläge, kör kommandot för att gå till mappen med de extraherade filerna. För mig ligger den i administratörens hemmapp:

C:UsersAdministrator>cd rclone

Efter övergången kör vi kommandot för att starta Rclone från webb-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

där "inloggning" och "lösenord" är inloggningen och lösenordet du angav, naturligtvis utan citattecken.

Vid körning av kommandot visas terminalen

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

och Rclones grafiska webbgränssnitt öppnas automatiskt i webbläsaren.

Trots att Web-GUI fortfarande är i testversionsstadiet och ännu inte har alla Rclone-hanteringsmöjligheter som kommandoradsgränssnittet har, är dess möjligheter ganska tillräckliga för datamigrering. Och ännu lite till.

justering

Nästa steg är att skapa anslutningar till de platser där data finns eller kommer att finnas. Och den första i raden kommer att vara huvuddatamottagaren - Nextcloud.

1. För att göra detta, gå till avsnittet Konfig Webb-GUI. 

2. Initierar skapandet av en ny konfiguration - knapp Ny konfig.

3. Ställ in webbplatsens namn - fält Namn på denna enhet (för din referens): Nextcloud.

4. Välja typ eller typ av lagring Välja: För Nextcloud och Owncloud är huvudgränssnittet för datautbyte WebDAV.

5. Klicka sedan på Steg 2: Installation drivenhet, öppna listan med anslutningsparametrar och fyll i. 

- 5.1. URL till http-värd för att ansluta till URL — Hypertextlänk för WebDAV-gränssnittet. I Nextcloud finns de i inställningarna - nedre vänstra hörnet av gränssnittet.
- 5.2. Namn på Webdav-webbplatsen/tjänsten/programvaran du använder — WebDAV-gränssnittsnamn. Fältet är valfritt, för dig själv, för att inte bli förvirrad om det finns många sådana kopplingar.
- 5.3 Användarnamn — Användarnamn för auktorisering
- 5.4. Lösenord — Lösenord för auktorisering
- 5.5. Bärartoken istället för användare/pass (t.ex. en Macaroon) och Kommando för att köra för att få en bärartoken i avancerade alternativ finns ytterligare parametrar och behörighetskommandon. De används inte i mitt Nextcloud.

6. Nästa klick Skapa konfiguration och för att se till att konfigurationen skapas, gå till avsnittet Konfig webbgränssnitt... Via samma sida kan den nyskapade konfigurationen raderas eller redigeras.

För att kontrollera funktionaliteten för anslutningen till webbplatsen, gå till avsnittet explorer... I fält fjärrkontroller ange namnet på den konfigurerade webbplatsen och klicka Öppen. Om du ser en lista med filer och kataloger fungerar anslutningen till webbplatsen.

För att vara mer övertygande kan du skapa/ta bort en mapp eller ladda ner/ta bort en fil via webbgränssnittet.

Den andra plattformen som ska anslutas kommer att vara Yandex disk.

• De första fyra stegen liknar Nextcloud-anslutningsprocessen.
• Därefter lämnar vi allt som det är, det vill säga fälten i Steg 2: Installera enheten Vi lämnar dem tomma och ändrar ingenting i de avancerade alternativen.
• Vi trycker på Skapa Config.
• Yandex auktoriseringssida öppnas i webbläsaren, varefter du får ett meddelande om framgångsrik anslutning och ett erbjudande om att återvända till Rclone.
• Det vi gör är att kolla avsnittet Konfig.

migration

När vi har två sidor anslutna kan vi redan migrera data mellan dem. Själva processen liknar att kontrollera funktionaliteten för anslutningen till Nextcloud, vilket vi utförde tidigare.

• Gå till explorer.
• Att välja en mall 2 sida vid sida.
• I var och en av fjärrkontroller ange namnet på din webbplats.
• Vi trycker på Öppen.
• Vi ser en katalog med filer och mappar för var och en av dem.

För att starta migreringsprocessen återstår bara att välja önskad mapp med filer i datakällkatalogen och dra den med musen till målkatalogen.

Mekanismen för att lägga till de återstående webbplatserna och migrera data mellan dem liknar operationerna ovan. Om du stöter på fel under ditt arbete kan du studera detaljer om dem i terminalen där Rclone med Web-GUI körs.

I allmänhet är dokumentationen för Rclone är omfattande och tillgänglig på webbplatsen och på Internet, och bör inte orsaka några svårigheter vid användning. Med detta anser jag att det första inlägget om hur man överför filer från ett moln till ett annat, förbi din dator, är komplett.

PS Om du inte håller med det sista påståendet, skriv i kommentarerna: vilket "ämne täcks inte" och i vilken riktning det är värt att fortsätta.

Källa: will.com