Hvordan overføre filer fra en sky til en annen utenom PC-en

Død, skilsmisse, flytting er de tre mest stressende situasjonene i livet til enhver person.
"American Horror Story".

- Andryukh, jeg drar hjemmefra, hjelp meg å flytte, alt vil ikke passe inn hos meg :(
– Ok, hvor mange er det?
– Tonn* 7-8…
*Ton (jarg) - Terabyte.

Nylig, i ferd med å surfe på Internett, la jeg merke til at til tross for tilgjengeligheten på Habré og lignende ressurser av mye materiale om metodene og modellene for migrering av ulike typer data, vises spørsmål om dette emnet fortsatt på nettverket. Som av en eller annen grunn ikke alltid får detaljerte svar. Dette faktum fikk meg en dag til å samle notater om implementeringen av en lignende løsning og utstede dem som et eget innlegg.

Generelt må jeg overføre data fra en enhet, system og tjeneste til en annen med en eller annen irriterende frekvens. Noe som, gjennom prøving og feiling, tillot meg ikke bare å bli kjent med mange interessante produkter, men også finne en balanse mellom funksjonaliteten og kostnadene for løsningen jeg vil snakke om

utforming

Som det viste seg som et resultat av design- og undersøkelsesarbeid, avhenger kvaliteten og effektiviteten til migrasjonsprosessen ikke bare av de tekniske egenskapene til "nettstedene" der dataene er eller vil bli lokalisert, men også av deres fysiske plassering.

Migrasjonsbehandlingen er en databehandlingsnode som "logikken" i prosessen fungerer på - programvaren for migreringsadministrasjon.

Det vil si at det totalt er to modeller for å plassere en "migrasjonsleder"

• Modell A. Hvis minst ett av nettstedene kun er tilgjengelig fra det lokale nettverket, bør "migrasjonsadministratoren" også plasseres på samme nettverk. For ytelsen og tiden for migrering er fortsatt begrenset av hastigheten og oppetiden til kanalen som kobler til nettstedene.
• Modell B. Hvis både kilden og datamottakeren har tilgang utenfor lokalnettet, så bør «migrasjonsansvarlig» avgjøres der hastigheten og oppetiden på kanalen mellom dem åpenbart blir bedre.

For på en eller annen måte å dekomponere det ovennevnte, foreslår jeg å gå tilbake til oppgavene fra hovedutgaven av artikkelen, og formalisere dem til en teknisk oppgave.

Først må jeg finne ut om programvaren jeg bruker støtter "skyene": Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Kort svar: JA!

Jeg bruker Rclone.

Rclone - rsync for skylagring. Åpen kildekode-programvare utviklet for å synkronisere filer og mapper med mer enn 45 typer og typer lagring.

Her er bare noen av dem:
Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
– ceph
— Digitale havrom
– Dropbox
- Google Cloud Storage
- Google Disk
– Google Foto
- http
-IBM COS S3
— Mail.ru Cloud
– Mega
—Microsoft Azure Blob Storage
— Microsoft One Drive
– Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Rackspace Cloud-filer
- rsync.net
– SFTP
- WebDAV
- Yandex disk

Hovedfunksjonalitet:
- Sjekke integriteten til filer ved hjelp av MD5/SHA1-hasher.
- Lagre tidsstempler for å lage / endre filer.
- Støtte for delvis synkronisering.
— Kopier kun nye filer.
- Synkronisering (enveis).
— Sjekke filer (ved hashes).
- Evne til å synkronisere fra en skykonto til en annen.
- Krypteringsstøtte.
- Støtte for lokal filbufring.
- Evne til å montere skytjenester gjennom FUSE.

På egenhånd vil jeg legge til at Rclone også hjelper meg med å løse brorparten av oppgaver knyttet til automatisering av sikkerhetskopiering av data i Väinämöinen-prosjektet.

Neste oppgave er å velge en plasseringsmodell for «migrasjonslederen».

Til alle datakilder – som er ulike offentlige skytjenester, er det tilgang via Internett. Inkludert gjennom API. To av de tre mottakerne - også. Det er ikke klart hvor selve Nextcloud er distribuert og hvilken tilgang til den er der?

Jeg regnet fem alternativer:

1. På din egen server i ditt hjemme-/bedriftsnettverk.
2. På din egen server i et leid rack i tjenesteleverandørens datasenter.
3. På en server leid fra en tjenesteleverandør.
4. På en virtuell server (VDS/VPS) med en tjeneste-/vertsleverandør 
5. Fra en tjenesteleverandør i henhold til SaaS-modellen

Gitt at Nextcloud fortsatt er programvare for å lage og bruke skylagring, kan vi trygt si at tilgang til den via Internett er tilgjengelig i alle fem alternativene. Og i dette tilfellet vil den optimale plasseringsmodellen for "migrasjonslederen" være - modell B.

I henhold til modellen valgt som plattform for "migrasjonslederen", vil jeg velge et av de beste, fra mitt synspunkt, alternativer - en virtuell server i datasenter M9 Russlands største utvekslingspunkt for Internett-trafikk MSK-IX.

Den tredje avgjørelsen som må tas er å bestemme konfigurasjonen av den virtuelle serveren. 

Når du velger VDS-konfigurasjonsalternativer, må du bli veiledet av den nødvendige ytelsen, som avhenger av bredden på kanalene mellom nettstedene, antall og størrelse på filer som flyttes, antall migreringsstrømmer og innstillinger. Når det gjelder operativsystemet, er Rclone en programvare på tvers av plattformer som kjører under forskjellige operativsystemer, inkludert Windows og Linux.

Hvis du planlegger å kjøre flere migreringsprosesser, og til og med med en viss frekvens, bør du vurdere å leie en VDS med betaling for ressurser.

opprettelse

I henhold til ovenstående, da jeg opprettet prototypen for denne artikkelen, valgte jeg VDS i følgende konfigurasjon.

koster 560 rubler / måned. med 15 % kupongrabatt NESERINNE.

Dette valget skyldes det faktum at noden under Windows OS, for å overholde betingelsene i vår TOR, konfigureres lettere enn under andre operativsystemer som er tilgjengelige for bestilling.

Offtopic: Forresten, for større sikkerhet er denne virtuelle serveren tilordnet en av nodene sikkert virtuelt nettverk. og tilgang til den via RDP er kun tillatt derfra...

Etter å ha opprettet en VDS og fått tilgang til skrivebordet via RDP, er den første tingen å gjøre å forberede miljøet for Rclone og Web-GUI. De. installer en ny standard nettleser, for eksempel Chrome, siden den opprinnelig installerte IE 11, dessverre, ikke alltid fungerer riktig med programvaren som brukes. 

Etter å ha forberedt miljøet, last ned arkivet med programvarepakken Rclone for Windows og pakke den ut. 

Neste - i Windows-kommandolinjemodus, kjør kommandoen for å gå til mappen med de utpakkede filene. Jeg har den i administratorhjemmemappen min:

C:UsersAdministrator>cd rclone

Etter overgangen utfører vi kommandoen for å starte Rclone fra Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

hvor "pålogging" og "passord" er påloggingsnavnet og passordet du spesifiserte, selvfølgelig, uten anførselstegn.

Etter å ha utført kommandoen, vises terminalen

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

og det grafiske grensesnittet for Rclone åpnes automatisk i nettleseren.

Til tross for at Web-GUI fortsatt er i testversjonen og ennå ikke har alle Rclone-administrasjonsmulighetene som kommandolinjegrensesnittet har, er egenskapene ganske tilstrekkelige for datamigrering. Og enda litt til.

justering

Det neste trinnet er å sette opp tilkoblinger til nettstedene der dataene er eller vil bli plassert. Og den første i køen vil være hoveddatamottakeren - Nextcloud.

1. For å gjøre dette, gå til delen Konfig Web GUI. 

2. Starter opprettelsen av en ny konfigurasjon - knapp Ny konfig.

3. Angi navnet på nettstedet - feltet Navnet på denne stasjonen (for din referanse): Nextcloud.

4. Velg type eller type lagring Plukke ut: For Nextcloud og Owncloud er hovedkommunikasjonsgrensesnittet WebDAV.

5. Klikk deretter på Trinn 2: Oppsett drive åpne listen over tilkoblingsparametere og fyll ut. 

- 5.1. URL til http-vert for å koble til URL — hypertekstlenke til WebDAV-grensesnittet. I Nextcloud er de plassert i innstillingene - nedre venstre hjørne av grensesnittet.
- 5.2. Navn på Webdav-siden/tjenesten/programvaren du bruker er navnet på WebDAV-grensesnittet. Feltet er valgfritt, for deg selv, for ikke å bli forvirret hvis det er mange slike sammenhenger.
- 5.3 brukernavn — Brukernavn under autorisasjon
- 5.4. Passord — Passord for autorisasjon
- 5.5. Bærer-token i stedet for bruker/pass (f.eks. en makron) og kommando for å løpe for å få et bærer-token i avanserte alternativer, tilleggsparametere og autorisasjonskommandoer. De brukes ikke i min Nextcloud.

6. Neste klikk Opprett konfig og for å sikre at konfigurasjonen er opprettet, gå til delen konfig nettgrensesnitt ... Gjennom samme side kan den nyopprettede konfigurasjonen slettes eller redigeres.

For å sjekke funksjonaliteten til tilkoblingen til nettstedet, gå til delen Explorer... I feltet fjernkontroller skriv inn navnet på det konfigurerte nettstedet og klikk Åpen. Hvis du ser en liste over filer og kataloger, fungerer tilkoblingen til nettstedet.

For større overtalelsesevne kan du opprette/slette en mappe eller laste ned/slette en fil via webgrensesnittet.

Den andre for å bli tilkoblet plattformen vil være Yandex-disk.

• De fire første trinnene ligner på Nextcloud-tilkoblingsprosessen.
• Da lar vi alt være som det er, altså feltene inne Trinn 2: Konfigurer stasjonen la stå tomt, ikke endre noe i de avanserte alternativene.
• Vi trykker Opprett konfig.
• Yandex-autorisasjonssiden åpnes i nettleseren, etter å ha bestått den, en melding om vellykket tilkobling og et tilbud om å gå tilbake til Rclone.
• Hva vi gjør ved å sjekke avsnittet Config.

migrasjon

Når vi har to nettsteder tilkoblet, kan vi allerede migrere data mellom dem. Selve prosessen ligner på å sjekke tilkoblingen til Nextcloud, som vi utførte tidligere.

• Gå til Explorer.
• Velg en mal 2 side ved side.
• I hver av fjernkontroller angi navnet på nettstedet ditt.
• Vi trykker Åpen.
• Vi ser katalogen med filer og mapper for hver av dem.

For å starte migreringsprosessen gjenstår det bare å velge ønsket mappe med filer i datakildekatalogen og dra den med musen til målkatalogen.

Mekanismen for å legge til de gjenværende nettstedene og handlingene for å migrere data mellom dem, ligner på operasjonene utført ovenfor. Hvis du støter på feil mens du arbeider, kan du studere detaljene om dem i terminalen der Rclone kjører med Web-GUI.

Generelt, dokumentasjonen Rclone er omfattende og tilgjengelig på nettstedet og på Internett, og bør ikke forårsake noen vanskeligheter i bruk. På dette vurderer jeg det første innlegget om hvordan du overfører filer fra en sky til en annen, omgå PC-en din, komplett.

PS Hvis du ikke er enig i den siste uttalelsen, skriv i kommentarene: hvilket "emne er ikke avslørt" og i hvilken retning det er verdt å fortsette.

Kilde: www.habr.com