Død, skilsmisse og flytning er tre af de mest stressende situationer i ethvert menneskes liv.
"Amerikansk gyser historie".
- Andryukh, jeg tager hjemmefra, hjælp mig med at flytte, alt passer ikke ind hos mig :(
- Okay, hvor mange er der?
— Tons* 7-8...
*Ton (jarg) - Terabyte.
For nylig, mens jeg surfede på internettet, bemærkede jeg, at på trods af tilgængeligheden på Habré og lignende ressourcer af en masse materialer om metoder og modeller til migrering af forskellige typer data, dukker spørgsmål om dette emne stadig op på internettet. Som af en eller anden grund ikke altid får detaljerede svar. Dette faktum fik mig til en dag at samle noter om implementeringen af en lignende løsning og arrangere dem i form af et separat indlæg.
Generelt er jeg nødt til at overføre data fra en enhed, system og service til en anden med en eller anden irriterende frekvens. Hvilket, gennem forsøg og fejl, gjorde det muligt for mig ikke kun at stifte bekendtskab med en masse interessante produkter, men også at finde en balance mellem funktionalitet og omkostninger ved den løsning, jeg vil tale om
design
Som det viste sig som et resultat af design- og undersøgelsesarbejde, afhænger kvaliteten og effektiviteten af migreringsprocessen ikke kun af de tekniske karakteristika for de "websteder", hvor dataene er eller vil blive placeret, men også af deres fysiske placering.
Migration manager er en computernode, hvor "logikken" i processen - software til styring af migration - fungerer.
Det vil sige, at der er to modeller for placering af en "migreringsleder"
- Model A. Hvis mindst et af webstederne kun kan tilgås fra det lokale netværk, så er det værd at placere en "migreringsmanager" på det samme netværk. Fordi ydeevnen og migreringstiden stadig er begrænset af hastigheden og oppetiden for den kanal, der forbinder webstederne.
- Model B. Hvis både kilden og modtageren af dataene har adgang uden for det lokale netværk, så bør "migreringsmanageren" placeres, hvor hastigheden og oppetiden på kanalen mellem dem naturligvis vil være bedre.
For på en eller anden måde at dekomponere ovenstående foreslår jeg at vende tilbage til opgaverne fra artiklens hovedspørgsmål og formalisere dem til tekniske specifikationer.
Først skal jeg finde ud af, om den software, jeg bruger, understøtter skyer: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
Det korte svar er: "JA!"
Jeg bruger .
Rclone - rsync til skylagring. Open Source-software designet til at synkronisere filer og mapper med mere end 45 typer og typer lager.
Her er blot nogle få af dem:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Ceph
—DigitalOcean Spaces
– Dropbox
- Google Cloud Storage
- Google Drev
- Google Fotos
- HTTP
-IBM COS S3
— Mail.ru Cloud
- Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Rackspace Cloud-filer
- rsync.net
- SFTP
- WebDAV
- Yandex disk
Hovedfunktionalitet:
— Kontrol af integriteten af filer ved hjælp af MD5/SHA1 hashes.
— Lagring af tidsstempler til oprettelse/ændring af filer.
- Understøtter delvis synkronisering.
— Kopiering kun af nye filer.
— Synkronisering (en-vejs).
— Kontrol af filer (ved hashes).
— Mulighed for at synkronisere fra en cloud-konto til en anden.
- Understøttelse af kryptering.
- Understøttelse af lokal filcache.
— Mulighed for at montere cloud-tjenester via FUSE.
Jeg vil selv tilføje, at Rclone også hjælper mig med at løse størstedelen af problemerne i forbindelse med automatisering af datasikkerhedskopiering i .
Den næste opgave er at vælge en "migration manager" placeringsmodel.
Alle datakilder, som er forskellige offentlige cloud-tjenester, er tilgængelige via internettet. Herunder gennem API. To ud af tre modtagere gør det samme. Det er ikke klart, hvor selve Nextcloud er installeret, og hvilken adgang er tilgængelig for det?
Jeg talte fem mulige muligheder:
- På din egen server i dit hjemme-/virksomhedsnetværk.
- På din egen server i et lejet rack i tjenesteudbyderens datacenter.
- På en server lejet af en tjenesteudbyder.
- På en virtuel server (VDS/VPS) hos en tjeneste-/hostingudbyder
- Fra tjenesteudbyderen
I betragtning af at Nextcloud stadig er software til at skabe og bruge cloud storage, kan vi roligt sige, at adgang til det via internettet er tilgængelig i alle fem muligheder. Og i dette tilfælde vil den optimale model for at placere en "migreringsleder" være - model B.
I henhold til modellen valgt som platform for "migreringslederen", vil jeg vælge en af de optimale, set fra mit synspunkt, muligheder - en virtuel server i Ruslands største internettrafikudvekslingspunkt MSK-IX.
Den tredje beslutning, der skal træffes, er at tage stilling til den virtuelle serverkonfiguration.
Når du vælger VDS-konfigurationsparametre, skal du være styret af den påkrævede ydeevne, som afhænger af bredden af kanalerne mellem websteder, antallet og størrelsen af filer, der flyttes, antallet af migreringsstrømme og indstillinger. Hvad angår OS, er Rclone software på tværs af platforme, der kører på forskellige operativsystemer, herunder Windows og Linux.
Hvis du planlægger at starte flere migreringsprocesser, og endda med en vis frekvens, så er det værd at overveje muligheden for at leje en VDS med betaling for ressourcer.
skabelse
Baseret på ovenstående, da jeg oprettede prototypen til denne artikel, valgte jeg VDS i følgende konfiguration.
koster 560 rubler/måned. inklusive 15% rabat ved brug af kupon INGEN STRESS.
Dette valg skyldes det faktum, at en node under Windows OS, for at overholde betingelserne i vores tekniske specifikationer, er lettere at konfigurere end for andre OS'er, der kan bestilles.
Offtopic: Af hensyn til større sikkerhed er denne virtuelle server i øvrigt tildelt en af noderne . og adgang til det via RDP er kun tilladt derfra...
Efter at have oprettet en VDS og fået adgang til skrivebordet via RDP, er den første ting, du skal gøre, at forberede miljøet til Rclone og Web-GUI. De der. installere en ny standardbrowser, for eksempel Chrome, da den oprindeligt installerede IE 11 desværre ikke altid fungerer korrekt med den anvendte software.
Efter at have forberedt miljøet, download arkivet med softwarepakken og pakke den ud.
I Windows kommandolinjetilstand skal du derefter udføre kommandoen for at gå til mappen med de udpakkede filer. For mig er den placeret i administratorens hjemmemappe:
C:UsersAdministrator>cd rclone
Efter overgangen udfører vi kommandoen for at starte Rclone fra Web-GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
hvor "login" og "adgangskode" er det login og kodeord, du har angivet, selvfølgelig uden anførselstegn.
Ved udførelse af kommandoen vises terminalen
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
og den grafiske Rclone-webgrænseflade åbnes automatisk i browseren.
På trods af det faktum, at Web-GUI'en stadig er i testversionsstadiet og endnu ikke har alle de Rclone-administrationsmuligheder, som kommandolinjegrænsefladen har, er dens muligheder ganske tilstrækkelige til datamigrering. Og endda lidt mere.
justering
Det næste trin er at oprette forbindelser til de steder, hvor dataene er eller vil blive placeret. Og den første i rækken bliver hoveddatamodtageren - Nextcloud.
1. For at gøre dette skal du gå til afsnittet Konfig Web-GUI.
2. Starter oprettelsen af en ny konfiguration - knap Ny konfig.
3. Indstil webstedets navn - feltet Navn på dette drev (til din reference): Nextcloud.
4. Valg af lagertype eller -type Type: For Nextcloud og Owncloud er den primære dataudvekslingsgrænseflade WebDAV.
5. Klik derefter på Trin 2: Opsætning drev, åbn listen over tilslutningsparametre og udfyld.
- 5.1. URL på http-vært for at oprette forbindelse til URL — hypertekstlink til WebDAV-grænsefladen. I Nextcloud er de placeret i indstillingerne - nederste venstre hjørne af grænsefladen.
- 5.2. Navnet på Webdav-stedet/tjenesten/softwaren, du bruger — WebDAV-grænsefladenavn. Feltet er valgfrit, for dig selv, for ikke at blive forvirret, hvis der er mange sådanne forbindelser.
- 5.3 brugernavn — Brugernavn til autorisation
- 5.4. Adgangskode — Adgangskode til autorisation
- 5.5. Bærer-token i stedet for bruger/pas (f.eks. en makron) og kommando til at løbe for at få et bærer-token i avancerede muligheder er der yderligere parametre og autorisationskommandoer. De bruges ikke i min Nextcloud.
6. Næste klik Opret konfiguration og for at sikre, at konfigurationen er oprettet, skal du gå til afsnittet Konfig webgrænseflade... Gennem samme side kan den nyoprettede konfiguration slettes eller redigeres.
For at kontrollere funktionaliteten af forbindelsen til webstedet, gå til afsnittet Explorer... I marken Fjernbetjeninger indtast navnet på det konfigurerede websted og klik Åbne. Hvis du ser en liste over filer og mapper, fungerer forbindelsen til webstedet.
For at være mere overbevisende kan du oprette/slette en mappe eller downloade/slette en fil via webgrænsefladen.
Den anden platform, der skal tilsluttes, vil være Yandex-disk.
- De første fire trin ligner Nextcloud-forbindelsesprocessen.
- Dernæst lader vi alt være som det er, det vil sige felterne i Trin 2: Konfigurer drevet Vi lader dem være tomme og ændrer ikke noget i de avancerede muligheder.
- Klik Opret Config.
- Yandex-autorisationssiden åbner i browseren, hvorefter du modtager en besked om vellykket forbindelse og et tilbud om at vende tilbage til Rclone.
- Det vi gør er at tjekke afsnittet Config.
Migrationen
Når vi har to websteder forbundet, kan vi allerede migrere data mellem dem. Selve processen svarer til at kontrollere funktionaliteten af forbindelsen til Nextcloud, som vi udførte tidligere.
- Gå til Explorer.
- Valg af skabelon 2 side om side.
- I hver af Fjernbetjeninger angiv navnet på dit websted.
- Klik Åbne.
- Vi ser en mappe med filer og mapper for hver af dem.
For at starte migreringsprocessen er der kun tilbage at vælge den ønskede mappe med filer i datakildebiblioteket og trække det med musen til destinationsbiblioteket.
Mekanismen til at tilføje de resterende websteder og migrere data mellem dem svarer til de handlinger, der er udført ovenfor. Hvis du støder på fejl under dit arbejde, kan du studere detaljer om dem i den terminal, hvor Rclone med Web-GUI kører.
Generelt er dokumentationen for er omfattende og tilgængelig på hjemmesiden og på internettet, og bør ikke forårsage vanskeligheder i brugen. Med dette betragter jeg det første indlæg om, hvordan man overfører filer fra en sky til en anden, uden om din pc, komplet.
PS Hvis du ikke er enig i det sidste udsagn, så skriv i kommentarerne: hvilket "emne er ikke dækket" og i hvilken retning det er værd at fortsætte.
Kilde: www.habr.com