Kako prenijeti datoteke iz jednog oblaka u drugi bez prolaska kroz računalo

Smrt, razvod i selidba tri su najstresnije situacije u životu svake osobe.
"Američka horor priča".

- Andryukh, odlazim od kuće, pomozi mi da se preselim, neće mi sve stati :(
- Dobro, koliko ih ima?
— Tona* 7-8...
*Ton (jarg) - Terabajt.

Nedavno sam, surfajući internetom, primijetio da se unatoč dostupnosti na Habréu i sličnim izvorima mnoštva materijala o metodama i modelima migracije raznih vrsta podataka, pitanja na tu temu i dalje pojavljuju na internetu. Koji iz nekog razloga ne dobivaju uvijek detaljne odgovore. Ta činjenica me potaknula da jednog dana prikupim bilješke o implementaciji sličnog rješenja i posložim ih u obliku zasebnog posta.

Općenito, moram iritantno učestalo prenositi podatke s jednog uređaja, sustava i usluge na drugi. Što mi je kroz pokušaje i pogreške omogućilo ne samo da se upoznam s puno zanimljivih proizvoda, već i da pronađem ravnotežu između funkcionalnosti i cijene rješenja o kojem želim govoriti

dizajn

Kao što se pokazalo kao rezultat rada na dizajnu i istraživanju, kvaliteta i učinkovitost procesa migracije ne ovisi samo o tehničkim karakteristikama "mjesta" na kojima se podaci nalaze ili će se nalaziti, već i o njihovoj fizičkoj lokaciji.

Upravitelj migracije je računalni čvor na kojem funkcionira "logika" procesa - softver za upravljanje migracijom.

Odnosno, postoje dva modela postavljanja “migracijskog upravitelja”

• Model A. Ako se barem jednoj od stranica može pristupiti samo unutar lokalne mreže, onda je vrijedno postaviti "migracijski upravitelj" na istu mrežu. Budući da su izvedba i vrijeme migracije još uvijek ograničeni brzinom i radnim vremenom kanala koji povezuje stranice.
• Model B. Ako i izvor i primatelj podataka imaju pristup izvan lokalne mreže, tada bi se "migracijski upravitelj" trebao nalaziti tamo gdje će brzina i vrijeme neprekidnog rada kanala između njih biti očito bolji.

Kako bih nekako raščlanio gore navedeno, predlažem da se vratimo na zadatke iz glavnog pitanja članka i formaliziramo ih u tehničke specifikacije.

Prvo moram saznati podržava li softver koji koristim oblake: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Kratak odgovor je: “DA!”

koristim Rclone.

Rclone - rsync za pohranu u oblaku. Softver otvorenog koda dizajniran za sinkronizaciju datoteka i mapa s više od 45 vrsta i vrsta pohrane.

Evo samo neke od njih:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Ceph
—DigitalOcean Spaces
— Dropbox
- Google Cloud Storage
- Google vožnja
- Google fotografije
- HTTP
-IBM COS S3
— Mail.ru Cloud
— Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— vlastiti oblak
—Rackspace Cloud datoteke
- rsync.net
- SFTP
- WebDAV
— Yandex disk

Glavna funkcionalnost:
— Provjera integriteta datoteka pomoću MD5/SHA1 hashova.
— Spremanje vremenskih oznaka za stvaranje/promjenu datoteka.
- Podržava djelomičnu sinkronizaciju.
— Kopiranje samo novih datoteka.
— Sinkronizacija (jednosmjerna).
— Provjera datoteka (po hashovima).
— Mogućnost sinkronizacije s jednog računa u oblaku na drugi.
- Podrška za šifriranje.
- Podrška za lokalno predmemoriranje datoteka.
— Mogućnost montiranja usluga u oblaku putem FUSE-a.

Sam ću dodati da mi Rclone također pomaže riješiti lavovski dio problema povezanih s automatiziranjem sigurnosnog kopiranja podataka u projekt "Väinämöinen".

Sljedeći zadatak je odabrati model postavljanja “migration manager”.

Svi izvori podataka, a to su razni javni cloud servisi, dostupni su putem interneta. Uključujući i putem API-ja. Dva od tri prijemnika rade isto. Nije jasno gdje je sam Nextcloud raspoređen i kakav mu je pristup dostupan?

Izbrojao sam pet mogućih opcija:

1. Na vlastitom poslužitelju u vašoj kućnoj/poslovnoj mreži.
2. Na vlastitom poslužitelju u iznajmljenom stalku podatkovnog centra pružatelja usluga.
3. Na poslužitelju iznajmljenom od pružatelja usluga.
4. Na virtualnom poslužitelju (VDS/VPS) kod pružatelja usluge/hostinga 
5. Od davatelja usluga prema SaaS modelu

S obzirom da je Nextcloud još uvijek softver za kreiranje i korištenje pohrane u oblaku, slobodno možemo reći da mu je pristup putem interneta dostupan u svih pet opcija. I u ovom slučaju, optimalan model za postavljanje "upravitelja migracije" bit će - model B.

Prema modelu koji je odabran kao platforma za "upravitelj migracije", odabrat ću jednu od optimalnih, s moje točke gledišta, opcija - virtualni poslužitelj u M9 podatkovni centar Najveća točka razmjene internetskog prometa u Rusiji MSK-IX.

Treća odluka koju je potrebno donijeti je odluka o konfiguraciji virtualnog poslužitelja. 

Prilikom odabira konfiguracijskih parametara VDS-a morate se voditi potrebnim performansama koje ovise o širini kanala između stranica, broju i veličini datoteka koje se premještaju, broju migracijskih tokova i postavkama. Što se tiče OS-a, Rclone je višeplatformski softver koji radi na različitim operativnim sustavima, uključujući Windows i Linux.

Ako planirate pokrenuti nekoliko procesa migracije, pa čak i na određenoj učestalosti, onda je vrijedno razmotriti mogućnost najma VDS-a uz plaćanje resursa.

stvaranje

Na temelju gore navedenog, prilikom izrade prototipa za ovaj članak, odabrao sam VDS u sljedećoj konfiguraciji.

košta 560 rubalja mjesečno. uključujući 15% popusta korištenjem kupona NEMA STRESA.

Ovaj izbor je zbog činjenice da je čvor pod Windows OS-om, kako bi bio u skladu s uvjetima naših tehničkih specifikacija, lakše konfigurirati nego za druge OS-ove koji su dostupni za narudžbu.

Offtopic: Usput, radi veće sigurnosti, ovaj virtualni poslužitelj je dodijeljen jednom od čvorova sigurna virtualna mreža. a pristup preko RDP-a dozvoljen je samo od tamo...

Nakon što izradite VDS i dobijete pristup radnoj površini putem RDP-a, prvo što trebate učiniti je pripremiti okruženje za Rclone i Web-GUI. Oni. instalirajte novi zadani preglednik, na primjer Chrome, budući da prvotno instalirani IE 11, nažalost, ne radi uvijek ispravno s korištenim softverom. 

Nakon pripreme okruženja preuzmite arhivu s programskim paketom Rclone za Windows i raspakirajte ga. 

Zatim, u načinu Windows naredbenog retka, izvršite naredbu za odlazak u mapu s izdvojenim datotekama. Za mene se nalazi u početnoj mapi administratora:

C:UsersAdministrator>cd rclone

Nakon prijelaza, izvršavamo naredbu za pokretanje Rclone iz Web-GUI-a:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

gdje su "prijava" i "lozinka" prijava i lozinka koje ste naveli, naravno, bez navodnika.

Nakon izvršenja naredbe, terminal prikazuje

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

a Rclone grafičko web sučelje se automatski otvara u pregledniku.

Unatoč činjenici da je Web-GUI još uvijek u fazi testne verzije i još nema sve Rclone mogućnosti upravljanja koje ima sučelje naredbenog retka, njegove mogućnosti su sasvim dovoljne za migraciju podataka. Pa čak i malo više.

podešavanje

Sljedeći korak je postavljanje veza sa stranicama na kojima se podaci nalaze ili će se nalaziti. A prvi na redu bit će glavni primatelj podataka - Nextcloud.

1. Da biste to učinili, idite na odjeljak Konfiguracije Web-GUI. 

2. Pokretanje izrade nove konfiguracije - gumb Nova konfiguracija.

3. Postavite naziv stranice - polje Naziv ovog pogona (za vašu referencu): Nextcloud.

4. Odabir vrste ili vrste pohrane odabrati: Za Nextcloud i Owncloud, glavno sučelje za razmjenu podataka je WebDAV.

5. Zatim kliknite na Korak 2: Postavljanje pogon, otvorite popis parametara veze i ispunite. 

- 5.1. URL http hosta za povezivanje na URL — hipertekstualna veza WebDAV sučelja. U Nextcloudu se nalaze u postavkama – donji lijevi kut sučelja.
- 5.2. Naziv Webdav stranice/usluge/softvera koji koristite — Naziv WebDAV sučelja. Polje je izborno, za sebe, kako se ne biste zabunili ako ima mnogo takvih veza.
- 5.3 Korisničko ime — Korisničko ime za autorizaciju
- 5.4. Lozinka — Lozinka za autorizaciju
- 5.5. Token nositelja umjesto korisnika/propusnice (npr. Macaroon) i naredbe za pokretanje da bi se dobio token nositelja u naprednim opcijama postoje dodatni parametri i naredbe za autorizaciju. Ne koriste se u mom Nextcloudu.

6. Sljedeći klik Stvori konfiguraciju i kako biste bili sigurni da je konfiguracija stvorena, idite na odjeljak Konfiguracija web sučelje... Preko iste stranice moguće je brisati ili uređivati ​​novonastalu konfiguraciju.

Kako biste provjerili funkcionalnost veze s web mjestom, idite na odjeljak istraživač... Na terenu Daljinski upravljači unesite naziv konfiguriranog mjesta i kliknite Otvoren. Ako vidite popis datoteka i direktorija, veza sa web mjestom radi.

Da biste bili uvjerljiviji, možete stvoriti/izbrisati mapu ili preuzeti/izbrisati datoteku putem web sučelja.

Druga platforma koja će se povezati bit će Yandex disk.

• Prva četiri koraka slična su postupku povezivanja s Nextcloudom.
• Zatim ostavljamo sve kako jest, odnosno polja unutra Korak 2: Postavite pogon Ostavljamo ih prazne i ne mijenjamo ništa u naprednim opcijama.
• Pritišćemo Stvori konfiguraciju.
• U pregledniku se otvara stranica za autorizaciju Yandexa, nakon čega dobivate poruku o uspješnom povezivanju i ponudu za povratak na Rclone.
• Ono što radimo je provjeriti odjeljak config.

migracija

Kada imamo dvije povezane stranice, već možemo migrirati podatke između njih. Sam proces sličan je provjeri funkcionalnosti veze na Nextcloud koju smo proveli ranije.

• Ići istraživač.
• Odabir predloška 2-jedno uz drugo.
• U svakom od Daljinski upravljači navedite naziv svoje stranice.
• Pritišćemo Otvoren.
• Vidimo direktorij datoteka i mapa za svaku od njih.

Za početak procesa migracije preostaje samo odabrati željenu mapu s datotekama u direktoriju izvora podataka i povući je mišem u odredišni direktorij.

Mehanizam za dodavanje preostalih stranica i premještanje podataka između njih sličan je gore navedenim operacijama. Ako tijekom rada naiđete na pogreške, detalje o njima možete proučiti na terminalu na kojem se izvodi Rclone s Web-GUI.

Općenito, dokumentacija za Rclone opsežan je i dostupan na web stranici i internetu te ne bi trebao stvarati poteškoće u korištenju. Ovime prvi post o tome kako prenijeti datoteke iz jednog oblaka u drugi, zaobilazeći računalo, smatram završenim.

PS Ako se ne slažete s posljednjom tvrdnjom, napišite u komentarima: koja "tema nije pokrivena" i u kojem smislu vrijedi nastaviti.

Izvor: www.habr.com