Kako prenijeti datoteke iz jednog oblaka u drugi zaobilazeći vaš računar

Smrt, razvod i selidba tri su najstresnije situacije u životu svake osobe.
"Američka horor priča".

- Andryukh, idem od kuce, pomozi mi da se preselim, nece mi sve stati :(
- Dobro, koliko ih ima?
— Tona* 7-8...
*Tona (jarg) - terabajt.

Nedavno sam, surfajući internetom, primijetio da se uprkos dostupnosti na Habré-u i sličnim resursima velikog broja materijala o metodama i modelima za migraciju raznih vrsta podataka, pitanja na ovu temu i dalje pojavljuju na internetu. Na koje iz nekog razloga ne dobijaju uvek detaljne odgovore. Ova činjenica me je potaknula da jednog dana prikupim bilješke o implementaciji sličnog rješenja i uredim ih u vidu posebnog posta.

Generalno, moram da prenosim podatke sa jednog uređaja, sistema i servisa na drugi sa nekom dosadnom frekvencijom. Što mi je, putem pokušaja i grešaka, omogućilo ne samo da se upoznam sa mnoštvom zanimljivih proizvoda, već i da pronađem balans između funkcionalnosti i cijene rješenja o kojem želim govoriti

Projektovanje

Kako se pokazalo kao rezultat projektovanja i istraživanja, kvalitet i efikasnost procesa migracije ne zavisi samo od tehničkih karakteristika „lokacija“ na kojima se nalaze ili će se nalaziti podaci, već i od njihove fizičke lokacije.

Menadžer migracije je računarski čvor na kojem funkcioniše “logika” procesa – softver za upravljanje migracijom.

Odnosno, postoje dva modela za postavljanje „menadžera migracija“

• Model A. Ako se barem jednom od web-mjesta može pristupiti samo iz lokalne mreže, onda je vrijedno postaviti “upravljača migracijama” na istoj mreži. Budući da su performanse i vrijeme migracije još uvijek ograničeni brzinom i vremenom rada kanala koji povezuje web lokacije.
• Model B. Ako i izvor i primatelj podataka imaju pristup izvan lokalne mreže, tada bi „menadžer migracije“ trebao biti lociran tamo gdje će brzina i vrijeme rada kanala između njih biti očito bolji.

Kako bih na neki način razložio gore navedeno, predlažem da se vratimo na zadatke iz glavnog pitanja članka i formaliziramo ih u tehničke specifikacije.

Prvo, moram saznati podržava li softver koji koristim oblake: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Kratak odgovor je: “DA!”

Koristim klon.

Rclone - rsync za pohranu u oblaku. Softver otvorenog koda dizajniran za sinhronizaciju datoteka i fascikli sa više od 45 vrsta i tipova skladištenja.

Evo samo nekoliko njih:
— Alibaba Cloud (Aliyun) Sistem za pohranu objekata (OSS)
- Amazon S3
— Ceph
—DigitalOcean Spaces
— Dropbox
- Google Cloud Storage
- Google disk
- Google fotografije
- HTTP
-IBM COS S3
— Mail.ru oblak
—Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
— Yandex Disk

Osnovna funkcionalnost:
— Provjera integriteta datoteka pomoću MD5/SHA1 heševa.
— Čuvanje vremenskih oznaka za kreiranje/promjenu datoteka.
- Podržava delimičnu sinhronizaciju.
— Kopiranje samo novih datoteka.
— Sinhronizacija (jednosmjerna).
— Provjera datoteka (po hashovima).
— Mogućnost sinhronizacije s jednog računa u oblaku na drugi.
- Podrška za šifriranje.
- Podrška za lokalno keširanje datoteka.
— Mogućnost montiranja cloud servisa preko FUSE.

Sam ću dodati da mi Rclone također pomaže da riješim lavovski dio problema vezanih za automatizaciju sigurnosne kopije podataka u projekat "Väinämöinen".

Sljedeći zadatak je odabir modela plasmana „menadžera migracije“.

Svi izvori podataka, a to su različiti javni servisi u oblaku, dostupni su putem interneta. Uključujući i preko API-ja. Dva od tri prijemnika rade isto. Nije jasno gdje je sam Nextcloud raspoređen i koji mu je pristup dostupan?

Izbrojao sam pet mogućih opcija:

1. Na vlastitom serveru u vašoj kućnoj/poslovnoj mreži.
2. Na vlastitom serveru u iznajmljenom stalku data centra provajdera usluga.
3. Na serveru iznajmljenom od provajdera servisa.
4. Na virtuelnom serveru (VDS/VPS) sa provajderom usluga/hostinga 
5. Od dobavljača usluga prema SaaS modelu

S obzirom da je Nextcloud još uvijek softver za kreiranje i korištenje cloud storage-a, možemo sa sigurnošću reći da mu je pristup putem interneta dostupan u svih pet opcija. I u ovom slučaju, optimalan model za postavljanje „menadžera migracije“ će biti - model B.

Prema modelu odabranom kao platforma za „menadžera migracije“, ja ću izabrati jednu od optimalnih, sa moje tačke gledišta, opcija - virtuelni server u M9 data centar Najveća ruska tačka za razmenu internet saobraćaja MSK-IX.

Treća odluka koju treba donijeti je odlučiti se o konfiguraciji virtuelnog servera. 

Prilikom odabira VDS konfiguracijskih parametara, morate se voditi potrebnim performansama, koje zavise od širine kanala između lokacija, broja i veličine datoteka koje se premještaju, broja tokova migracije i postavki. Što se tiče OS-a, Rclone je softver za više platformi koji radi na različitim operativnim sistemima, uključujući Windows i Linux.

Ako planirate pokrenuti nekoliko procesa migracije, pa čak i na određenoj frekvenciji, onda je vrijedno razmotriti opciju iznajmljivanja VDS-a uz plaćanje resursa.

stvaranje

Na osnovu gore navedenog, prilikom kreiranja prototipa za ovaj članak, izabrao sam VDS u sljedećoj konfiguraciji.

košta 560 rubalja/mjesečno. uključujući 15% popusta na kupon NOSTRESS.

Ovaj izbor je zbog činjenice da je čvor pod Windows OS-om, kako bi se ispunili uslovi naših tehničkih specifikacija, lakše konfigurirati nego za druge OS dostupne za naručivanje.

Offtopic: Usput, radi veće sigurnosti, ovaj virtualni server je dodijeljen jednom od čvorova sigurna virtuelna mreža. a pristup preko RDP-a je dozvoljen samo odatle...

Nakon kreiranja VDS-a i dobijanja pristupa desktopu preko RDP-a, prva stvar koju treba da uradite je da pripremite okruženje za Rclone i Web-GUI. One. instalirajte novi zadani pretraživač, na primjer Chrome, budući da prvobitno instalirani IE 11, nažalost, ne radi uvijek ispravno s korištenim softverom. 

Nakon pripreme okruženja, preuzmite arhivu sa softverskim paketom Rclone za Windows i raspakujte ga. 

Zatim, u načinu Windows komandne linije, izvršite naredbu za odlazak u mapu s ekstrahiranim datotekama. Kod mene se nalazi u početnoj fascikli administratora:

C:UsersAdministrator>cd rclone

Nakon tranzicije, izvršavamo naredbu za pokretanje Rclone iz Web-GUI-a:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

gdje su “login” i “password” login i lozinka koje ste naveli, naravno, bez navodnika.

Nakon izvršenja naredbe, terminal se prikazuje

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

a Rclone grafički web interfejs se automatski otvara u pretraživaču.

Unatoč činjenici da je Web-GUI još uvijek u fazi probne verzije i još uvijek nema sve mogućnosti upravljanja Rcloneom koje ima sučelje komandne linije, njegove mogućnosti su sasvim dovoljne za migraciju podataka. Pa čak i malo više.

podešavanje

Sljedeći korak je postavljanje veza sa lokacijama na kojima se nalaze ili će se nalaziti podaci. A prvi na redu će biti glavni prijemnik podataka - Nextcloud.

1. Da biste to učinili, idite na odjeljak Postavke Web-GUI. 

2. Pokretanje kreiranja nove konfiguracije - dugme New Config.

3. Postavite naziv stranice - polje Naziv ovog diska (za vašu referencu): Nextcloud.

4. Odabir vrste ili vrste skladišta izabrati: Za Nextcloud i Owncloud, glavni interfejs za razmjenu podataka je WebDAV.

5. Zatim kliknite na Korak 2: Postavljanje pogon, otvorite listu parametara veze i popunite. 

- 5.1. URL http hosta za povezivanje na URL — hipertekstualna veza WebDAV interfejsa. U Nextcloudu se nalaze u podešavanjima - donjem levom uglu interfejsa.
- 5.2. Naziv Webdav stranice/usluge/softvera koji koristite — Ime WebDAV interfejsa. Polje je opciono, za vas, da se ne zbunite ako ima mnogo takvih veza.
- 5.3 korisničko ime — Korisničko ime za autorizaciju
- 5.4. lozinka — Lozinka za autorizaciju
- 5.5. Token nosioca umjesto korisnika/propusnice (npr. Macaroon) i naredba za pokretanje da dobijete token nosioca u naprednim opcijama postoje dodatni parametri i komande za autorizaciju. Ne koriste se u mom Nextcloudu.

6. Sljedeći klik Kreirajte konfiguraciju i da biste bili sigurni da je konfiguracija kreirana, idite na odjeljak Config web sučelje... Preko iste stranice, novostvorena konfiguracija se može obrisati ili urediti.

Da biste provjerili funkcionalnost konekcije na stranicu, idite na odjeljak istraživač. V pole Remotes unesite naziv konfigurirane stranice i kliknite otvoreno. Ako vidite listu datoteka i direktorija, veza s web lokacijom radi.

Da biste bili uvjerljiviji, možete kreirati/obrisati mapu ili preuzeti/obrisati datoteku putem web sučelja.

Druga platforma koja će biti povezana bit će Yandex disk.

• Prva četiri koraka slična su procesu povezivanja Nextcloud.
• Zatim ostavljamo sve kako jeste, odnosno polja unutra Korak 2: Postavite pogon Ostavljamo ih praznima i ne mijenjamo ništa u naprednim opcijama.
• Kliknite Create Config.
• Stranica za autorizaciju Yandexa se otvara u pretraživaču, nakon čega dobijate poruku o uspješnom povezivanju i ponudu za povratak na Rclone.
• Ono što radimo je da provjerimo odjeljak config.

Migracija

Kada imamo povezane dvije lokacije, već možemo migrirati podatke između njih. Sam proces je sličan provjeri funkcionalnosti veze sa Nextcloud-om, koju smo ranije izveli.

• Idi istraživač.
• Odabir šablona 2 jedan pored drugog.
• U svakom od Remotes navedite naziv Vaše stranice.
• Kliknite otvoreno.
• Vidimo direktorij datoteka i mapa za svaku od njih.

Da biste započeli proces migracije, ostaje samo da odaberete željenu mapu s datotekama u direktoriju izvora podataka i prevučete ga mišem do odredišnog direktorija.

Mehanizam za dodavanje preostalih lokacija i migraciju podataka između njih sličan je operacijama koje su izvedene iznad. Ako naiđete na greške tokom svog rada, možete proučiti detalje o njima u terminalu na kojem radi Rclone with Web-GUI.

Općenito, dokumentacija za klon je opsežna i dostupna na web stranici i na internetu, te ne bi trebala uzrokovati poteškoće u korištenju. Ovim smatram da je prvi post o tome kako prenijeti datoteke iz jednog oblaka u drugi, zaobilazeći svoj PC, završen.

PS Ako se ne slažete sa posljednjom tvrdnjom, napišite u komentarima: koja “tema nije obrađena” i u kom smislu vrijedi nastaviti.

izvor: www.habr.com