Kuidas faile ühest pilvest teise üle kanda ilma arvutit läbimata

Surm, lahutus ja kolimine on kolm kõige stressirohkemat olukorda iga inimese elus.
"Ameerika õuduslugu".

- Andryukh, ma lahkun kodust, aita mul kolida, kõik ei sobi minuga :(
- Olgu, kui palju neid on?
— tonni* 7-8...
*Ton (jarg) – terabait.

Hiljuti internetis surfates märkasin, et hoolimata sellest, et Habré ja sarnaste ressursside kaudu on saadaval palju materjale erinevat tüüpi andmete migratsiooni meetodite ja mudelite kohta, ilmuvad selleteemalised küsimused Internetis endiselt. Mis mingil põhjusel ei saa alati üksikasjalikke vastuseid. See asjaolu ajendas mind ühel päeval sarnase lahenduse rakendamise kohta märkmeid koguma ja need eraldi postituse vormis korraldama.

Üldiselt pean andmeid ühest seadmest, süsteemist ja teenusest teise üle kandma mingi tüütu sagedusega. Mis võimaldas mul katse-eksituse meetodil mitte ainult tutvuda paljude huvitavate toodetega, vaid leida ka tasakaal selle lahenduse funktsionaalsuse ja maksumuse vahel, millest tahan rääkida.

Projekteerimine

Nagu projekteerimis- ja mõõdistustööde tulemusena selgus, ei sõltu migratsiooniprotsessi kvaliteet ja efektiivsus mitte ainult nende “saitide” tehnilistest omadustest, kus andmed asuvad või asuvad, vaid ka nende füüsilisest asukohast.

Migratsioonihaldur on andmetöötlussõlm, millel toimib protsessi "loogika" – migratsiooni haldamise tarkvara.

See tähendab, et migratsioonihalduri paigutamiseks on kaks mudelit

• Mudel A. Kui vähemalt ühele saidile pääseb ligi ainult kohalikust võrgust, siis tasub samasse võrku paigutada “migratsioonihaldur”. Sest jõudlust ja migratsiooniaega piirab ikkagi saite ühendava kanali kiirus ja tööaeg.
• Mudel B. Kui nii andmete allikal kui ka vastuvõtjal on juurdepääs väljaspool kohtvõrku, siis peaks “migratsioonihaldur” asuma seal, kus nendevahelise kanali kiirus ja tööaeg on ilmselgelt parem.

Ülaltoodu kuidagi lahtiühendamiseks teen ettepaneku pöörduda tagasi artikli põhiküsimuse ülesannete juurde ja vormistada need tehnilisteks kirjeldusteks.

Esiteks pean välja selgitama, kas kasutatav tarkvara toetab pilvi: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Lühike vastus on: "JAH!"

Ma kasutan Rclone.

Rclone – rsync pilvesalvestuseks. Avatud lähtekoodiga tarkvara, mis on loodud failide ja kaustade sünkroonimiseks enam kui 45 tüüpi ja tüüpi salvestusruumiga.

Siin on vaid mõned neist:
- Alibaba pilve (Aliyun) objektide salvestussüsteem (OSS)
- Amazon S3
— Ceph
-DigitalOcean Spaces
- Dropbox
- Google'i pilvesalvestus
- Google Drive
- Google Photos
- HTTP
-IBM COS S3
— Mail.ru pilv
— Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Mini
— Nextcloud
- Openstack Swift
- Oracle Cloud Storage
- oma Pilv
- Rackspace'i pilvefailid
- rsync.net
- SFTP
- WebDAV
- Yandexi ketas

Peamine funktsionaalsus:
— Failide terviklikkuse kontrollimine MD5/SHA1 räsi abil.
— Ajatemplite salvestamine failide loomiseks/muutmiseks.
- Toetab osalist sünkroonimist.
— ainult uute failide kopeerimine.
— Sünkroonimine (ühesuunaline).
— Failide kontrollimine (räside järgi).
— Võimalus sünkroonida ühelt pilvekontolt teisele.
- krüptimise tugi.
- Kohaliku failide vahemällu salvestamise tugi.
— Pilveteenuste ühendamise võimalus FUSE kaudu.

Lisan omaette, et Rclone aitab mul lahendada ka lõviosa andmete varundamise automatiseerimisega seotud probleemidest projekt "Väinämöinen".

Järgmine ülesanne on valida "migratsioonihalduri" paigutusmudel.

Kõik andmeallikad, milleks on erinevad avalikud pilveteenused, on kättesaadavad Interneti kaudu. Sealhulgas API kaudu. Kaks kolmest vastuvõtjast teevad sama. Pole selge, kus Nextcloud ise on juurutatud ja milline on sellele juurdepääs?

Lugesin kokku viis võimalikku varianti:

1. Teie koduses/ettevõtte võrgus olevas serveris.
2. Teie enda serveris teenusepakkuja andmekeskuse renditud riiulis.
3. Teenusepakkujalt renditud serveris.
4. Teenuse/hostimise pakkujaga virtuaalserveris (VDS/VPS). 
5. Teenusepakkujalt SaaS-i mudeli järgi

Arvestades, et Nextcloud on endiselt pilvesalvestuse loomiseks ja kasutamiseks mõeldud tarkvara, võib julgelt väita, et ligipääs sellele interneti kaudu on saadaval kõigis viies valikus. Ja sel juhul on "migratsioonihalduri" paigutamise optimaalne mudel - mudel B.

Vastavalt "migratsioonihalduri" platvormiks valitud mudelile valin ühe minu seisukohast optimaalseima võimaluse - virtuaalserveri M9 andmekeskus Venemaa suurim Interneti-liikluse vahetuspunkt MSK-IX.

Kolmas otsus, mis tuleb teha, on otsustada virtuaalserveri konfiguratsiooni üle. 

VDS-i konfiguratsiooniparameetrite valimisel peate juhinduma nõutavast jõudlusest, mis sõltub saitidevaheliste kanalite laiusest, teisaldatavate failide arvust ja suurusest, migratsioonivoogude arvust ja sätetest. Mis puudutab OS-i, siis Rclone on platvormideülene tarkvara, mis töötab erinevates operatsioonisüsteemides, sealhulgas Windowsis ja Linuxis.

Kui plaanite käivitada mitu migratsiooniprotsessi ja isegi teatud sagedusega, siis tasub kaaluda võimalust rentida VDS koos ressursside eest tasumisega.

loomine

Eelnevast lähtuvalt valisin selle artikli prototüübi loomisel järgmises konfiguratsioonis VDS-i.

maksab 560 rubla kuus. sealhulgas 15% allahindlust kasutades kupongi POLE STRESSI.

See valik tuleneb asjaolust, et Windows OS-i all olevat sõlme on meie tehniliste kirjelduste tingimuste täitmiseks lihtsam konfigureerida kui teiste tellitavate operatsioonisüsteemide puhul.

Offtopic: Muide, suurema turvalisuse huvides on see virtuaalserver määratud ühele sõlmedest turvaline virtuaalne võrk. ja sinna pääseb RDP kaudu ainult sealt...

Pärast VDS-i loomist ja RDP kaudu töölauale juurdepääsu saamist peate esimese asjana ette valmistama keskkonna Rclone'i ja Web-GUI jaoks. Need. installige uus vaikebrauser, näiteks Chrome, kuna algselt installitud IE 11 ei tööta kahjuks alati kasutatud tarkvaraga õigesti. 

Pärast keskkonna ettevalmistamist laadige arhiiv alla koos tarkvarapaketiga Rclone Windowsi jaoks ja pakkige see lahti. 

Järgmisena käivitage Windowsi käsurearežiimis käsk, et minna ekstraktitud failidega kausta. Minu jaoks asub see administraatori kodukaustas:

C:UsersAdministrator>cd rclone

Pärast üleminekut täidame käsu Rclone'i käivitamiseks Web-GUI-st:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

kus "sisselogimine" ja "parool" on teie määratud sisselogimine ja parool, loomulikult ilma jutumärkideta.

Käsu täitmisel kuvatakse terminal

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

ja Rclone graafiline veebiliides avaneb brauseris automaatselt.

Hoolimata asjaolust, et Web-GUI on alles testversiooni staadiumis ega oma veel kõiki Rclone'i haldusvõimalusi, mis käsurea liidesel on, on selle võimalused andmete migratsiooniks täiesti piisavad. Ja isegi natuke rohkem.

reguleerimine

Järgmine samm on luua ühendused saitidega, kus andmed asuvad või asuvad. Ja järjekorras esimene on peamine andmevastuvõtja - Nextcloud.

1. Selleks minge jaotisse Konfigureerib Veeb-GUI. 

2. Uue konfiguratsiooni loomise algatamine - nupp Uus konfiguratsioon.

3. Määrake saidi nimi - väli Selle draivi nimi (teie viitamiseks): Nextcloud.

4. Salvestusruumi tüübi või tüübi valimine valima: Nextcloudi ja Owncloudi puhul on peamine andmevahetusliides WebDAV.

5. Järgmisena klõpsake nuppu Samm: seadistamine draivi, avage ühenduse parameetrite loend ja täitke. 

- 5.1. http-hosti URL URL-iga ühenduse loomiseks — WebDAV-liidese hüpertekstilink. Nextcloudis asuvad need seadetes - liidese vasakus alanurgas.
- 5.2. Teie kasutatava Webdavi saidi/teenuse/tarkvara nimi — WebDAV-liidese nimi. Väli on valikuline, enda jaoks, et mitte segadusse sattuda, kui selliseid seoseid on palju.
- 5.3 kasutajanimi — autoriseerimiseks kasutajanimi
- 5.4. Parool — Parool autoriseerimiseks
- 5.5. Kasutaja/pääsme asemel kandjamärk (nt Macaroon) ja esitaja märgi saamiseks käsk käivitada täpsemates valikutes on lisaparameetrid ja autoriseerimiskäsud. Minu Nextcloudis neid ei kasutata.

6. Järgmine klõps Loo konfiguratsioon ja veendumaks, et konfiguratsioon on loodud, minge jaotisse Konfig veebiliides... Sama lehe kaudu saab vastloodud konfiguratsiooni kustutada või redigeerida.

Saidiga ühenduse toimimise kontrollimiseks minge jaotisse uurija... Väljas Kaugjuhtimispuldid sisestage konfigureeritud saidi nimi ja klõpsake nuppu avatud. Kui näete failide ja kataloogide loendit, siis ühendus saidiga töötab.

Veenvamaks muutmiseks saate veebiliidese kaudu luua/kustutada kausta või faili alla laadida/kustutada.

Teine ühendatav platvorm on Yandexi ketas.

• Esimesed neli sammu on sarnased Nextcloudi ühendusprotsessiga.
• Järgmiseks jätame kõik nii nagu on, st põllud sisse 2. samm: seadistage draiv Jätame need tühjaks ega muuda täpsemates valikutes midagi.
• Me vajutame Loo konfiguratsioon.
• Brauseris avaneb Yandexi autoriseerimisleht, mille järel saate teate eduka ühenduse kohta ja pakkumise Rclone'i naasta.
• Mida me teeme, kontrollime jaotist config.

Ränne

Kui meil on kaks saiti ühendatud, saame juba andmeid nende vahel migreerida. Protsess ise sarnaneb Nextcloudiga ühenduse funktsionaalsuse kontrollimisega, mille me varem tegime.

• Minema uurija.
• Malli valimine 2-kõrvuti.
• Igas neist Kaugjuhtimispuldid märkige oma saidi nimi.
• Me vajutame avatud.
• Näeme igaühe jaoks failide ja kaustade kataloogi.

Migratsiooniprotsessi alustamiseks ei jää üle muud, kui valida andmeallika kataloogis soovitud failidega kaust ja lohistada see hiirega sihtkataloogi.

Ülejäänud saitide lisamise ja nendevahelise andmete migreerimise mehhanism sarnaneb ülaltoodud toimingutega. Kui teil tekib töö käigus vigu, saate nende üksikasju uurida terminalis, kus töötab Rclone koos Web-GUI-ga.

Üldiselt dokumentatsioon Rclone on ulatuslik ja saadaval veebisaidil ja Internetis ning ei tohiks kasutamisel raskusi tekitada. Sellega pean esimese postituse failide ühest pilvest teise ülekandmise kohta arvutist mööda minnes lõpetatuks.

PS Kui te ei ole viimase väitega nõus, kirjutage kommentaaridesse: milline “teemat ei käsitleta” ja mis mõttes tasub jätkata.

Allikas: www.habr.com