Hvernig á að flytja skrár úr einu skýi í annað án þess að fara í gegnum tölvuna þína

Dauði, skilnaður og flutningur eru þrjár mest streituvaldandi aðstæður í lífi hvers manns.
"Amerísk hryllingssaga".

- Andryukh, ég er að fara að heiman, hjálpaðu mér að flytja, allt passar ekki við mig :(
- Allt í lagi, hvað eru þeir margir?
— Tonn* 7-8...
*Ton (jarg) - Terabæti.

Nýlega, þegar ég vafraði á netinu, tók ég eftir því að þrátt fyrir að mikið efni væri til staðar á Habré og svipuðum gögnum um aðferðir og líkön til að flytja ýmiss konar gögn, þá birtast spurningar um þetta efni enn á netinu. Sem af einhverjum ástæðum fá ekki alltaf nákvæm svör. Þessi staðreynd varð til þess að ég tók einn daginn að safna athugasemdum um framkvæmd svipaðrar lausnar og raða þeim í formi sérstakrar færslu.

Almennt séð þarf ég að flytja gögn úr einu tæki, kerfi og þjónustu í annað með einhverri pirrandi tíðni. Sem, með prufa og villa, gerði mér ekki aðeins kleift að kynnast mörgum áhugaverðum vörum, heldur einnig að finna jafnvægi á milli virkni og kostnaðar við lausnina sem ég vil tala um

Hönnun

Eins og það kom í ljós vegna hönnunar- og könnunarvinnu, veltur gæði og skilvirkni flutningsferlisins ekki aðeins á tæknilegum eiginleikum „staðanna“ þar sem gögnin eru eða verða staðsett, heldur einnig af líkamlegri staðsetningu þeirra.

Flutningastjóri er tölvuhnút þar sem „rökfræði“ ferlisins – hugbúnaður til að stjórna flutningi – virkar á.

Það er, það eru tvær gerðir til að setja „flutningastjóra“

• Fyrirmynd A. Ef aðeins er hægt að nálgast að minnsta kosti eina af síðunum innan staðarnetsins, þá er það þess virði að setja „flutningsstjóra“ á sama net. Vegna þess að afköst og flutningstími takmarkast enn af hraða og spennutíma rásarinnar sem tengir síðurnar.
• Fyrirmynd B. Ef bæði uppspretta og móttakandi gagna hafa aðgang utan staðarnetsins, þá ætti „flutningsstjórinn“ að vera staðsettur þar sem hraði og spenntur rásarinnar á milli þeirra verður augljóslega betri.

Til þess að sundra ofangreindu á einhvern hátt, legg ég til að fara aftur í verkefnin frá aðalspurningu greinarinnar og formfesta þau í tækniforskriftir.

Fyrst þarf ég að komast að því hvort hugbúnaðurinn sem ég er að nota styður ský: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Stutta svarið er: "JÁ!"

ég nota klóna.

Rclone - rsync fyrir skýjageymslu. Opinn hugbúnaður sem er hannaður til að samstilla skrár og möppur með meira en 45 tegundum og gerðum geymslu.

Hér eru aðeins nokkrar þeirra:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Ceph
—Digital Ocean Spaces
-Dropbox
- Google skýjageymsla
- Google Drive
- Google myndir
- HTTP
-IBM COS S3
- Mail.ru Cloud
— Mega
- Microsoft Azure Blob Geymsla
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
- ownCloud
- Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
- Yandex diskur

Helstu virkni:
— Athugun á heilleika skráa með því að nota MD5/SHA1 kjötkássa.
— Vistar tímastimpla til að búa til / breyta skrám.
- Styður samstillingu að hluta.
— Afritar aðeins nýjar skrár.
— Samstilling (aðra leið).
— Athugaðu skrár (með kjötkássa).
- Geta til að samstilla frá einum skýjareikningi til annars.
- Stuðningur við dulkóðun.
- Stuðningur við staðbundna vistun skráa.
— Geta til að tengja skýjaþjónustu í gegnum FUSE.

Ég bæti því við á eigin spýtur að Rclone hjálpar mér líka að leysa stóran hluta vandamála sem tengjast sjálfvirkri öryggisafritun gagna í verkefnið "Väinämöinen".

Næsta verkefni er að velja staðsetningarlíkan „flutningsstjóra“.

Allar gagnaveitur, sem eru ýmsar opinberar skýjaþjónustur, eru aðgengilegar í gegnum internetið. Þar á meðal í gegnum API. Tveir af hverjum þremur viðtækjum gera slíkt hið sama. Það er ekki ljóst hvar Nextcloud sjálft er notað og hvaða aðgangur er í boði fyrir það?

Ég taldi fimm mögulega valkosti:

1. Á þínum eigin netþjóni á heimili þínu/fyrirtækjaneti.
2. Á þínum eigin netþjóni í leigðri rekki í gagnaveri þjónustuveitunnar.
3. Á netþjóni sem er leigður hjá þjónustuaðila.
4. Á sýndarþjóni (VDS/VPS) hjá þjónustu-/hýsingaraðila 
5. Frá þjónustuveitanda samkvæmt SaaS líkaninu

Með hliðsjón af því að Nextcloud er enn hugbúnaður til að búa til og nota skýjageymslu, getum við örugglega sagt að aðgangur að því í gegnum internetið sé í boði í öllum fimm valkostunum. Og í þessu tilfelli mun ákjósanlega líkanið til að setja „flutningsstjóra“ vera - módel B.

Samkvæmt líkaninu sem er valið sem vettvangur fyrir „flutningastjórann“ mun ég velja einn af bestu, frá mínu sjónarhorni, valmöguleikum - sýndarþjónn í M9 gagnaver Stærsti netumferðarskiptastaður Rússlands, MSK-IX.

Þriðja ákvörðunin sem þarf að taka er að ákveða uppsetningu sýndarþjónsins. 

Þegar þú velur VDS stillingarfæribreytur þarftu að hafa að leiðarljósi nauðsynlegan árangur, sem fer eftir breidd rásanna á milli vefsvæða, fjölda og stærð skráa sem verið er að flytja, fjölda flutningsstrauma og stillingum. Hvað stýrikerfið varðar, þá er Rclone hugbúnaður á milli palla sem keyrir á ýmsum stýrikerfum, þar á meðal Windows og Linux.

Ef þú ætlar að hefja nokkur flutningsferli, og jafnvel á ákveðinni tíðni, þá er það þess virði að íhuga möguleika á að leigja VDS með greiðslu fyrir auðlindir.

sköpun

Byggt á ofangreindu, þegar ég bjó til frumgerðina fyrir þessa grein, valdi ég VDS í eftirfarandi uppsetningu.

kostar 560 rúblur á mánuði. þar á meðal 15% afsláttur með afsláttarmiða EKKERT STRESS.

Þetta val er vegna þess að auðveldara er að stilla hnút undir Windows OS, til að uppfylla skilyrði tækniforskrifta okkar en fyrir önnur stýrikerfi sem hægt er að panta.

Offtopic: Við the vegur, til að auka öryggi, er þessum sýndarþjóni úthlutað einum af hnútunum öruggt sýndarnet. og aðgangur að því í gegnum RDP er aðeins leyfður þaðan...

Eftir að hafa búið til VDS og fengið aðgang að skjáborðinu í gegnum RDP er það fyrsta sem þú þarft að gera að undirbúa umhverfið fyrir Rclone og Web-GUI. Þeir. setja upp nýjan sjálfgefinn vafra, til dæmis Chrome, þar sem upphaflega uppsetti IE 11, því miður, virkar ekki alltaf rétt með hugbúnaðinum sem notaður er. 

Eftir að hafa undirbúið umhverfið skaltu hlaða niður skjalasafninu með hugbúnaðarpakkanum Rclone fyrir Windows og pakka því upp. 

Næst, í Windows skipanalínuham, keyrðu skipunina til að fara í möppuna með útdrættu skránum. Fyrir mig er það staðsett í heimamöppu stjórnandans:

C:UsersAdministrator>cd rclone

Eftir umskiptin framkvæmum við skipunina til að ræsa Rclone frá vef-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

þar sem „innskráning“ og „lykilorð“ eru innskráningin og lykilorðið sem þú tilgreindir, auðvitað án gæsalappa.

Þegar skipunin er framkvæmd birtist flugstöðin

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

og Rclone grafíska vefviðmótið opnast sjálfkrafa í vafranum.

Þrátt fyrir þá staðreynd að vef-GUI er enn á prófunarstigi og hefur ekki enn alla Rclone stjórnunarmöguleika sem skipanalínuviðmótið hefur, er möguleiki þess alveg nægjanlegur fyrir gagnaflutning. Og jafnvel aðeins meira.

aðlögun

Næsta skref er að setja upp tengingar við þær síður þar sem gögnin eru eða verða staðsett. Og sá fyrsti í röðinni verður aðal gagnamóttakarinn - Nextcloud.

1. Til að gera þetta, farðu í hlutann Stillingar Vef-GUI. 

2. Að hefja stofnun nýrrar stillingar - hnappur Ný stilling.

3. Stilltu nafn vefsvæðisins - reit Nafn þessa drifs (til viðmiðunar): Nextcloud.

4. Val á gerð eða gerð geymslu Veldu: Fyrir Nextcloud og Owncloud er aðalgagnaskiptaviðmótið WebDAV.

5. Næst skaltu smella á Skref 2: Uppsetning drif, opnaðu lista yfir tengibreytur og fylltu út. 

- 5.1. Slóð http host til að tengjast URL — stiklutengil á WebDAV viðmótinu. Í Nextcloud eru þau staðsett í stillingunum - neðra vinstra horninu á viðmótinu.
- 5.2. Heiti Webdav síðunnar/þjónustunnar/hugbúnaðarins sem þú ert að nota — WebDAV viðmótsheiti. Reiturinn er valfrjáls, fyrir þig, til að ruglast ekki ef það eru margar slíkar tengingar.
- 5.3 Notandanafn — Notendanafn fyrir heimild
- 5.4. Lykilorð — Lykilorð fyrir heimild
- 5.5. Bearer token í stað notanda/passa (td makrónu) og skipun til að hlaupa til að fá burðartákn í háþróuðum valkostum eru viðbótarfæribreytur og heimildarskipanir. Þeir eru ekki notaðir í Nextcloud mínum.

6. Næsti smellur Búðu til stillingar og til að ganga úr skugga um að uppsetningin sé búin til skaltu fara í hlutann Config vefviðmót... Í gegnum sömu síðu er hægt að eyða eða breyta nýstofnuðu stillingunum.

Til að athuga virkni tengingarinnar við síðuna skaltu fara í hlutann Explorer... Á sviði Fjarlægðir sláðu inn nafn stilltrar síðu og smelltu Opna. Ef þú sérð lista yfir skrár og möppur virkar tengingin við síðuna.

Til að vera sannfærandi geturðu búið til/eytt möppu eða hlaðið niður/eytt skrá í gegnum vefviðmótið.

Annar vettvangurinn sem verður tengdur verður Yandex diskur.

• Fyrstu fjögur skrefin eru svipuð Nextcloud tengingarferlinu.
• Næst látum við allt vera eins og það er, það er að segja reitina inni Skref 2: Settu upp drif Við skiljum þá eftir tóma og breytum engu í háþróuðu valkostunum.
• Við ýtum á Búðu til Config.
• Yandex heimildarsíðan opnast í vafranum, eftir það færðu skilaboð um árangursríka tengingu og tilboð um að fara aftur til Rclone.
• Það sem við gerum er að athuga kaflann Config.

Flutningur

Þegar við erum með tvær síður tengdar getum við nú þegar flutt gögn á milli þeirra. Ferlið sjálft er svipað og að athuga virkni tengingarinnar við Nextcloud, sem við framkvæmdum áðan.

• Fara til Explorer.
• Að velja sniðmát 2 hlið við hlið.
• Í hverri af Fjarlægðir tilgreindu nafn síðunnar þinnar.
• Við ýtum á Opna.
• Við sjáum skrá yfir skrár og möppur fyrir hverja þeirra.

Til að hefja flutningsferlið er allt sem eftir er að velja möppuna sem óskað er eftir með skrám í gagnasafnsskránni og draga hana með músinni að áfangaskránni.

Aðgerðin til að bæta við síðunum sem eftir eru og flytja gögn á milli þeirra er svipað og aðgerðirnar sem gerðar eru hér að ofan. Ef þú lendir í villum meðan á vinnu stendur geturðu kynnt þér upplýsingar um þær í flugstöðinni þar sem Rclone með Web-GUI er í gangi.

Almennt séð eru skjölin fyrir klóna er umfangsmikið og aðgengilegt á vefsíðunni og á netinu og ætti ekki að valda erfiðleikum í notkun. Með þessu lít ég á fyrstu færsluna um hvernig á að flytja skrár frá einu skýi í annað, framhjá tölvunni þinni, lokið.

PS Ef þú ert ekki sammála síðustu fullyrðingunni skaltu skrifa í athugasemdirnar: hvaða "efni er ekki fjallað um" og í hvaða anda það er þess virði að halda áfram.

Heimild: www.habr.com