Sut i drosglwyddo ffeiliau o un cwmwl i'r llall gan osgoi'ch cyfrifiadur personol

Marwolaeth, ysgariad a symud yw tair o'r sefyllfaoedd mwyaf dirdynnol ym mywyd unrhyw berson.
"Stori Arswyd Americanaidd".

- Andryukh, rwy'n gadael cartref, helpwch fi i symud, ni fydd popeth yn cyd-fynd â mi :(
- Iawn, faint sydd yna?
— Tunnell* 7-8...
*Ton (jag) - Terabyte.

Yn ddiweddar, wrth syrffio'r Rhyngrwyd, sylwais, er gwaethaf argaeledd llawer o ddeunyddiau ar Habré ac adnoddau tebyg am ddulliau a modelau ar gyfer mudo gwahanol fathau o ddata, bod cwestiynau ar y pwnc hwn yn dal i ymddangos ar y Rhyngrwyd. Sydd, am ryw reswm, ddim bob amser yn cael atebion manwl. Fe wnaeth y ffaith hon fy ysgogi i un diwrnod gasglu nodiadau ar weithredu datrysiad tebyg a'u trefnu ar ffurf post ar wahân.

Yn gyffredinol, mae'n rhaid i mi drosglwyddo data o un ddyfais, system a gwasanaeth i un arall gyda pheth amlder annifyr. A oedd, trwy brawf a chamgymeriad, wedi fy ngalluogi nid yn unig i ddod yn gyfarwydd â llawer o gynhyrchion diddorol, ond hefyd i ddod o hyd i gydbwysedd rhwng ymarferoldeb a chost yr ateb yr wyf am siarad amdano

Dylunio

Fel y digwyddodd o ganlyniad i waith dylunio ac arolygu, mae ansawdd ac effeithlonrwydd y broses fudo yn dibynnu nid yn unig ar nodweddion technegol y “safleoedd” lle mae'r data wedi'i leoli neu y bydd yn cael ei leoli, ond hefyd ar eu lleoliad ffisegol.

Mae rheolwr mudo yn nod cyfrifiadurol lle mae “rhesymeg” y broses - meddalwedd ar gyfer rheoli mudo - yn gweithredu.

Hynny yw, mae dau fodel ar gyfer gosod “rheolwr mudo”

• Model A. Os mai dim ond o fewn y rhwydwaith lleol y gellir cyrchu o leiaf un o'r gwefannau, yna mae'n werth gosod “rheolwr mudo” ar yr un rhwydwaith. Oherwydd bod y perfformiad a'r amser mudo yn dal i gael eu cyfyngu gan gyflymder a uptime y sianel sy'n cysylltu'r safleoedd.
• Model B. Os oes gan ffynhonnell a derbynnydd y data fynediad y tu allan i'r rhwydwaith lleol, yna dylid lleoli'r “rheolwr mudo” lle mae'n amlwg y bydd cyflymder a uptime y sianel rhyngddynt yn well.

Er mwyn dadelfennu'r uchod rywsut, rwy'n bwriadu dychwelyd at y tasgau o brif gwestiwn yr erthygl a'u ffurfioli i fanylebau technegol.

Yn gyntaf, mae angen i mi ddarganfod a yw'r meddalwedd rwy'n ei ddefnyddio yn cefnogi cymylau: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Yr ateb byr yw: "YDW!"

Rydw i'n defnyddio Rclôn.

Rclone - rsync ar gyfer storio cwmwl. Meddalwedd Ffynhonnell Agored wedi'i chynllunio i gydamseru ffeiliau a ffolderi gyda mwy na 45 o fathau a mathau o storfa.

Dyma ychydig ohonyn nhw:
- System Storio Gwrthrychau Alibaba Cloud (Aliyun) (OSS)
— Amazon S3
— Ceph
—Gofodau Cefnforoedd Digidol
—Blwch gollwng
- Google Cloud Storage
- Google Drive
- Google Photos
- HTTP
-IBM COS S3
— Cwmwl Mail.ru
—Mega
- Storio Microsoft Azure Blob
- Microsoft OneDrive
—Mini
—Nexcloud
- Openstack Swift
- Storio Cwmwl Oracle
— ownCloud
— Ffeiliau Cwmwl Rackspace
- rsync.net
- SFTP
- WebDAV
- Disg Yandex

Prif swyddogaeth:
— Gwirio cywirdeb ffeiliau gan ddefnyddio hashes MD5/SHA1.
— Arbed stampiau amser ar gyfer creu/newid ffeiliau.
- Yn cefnogi cydamseru rhannol.
— Copïo ffeiliau newydd yn unig.
— Cydamseru (un-ffordd).
— Gwirio ffeiliau (trwy hashes).
— Y gallu i gydamseru o un cyfrif cwmwl i'r llall.
- Cefnogaeth amgryptio.
- Cefnogaeth ar gyfer caching ffeiliau lleol.
— Y gallu i osod gwasanaethau cwmwl trwy FUSE.

Ychwanegaf ar fy mhen fy hun fod Rclone hefyd yn fy helpu i ddatrys y gyfran fwyaf o broblemau sy'n ymwneud ag awtomeiddio copi wrth gefn o ddata yn prosiect "Väinämöinen".

Y dasg nesaf yw dewis model lleoli “rheolwr mudo”.

Mae'r holl ffynonellau data, sy'n wasanaethau cwmwl cyhoeddus amrywiol, ar gael trwy'r Rhyngrwyd. Gan gynnwys trwy'r API. Mae dau o bob tri derbynnydd yn gwneud yr un peth. Nid yw'n glir ble mae Nextcloud ei hun yn cael ei ddefnyddio a pha fynediad sydd ar gael iddo?

Fe wnes i gyfri pum opsiwn posib:

1. Ar eich gweinydd eich hun yn eich rhwydwaith cartref/corfforaethol.
2. Ar eich gweinydd eich hun mewn rac ar rent o ganolfan ddata'r darparwr gwasanaeth.
3. Ar weinydd a rentir gan ddarparwr gwasanaeth.
4. Ar weinydd rhithwir (VDS/VPS) gyda darparwr gwasanaeth/cynnal 
5. Gan y darparwr gwasanaeth yn ôl y model SaaS

O ystyried bod Nextcloud yn dal i fod yn feddalwedd ar gyfer creu a defnyddio storfa cwmwl, gallwn ddweud yn ddiogel bod mynediad iddo trwy'r Rhyngrwyd ar gael ym mhob un o'r pum opsiwn. Ac yn yr achos hwn, y model gorau posibl ar gyfer gosod "rheolwr mudo" fydd - model B.

Yn ôl y model a ddewiswyd fel llwyfan ar gyfer y “rheolwr mudo”, byddaf yn dewis un o'r opsiynau gorau posibl, o fy safbwynt i - gweinydd rhithwir yn Canolfan ddata M9 Pwynt cyfnewid traffig Rhyngrwyd mwyaf Rwsia MSK-IX.

Y trydydd penderfyniad y mae angen ei wneud yw penderfynu ar ffurfweddiad y gweinydd rhithwir. 

Wrth ddewis paramedrau cyfluniad VDS, mae angen i chi gael eich arwain gan y perfformiad gofynnol, sy'n dibynnu ar led y sianeli rhwng safleoedd, nifer a maint y ffeiliau sy'n cael eu symud, nifer y ffrydiau mudo a gosodiadau. O ran yr OS, mae Rclone yn feddalwedd traws-lwyfan sy'n rhedeg ar systemau gweithredu amrywiol, gan gynnwys Windows a Linux.

Os ydych chi'n bwriadu lansio nifer o brosesau mudo, a hyd yn oed ar amlder penodol, yna mae'n werth ystyried yr opsiwn o rentu VDS gyda thaliad am adnoddau.

creu

Yn seiliedig ar yr uchod, wrth greu'r prototeip ar gyfer yr erthygl hon, dewisais VDS yn y ffurfweddiad canlynol.

yn costio 560 rubles / mis. gan gynnwys gostyngiad o 15% gan ddefnyddio cwpon NOSTRES.

Mae'r dewis hwn oherwydd y ffaith bod nod o dan Windows OS, er mwyn cydymffurfio ag amodau ein manylebau technegol, yn haws i'w ffurfweddu nag ar gyfer OSes eraill sydd ar gael i'w harchebu.

Offtopic: Gyda llaw, ar gyfer mwy o ddiogelwch, mae'r gweinydd rhithwir hwn wedi'i neilltuo i un o'r nodau rhwydwaith rhithwir diogel. a dim ond oddi yno y caniateir mynediad iddo trwy RDP.

Ar ôl creu VDS a chael mynediad i'r bwrdd gwaith trwy RDP, y peth cyntaf y mae angen i chi ei wneud yw paratoi'r amgylchedd ar gyfer Rclone a Web-GUI. Y rhai. gosod porwr diofyn newydd, er enghraifft Chrome, gan nad yw'r IE 11 a osodwyd i ddechrau, yn anffodus, bob amser yn gweithio'n gywir gyda'r feddalwedd a ddefnyddir. 

Ar ôl paratoi'r amgylchedd, lawrlwythwch yr archif gyda'r pecyn meddalwedd Rclone ar gyfer Windows a'i ddadbacio. 

Nesaf, yn y modd llinell orchymyn Windows, gweithredwch y gorchymyn i fynd i'r ffolder gyda'r ffeiliau sydd wedi'u tynnu. I mi mae wedi ei leoli yn ffolder cartref y gweinyddwr:

C:UsersAdministrator>cd rclone

Ar ôl y trawsnewid, rydym yn gweithredu'r gorchymyn i lansio Rclone o'r Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

lle "mewngofnodi" a "cyfrinair" yw'r mewngofnodi a chyfrinair a nodwyd gennych, wrth gwrs, heb ddyfyniadau.

Ar ôl gweithredu'r gorchymyn, mae'r derfynell yn arddangos

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

ac mae rhyngwyneb gwe graffigol Rclone yn agor yn awtomatig yn y porwr.

Er gwaethaf y ffaith bod y Web-GUI yn dal i fod yn y cam fersiwn prawf ac nad oes ganddo'r holl alluoedd rheoli Rclone sydd gan y rhyngwyneb llinell orchymyn, mae ei alluoedd yn eithaf digonol ar gyfer mudo data. A hyd yn oed ychydig mwy.

addasiad

Y cam nesaf yw sefydlu cysylltiadau â'r safleoedd lle mae'r data wedi'i leoli neu y bydd yn cael ei leoli. A'r cyntaf yn y llinell fydd y prif dderbynnydd data - Nextcloud.

1. I wneud hyn, ewch i'r adran Gosodiadau Gwe-GUI. 

2. Cychwyn creu cyfluniad newydd - botwm Ffurfwedd Newydd.

3. Gosodwch enw'r safle - maes Enw'r gyriant hwn (Ar gyfer eich cyfeirnod): Nextcloud.

4. Dewis y math neu'r math o storfa dewiswch: Ar gyfer Nextcloud ac Owncloud, y prif ryngwyneb cyfnewid data yw WebDAV.

5. Nesaf, cliciwch ar Cam 2: Gosod gyrru, agorwch y rhestr o baramedrau cysylltiad a llenwi. 

- 5.1. URL gwesteiwr http i gysylltu â URL — dolen hyperdestun y rhyngwyneb WebDAV. Yn Nextcloud maent wedi'u lleoli yn y gosodiadau - cornel chwith isaf y rhyngwyneb.
- 5.2. Enw gwefan/gwasanaeth/meddalwedd Webdav rydych chi'n ei ddefnyddio — Enw rhyngwyneb WebDAV. Mae'r maes yn ddewisol, i chi'ch hun, er mwyn peidio â drysu os oes llawer o gysylltiadau o'r fath.
- 5.3 Enw defnyddiwr - Enw defnyddiwr ar gyfer awdurdodi
- 5.4. cyfrinair — Cyfrinair ar gyfer awdurdodi
- 5.5. Tocyn cludwr yn lle defnyddiwr/pas (ee Macarŵn) a Command i redeg i gael tocyn cludwr mewn opsiynau datblygedig mae paramedrau ychwanegol a gorchmynion awdurdodi. Nid ydynt yn cael eu defnyddio yn fy Nextcloud.

6. Cliciwch nesaf Creu config ac i wneud yn siŵr bod y cyfluniad yn cael ei greu, ewch i'r adran Config rhyngwyneb gwe... Trwy'r un dudalen, gellir dileu neu olygu'r ffurfweddiad newydd ei greu.

Er mwyn gwirio ymarferoldeb y cysylltiad â'r wefan, ewch i'r adran Explorer... Yn y maes Remotes rhowch enw'r wefan ffurfweddu a chliciwch agored. Os gwelwch restr o ffeiliau a chyfeiriaduron, mae'r cysylltiad â'r wefan yn gweithio.

I fod yn fwy argyhoeddiadol, gallwch greu / dileu ffolder neu lawrlwytho / dileu ffeil trwy'r rhyngwyneb gwe.

Yr ail blatfform i'w gysylltu fydd disg Yandex.

• Mae'r pedwar cam cyntaf yn debyg i broses cysylltu Nextcloud.
• Nesaf, rydyn ni'n gadael popeth fel y mae, hynny yw, y meysydd i mewn Cam 2: Gosod gyriant Rydyn ni'n eu gadael yn wag ac nid ydyn nhw'n newid unrhyw beth yn yr opsiynau datblygedig.
• Rydym yn pwyso Creu Config.
• Mae tudalen awdurdodi Yandex yn agor yn y porwr, ac ar ôl hynny byddwch chi'n derbyn neges am gysylltiad llwyddiannus a chynnig i ddychwelyd i Rclone.
• Yr hyn a wnawn yw gwirio'r adran config.

Yr ymfudo

Pan fydd gennym ddau safle wedi'u cysylltu, gallwn eisoes fudo data rhyngddynt. Mae'r broses ei hun yn debyg i wirio ymarferoldeb y cysylltiad â Nextcloud, a gynhaliwyd gennym yn gynharach.

• Mynd i Explorer.
• Dewis templed 2 ochr yn ochr.
• Ym mhob un o Remotes nodwch enw eich gwefan.
• Rydym yn pwyso agored.
• Rydym yn gweld cyfeiriadur o ffeiliau a ffolderi ar gyfer pob un ohonynt.

I gychwyn y broses fudo, y cyfan sydd ar ôl yw dewis y ffolder a ddymunir gyda ffeiliau yn y cyfeiriadur ffynhonnell ddata a'i lusgo gyda'r llygoden i'r cyfeiriadur cyrchfan.

Mae'r mecanwaith ar gyfer ychwanegu'r safleoedd sy'n weddill a mudo data rhyngddynt yn debyg i'r gweithrediadau a gyflawnir uchod. Os byddwch yn dod ar draws gwallau yn ystod eich gwaith, gallwch astudio manylion amdanynt yn y derfynell lle mae Rclone gyda Web-GUI yn rhedeg.

Yn gyffredinol, mae'r ddogfennaeth ar gyfer Rclôn yn helaeth ac ar gael ar y wefan ac ar y Rhyngrwyd, ac ni ddylai achosi unrhyw anawsterau wrth ei ddefnyddio. Gyda hyn, rwy'n ystyried y post cyntaf ar sut i drosglwyddo ffeiliau o un cwmwl i'r llall, gan osgoi'ch cyfrifiadur personol, yn gyflawn.

PS Os nad ydych yn cytuno â'r datganiad diwethaf, ysgrifennwch y sylwadau: pa “destun sydd heb ei gynnwys” ac ym mha ffordd y mae'n werth parhau.

Ffynhonnell: hab.com