Ki jan yo transfere dosye soti nan yon nwaj nan yon lòt san yo pa ale nan PC ou

Lanmò, divòs, ak demenaje se twa nan sitiyasyon ki pi estrès nan lavi nenpòt moun.
"Istwa laterè Ameriken".

- Andryukh, mwen pral kite kay la, ede m deplase, tout bagay p ap anfòm avè m ' :(
- Dakò, konbyen yo genyen?
— Tòn* 7-8...
*Tòn (jarg) - Terabyte.

Dènyèman, pandan m ap navige sou Entènèt la, mwen remake ke malgre disponiblite sou Habré ak resous menm jan an nan yon anpil nan materyèl sou metòd ak modèl pou migrasyon divès kalite done, kesyon sou sijè sa a toujou parèt sou entènèt la. Ki, pou kèk rezon, pa toujou resevwa repons detaye. Reyalite sa a te pouse m 'yon jou kolekte nòt sou aplikasyon an nan yon solisyon menm jan an epi fè aranjman pou yo nan fòm lan nan yon pòs separe.

An jeneral, mwen oblije transfere done ki sòti nan yon aparèy, sistèm ak sèvis nan yon lòt ak kèk frekans anmèdan. Ki, atravè esè ak erè, pèmèt mwen pa sèlman fè konesans ak yon anpil nan pwodwi enteresan, men tou, jwenn yon balans ant fonctionnalités ak pri nan solisyon an mwen vle pale sou.

Проектирование

Kòm li te tounen soti kòm yon rezilta nan konsepsyon ak travay sondaj, bon jan kalite a ak efikasite nan pwosesis migrasyon an depann pa sèlman sou karakteristik sa yo teknik nan "sit yo" kote done yo ye oswa yo pral lokalize, men tou, sou kote fizik yo.

Manadjè Migrasyon an se yon ne informatique kote "lojik" pwosesis la-lojisyèl pou jere migrasyon-fonksyon.

Sa vle di, gen de modèl pou mete yon "manadjè migrasyon"

• Modèl A. Si omwen youn nan sit yo kapab sèlman jwenn aksè nan rezo lokal la, Lè sa a, li vo mete yon "manadjè migrasyon" sou menm rezo a. Paske pèfòmans ak tan migrasyon an toujou limite pa vitès ak disponiblite kanal ki konekte sit yo.
• Modèl B. Si tou de sous la ak reseptè done yo gen aksè deyò rezo lokal la, Lè sa a, "manadjè migrasyon an" ta dwe lokalize kote vitès la ak disponiblite nan kanal la ant yo pral evidamman pi bon.

Yo nan lòd yo yon jan kanmenm dekonpoze pi wo a, mwen pwopoze pou retounen nan travay yo soti nan kesyon prensipal la nan atik la ak fòmalize yo nan espesifikasyon teknik.

Premyèman, mwen bezwen chèche konnen si lojisyèl m ap itilize a sipòte nyaj: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Repons kout la se: "WI!"

Mwen itilize Rklon.

Rclone - rsync pou depo nwaj. Lojisyèl Open Source ki fèt pou senkronize dosye ak dosye ak plis pase 45 kalite ak kalite depo.

Men jis kèk nan yo:
— Alibaba Cloud (Aliyun) Sistèm Depo objè (OSS)
- Amazon S3
—Seph
— Espas Digital Ocean
— Dropbox
- Google Cloud Depo
- Google Drive
- Google Foto
- HTTP
-IBM COS S3
— Mail.ru Cloud
— Mega
- Microsoft Azure Blob Depo
- Microsoft OneDrive
— Minio
- Nextcloud
- Openstack Swift
— Oracle Cloud Depo
- ownCloud
— Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
- Yandex Disk

Fonksyonalite prensipal:
— Tcheke entegrite fichye yo lè l sèvi avèk hachaj MD5/SHA1.
— Ekonomize timestamps pou kreye/chanje fichye yo.
- Sipòte senkronizasyon pasyèl.
— Kopi nouvo dosye sèlman.
— Senkronizasyon (yon sèl-fason).
— Tcheke dosye (pa hash).
— Kapasite pou senkronize soti nan yon kont nwaj nan yon lòt.
- Sipò chifreman.
- Sipò pou kachèt dosye lokal yo.
— Kapasite pou monte sèvis nwaj atravè FUSE.

Mwen pral ajoute poukont mwen ke Rclone ede m tou rezoud pwoblèm lyon an ki gen rapò ak otomatize backup done nan pwojè "Väinämöinen".

Pwochen travay la se chwazi yon modèl plasman "manadjè migrasyon".

Tout sous done, ki se divès kalite sèvis nwaj piblik, yo aksesib sou Entènèt la. Ki gen ladan atravè API a. De sou twa reseptè fè menm bagay la. Li pa klè ki kote Nextcloud tèt li deplwaye ak ki aksè ki disponib pou li?

Mwen konte senk opsyon posib:

1. Sou sèvè pwòp ou a nan rezo lakay ou / antrepriz.
2. Sou sèvè pwòp ou a nan yon etajè lwe nan sant done founisè sèvis la.
3. Sou yon sèvè lwe nan men yon founisè sèvis.
4. Sou yon sèvè vityèl (VDS/VPS) ak yon founisè sèvis/hébergement 
5. Soti nan founisè sèvis la dapre modèl SaaS la

Lè nou konsidere ke Nextcloud se toujou lojisyèl pou kreye ak itilize depo nwaj, nou ka di san danje ke aksè a li atravè Entènèt la disponib nan tout senk opsyon. Ak nan ka sa a, modèl la pi bon pou mete yon "manadjè migrasyon" yo pral - modèl B.

Dapre modèl la chwazi kòm yon platfòm pou "manadjè migrasyon an", mwen pral chwazi youn nan opsyon ki pi bon, nan pwen de vi mwen - yon sèvè vityèl nan Sant done M9 Pi gwo pwen echanj trafik entènèt Larisi a MSK-IX.

Desizyon an twazyèm ki bezwen fè se deside sou konfigirasyon nan sèvè vityèl. 

Lè w ap chwazi paramèt konfigirasyon VDS, ou bezwen gide pa pèfòmans ki nesesè yo, ki depann de lajè chanèl ki genyen ant sit yo, kantite ak gwosè dosye yo deplase, kantite kouran migrasyon ak anviwònman yo. Kòm pou eksplwatasyon an, Rclone se lojisyèl kwa-platfòm ki kouri sou divès sistèm opere, ki gen ladan Windows ak Linux.

Si w gen plan pou lanse plizyè pwosesis migrasyon, e menm nan yon sèten frekans, Lè sa a, li vo konsidere opsyon pou lwe yon VDS ak peman pou resous yo.

kreyasyon

Ki baze sou pi wo a, lè kreye pwototip pou atik sa a, mwen te chwazi VDS nan konfigirasyon sa a.

koute 560 rubles / mwa. ki gen ladan 15% rabè lè l sèvi avèk koupon NOSTRESS.

Chwa sa a se akòz lefèt ke yon ne anba Windows OS, yo nan lòd yo konfòme yo ak kondisyon yo nan espesifikasyon teknik nou an, se pi fasil yo konfigirasyon pase pou lòt OS ki disponib pou lòd.

Offtopic: By wout la, pou pi gwo sekirite, se sèvè vityèl sa a asiyen nan youn nan nœuds yo rezo vityèl an sekirite. ak aksè a li atravè RDP pèmèt sèlman soti nan la ...

Apre ou fin kreye yon VDS ak jwenn aksè nan Desktop la atravè RDP, premye bagay ou bezwen fè se prepare anviwònman an pou Rclone ak Web-GUI. Moun sa yo. enstale yon nouvo navigatè default, pou egzanp Chrome, depi okòmansman enstale IE 11, malerezman, pa toujou travay kòrèkteman ak lojisyèl yo itilize a. 

Apre w fin prepare anviwònman an, telechaje achiv la ak pake lojisyèl an Rclone pou Windows epi debake li. 

Apre sa, nan mòd liy lòd Windows, egzekite lòd pou ale nan katab la ak dosye yo ekstrè. Pou mwen, li sitiye nan katab lakay administratè a:

C:UsersAdministrator>cd rclone

Apre tranzisyon an, nou egzekite lòd pou lanse Rclone soti nan Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

kote "login" ak "modpas" se login ak modpas ou espesifye, nan kou, san quotes.

Lè yo fin egzekite lòd la, tèminal la parèt

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

ak Rclone grafik koòdone wèb la otomatikman louvri nan navigatè a.

Malgre lefèt ke Web-GUI a toujou nan etap vèsyon tès la epi li poko gen tout kapasite jesyon Rclone ke koòdone liy lòd la genyen, kapasite li yo ase pou migrasyon done. E menm yon ti kras plis.

ajisteman

Pwochen etap la se mete kanpe koneksyon ak sit kote done yo ye oswa yo pral lokalize. Ak premye nan liy yo pral reseptè done prensipal la - Nextcloud.

1. Pou fè sa, ale nan seksyon an Konfig Web-GUI. 

2. Kòmanse kreyasyon yon nouvo konfigirasyon - bouton Nouvo konfigirasyon.

3. Mete non sit la - jaden Non kondwi sa a (Pou referans ou): Nextcloud.

4. Chwazi kalite oswa kalite depo chwazi: Pou Nextcloud ak Owncloud, prensipal koòdone echanj done se WebDAV.

5. Apre sa, klike sou Etap 2: Enstalasyon kondwi, louvri lis la nan paramèt koneksyon ak ranpli nan. 

- NAN. URL lame http pou konekte avèk URL - lyen ipètèks nan koòdone WebDAV la. Nan Nextcloud yo sitiye nan anviwònman yo - pi ba kwen gòch nan koòdone la.
- NAN. Non sit/sèvis/lojisyèl Webdav w ap itilize a — Non koòdone WebDAV. Jaden an se opsyonèl, pou tèt ou, pou yo pa jwenn konfonn si gen anpil koneksyon sa yo.
- 5.3 Non itilizatè — Non itilizatè pou otorizasyon
- NAN. Modpas — Modpas pou otorizasyon
- NAN. Bearer siy olye de itilizatè/pase (egzanp yon makawon) ak Kòmandman pou kouri pou jwenn yon siy pote. nan opsyon avanse gen paramèt adisyonèl ak kòmandman otorizasyon. Yo pa itilize nan Nextcloud mwen an.

6. Next klike sou Kreye konfigirasyon epi asire w ke konfigirasyon an kreye, ale nan seksyon an Konfigirasyon koòdone entènèt... Atravè menm paj la, konfigirasyon ki fèk kreye a ka efase oswa modifye.

Yo nan lòd yo tcheke fonksyonalite a nan koneksyon an nan sit la, ale nan seksyon an Explorer... Nan jaden Telekomand antre non an nan sit la configuré epi klike sou louvri. Si ou wè yon lis dosye ak repèrtwar, koneksyon an nan sit la ap travay.

Pou plis konvenk, ou ka kreye / efase yon katab oswa telechaje / efase yon dosye atravè koòdone entènèt la.

Dezyèm platfòm yo dwe konekte yo pral Yandex disk.

• Premye kat etap yo sanble ak pwosesis koneksyon Nextcloud la.
• Apre sa, nou kite tout bagay jan yo ye, se sa ki, jaden yo nan Etap 2: Enstalasyon kondwi Nou kite yo vid epi nou pa chanje anyen nan opsyon avanse yo.
• Nou peze Kreye konfigirasyon.
• Paj otorizasyon Yandex la louvri nan navigatè a, apre sa ou resevwa yon mesaj sou koneksyon siksè ak yon òf pou retounen nan Rclone.
• Sa nou fè se tcheke seksyon an Config.

Migrasyon

Lè nou gen de sit ki konekte, nou ka deja emigre done ant yo. Pwosesis la tèt li sanble ak tcheke fonksyonalite koneksyon an nan Nextcloud, ke nou te pote soti pi bonè.

• Ale nan Explorer.
• Chwazi yon modèl 2-kòt a kòt.
• Nan chak nan Telekomand endike non sit ou a.
• Nou peze louvri.
• Nou wè yon anyè nan dosye ak dosye pou chak nan yo.

Pou kòmanse pwosesis migrasyon an, tout sa ki rete se chwazi katab la vle ak dosye nan anyè sous done a epi trennen li ak sourit la nan anyè destinasyon an.

Mekanis pou ajoute sit ki rete yo ak migrasyon done ant yo sanble ak operasyon yo fè pi wo a. Si ou rankontre erè pandan travay ou, ou ka etidye detay sou yo nan tèminal kote Rclone ak Web-GUI ap kouri.

An jeneral, dokiman an pou Rklon se vaste epi ki disponib sou sit entènèt la ak sou entènèt la, epi li pa ta dwe lakòz okenn difikilte nan itilize. Avèk sa a, mwen konsidere premye pòs la sou kòman yo transfere dosye soti nan yon nwaj nan yon lòt, contournement PC ou, konplè.

PS Si ou pa dakò ak dènye deklarasyon an, ekri nan kòmantè yo: ki "sijè ki pa kouvri" ak nan ki sans li vo kontinye.

Sous: www.habr.com