Il-mewt, id-divorzju, u ċ-ċaqliq huma tlieta mill-aktar sitwazzjonijiet stressanti fil-ħajja ta 'kull persuna.
"Istorja tal-Orrur Amerikan".
- Andryukh, se nitlaq mid-dar, għinni nimxi, kollox mhux se jidħol miegħi :(
- Okay, kemm hemm?
— Tunnellati* 7-8...
*Tun (jarg) - Terabyte.
Riċentement, waqt li nisserfja fuq l-Internet, ndunajt li minkejja d-disponibbiltà fuq Habré u riżorsi simili ta 'ħafna materjali dwar metodi u mudelli għall-migrazzjoni ta' diversi tipi ta 'dejta, mistoqsijiet dwar dan is-suġġett għadhom jidhru fuq l-Internet. Li, għal xi raġuni, mhux dejjem jirċievu tweġibiet dettaljati. Dan il-fatt wassalni biex xi darba niġbor noti dwar l-implimentazzjoni ta 'soluzzjoni simili u nirranġahom fil-forma ta' post separat.
B'mod ġenerali, għandi nittrasferixxi data minn apparat, sistema u servizz għal ieħor b'xi frekwenza tedjanti. Li, permezz ta 'prova u żball, ippermettili mhux biss li niffamiljarizza ruħi ma' ħafna prodotti interessanti, iżda wkoll insib bilanċ bejn il-funzjonalità u l-ispiża tas-soluzzjoni li rrid nitkellem dwarha
Disinn
Kif irriżulta bħala riżultat ta 'xogħol ta' disinn u stħarriġ, il-kwalità u l-effiċjenza tal-proċess ta 'migrazzjoni tiddependi mhux biss fuq il-karatteristiċi tekniċi tas-"siti" fejn id-dejta tkun jew se tkun tinsab, iżda wkoll fuq il-post fiżiku tagħhom.
Il-maniġer tal-migrazzjoni huwa node tal-kompjuter li fuqu taħdem il-"loġika" tal-proċess—softwer għall-ġestjoni tal-migrazzjoni—.
Jiġifieri, hemm żewġ mudelli biex jitqiegħed "maniġer tal-migrazzjoni"
- Mudell A. Jekk mill-inqas wieħed mis-siti jista 'jkun aċċessat biss minn ġewwa n-netwerk lokali, allura ta' min ipoġġi "maniġer tal-migrazzjoni" fuq l-istess netwerk. Minħabba li l-prestazzjoni u l-ħin tal-migrazzjoni għadhom limitati mill-veloċità u l-uptime tal-kanal li jgħaqqad is-siti.
- Mudell B. Jekk kemm is-sors kif ukoll ir-riċevitur tad-dejta għandhom aċċess barra n-netwerk lokali, allura l-"maniġer tal-migrazzjoni" għandu jkun jinsab fejn il-veloċità u l-uptime tal-kanal bejniethom ovvjament ikunu aħjar.
Sabiex b'xi mod niddekomponi dak ta 'hawn fuq, nipproponi li terġa' lura għall-kompiti mill-mistoqsija ewlenija tal-artikolu u tifformalizzahom fi speċifikazzjonijiet tekniċi.
L-ewwel, għandi nsib jekk is-softwer li qed nuża jappoġġjax is-sħab: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
It-tweġiba qasira hija: "IVA!"
jien nuża .
Rclone - rsync għall-ħażna tas-sħab. Softwer Open Source iddisinjat biex jissinkronizza fajls u folders b'aktar minn 45 tip u tip ta 'ħażna.
Hawn huma biss ftit minnhom:
— Alibaba Cloud (Aliyun) Sistema ta' Ħażna ta' Oġġetti (OSS)
- Amazon S3
— Ceph
—DigitalOcean Spazji
—Dropbox
- Google Cloud Storage
- Google Drive
- Google Ritratti
- HTTP
-IBM COS S3
— Mail.ru Cloud
—Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Fajls ta' Rackspace Cloud
- rsync.net
- SFTP
- WebDAV
— Yandex Disk
Funzjonalità ewlenija:
— Iċċekkjar tal-integrità tal-fajls bl-użu tal-hashes MD5/SHA1.
— Iffrankar ta' timestamps għall-ħolqien/bdil ta' fajls.
- Jappoġġja sinkronizzazzjoni parzjali.
— Tikkopja biss fajls ġodda.
— Sinkronizzazzjoni (one-way).
— Iċċekkjar tal-fajls (b'hashes).
— Kapaċità li tissinkronizza minn kont tal-cloud għal ieħor.
- Appoġġ ta 'kriptaġġ.
- Appoġġ għall-caching tal-fajls lokali.
— Kapaċità li jintramaw servizzi cloud permezz tal-FUSE.
Jien inżid waħdi li Rclone jgħinni wkoll insolvi l-akbar għadd ta' problemi relatati mal-awtomatizzazzjoni tal-backup tad-dejta f' .
Il-kompitu li jmiss huwa li tagħżel mudell ta 'tqegħid ta' "maniġer tal-migrazzjoni".
Is-sorsi kollha tad-dejta, li huma diversi servizzi pubbliċi tal-cloud, huma aċċessibbli permezz tal-Internet. Inkluż permezz tal-API. Tnejn minn kull tliet riċevituri jagħmlu l-istess. Mhuwiex ċar fejn Nextcloud innifsu huwa skjerat u liema aċċess huwa disponibbli għalih?
Għaddejt ħames għażliet possibbli:
- Fuq is-server tiegħek fid-dar tiegħek/netwerk korporattiv.
- Fuq is-server tiegħek stess fi rack mikrija taċ-ċentru tad-dejta tal-fornitur tas-servizz.
- Fuq server mikrija mingħand fornitur tas-servizz.
- Fuq server virtwali (VDS/VPS) ma’ fornitur tas-servizz/hosting
- Mill-fornitur tas-servizz
Meta wieħed iqis li Nextcloud għadu softwer għall-ħolqien u l-użu tal-ħażna tas-sħab, nistgħu ngħidu b'mod sikur li l-aċċess għalih permezz tal-Internet huwa disponibbli fil-ħames għażliet kollha. U f'dan il-każ, l-aħjar mudell għat-tqegħid ta '"maniġer tal-migrazzjoni" se jkun - mudell B.
Skont il-mudell magħżul bħala pjattaforma għall-"maniġer tal-migrazzjoni", se nagħżel waħda mill-aħjar għażliet, mill-perspettiva tiegħi - server virtwali f' L-akbar punt tal-iskambju tat-traffiku tal-Internet tar-Russja MSK-IX.
It-tielet deċiżjoni li trid tittieħed hija li tiddeċiedi dwar il-konfigurazzjoni tas-server virtwali.
Meta tagħżel il-parametri tal-konfigurazzjoni tal-VDS, jeħtieġ li tkun iggwidat mill-prestazzjoni meħtieġa, li tiddependi fuq il-wisa 'tal-kanali bejn is-siti, in-numru u d-daqs tal-fajls li qed jiġu mċaqalqa, in-numru ta' flussi ta 'migrazzjoni u settings. Fir-rigward tal-OS, Rclone huwa softwer multi-pjattaforma li jaħdem fuq diversi sistemi operattivi, inklużi Windows u Linux.
Jekk qed tippjana li tniedi diversi proċessi ta 'migrazzjoni, u anke f'ċerta frekwenza, allura ta' min tikkunsidra l-għażla li tikri VDS bi ħlas għar-riżorsi.
ħolqien
Ibbażat fuq dan ta 'hawn fuq, meta ħoloq il-prototip għal dan l-artikolu, għażilt VDS fil-konfigurazzjoni li ġejja.
jiswa 560 rublu / xahar. inkluż 15% skont bl-użu tal-kupun NOSTRESS.
Din l-għażla hija dovuta għall-fatt li node taħt Windows OS, sabiex jikkonforma mal-kundizzjonijiet tal-ispeċifikazzjonijiet tekniċi tagħna, huwa aktar faċli biex jiġi kkonfigurat milli għal OSs oħra disponibbli għall-ordni.
Offtopic: Mill-mod, għal aktar sigurtà, dan is-server virtwali huwa assenjat għal wieħed min-nodi . u l-aċċess għaliha permezz RDP huwa permess biss minn hemm...
Wara li toħloq VDS u tikseb aċċess għad-desktop permezz tal-RDP, l-ewwel ħaġa li trid tagħmel hu li tipprepara l-ambjent għal Rclone u Web-GUI. Dawk. tinstalla browser default ġdid, pereżempju Chrome, peress li l-IE 11 installat inizjalment, sfortunatament, mhux dejjem jaħdem b'mod korrett mas-softwer użat.
Wara li tħejji l-ambjent, niżżel l-arkivju bil-pakkett tas-softwer u spakkjaha.
Sussegwentement, fil-modalità tal-linja tal-kmand tal-Windows, tesegwixxi l-kmand biex tmur fil-folder bil-fajls estratti. Għalija tinsab fil-folder tad-dar tal-amministratur:
C:UsersAdministrator>cd rclone
Wara t-tranżizzjoni, aħna nwettqu l-kmand biex inniedu Rclone mill-Web-GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
fejn "login" u "password" huma l-login u l-password li speċifikajt, ovvjament, mingħajr kwotazzjonijiet.
Mal-eżekuzzjoni tal-kmand, it-terminal juri
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
u l-interface tal-web grafika Rclone awtomatikament tiftaħ fil-browser.
Minkejja l-fatt li l-Web-GUI għadu fl-istadju tal-verżjoni tat-test u għad m'għandux il-kapaċitajiet kollha ta 'ġestjoni Rclone li għandha l-interface tal-linja tal-kmand, il-kapaċitajiet tagħha huma pjuttost biżżejjed għall-migrazzjoni tad-dejta. U anke ftit aktar.
aġġustament
Il-pass li jmiss huwa li twaqqaf konnessjonijiet mas-siti fejn id-data tkun jew se tkun tinsab. U l-ewwel fil-linja se jkun ir-riċevitur tad-dejta prinċipali - Nextcloud.
1. Biex tagħmel dan, mur fit-taqsima settings Web-GUI.
2. Tibda l-ħolqien ta 'konfigurazzjoni ġdida - buttuna Konfigurazzjoni ġdida.
3. Issettja l-isem tas-sit - qasam Isem din id-drajv (Għar-referenza tiegħek): Nextcloud.
4. Għażla tat-tip jew tip ta 'ħażna Agħżel: Għal Nextcloud u Owncloud, l-interface ewlenija tal-iskambju tad-dejta hija WebDAV.
5. Sussegwentement, ikklikkja fuq Pass 2: Issettja issuq, iftaħ il-lista tal-parametri tal-konnessjoni u imla.
- 5.1. URL tal-host http biex tikkonnettja mal-URL — link ipertest tal-interface WebDAV. F'Nextcloud jinsabu fis-settings - kantuniera t'isfel tax-xellug tal-interface.
- 5.2. Isem tas-sit/servizz/software tal-Webdav li qed tuża — Isem tal-interface WebDAV. Il-qasam huwa fakultattiv, għalik innifsek, sabiex ma titħawwadx jekk ikun hemm ħafna konnessjonijiet bħal dawn.
- 5.3 Isem l-utent — Username għall-awtorizzazzjoni
- 5.4. password — Password għall-awtorizzazzjoni
- 5.5. Bearer token minflok user/pass (eż. Macaroon) u Kmand biex tiġri biex tikseb bearer token f'għażliet avvanzati hemm parametri addizzjonali u kmandi ta 'awtorizzazzjoni. Ma jintużawx fil-Nextcloud tiegħi.
6. Ikklikkja li jmiss Oħloq konfigurazzjoni u biex tiżgura li tinħoloq il-konfigurazzjoni, mur fit-taqsima Konfigurazzjoni interface tal-web... Permezz tal-istess paġna, il-konfigurazzjoni maħluqa ġdida tista 'titħassar jew tiġi editjata.
Sabiex tiċċekkja l-funzjonalità tal-konnessjoni mas-sit, mur fit-taqsima Explorer... Fil-qasam Remoti daħħal l-isem tas-sit konfigurat u kklikkja miftuħa. Jekk tara lista ta 'fajls u direttorji, il-konnessjoni mas-sit qed taħdem.
Biex tkun aktar konvinċenti, tista 'toħloq/tħassar folder jew tniżżel/tħassar fajl permezz tal-interface tal-web.
It-tieni pjattaforma li għandha tkun konnessa se tkun Yandex disk.
- L-ewwel erba 'passi huma simili għall-proċess ta' konnessjoni Nextcloud.
- Sussegwentement, inħallu kollox kif inhu, jiġifieri, l-għelieqi ġewwa Pass 2: Setup drive Aħna nħalluhom vojta u ma nbiddlu xejn fl-għażliet avvanzati.
- Aħna nagħfas Oħloq Konfigurazzjoni.
- Il-paġna ta 'awtorizzazzjoni Yandex tiftaħ fil-browser, u wara tirċievi messaġġ dwar konnessjoni b'suċċess u offerta biex terġa' lura għal Rclone.
- Dak li nagħmlu hu li niċċekkjaw it-taqsima Config.
Migrazzjoni
Meta jkollna żewġ siti konnessi, diġà nistgħu nimigraw id-dejta bejniethom. Il-proċess innifsu huwa simili għall-iċċekkjar tal-funzjonalità tal-konnessjoni ma 'Nextcloud, li wettaqna qabel.
- Mur fuq Explorer.
- Għażla ta 'mudell 2-ġenb ma 'ġenb.
- F'kull wieħed minn Remoti indika l-isem tas-sit tiegħek.
- Aħna nagħfas miftuħa.
- Naraw direttorju ta 'fajls u folders għal kull wieħed minnhom.
Biex tibda l-proċess tal-migrazzjoni, dak kollu li jibqa 'huwa li tagħżel il-folder mixtieq bil-fajls fid-direttorju tas-sors tad-dejta u dragha bil-maws lejn id-direttorju tad-destinazzjoni.
Il-mekkaniżmu għaż-żieda tas-siti li fadal u l-migrazzjoni tad-dejta bejniethom huwa simili għall-operazzjonijiet imwettqa hawn fuq. Jekk tiltaqa' ma' żbalji waqt ix-xogħol tiegħek, tista' tistudja d-dettalji dwarhom fit-terminal fejn qed jaħdem Rclone mal-Web-GUI.
B'mod ġenerali, id-dokumentazzjoni għal hija estensiva u disponibbli fuq il-websajt u fuq l-Internet, u m'għandha tikkawża l-ebda diffikultajiet fl-użu. Ma 'dan, nikkunsidra l-ewwel post dwar kif tittrasferixxi fajls minn sħaba għal oħra, billi tevita l-PC tiegħek, kompluta.
PS Jekk ma taqbilx mal-aħħar dikjarazzjoni, ikteb fil-kummenti: liema "suġġett mhux kopert" u f'liema vena ta 'min ikompli.
Sors: www.habr.com