Morto, eksedziĝo kaj translokiĝo estas tri el la plej streĉaj situacioj en la vivo de iu ajn persono.
" Amerika Horora Rakonto " .
- Andryukh, mi foriras hejmen, helpu min movi, ĉio ne kongruos kun mi :(
- Bone, kiom da estas?
— Tunoj* 7-8...
*Ton (jarg) - Terabajto.
Lastatempe, navigante per Interreto, mi rimarkis, ke malgraŭ la havebleco ĉe Habré kaj similaj rimedoj de multaj materialoj pri metodoj kaj modeloj por migrado de diversaj specoj de datumoj, demandoj pri ĉi tiu temo ankoraŭ aperas en la Interreto. Kiuj, ial, ne ĉiam ricevas detalajn respondojn. Ĉi tiu fakto instigis min iam kolekti notojn pri la efektivigo de simila solvo kaj aranĝi ilin en formo de aparta afiŝo.
Ĝenerale, mi devas transdoni datumojn de unu aparato, sistemo kaj servo al alia kun iu ĝena ofteco. Kiu, per provo kaj eraro, permesis al mi ne nur konatiĝi kun multaj interesaj produktoj, sed ankaŭ trovi ekvilibron inter funkcieco kaj kosto de la solvo, pri kiu mi volas paroli.
Dezajno
Kiel rezulto de dezajno kaj enketa laboro, la kvalito kaj efikeco de la migra procezo dependas ne nur de la teknikaj trajtoj de la "ejoj" kie la datumoj estas aŭ estos lokitaj, sed ankaŭ de ilia fizika loko.
Migradmanaĝero estas komputika nodo sur kiu la "logiko" de la procezo—programaro por administrado de migrado—funkcias.
Tio estas, estas du modeloj por meti "migradmanaĝeron"
- Modelo A. Se almenaŭ unu el la retejoj nur estas alirebla de ene de la loka reto, tiam indas meti "migradmanaĝeron" sur la sama reto. Ĉar la rendimento kaj migrada tempo ankoraŭ estas limigitaj de la rapideco kaj funkciado de la kanalo liganta la retejojn.
- Modelo B. Se kaj la fonto kaj la ricevilo de la datumoj havas aliron ekster la loka reto, tiam la "migradmanaĝero" devus situi kie la rapideco kaj la tempodaŭro de la kanalo inter ili estos evidente pli bonaj.
Por iel malkomponi la supre, mi proponas reveni al la taskoj de la ĉefa demando de la artikolo kaj formaligi ilin en teknikajn specifojn.
Unue, mi devas ekscii ĉu la programaro, kiun mi uzas, subtenas nubojn: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
La mallonga respondo estas: "JES!"
mi uzas .
Rclone - rsync por nuba stokado. Malfermfonta programaro desegnita por sinkronigi dosierojn kaj dosierujojn kun pli ol 45 specoj kaj specoj de stokado.
Jen nur kelkaj el ili:
— Alibaba Nubo (Aliyun) Objekta Stokado-Sistemo (OSS)
- Amazon S3
— Ceph
—DigitalOcean Spaces
— Dropbox
- Google Cloud Storage
- Google Drive
- Google Fotoj
- HTTP
-IBM COS S3
— Mail.ru Nubo
— Mega
- Microsoft Azure Blob Stokado
- Microsoft OneDrive
— Minio
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
- ownCloud
— Rackspace Nubaj Dosieroj
- rsync.net
- SFTP
- WebDAV
— Yandex-Disko
Ĉefa funkcio:
— Kontrolante la integrecon de dosieroj uzante MD5/SHA1-haŝojn.
— Konservado de tempomarkoj por krei/ŝanĝi dosierojn.
- Elportas partan sinkronigon.
— Kopiante nur novajn dosierojn.
— Sinkronigo (unudirekta).
— Kontrolado de dosieroj (per haŝoj).
— Kapablo sinkronigi de unu nuba konto al alia.
- Ĉifrada subteno.
- Subteno por loka dosiero kaŝmemoro.
— Kapablo munti nubajn servojn per FUSE.
Mi aldonos memstare, ke Rclone ankaŭ helpas min solvi la plej grandan parton de problemoj rilate al aŭtomatigo de datumoj sekurkopioj en .
La sekva tasko estas elekti "migradmanaĝeron" lokigan modelon.
Ĉiuj datumfontoj, kiuj estas diversaj publikaj nubaj servoj, estas alireblaj per la Interreto. Inkluzive per la API. Du el tri riceviloj faras la samon. Ne estas klare, kie Nextcloud mem estas deplojita kaj kia aliro disponeblas al ĝi?
Mi nombris kvin eblajn eblojn:
- Sur via propra servilo en via hejma/kompania reto.
- Sur via propra servilo en luita rako de la datumcentro de la servoprovizanto.
- Sur servilo luita de servoprovizanto.
- Sur virtuala servilo (VDS/VPS) kun servo/gastiga provizanto
- De la servoprovizanto
Konsiderante, ke Nextcloud ankoraŭ estas programaro por krei kaj uzi nuban stokadon, ni povas sekure diri, ke aliro al ĝi per Interreto disponeblas en ĉiuj kvin opcioj. Kaj en ĉi tiu kazo, la optimuma modelo por meti "migradmanaĝeron" estos - modelo B.
Laŭ la modelo elektita kiel platformo por la "migradmanaĝero", mi elektos unu el la optimumaj, laŭ mia vidpunkto, ebloj - virtuala servilo en La plej granda interreta trafika interŝanĝopunkto de Rusio MSK-IX.
La tria decido, kiu devas esti farita, estas decidi pri la virtuala servila agordo.
Elektante VDS-agordajn parametrojn, vi devas esti gvidita de la bezonata agado, kiu dependas de la larĝo de la kanaloj inter retejoj, la nombro kaj grandeco de dosieroj movitaj, la nombro da migraj riveretoj kaj agordoj. Koncerne la OS, Rclone estas transplatforma programaro, kiu funkcias per diversaj operaciumoj, inkluzive de Vindozo kaj Linukso.
Se vi planas lanĉi plurajn migrajn procezojn, kaj eĉ je certa ofteco, tiam indas konsideri la eblon lui VDS kun pago por rimedoj.
kreaĵo
Surbaze de ĉi-supra, kreante la prototipon por ĉi tiu artikolo, mi elektis VDS en la sekva agordo.
kostante 560 rublojn/monate. inkluzive de 15% rabato uzante kuponon NOSTRESS.
Ĉi tiu elekto ŝuldiĝas al la fakto, ke nodo sub Windows OS, por plenumi la kondiĉojn de niaj teknikaj specifoj, estas pli facile agordebla ol por aliaj OS disponeblaj por mendo.
Ekstertema: Cetere, por pli granda sekureco, ĉi tiu virtuala servilo estas asignita al unu el la nodoj . kaj aliro al ĝi per RDP estas permesita nur de tie...
Post krei VDS kaj akiri aliron al la labortablo per RDP, la unua afero, kiun vi devas fari, estas prepari la medion por Rclone kaj Web-GUI. Tiuj. instali novan defaŭltan retumilon, ekzemple Chrome, ĉar la komence instalita IE 11, bedaŭrinde, ne ĉiam funkcias ĝuste kun la uzata programaro.
Post prepari la medion, elŝutu la arkivon kun la programaro kaj malpaku ĝin.
Poste, en Vindoza komandlinia reĝimo, ekzekutu la komandon por iri al la dosierujo kun la ĉerpitaj dosieroj. Por mi ĝi troviĝas en la hejma dosierujo de la administranto:
C:UsersAdministrator>cd rclone
Post la transiro, ni plenumas la komandon por lanĉi Rclone de la Web-GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
kie "ensaluto" kaj "pasvorto" estas la ensaluto kaj pasvorto, kiujn vi specifis, kompreneble, sen citiloj.
Post plenumo de la komando, la terminalo montriĝas
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
kaj la grafika retinterfaco Rclone aŭtomate malfermiĝas en la retumilo.
Malgraŭ la fakto, ke la Web-GUI ankoraŭ estas en la prova versio kaj ankoraŭ ne havas ĉiujn Rclone-administradkapablojn, kiujn la komandlinia interfaco havas, ĝiaj kapabloj estas sufiĉe sufiĉaj por datummigrado. Kaj eĉ iom pli.
alĝustigo
La sekva paŝo estas agordi konektojn al la retejoj, kie la datumoj estas aŭ estos lokitaj. Kaj la unua en linio estos la ĉefa datumricevilo - Nextcloud.
1. Por fari tion, iru al la sekcio Konfiguroj Retejo-GUI.
2. Komencante la kreadon de nova agordo - butono Nova Agordo.
3. Agordu la retejo-nomon - kampon Nomo de ĉi tiu disko (Por via referenco): Nextcloud.
4. Elektante la tipon aŭ specon de stokado elektu: Por Nextcloud kaj Owncloud, la ĉefa interfaco de interŝanĝo de datumoj estas WebDAV.
5. Poste, alklaku Paŝo 2: Agordi stirado, malfermu la liston de konekto-parametroj kaj plenigu.
- NENIU. URL de http-gastiganto por konekti al URL — hiperteksta ligo de la interfaco WebDAV. En Nextcloud ili troviĝas en la agordoj - malsupra maldekstra angulo de la interfaco.
- NENIU. Nomo de la retejo/servo/programaro Webdav, kiun vi uzas — Nomo de interfaco WebDAV. La kampo estas laŭvola, por vi mem, por ne konfuziĝi, se ekzistas multaj tiaj ligoj.
- 5.3 Uzanta nomo — Uzantnomo por rajtigo
- NENIU. Pasvorto — Pasvorto por rajtigo
- NENIU. Portisto-ĵetono anstataŭ uzanto/enirpermesilo (ekz. Macaroon) kaj Komando kuri por akiri portantan ĵetonon en altnivelaj opcioj estas pliaj parametroj kaj rajtigaj komandoj. Ili ne estas uzataj en mia Nextcloud.
6. Sekva klako Krei agordon kaj por certigi, ke la agordo estas kreita, iru al la sekcio Agordo TTT-interfaco... Per la sama paĝo, la nove kreita agordo povas esti forigita aŭ redaktita.
Por kontroli la funkciojn de la konekto al la retejo, iru al la sekcio Explorer... En kampo Remotoj enigu la nomon de la agordita retejo kaj alklaku malfermita. Se vi vidas liston de dosieroj kaj dosierujoj, la konekto al la retejo funkcias.
Por esti pli konvinka, vi povas krei/forviŝi dosierujon aŭ elŝuti/forviŝi dosieron per la retinterfaco.
La dua platformo konektita estos Yandex-disko.
- La unuaj kvar paŝoj estas similaj al la procezo de konekto Nextcloud.
- Poste, ni lasas ĉion kiel estas, tio estas, la kampojn enen Paŝo 2: Agordu stiradon Ni lasas ilin malplenaj kaj ŝanĝas nenion en la altnivelaj elektoj.
- Klaku Krei Agordon.
- La Yandex-rajtigo paĝo malfermiĝas en la retumilo, post kio vi ricevas mesaĝon pri sukcesa konekto kaj oferton por reveni al Rclone.
- Kion ni faras estas kontroli la sekcion config.
Migrado
Kiam ni havas du retejojn konektitajn, ni jam povas migri datumojn inter ili. La procezo mem similas kontroli la funkciojn de la konekto al Nextcloud, kiun ni faris pli frue.
- Iru al Explorer.
- Elektante ŝablonon 2-flank-al-flanke.
- En ĉiu el Remotoj indiku la nomon de via retejo.
- Klaku malfermita.
- Ni vidas dosierujon de dosieroj kaj dosierujoj por ĉiu el ili.
Por komenci la migradprocezon, restas nur elekti la deziratan dosierujon kun dosieroj en la datumfonta dosierujo kaj treni ĝin per la muso al la celdosierujo.
La mekanismo por aldoni la ceterajn ejojn kaj migri datumojn inter ili estas simila al la operacioj faritaj supre. Se vi renkontas erarojn dum via laboro, vi povas studi detalojn pri ili en la terminalo kie Rclone kun Web-GUI funkcias.
Ĝenerale, la dokumentado por estas ampleksa kaj havebla en la retejo kaj en la Interreto, kaj ne devus kaŭzi ajnajn malfacilaĵojn en uzo. Kun ĉi tio, mi konsideras la unuan afiŝon pri kiel translokigi dosierojn de unu nubo al alia, preterirante vian komputilon, kompleta.
PS Se vi ne konsentas kun la lasta deklaro, skribu en la komentoj: kia "temo ne estas traktata" kaj en kia maniero indas daŭrigi.
fonto: www.habr.com