NÄve, ŔķirÅ”anÄs un pÄrcelÅ”anÄs ir trÄ«s no saspringtÄkajÄm situÄcijÄm jebkura cilvÄka dzÄ«vÄ.
"AmerikÄÅu Å”ausmu stÄsts".
- Andriuk, es izeju no mÄjÄm, palÄ«dzi man pÄrvietoties, viss man nesaderÄs :(
- Labi, cik tur ir?
ā Tonnas* 7-8...
*Ton (jarg) - terabaits.
Nesen, sÄrfojot internetÄ, pamanÄ«ju, ka, neskatoties uz to, ka vietnÄ HabrĆ© un lÄ«dzÄ«gi resursi ir pieejami daudzi materiÄli par dažÄda veida datu migrÄcijas metodÄm un modeļiem, internetÄ joprojÄm parÄdÄs jautÄjumi par Å”o tÄmu. Uz kuriem kaut kÄdu iemeslu dÄļ ne vienmÄr tiek sniegtas detalizÄtas atbildes. Å is fakts mani pamudinÄja kÄdu dienu savÄkt piezÄ«mes par lÄ«dzÄ«ga risinÄjuma ievieÅ”anu un sakÄrtot tÄs atseviŔķa ieraksta veidÄ.
KopumÄ man ir jÄpÄrsÅ«ta dati no vienas ierÄ«ces, sistÄmas un servisa uz otru ar kÄdu kaitinoÅ”u biežumu. Kas, izmantojot izmÄÄ£inÄjumus un kļūdas, ļÄva man ne tikai iepazÄ«ties ar daudziem interesantiem produktiem, bet arÄ« atrast lÄ«dzsvaru starp funkcionalitÄti un tÄ risinÄjuma izmaksÄm, par kuru es vÄlos runÄt.
ProjektÄÅ”ana
KÄ izrÄdÄ«jÄs projektÄÅ”anas un apsekoÅ”anas darbu rezultÄtÄ, migrÄcijas procesa kvalitÄte un efektivitÄte ir atkarÄ«ga ne tikai no to āvietÅuā, kurÄs dati atrodas vai atradÄ«sies, tehniskajiem parametriem, bet arÄ« no to fiziskÄs atraÅ”anÄs vietas.
MigrÄcijas pÄrvaldnieks ir skaitļoÅ”anas mezgls, kurÄ darbojas procesa āloÄ£ikaā ā programmatÅ«ra migrÄcijas pÄrvaldÄ«bai.
Tas nozÄ«mÄ, ka ir divi āmigrÄcijas pÄrvaldniekaā izvietoÅ”anas modeļi.
- Modelis A. Ja vismaz vienai no vietnÄm var piekļūt tikai no lokÄlÄ tÄ«kla, tad ir vÄrts tajÄ paÅ”Ä tÄ«klÄ ievietot āmigrÄcijas pÄrvaldniekuā. TÄ kÄ veiktspÄju un migrÄcijas laiku joprojÄm ierobežo vietnes savienojoÅ”Ä kanÄla Ätrums un darbÄ«bas laiks.
- Modelis B. Ja gan datu avotam, gan saÅÄmÄjam ir piekļuve Ärpus lokÄlÄ tÄ«kla, tad āmigrÄcijas pÄrvaldniekamā jÄatrodas tur, kur starp tiem bÅ«s acÄ«mredzami labÄks kanÄla Ätrums un darbÄ«bas laiks.
Lai kaut kÄ sadalÄ«tu iepriekÅ” minÄto, es ierosinu atgriezties pie uzdevumiem no raksta galvenÄ jautÄjuma un formalizÄt tos tehniskajÄs specifikÄcijÄs.
PirmkÄrt, man ir jÄnoskaidro, vai programmatÅ«ra, ko izmantoju, atbalsta mÄkoÅus: Mail.ru, Yandex, Google disks, Mega, Nextloud?
ÄŖsÄ atbilde ir: "JÄ!"
ES izmantoju .
Rclone ā rsync mÄkoÅa glabÄÅ”anai. AtvÄrtÄ pirmkoda programmatÅ«ra, kas izstrÄdÄta, lai sinhronizÄtu failus un mapes ar vairÄk nekÄ 45 veidu un veidu krÄtuves.
Šeit ir tikai daži no tiem:
ā Alibaba Cloud (Aliyun) objektu uzglabÄÅ”anas sistÄma (OSS)
- Amazon S3
ā Kefs
āDigitalOcean Spaces
ā Dropbox
- Google mÄkoÅkrÄtuve
- Google disks
- Google fotoattÄli
- HTTP
-IBM COS S3
ā Mail.ru mÄkonis
ā Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
ā Mini
ā Nextcloud
- Openstack Swift
ā Oracle Cloud Storage
ā ownCloud
ā Rackspace Cloud faili
- rsync.net
- SFTP
- WebDAV
- Yandex disks
GalvenÄ funkcionalitÄte:
ā failu integritÄtes pÄrbaude, izmantojot MD5/SHA1 jaucÄjus.
ā laika zÄ«mogu saglabÄÅ”ana failu izveidei/maiÅai.
- Atbalsta daļÄju sinhronizÄciju.
ā tikai jaunu failu kopÄÅ”ana.
ā SinhronizÄcija (vienvirziena).
ā failu pÄrbaude (pÄc jaukÅ”anas).
ā IespÄja sinhronizÄt no viena mÄkoÅa konta uz citu.
- Å ifrÄÅ”anas atbalsts.
- VietÄjo failu keÅ”atmiÅas atbalsts.
ā IespÄja uzstÄdÄ«t mÄkoÅpakalpojumus, izmantojot FUSE.
Es piebildÄ«Å”u, ka Rclone arÄ« palÄ«dz man atrisinÄt lielÄko daļu problÄmu, kas saistÄ«tas ar datu dublÄÅ”anas automatizÄciju .
NÄkamais uzdevums ir izvÄlÄties āmigrÄcijas pÄrvaldniekaā izvietojuma modeli.
Visi datu avoti, kas ir dažÄdi publiskie mÄkoÅpakalpojumi, ir pieejami, izmantojot internetu. Tostarp, izmantojot API. Divi no trim uztvÄrÄjiem dara to paÅ”u. Nav skaidrs, kur ir izvietots pats Nextcloud un kÄda piekļuve tam ir pieejama?
Es saskaitÄ«ju piecas iespÄjamÄs iespÄjas:
- SavÄ serverÄ« jÅ«su mÄjas/uzÅÄmuma tÄ«klÄ.
- SavÄ serverÄ« pakalpojumu sniedzÄja datu centra Ä«rÄtÄ plauktÄ.
- No pakalpojumu sniedzÄja nomÄtÄ serverÄ«.
- VirtuÄlÄ serverÄ« (VDS/VPS) ar pakalpojumu/mitinÄÅ”anas pakalpojumu sniedzÄju
- No pakalpojumu sniedzÄja
Å emot vÄrÄ, ka Nextcloud joprojÄm ir programmatÅ«ra mÄkoÅkrÄtuvju izveidei un lietoÅ”anai, varam droÅ”i teikt, ka piekļuve tai caur internetu ir pieejama visÄs piecÄs opcijÄs. Un Å”ajÄ gadÄ«jumÄ optimÄlais modelis āmigrÄcijas pÄrvaldniekaā izvietoÅ”anai bÅ«s - modelis B.
AtbilstoÅ”i āmigrÄcijas pÄrvaldniekaā platformai izvÄlÄtajam modelim izvÄlÄÅ”os vienu no, manuprÄt, optimÄlÄkajÄm iespÄjÄm - virtuÄlo serveri Krievijas lielÄkais interneta trafika apmaiÅas punkts MSK-IX.
TreÅ”ais lÄmums, kas jÄpieÅem, ir izlemt par virtuÄlÄ servera konfigurÄciju.
IzvÄloties VDS konfigurÄcijas parametrus, jums jÄvadÄs pÄc nepiecieÅ”amÄs veiktspÄjas, kas ir atkarÄ«ga no kanÄlu platuma starp vietnÄm, pÄrvietojamo failu skaita un lieluma, migrÄcijas straumju skaita un iestatÄ«jumiem. Kas attiecas uz OS, Rclone ir vairÄku platformu programmatÅ«ra, kas darbojas dažÄdÄs operÄtÄjsistÄmÄs, tostarp Windows un Linux.
Ja plÄnojat uzsÄkt vairÄkus migrÄcijas procesus un pat ar noteiktu biežumu, tad ir vÄrts apsvÄrt iespÄju Ä«rÄt VDS ar samaksu par resursiem.
radīŔana
Pamatojoties uz iepriekÅ” minÄto, veidojot Ŕī raksta prototipu, es izvÄlÄjos VDS Å”ÄdÄ konfigurÄcijÄ.
maksÄ 560 rubļi mÄnesÄ«. ieskaitot 15% atlaidi, izmantojot kuponu NOSTRESS.
Å Ä« izvÄle ir saistÄ«ta ar to, ka mezgls operÄtÄjsistÄmÄ Windows, lai atbilstu mÅ«su tehnisko specifikÄciju nosacÄ«jumiem, ir vieglÄk konfigurÄjams nekÄ citÄm operÄtÄjsistÄmÄm, kas pieejamas pasÅ«tÄ«Å”anai.
Offtopic: Starp citu, lielÄkai droŔībai Å”is virtuÄlais serveris tiek pieŔķirts vienam no mezgliem . un piekļuve tai caur LAP ir atļauta tikai no turienes...
PÄc VDS izveides un piekļuves darbvirsmai, izmantojot RDP, pirmÄ lieta, kas jums jÄdara, ir sagatavot vidi Rclone un Web-GUI. Tie. instalÄjiet jaunu noklusÄjuma pÄrlÅ«kprogrammu, piemÄram, Chrome, jo sÄkotnÄji instalÄtÄ IE 11 diemžÄl ne vienmÄr darbojas pareizi ar izmantoto programmatÅ«ru.
PÄc vides sagatavoÅ”anas lejupielÄdÄjiet arhÄ«vu ar programmatÅ«ras pakotni un izpakojiet to.
PÄc tam Windows komandrindas režīmÄ izpildiet komandu, lai pÄrietu uz mapi ar izvilktajiem failiem. Man tas atrodas administratora mÄjas mapÄ:
C:UsersAdministrator>cd rclone
PÄc pÄrejas mÄs izpildÄm komandu, lai palaistu Rclone no Web-GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=āloginā --rc-pass=āpasswordā -L
kur āloginā un āpasswordā ir jÅ«su norÄdÄ«tais pieteikumvÄrds un parole, protams, bez pÄdiÅÄm.
PÄc komandas izpildes tiek parÄdÄ«ts terminÄlis
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
un pÄrlÅ«kprogrammÄ automÄtiski tiek atvÄrts Rclone grafiskais tÄ«mekļa interfeiss.
Neskatoties uz to, ka Web-GUI joprojÄm ir testa versijas stadijÄ un tam vÄl nav visu Rclone pÄrvaldÄ«bas iespÄju, kÄdas ir komandrindas interfeisam, tÄ iespÄjas ir diezgan pietiekamas datu migrÄcijai. Un pat nedaudz vairÄk.
koriÄ£ÄÅ”ana
NÄkamais solis ir izveidot savienojumus ar vietnÄm, kurÄs ir vai tiks atrasti dati. Un pirmais rindÄ bÅ«s galvenais datu uztvÄrÄjs - Nextcloud.
1. Lai to izdarītu, dodieties uz sadaļu iestatījumi Web-GUI.
2. Jaunas konfigurÄcijas izveides uzsÄkÅ”ana - poga Jauna konfigurÄcija.
3. Iestatiet vietnes nosaukumu - lauku Å Ä« diska nosaukums (jÅ«su uzziÅai): Nextcloud.
4. KrÄtuves veida vai veida izvÄle IzvÄlÄties: Nextcloud un Owncloud galvenÄ datu apmaiÅas saskarne ir WebDAV.
5. TÄlÄk noklikŔķiniet uz 2. darbÄ«ba: iestatÄ«Å”ana disku, atveriet savienojuma parametru sarakstu un aizpildiet.
- 5.1. http saimniekdatora URL, lai izveidotu savienojumu ar URL ā WebDAV interfeisa hiperteksta saite. ProgrammÄ Nextcloud tie atrodas iestatÄ«jumos - saskarnes apakÅ”ÄjÄ kreisajÄ stÅ«rÄ«.
- 5.2. JÅ«su izmantotÄs Webdav vietnes/pakalpojuma/programmatÅ«ras nosaukums ā WebDAV saskarnes nosaukums. Lauks nav obligÄts, jums paÅ”iem, lai neapjuktu, ja Å”Ädu savienojumu ir daudz.
- 5.3 LietotÄja vÄrds ā autorizÄcijas lietotÄjvÄrds
- 5.4. Parole ā AutorizÄcijas parole
- 5.5. UzrÄdÄ«tÄja marÄ·ieris lietotÄja/pases vietÄ (piemÄram, Macaroon) un komanda palaist, lai iegÅ«tu uzrÄdÄ«tÄja marÄ·ieri papildu opcijÄs ir papildu parametri un autorizÄcijas komandas. Tie netiek izmantoti manÄ Nextcloud.
6. NÄkamais klikŔķis Izveidot konfigurÄciju un, lai pÄrliecinÄtos, ka konfigurÄcija ir izveidota, dodieties uz sadaļu Konfig tÄ«mekļa saskarne... Izmantojot to paÅ”u lapu, jaunizveidoto konfigurÄciju var dzÄst vai rediÄ£Ät.
Lai pÄrbaudÄ«tu savienojuma ar vietni funkcionalitÄti, dodieties uz sadaļu pÄtnieks... LaukÄ TÄlvadÄ«bas pults ievadiet konfigurÄtÄs vietnes nosaukumu un noklikŔķiniet uz atvÄrts. Ja redzat failu un direktoriju sarakstu, savienojums ar vietni darbojas.
Lai bÅ«tu pÄrliecinoÅ”Äk, varat izveidot/dzÄst mapi vai lejupielÄdÄt/dzÄst failu, izmantojot tÄ«mekļa saskarni.
OtrÄ pieslÄgtÄ platforma bÅ«s Yandex disks.
- PirmÄs Äetras darbÄ«bas ir lÄ«dzÄ«gas Nextcloud savienojuma procesam.
- TÄlÄk mÄs atstÄjam visu kÄ ir, tas ir, laukus iekÅ”Ä 2. darbÄ«ba: iestatiet disku MÄs atstÄjam tos tukÅ”us un neko nemainÄm papildu opcijÄs.
- MÄs nospiežam Izveidot konfigurÄciju.
- PÄrlÅ«kprogrammÄ tiek atvÄrta Yandex autorizÄcijas lapa, pÄc kuras saÅemat ziÅojumu par veiksmÄ«gu savienojumu un piedÄvÄjumu atgriezties Rclone.
- MÄs pÄrbaudÄm sadaļu config.
MigrÄcija
Kad ir savienotas divas vietnes, mÄs jau varam migrÄt datus starp tÄm. Pats process ir lÄ«dzÄ«gs savienojuma ar Nextcloud funkcionalitÄtes pÄrbaudei, ko veicÄm iepriekÅ”.
- Iet uz pÄtnieks.
- Veidnes izvÄle 2 blakus.
- KatrÄ no TÄlvadÄ«bas pults norÄdiet savas vietnes nosaukumu.
- MÄs nospiežam atvÄrts.
- Katram no tiem mÄs redzam failu un mapju direktoriju.
Lai sÄktu migrÄcijas procesu, atliek tikai datu avota direktorijÄ atlasÄ«t vajadzÄ«go mapi ar failiem un vilkt to ar peli uz mÄrÄ·a direktoriju.
AtlikuÅ”o vietÅu pievienoÅ”anas un datu migrÄÅ”anas mehÄnisms starp tÄm ir lÄ«dzÄ«gs iepriekÅ” veiktajÄm darbÄ«bÄm. Ja darba laikÄ rodas kļūdas, varat izpÄtÄ«t informÄciju par tÄm terminÄlÄ«, kurÄ darbojas Rclone ar Web-GUI.
KopumÄ dokumentÄcija par ir plaÅ”s un pieejams vietnÄ un internetÄ, un tam nevajadzÄtu radÄ«t grÅ«tÄ«bas lietoÅ”anÄ. Ar to es uzskatu, ka pirmais ieraksts par to, kÄ pÄrsÅ«tÄ«t failus no viena mÄkoÅa uz otru, apejot datoru, ir pabeigts.
PS Ja nepiekrÄ«tat pÄdÄjam apgalvojumam, ierakstiet komentÄros: kÄda ātÄma nav aplÅ«kotaā un kÄdÄ garÄ ir vÄrts turpinÄt.
Avots: www.habr.com