Dea, skieding en ferpleatse binne trije fan 'e meast stressfolle situaasjes yn it libben fan elke persoan.
"Amerikaansk horror ferhaal".
- Andryukh, ik gean fan hûs, help my te bewegen, alles past net by my :(
- Goed, hoefolle binne der?
- Ton* 7-8...
*Ton (jarg) - Terabyte.
Koartlyn, wylst ik op it ynternet surfe, fernaam ik dat nettsjinsteande de beskikberens op Habré en ferlykbere boarnen fan in protte materialen oer metoaden en modellen foar it migrearjen fan ferskate soarten gegevens, fragen oer dit ûnderwerp noch op it ynternet ferskine. Dy't om ien of oare reden net altyd detaillearre antwurden krije. Dit feit hat my frege om ien dei oantekeningen te sammeljen oer de ymplemintaasje fan in ferlykbere oplossing en se te regeljen yn 'e foarm fan in aparte post.
Yn 't algemien moat ik gegevens oermeitsje fan ien apparaat, systeem en tsjinst nei in oar mei wat ferfelende frekwinsje. Wat, troch probearjen en flater, my net allinich yn 'e kunde komme mei in protte nijsgjirrige produkten, mar ek in lykwicht te finen tusken funksjonaliteit en kosten fan 'e oplossing wêr't ik oer prate wol
Untwerp
As it die bliken as gefolch fan ûntwerp en ûndersykswurk, hinget de kwaliteit en effisjinsje fan it migraasjeproses net allinich ôf fan 'e technyske skaaimerken fan' e "sites" wêr't de gegevens binne of sille lizze, mar ek fan har fysike lokaasje.
Migraasjebehearder is in komputerknooppunt wêrop de "logika" fan it proses - software foar it behearen fan migraasje - funksjonearret.
Dat is, d'r binne twa modellen foar it pleatsen fan in "migraasjebehearder"
- Model A. As op syn minst ien fan 'e siden allinich tagonklik wurde kin fanút it lokale netwurk, dan is it wurdich om in "migraasjebehearder" op itselde netwurk te pleatsen. Om't de prestaasjes en migraasjetiid noch hieltyd beheind binne troch de snelheid en uptime fan it kanaal dat de siden ferbynt.
- Model B. As sawol de boarne as de ûntfanger fan 'e gegevens tagong hawwe bûten it lokale netwurk, dan moat de "migraasjebehearder" lizze wêr't de snelheid en uptime fan it kanaal tusken har fansels better sille wêze.
Om it boppesteande op ien of oare manier te ûntbinen, stel ik foar om werom te gean nei de taken fan 'e haadfraach fan it artikel en se te formalisearjen yn technyske spesifikaasjes.
Earst moat ik útfine oft de software dy't ik brûk wolken stipet: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
It koarte antwurd is: "JA!"
Ik brûke .
Rclone - rsync foar wolk opslach. Open Source-software ûntworpen om bestannen en mappen te syngronisearjen mei mear dan 45 soarten en soarten opslach.
Hjir binne mar in pear fan har:
- Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
- Cef
-DigitalOcean Spaces
- Dropbox
- Google Cloud Storage
- Google Drive
- Google Foto's
- HTTP
-IBM COS S3
- Mail.ru Cloud
- Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
- Minio
- Nextcloud
- Openstack Swift
- Oracle Cloud Storage
- eigenCloud
- Rackspace Cloud-bestannen
- rsync.net
- SFTP
- WebDAV
- Yandex Disk
Haadfunksjes:
- Kontrolearje de yntegriteit fan bestannen mei MD5 / SHA1-hashes.
- Tiidstempels opslaan foar it meitsjen / feroarjen fan bestannen.
- Unterstützt parsjele syngronisaasje.
- Kopiearje allinich nije bestannen.
- Syngronisaasje (ienwei).
- Bestannen kontrolearje (troch hashes).
- Mooglikheid om te syngronisearje fan it iene wolkakkount nei it oare.
- Fersiferingsstipe.
- Stipe foar lokale caching fan bestannen.
- Mooglikheid om wolktsjinsten te mount fia FUSE.
Ik sil op mysels tafoegje dat Rclone my ek helpt it liuwendiel fan problemen op te lossen yn ferbân mei it automatisearjen fan reservekopy fan gegevens yn .
De folgjende taak is om in "migraasjebehearder" pleatsingsmodel te selektearjen.
Alle gegevensboarnen, dy't ferskate iepenbiere wolktsjinsten binne, binne tagonklik fia it ynternet. Ynklusyf fia de API. Twa fan de trije ûntfangers dogge itselde. It is net dúdlik wêr't Nextcloud sels wurdt ynset en hokker tagong dêrfoar beskikber is?
Ik telde fiif mooglike opsjes:
- Op jo eigen server yn jo thús-/bedriuwsnetwurk.
- Op jo eigen server yn in hierd rek fan it datasintrum fan de tsjinstferliener.
- Op in server ferhierd fan in tsjinstferliener.
- Op in firtuele tsjinner (VDS / VPS) mei in tsjinst / hosting provider
- Fan de tsjinstferliener
Yn betinken nommen dat Nextcloud noch altyd software is foar it meitsjen en brûken fan wolkopslach, kinne wy feilich sizze dat tagong ta it fia it ynternet beskikber is yn alle fiif opsjes. En yn dit gefal sil it optimale model foar it pleatsen fan in "migraasjebehearder" wêze - model B.
Neffens it model keazen as platfoarm foar de "migraasjebehearder", sil ik ien fan 'e optimale, út myn eachpunt, opsjes kieze - in firtuele server yn Ruslân grutste ynternet ferkear útwikseling punt MSK-IX.
It tredde beslút dat makke wurde moat is om te besluten oer de konfiguraasje fan 'e firtuele server.
By it kiezen fan VDS-konfiguraasjeparameters moatte jo liede troch de fereaske prestaasjes, dy't ôfhinklik binne fan 'e breedte fan' e kanalen tusken siden, it oantal en grutte fan ferpleatse bestannen, it oantal migraasjestreamen en ynstellings. Wat it OS oangiet, is Rclone cross-platform software dy't rint op ferskate bestjoeringssystemen, ynklusyf Windows en Linux.
As jo plannen om ferskate migraasjeprosessen te starten, en sels op in bepaalde frekwinsje, dan is it wurdich te beskôgjen fan 'e opsje fan it hieren fan in VDS mei betelling foar boarnen.
skepping
Op grûn fan it boppesteande, by it meitsjen fan it prototype foar dit artikel, keas ik VDS yn 'e folgjende konfiguraasje.
kosten 560 roebel / moanne. ynklusyf 15% koarting mei help fan coupon GJIN STRESS.
Dizze kar is te tankjen oan it feit dat in knooppunt ûnder Windows OS, om te foldwaan oan de betingsten fan ús technyske spesifikaasjes, makliker te konfigurearjen is dan foar oare OS's dy't beskikber binne foar bestelling.
Offtopic: Trouwens, foar gruttere feiligens wurdt dizze firtuele tsjinner tawiisd oan ien fan 'e knopen . en tagong ta it fia RDP is allinich tastien fan dêrút ...
Nei it meitsjen fan in VDS en tagong ta it buroblêd fia RDP, is it earste ding dat jo moatte dwaan de omjouwing foar Rclone en Web-GUI tariede. Dy. ynstallearje in nije standert blêder, bygelyks Chrome, sûnt de earstoan ynstallearre IE 11, spitigernôch, wurket net altyd goed mei de software brûkt.
Nei it tarieden fan de omjouwing, download it argyf mei it softwarepakket en útpakke it.
Folgjende, yn Windows kommandorigelmodus, útfiere it kommando om nei de map te gean mei de ekstrahearre bestannen. Foar my sit it yn de thúsmap fan de behearder:
C:UsersAdministrator>cd rclone
Nei de oergong fiere wy it kommando út om Rclone fanút de Web-GUI te starten:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
wêr't "oanmelde" en "wachtwurd" de oanmelding en wachtwurd binne dy't jo opjûn hawwe, fansels, sûnder quotes.
By it útfieren fan it kommando wurdt de terminal werjûn
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
en de grafyske webynterface fan Rclone iepenet automatysk yn 'e browser.
Nettsjinsteande it feit dat de Web-GUI noch yn 'e testferzjestadium is en noch net alle Rclone-behearmooglikheden hat dy't de kommandorigel-ynterface hat, binne de mooglikheden genôch foar gegevensmigraasje. En noch in bytsje mear.
oanpassing
De folgjende stap is om ferbiningen yn te stellen nei de siden wêr't de gegevens binne of sille lizze. En de earste yn 'e rige sil de haadgegevensûntfanger wêze - Nextcloud.
1. Om dit te dwaan, gean nei de seksje Ynstellings Web-GUI.
2. Inisjearjen fan it oanmeitsjen fan in nije konfiguraasje - knop Nije Config.
3. Stel de side namme - fjild yn Namme fan dit stasjon (foar jo referinsje): Nextcloud.
4. Selektearje it type of type opslach Útkieze: Foar Nextcloud en Owncloud is de haadynterface foar gegevensútwikseling WebDAV.
5. Folgjende, klikje op Stap 2: Opset drive, iepenje de list mei ferbiningsparameters en folje yn.
- 5.1. URL fan http-host om te ferbinen mei URL - hypertekstkeppeling fan 'e WebDAV-ynterface. Yn Nextcloud lizze se yn 'e ynstellings - linker ûnderhoeke fan' e ynterface.
- 5.2. Namme fan de Webdav-side/tsjinst/software dy't jo brûke - WebDAV ynterface namme. It fjild is opsjoneel, foar josels, om net yn 'e war te reitsjen as d'r in protte sokke ferbiningen binne.
- 5.3 Brûkersnamme - Brûkersnamme foar autorisaasje
- 5.4. Wachtwurd - Wachtwurd foar autorisaasje
- 5.5. Bearer token ynstee fan brûker/pass (bygelyks in Macaroon) en Kommando om te rinnen om in drager token te krijen yn avansearre opsjes binne d'r ekstra parameters en autorisaasjekommando's. Se wurde net brûkt yn myn Nextcloud.
6. Folgjende klik Konfiguraasje oanmeitsje en om der wis fan dat de konfiguraasje wurdt makke, gean nei de seksje Config webynterface... Troch deselde side kin de nij oanmakke konfiguraasje wiske of bewurke wurde.
Om de funksjonaliteit fan 'e ferbining mei de side te kontrolearjen, gean nei de seksje Ûntdekkingsreizger... Yn fjild Ofstannen Fier de namme fan 'e ynstelde side yn en klikje Iepen. As jo in list mei bestannen en mappen sjogge, wurket de ferbining mei de side.
Om mear oertsjûgjend te wêzen, kinne jo in map oanmeitsje / wiskje of in bestân downloade / wiskje fia de webynterface.
It twadde platfoarm om te ferbinen sil Yandex-skiif wêze.
- De earste fjouwer stappen binne fergelykber mei it Nextcloud-ferbiningsproses.
- Dêrnei litte wy alles sa't it is, dat is, de fjilden yn Stap 2: Setup drive Wy litte se leech en feroarje neat yn 'e avansearre opsjes.
- Wy drukke Konfiguraasje oanmeitsje.
- De Yandex-autorisaasjeside iepent yn 'e browser, wêrnei't jo in berjocht krije oer suksesfolle ferbining en in oanbod om werom te gean nei Rclone.
- Wat wy dogge is kontrolearje de seksje Konfig.
Migraasje
As wy twa siden ferbûn hawwe, kinne wy al gegevens tusken har migrearje. It proses sels is fergelykber mei it kontrolearjen fan de funksjonaliteit fan 'e ferbining mei Nextcloud, dy't wy earder hawwe útfierd.
- Gean nei Ûntdekkingsreizger.
- Kies in sjabloan 2-side by side.
- Yn elk fan Ofstannen jou de namme fan jo side oan.
- Wy drukke Iepen.
- Wy sjogge in map mei bestannen en mappen foar elk fan harren.
Om it migraasjeproses te begjinnen, bliuwt alles oer de winske map te selektearjen mei bestannen yn 'e gegevensboarnemap en slepe it mei de mûs nei de bestimmingsmap.
It meganisme foar it tafoegjen fan de oerbleaune siden en it migrearjen fan gegevens tusken har is fergelykber mei de operaasjes dy't hjirboppe útfierd binne. As jo flaters tsjinkomme tidens jo wurk, kinne jo details oer har studearje yn 'e terminal wêr't Rclone mei Web-GUI rint.
Yn it algemien, de dokumintaasje foar is wiidweidich en beskikber op de webside en op it ynternet, en moat gjin swierrichheden yn gebrûk. Hjirmei beskôgje ik de earste post oer hoe't jo bestannen fan de iene wolk nei de oare kinne oerdrage, jo PC omgean, kompleet.
PS As jo it net iens binne mei de lêste útspraak, skriuw dan yn 'e kommentaren: wat "ûnderwerp is net behannele" en yn hokker trant is it wurdich trochgean.
Boarne: www.habr.com