Dood, egskeiding en verhuising is drie van die mees stresvolle situasies in enige persoon se lewe.
"Amerikaanse gruwelverhaal".
- Andryukh, ek verlaat die huis, help my beweeg, alles sal nie by my inpas nie :(
- Goed, hoeveel is daar?
— Ton* 7-8...
*Ton (jarg) - Teragreep.
Onlangs, terwyl ek op die internet navigeer, het ek opgemerk dat ondanks die beskikbaarheid op Habré en soortgelyke hulpbronne van baie materiaal oor metodes en modelle vir die migreer van verskillende soorte data, vrae oor hierdie onderwerp steeds op die internet verskyn. Wat om een of ander rede nie altyd gedetailleerde antwoorde kry nie. Hierdie feit het my aangespoor om eendag notas te versamel oor die implementering van 'n soortgelyke oplossing en dit in die vorm van 'n aparte pos te rangskik.
Oor die algemeen moet ek data van een toestel, stelsel en diens na 'n ander oordra met een of ander irriterende frekwensie. Wat my deur trial and error toegelaat het om nie net met baie interessante produkte kennis te maak nie, maar ook om 'n balans te vind tussen funksionaliteit en koste van die oplossing waaroor ek wil praat
ontwerp
Soos dit geblyk het as gevolg van ontwerp- en opnamewerk, hang die kwaliteit en doeltreffendheid van die migrasieproses nie net af van die tegniese kenmerke van die "webwerwe" waar die data geleë is of sal wees nie, maar ook van hul fisiese ligging.
Migrasiebestuurder is 'n rekenaarnodus waarop die "logika" van die proses - sagteware vir die bestuur van migrasie - funksioneer.
Dit wil sê, daar is twee modelle vir die plasing van 'n "migrasiebestuurder"
- Model A. As ten minste een van die werwe slegs van binne die plaaslike netwerk verkry kan word, is dit die moeite werd om 'n "migrasiebestuurder" op dieselfde netwerk te plaas. Omdat die werkverrigting en migrasietyd steeds beperk word deur die spoed en optyd van die kanaal wat die werwe verbind.
- Model B. As beide die bron en die ontvanger van die data toegang het buite die plaaslike netwerk, dan moet die "migrasiebestuurder" geleë wees waar die spoed en uptyd van die kanaal tussen hulle natuurlik beter sal wees.
Om die bogenoemde op een of ander manier te ontbind, stel ek voor om terug te keer na die take vanaf die hoofvraag van die artikel en dit in tegniese spesifikasies te formaliseer.
Eerstens moet ek uitvind of die sagteware wat ek gebruik wolke ondersteun: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
Die kort antwoord is: "JA!"
Ek gebruik .
Rclone - rsync vir wolkberging. Oopbronsagteware wat ontwerp is om lêers en vouers met meer as 45 tipes en tipes berging te sinchroniseer.
Hier is net 'n paar daarvan:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Ceph
—DigitalOcean Spaces
- Dropbox
- Google Wolkberging
- Google Drive
- Google Foto's
- HTTP
-IBM COS S3
- Mail.ru Wolk
— Mega
- Microsoft Azure Blob-berging
- Microsoft OneDrive
— Minio
— Nextcloud
- Oopstapel Swift
— Oracle Wolkberging
- eie Wolk
- Rackspace Wolk-lêers
- rsync.net
- SFTP
- WebDAV
- Yandex-skyf
Hooffunksie:
- Kontroleer die integriteit van lêers met MD5/SHA1-hashes.
- Stoor tydstempels vir die skep/verandering van lêers.
- Ondersteun gedeeltelike sinchronisasie.
- Kopieer slegs nuwe lêers.
- Sinchronisasie (eenrigting).
- Kontroleer lêers (deur hashes).
- Vermoë om van een wolkrekening na 'n ander te sinchroniseer.
- Enkripsie ondersteuning.
- Ondersteuning vir plaaslike lêerkas.
— Vermoë om wolkdienste via FUSE te monteer.
Ek sal op my eie byvoeg dat Rclone my ook help om die grootste deel van die probleme op te los wat verband hou met die outomatisering van data-rugsteun in .
Die volgende taak is om 'n "migrasiebestuurder"-plasingsmodel te kies.
Alle databronne, wat verskeie openbare wolkdienste is, is toeganklik via die internet. Insluitend deur die API. Twee uit drie ontvangers doen dieselfde. Dit is nie duidelik waar Nextcloud self ontplooi is en watter toegang daartoe beskikbaar is nie?
Ek het vyf moontlike opsies getel:
- Op jou eie bediener in jou huis/korporatiewe netwerk.
- Op jou eie bediener in 'n gehuurde rek van die diensverskaffer se datasentrum.
- Op 'n bediener wat van 'n diensverskaffer gehuur is.
- Op 'n virtuele bediener (VDS/VPS) met 'n diens-/gasheerverskaffer
- Van die diensverskaffer
As in ag geneem word dat Nextcloud steeds sagteware is om wolkberging te skep en te gebruik, kan ons met sekerheid sê dat toegang daartoe via die internet in al vyf opsies beskikbaar is. En in hierdie geval sal die optimale model vir die plasing van 'n "migrasiebestuurder" wees - model B.
Volgens die model wat gekies is as 'n platform vir die "migrasiebestuurder", sal ek een van die optimale, uit my oogpunt, opsies kies - 'n virtuele bediener in Rusland se grootste internetverkeeruitruilpunt MSK-IX.
Die derde besluit wat geneem moet word, is om te besluit oor die virtuele bedienerkonfigurasie.
Wanneer u VDS-konfigurasieparameters kies, moet u gelei word deur die vereiste werkverrigting, wat afhang van die breedte van die kanale tussen werwe, die aantal en grootte van lêers wat geskuif word, die aantal migrasiestrome en instellings. Wat die bedryfstelsel betref, is Rclone kruisplatformsagteware wat op verskeie bedryfstelsels werk, insluitend Windows en Linux.
As u van plan is om verskeie migrasieprosesse te begin, en selfs teen 'n sekere frekwensie, is dit die moeite werd om die opsie te oorweeg om 'n VDS te huur met betaling vir hulpbronne.
skepping
Op grond van bogenoemde, toe ek die prototipe vir hierdie artikel geskep het, het ek VDS in die volgende konfigurasie gekies.
kos 560 roebels per maand. insluitend 15% afslag met behulp van koepon GEEN STRES.
Hierdie keuse is te danke aan die feit dat 'n nodus onder Windows-bedryfstelsel, om aan die voorwaardes van ons tegniese spesifikasies te voldoen, makliker is om te konfigureer as vir ander bedryfstelsels wat beskikbaar is vir bestelling.
Offtopic: Terloops, vir groter sekuriteit word hierdie virtuele bediener aan een van die nodusse toegewys . en toegang daartoe via RDP word slegs van daar af toegelaat ...
Nadat u 'n VDS geskep het en toegang tot die lessenaar verkry het via RDP, is die eerste ding wat u moet doen om die omgewing voor te berei vir Rclone en Web-GUI. Dié. installeer 'n nuwe verstekblaaier, byvoorbeeld Chrome, aangesien die aanvanklik geïnstalleerde IE 11 ongelukkig nie altyd korrek werk met die sagteware wat gebruik word nie.
Nadat u die omgewing voorberei het, laai die argief met die sagtewarepakket af en pak dit uit.
Voer dan die opdrag in die Windows-opdragreëlmodus uit om na die gids met die onttrekde lêers te gaan. Vir my is dit in die administrateur se tuisgids geleë:
C:UsersAdministrator>cd rclone
Na die oorgang voer ons die opdrag uit om Rclone vanaf die Web-GUI te begin:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
waar "login" en "wagwoord" die login en wagwoord is wat jy gespesifiseer het, natuurlik sonder aanhalingstekens.
By die uitvoering van die opdrag, vertoon die terminale
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
en die Rclone grafiese webkoppelvlak maak outomaties in die blaaier oop.
Ten spyte van die feit dat die Web-GUI steeds in die toetsweergawe stadium is en nog nie al die Rclone-bestuursvermoëns het wat die opdragreëlkoppelvlak het nie, is sy vermoëns redelik voldoende vir datamigrasie. En selfs 'n bietjie meer.
aanpassing
Die volgende stap is om verbindings op te stel na die werwe waar die data is of sal wees. En die eerste in die ry sal die hoofdata-ontvanger wees - Nextcloud.
1. Om dit te doen, gaan na die afdeling instellings Web-GUI.
2. Inisieer die skepping van 'n nuwe konfigurasie - knoppie Nuwe Config.
3. Stel die werfnaam - veld Naam van hierdie aandrywer (vir jou verwysing): Nextcloud.
4. Kies die tipe of tipe berging Kies: Vir Nextcloud en Owncloud is die hoofdata-uitruilkoppelvlak WebDAV.
5. Klik dan op Stap 2: opstel ry, maak die lys van verbindingsparameters oop en vul in.
- 5.1. URL van http-gasheer om aan URL te koppel - hiperteksskakel van die WebDAV-koppelvlak. In Nextcloud is hulle geleë in die instellings - onderste linkerhoek van die koppelvlak.
- 5.2. Naam van die Webdav-werf/diens/sagteware wat jy gebruik - WebDAV-koppelvlaknaam. Die veld is opsioneel, vir jouself, om nie deurmekaar te raak as daar baie sulke verbindings is nie.
- 5.3 User name — Gebruikersnaam vir magtiging
- 5.4. Wagwoord - Wagwoord vir magtiging
- 5.5. Draer-token in plaas van gebruiker/pas (bv. 'n Macaroon) en Command to run om 'n draer-token te kry in gevorderde opsies is daar bykomende parameters en magtigingsopdragte. Hulle word nie in my Nextcloud gebruik nie.
6. Volgende klik Skep konfigurasie en om seker te maak dat die konfigurasie geskep is, gaan na die afdeling Config webkoppelvlak... Deur dieselfde bladsy kan die nuutgeskepte konfigurasie uitgevee of geredigeer word.
Gaan na die afdeling om die funksionaliteit van die verbinding met die webwerf na te gaan Explorer... In die veld afstandbeheer voer die naam van die gekonfigureerde webwerf in en klik Opening. As jy 'n lys van lêers en gidse sien, werk die verbinding met die webwerf.
Om meer oortuigend te wees, kan jy 'n vouer skep/vee of 'n lêer aflaai/vee deur die webkoppelvlak.
Die tweede platform wat gekoppel moet word, sal Yandex-skyf wees.
- Die eerste vier stappe is soortgelyk aan die Nextcloud-verbindingsproses.
- Vervolgens laat ons alles soos dit is, dit wil sê die velde in Stap 2: Stel aandrywer op Ons laat hulle leeg en verander niks in die gevorderde opsies nie.
- Ons druk Skep Config.
- Die Yandex-magtigingsbladsy word in die blaaier oopgemaak, waarna u 'n boodskap ontvang oor suksesvolle verbinding en 'n aanbod om terug te keer na Rclone.
- Wat ons doen is om die afdeling na te gaan Config.
Migrasie
Wanneer ons twee werwe verbind het, kan ons reeds data tussen hulle migreer. Die proses self is soortgelyk aan die nagaan van die funksionaliteit van die verbinding met Nextcloud, wat ons vroeër uitgevoer het.
- Gaan na Explorer.
- Die keuse van 'n sjabloon 2-sy aan sy.
- In elk van afstandbeheer dui die naam van jou werf aan.
- Ons druk Opening.
- Ons sien 'n gids van lêers en dopgehou vir elkeen van hulle.
Om die migrasieproses te begin, is al wat oorbly om die gewenste vouer met lêers in die databrongids te kies en dit met die muis na die bestemmingsgids te sleep.
Die meganisme om die oorblywende werwe by te voeg en data tussen hulle te migreer is soortgelyk aan die bewerkings wat hierbo uitgevoer is. As jy foute tydens jou werk teëkom, kan jy besonderhede daaroor bestudeer in die terminaal waar Rclone met Web-GUI loop.
In die algemeen, die dokumentasie vir is omvangryk en beskikbaar op die webwerf en op die internet, en behoort geen gebruiksprobleme te veroorsaak nie. Hiermee beskou ek die eerste pos oor hoe om lêers van een wolk na 'n ander oor te dra, deur jou rekenaar te omseil, voltooi.
PS As jy nie met die laaste stelling saamstem nie, skryf in die kommentaar: watter "onderwerp word nie gedek nie" en in watter trant dit die moeite werd is om voort te gaan.
Bron: will.com