A morte, u divorziu è u muvimentu sò trè di e situazioni più stressanti in a vita di ogni persona.
"American Horror Story".
- Andryukh, partu di casa, aiutami à muvimenti, tuttu ùn si mette micca cun mè :(
- Va bè, quanti sò ?
- Tunnellate* 7-8...
* Ton (jarg) - Terabyte.
Ricertamenti, mentre navigava in Internet, aghju nutatu chì, malgradu a dispunibilità nantu à Habré è risorse simili di assai materiali nantu à i metudi è mudelli per a migrazione di diversi tipi di dati, e dumande nantu à questu tema sò sempre apparsu in Internet. Chì, per una certa ragione, ùn riceve micca sempre risposte dettagliate. Stu fattu m'hà incitatu à un ghjornu raccoglie note nantu à l'implementazione di una suluzione simili è l'arranghjenu in a forma di un postu separatu.
In generale, aghju da trasfiriri dati da un dispositivu, sistema è serviziu à un altru cù una freccia fastidiosa. Chì, per mezu di prucessu è errore, m'hà permessu micca solu di cunnosce assai prudutti interessanti, ma ancu di truvà un equilibriu trà e funziunalità è u costu di a suluzione chì vogliu parlà.
Disegnu
Cum'è u risultatu di u travagliu di cuncepimentu è di indagine, a qualità è l'efficienza di u prucessu di migrazione depende micca solu di e caratteristiche tecniche di i "siti" induve e dati sò o seranu situati, ma ancu nantu à a so situazione fisica.
U gestore di migrazione hè un nodu informaticu nantu à quale a "logica" di u prucessu - software per a gestione di a migrazione - funziona.
Vale à dì, ci sò dui mudelli per mette un "gestore di migrazione"
- U mudellu A. Se almenu unu di i siti ponu accede solu da a reta lucale, allora vale a pena mette un "gestore di migrazione" in a stessa reta. Perchè u rendiment è u tempu di migrazione sò sempre limitati da a rapidità è l'uptime di u canali chì cunnette i siti.
- U mudellu B. Se a fonte è u receptore di e dati anu accessu fora di a reta lucale, allora u "gestore di migrazione" deve esse situatu induve a velocità è u uptime di u canali trà elli seranu ovviamente megliu.
In modu di scumpressà in qualchì manera u sopra, pruponu di vultà à i travaglii da a quistione principale di l'articulu è furmalizà in specificazioni tecniche.
Prima, aghju bisognu di sapè se u software chì aghju utilizatu supporta nuvole: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
A risposta corta hè: "Sì!"
Emu .
Rclone - rsync per u almacenamentu in nuvola. Software Open Source cuncepitu per sincronizà i fugliali è i cartulare cù più di 45 tipi è tippi di almacenamento.
Eccu uni pochi d'elli:
- Alibaba Cloud (Aliyun) Sistema di Storage d'Oggetti (OSS)
- Amazon S3
- Ceph
- Spazi Digitali Oceani
- Dropbox
- Google Cloud Storage
- Google Drive
- Google Photos
- HTTP
-IBM COS S3
- Mail.ru Cloud
- Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
- Miniu
- Nextcloud
- Openstack Swift
- Oracle Cloud Storage
- ownCloud
- Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
- Yandex Disk
Funzionalità principale:
- Verificate l'integrità di i fugliali cù l'hash MD5/SHA1.
- Salvà timestamps per creà / cambià i fugliali.
- Supporta a sincronizazione parziale.
- Copia solu i schedari novi.
- Sincronizazione (una sola strada).
- Verificazione di i fugliali (per hash).
- Capacità di sincronizà da un contu nuvola à l'altru.
- Supportu di criptografia.
- Supportu per a cache di u schedariu locale.
- Capacità di muntà servizii cloud via FUSE.
Aghju aghjustatu per sè stessu chì Rclone m'aiuta ancu à risolve a parte di u leone di prublemi ligati à l'automatizazione di salvezza di dati in .
U prossimu compitu hè di selezziunà un mudellu di piazzamentu "gestore di migrazione".
Tutte e fonti di dati, chì sò diversi servizii publichi di nuvola, sò accessibili via Internet. Inclusu attraversu l'API. Dui di trè ricevitori facenu u listessu. Ùn hè micca chjaru induve Nextcloud stessu hè implementatu è quale accessu hè dispunibule per ellu?
Aghju cuntatu cinque opzioni pussibuli:
- Nantu à u vostru servitore in a vostra reta casa / corporativa.
- In u vostru propiu servitore in un rack affittu di u centru di dati di u fornitore di serviziu.
- In un servitore affittu da un prestatore di serviziu.
- In un servitore virtuale (VDS / VPS) cù un fornitore di serviziu / hosting
- Da u fornitore di serviziu
Cunsiderendu chì Nextcloud hè sempre un software per creà è aduprà u almacenamentu in nuvola, pudemu dì in modu sicuru chì l'accessu à questu via Internet hè dispunibule in tutte e cinque opzioni. È in questu casu, u mudellu ottimale per mette un "gestore di migrazione" serà - mudellu B.
Sicondu u mudellu sceltu cum'è una piattaforma per u "gestore di migrazione", sceglieraghju una di l'opzioni ottimali, da u mo puntu di vista, - un servitore virtuale in U più grande puntu di scambiu di trafficu Internet in Russia MSK-IX.
A terza decisione chì deve esse fatta hè di decide nantu à a cunfigurazione di u servitore virtuale.
Quandu sceglite i paràmetri di cunfigurazione VDS, avete bisognu à esse guidatu da u rendimentu necessariu, chì dipende da a larghezza di i canali trà i siti, u numeru è a dimensione di i fugliali chì sò spustati, u numeru di flussi di migrazione è paràmetri. In quantu à l'OS, Rclone hè un software multipiattaforma chì funziona in diversi sistemi operativi, cumprese Windows è Linux.
Se pensa à lancià parechji prucessi di migrazione, è ancu à una certa freccia, allora vale a pena cunsiderà l'opzione di allughjà un VDS cù pagamentu per risorse.
criazioni
Basatu nantu à quì sopra, quandu crea u prototipu per questu articulu, aghju sceltu VDS in a cunfigurazione seguente.
custa 560 rubles / mese. cumpresu 15% di scontu cù coupon NOSTRESS.
Sta scelta hè duvuta à u fattu chì un node sottu u Windows OS, per rispettà e cundizioni di e nostre specifiche tecniche, hè più faciule di cunfigurà chè per altri OS dispunibuli per l'ordine.
Offtopic: Per via, per una sicurità più grande, stu servitore virtuale hè assignatu à unu di i nodi . è l'accessu à questu via RDP hè permessu solu da quì ...
Dopu avè creatu un VDS è avè l'accessu à u desktop via RDP, a prima cosa chì avete da fà hè di preparà l'ambiente per Rclone è Web-GUI. Quelli. installate un novu navigatore predeterminatu, per esempiu Chrome, postu chì l'IE 11 inizialmente installatu, sfurtunatamenti, ùn funziona micca sempre bè cù u software utilizatu.
Dopu avè preparatu l'ambiente, scaricate l'archiviu cù u pacchettu di software è sbulicà.
Dopu, in u modu di linea di cumanda di Windows, eseguite u cumandimu per andà in u cartulare cù i schedari estratti. Per mè si trova in u cartulare di casa di l'amministratore:
C:UsersAdministrator>cd rclone
Dopu a transizione, eseguimu u cumandimu per lancià Rclone da a Web-GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
induve "login" è "password" sò u login è a password chì avete specificatu, sicuru, senza virgulette.
Dopu l'esecuzione di u cumandamentu, u terminal mostra
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
è l'interfaccia web grafica Rclone apre automaticamente in u navigatore.
Malgradu u fattu chì u Web-GUI hè sempre in u stadiu di versione di prova è ùn hà micca ancu tutte e capacità di gestione Rclone chì l'interfaccia di linea di cummanda hà, e so capacità sò abbastanza abbastanza per a migrazione di dati. È ancu un pocu di più.
cutter
U prossimu passu hè di stallà cunnessione à i siti induve i dati sò o seranu situati. È u primu in linea serà u receptore di dati principali - Nextcloud.
1. Per fà questu, andate à a rùbbrica Cunfigurazioni Web-GUI.
2. Inizià a creazione di una nova cunfigurazione - buttone New Config.
3. Pone u nome di u situ - campu Nome di sta unità (Per a vostra riferenza): Nextcloud.
4. Selezziunà u tipu o tipu di almacenamentu selezziunà: Per Nextcloud è Owncloud, l'interfaccia principale di scambiu di dati hè WebDAV.
5. Dopu, cliccate nantu Passu 2: Configurazione drive, apre a lista di i paràmetri di cunnessione è compie.
- 5.1. URL di l'ospite http per cunnette à l'URL - ligame ipertestu di l'interfaccia WebDAV. In Nextcloud si trovanu in i paràmetri - angulu in basso à manca di l'interfaccia.
- 5.2. Nome di u situ Webdav / serviziu / software chì site aduprate - Nome di l'interfaccia WebDAV. U campu hè facultativu, per sè stessu, per ùn avè micca cunfunditu s'ellu ci sò parechje tali cunnessione.
- 5.3 U nome d 'utilizatori - Nome d'utilizatore per l'autorizazione
- 5.4. Codice - Password per l'autorizazione
- 5.5. Token di portatore invece di utilizatore / pass (per esempiu, un Macaroon) è Command to run to get a bearer token in l'opzioni avanzate ci sò paràmetri supplementari è cumandamenti d'autorizazione. Ùn sò micca usati in u mo Nextcloud.
6. Cliccate dopu Crea a cunfigurazione è per assicurà chì a cunfigurazione hè creata, andate à a rùbbrica Config interfaccia web... Per mezu di a stessa pagina, a cunfigurazione nova creata pò esse sguassata o editata.
Per verificà a funziunalità di a cunnessione à u situ, andate à a rùbbrica spluratori... In campu Remoti entre u nome di u situ cunfiguratu è cliccate Open. Se vede una lista di schedari è cartulari, a cunnessione à u situ hè travagliatu.
Per esse più cunvince, pudete creà / sguassate un cartulare o scaricate / sguassate un schedariu attraversu l'interfaccia web.
A seconda piattaforma per esse cunnessu serà u discu Yandex.
- I primi quattru passi sò simili à u prucessu di cunnessione Nextcloud.
- In seguitu, lasciamu tuttu cum'è hè, vale à dì, i campi in Passu 2: Setup drive Li lasciamu vacanti è ùn cambianu nunda in l'opzioni avanzate.
- Premumu Crea Config.
- A pagina d'autorizazione Yandex apre in u navigatore, dopu avè ricevutu un missaghju nantu à a cunnessione successu è una offerta per vultà à Rclone.
- Ciò chì facemu hè di verificà a sezione Config.
Migrazione
Quandu avemu dui siti cunnessi, pudemu digià migrate dati trà elli. U prucessu stessu hè simile à verificà a funziunalità di a cunnessione à Nextcloud, chì avemu realizatu prima.
- Andà à spluratori.
- Sceglie un mudellu 2-side à fiancu.
- In ognuna di Remoti indicà u nome di u vostru situ.
- Premumu Open.
- Avemu vistu un cartulare di schedari è cartulare per ognunu di elli.
Per inizià u prucessu di migrazione, tuttu ciò chì resta hè di selezziunà u cartulare desideratu cù i schedari in u repertoriu di a fonte di dati è arrastate cù u mouse à u cartulare di destinazione.
U mecanismu per aghjunghje i siti rimanenti è migrazione di dati trà elli hè simile à l'operazioni realizate sopra. Sè scuntrà errori durante u vostru travagliu, pudete studià i dettagli nantu à elli in u terminal induve Rclone cù Web-GUI hè in esecuzione.
In generale, a documentazione per hè estensivu è dispunibule nantu à u situ web è in Internet, è ùn deve micca causà difficultà in usu. Cù questu, cunsiderà u primu postu nantu à cumu trasfiriri i fugliali da una nuvola à l'altru, bypassing u vostru PC, cumpletu.
PS Se ùn site micca d'accordu cù l'ultima dichjarazione, scrivite in i cumenti: chì "tema ùn hè micca cupartu" è in quale vinu vale a pena cuntinuà.
Source: www.habr.com