Come trasferire file da un cloud all'altro senza passare dal PC

La morte, il divorzio e il trasloco sono tre delle situazioni più stressanti nella vita di ogni persona.
"Storia dell'orrore americana".

- Andryukh, esco di casa, aiutami a traslocare, non mi va tutto bene :(
- Ok, quanti sono?
— Tonnellate* 7-8...
*Tonnellata (jarg) - Terabyte.

Recentemente, mentre navigavo in Internet, ho notato che nonostante la disponibilità su Habré e risorse simili di molti materiali su metodi e modelli per la migrazione di vari tipi di dati, su Internet compaiono ancora domande su questo argomento. Che, per qualche motivo, non sempre ricevono risposte dettagliate. Questo fatto mi ha spinto un giorno a raccogliere appunti sull'implementazione di una soluzione simile e ad organizzarli sotto forma di un post separato.

In generale, devo trasferire dati da un dispositivo, sistema e servizio a un altro con una frequenza fastidiosa. Il che, attraverso prove ed errori, mi ha permesso non solo di conoscere molti prodotti interessanti, ma anche di trovare un equilibrio tra funzionalità e costo della soluzione di cui voglio parlare

disegno

Come è risultato dal lavoro di progettazione e indagine, la qualità e l’efficienza del processo di migrazione dipendono non solo dalle caratteristiche tecniche dei “siti” in cui i dati sono o saranno collocati, ma anche dalla loro ubicazione fisica.

Il gestore della migrazione è un nodo informatico su cui funziona la “logica” del processo, ovvero il software per la gestione della migrazione.

Esistono cioè due modelli per collocare un “gestore della migrazione”

• Modello A. Se almeno uno dei siti è accessibile solo dalla rete locale, allora vale la pena posizionare un “gestore della migrazione” sulla stessa rete. Perché le prestazioni e i tempi di migrazione sono ancora limitati dalla velocità e dal tempo di attività del canale che collega i siti.
• Modello B. Se sia la fonte che il destinatario dei dati hanno accesso al di fuori della rete locale, allora il “gestore della migrazione” dovrebbe essere posizionato dove la velocità e il tempo di attività del canale tra di loro saranno ovviamente migliori.

Per scomporre in qualche modo quanto sopra, propongo di tornare ai compiti dalla questione principale dell'articolo e formalizzarli in specifiche tecniche.

Innanzitutto, devo scoprire se il software che sto utilizzando supporta i cloud: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

La risposta breve è: “SI!”

Io uso Rclone.

Rclone: ​​rsync per l'archiviazione nel cloud. Software Open Source progettato per sincronizzare file e cartelle con più di 45 tipi e tipi di archiviazione.

Ecco alcuni di loro:
— Sistema di archiviazione di oggetti (OSS) Alibaba Cloud (Aliyun)
-Amazon S3
— Cef
—Spazi DigitalOcean
—Dropbox
-Archiviazione Google Cloud
- Google Drive
- Google Foto
-HTTP
-IBM COS S3
— Mail.ruCloud
—Mega
-Archiviazione BLOB di Microsoft Azure
-Microsoft OneDrive
— Minione
— Nextcloud
- Openstack Swift
—Oracle Cloud Storage
— proprioCloud
— File cloud di Rackspace
- rsync.net
-SFTP
- WebDAV
— Disco Yandex

Le principali funzionalità:
— Controllo dell'integrità dei file utilizzando hash MD5/SHA1.
— Salvataggio di timestamp per la creazione/modifica dei file.
- Supporta la sincronizzazione parziale.
— Copia solo dei nuovi file.
— Sincronizzazione (unidirezionale).
— Controllo dei file (tramite hash).
— Possibilità di sincronizzarsi da un account cloud a un altro.
- Supporto per la crittografia.
- Supporto per la memorizzazione nella cache dei file locali.
— Possibilità di montare servizi cloud tramite FUSE.

Aggiungerò da solo che Rclone mi aiuta anche a risolvere la maggior parte dei problemi legati all'automazione del backup dei dati in progetto "Väinämöinen".

Il compito successivo è selezionare un modello di posizionamento “gestore della migrazione”.

Tutte le fonti di dati, che sono vari servizi cloud pubblici, sono accessibili tramite Internet. Anche tramite l'API. Due ricevitori su tre fanno lo stesso. Non è chiaro dove sia distribuito lo stesso Nextcloud e quale accesso sia disponibile?

Ho contato cinque possibili opzioni:

1. Sul tuo server nella tua rete domestica/aziendale.
2. Sul tuo server in un rack affittato del data center del fornitore di servizi.
3. Su un server noleggiato da un fornitore di servizi.
4. Su un server virtuale (VDS/VPS) con un fornitore di servizi/hosting 
5. Dal fornitore di servizi secondo il modello SaaS

Considerando che Nextcloud è pur sempre un software per la creazione e l'utilizzo del cloud storage, possiamo tranquillamente affermare che l'accesso ad esso tramite Internet è disponibile in tutte e cinque le opzioni. E in questo caso, il modello ottimale per collocare un "gestore della migrazione" sarà: modello B.

In base al modello scelto come piattaforma per il "gestore della migrazione", sceglierò una delle opzioni ottimali, dal mio punto di vista: un server virtuale in Centro dati M9 Il più grande punto di scambio di traffico Internet della Russia MSK-IX.

La terza decisione da prendere riguarda la configurazione del server virtuale. 

Quando si scelgono i parametri di configurazione VDS, è necessario lasciarsi guidare dalle prestazioni richieste, che dipendono dalla larghezza dei canali tra i siti, dal numero e dalle dimensioni dei file spostati, dal numero di flussi di migrazione e dalle impostazioni. Per quanto riguarda il sistema operativo, Rclone è un software multipiattaforma che funziona su vari sistemi operativi, inclusi Windows e Linux.

Se prevedi di avviare diversi processi di migrazione, e anche con una certa frequenza, vale la pena considerare l'opzione di noleggiare un VDS con pagamento delle risorse.

creazione

Sulla base di quanto sopra, durante la creazione del prototipo per questo articolo, ho scelto VDS nella seguente configurazione.

costa 560 rubli al mese. incluso sconto del 15% tramite coupon NIENTE STRESS.

Questa scelta è dovuta al fatto che un nodo sotto sistema operativo Windows, per rispettare le condizioni delle nostre specifiche tecniche, è più semplice da configurare rispetto ad altri sistemi operativi disponibili per l'ordine.

Offtopic: A proposito, per maggiore sicurezza, questo server virtuale è assegnato a uno dei nodi rete virtuale sicura. e l'accesso tramite RDP è consentito solo da lì...

Dopo aver creato un VDS e ottenuto l'accesso al desktop tramite RDP, la prima cosa che devi fare è preparare l'ambiente per Rclone e Web-GUI. Quelli. installa un nuovo browser predefinito, ad esempio Chrome, poiché IE 11 installato inizialmente, purtroppo, non sempre funziona correttamente con il software utilizzato. 

Dopo aver preparato l'ambiente, scaricare l'archivio con il pacchetto software RClone per Windows e disimballarlo. 

Successivamente, in modalità riga di comando di Windows, esegui il comando per accedere alla cartella con i file estratti. Per me si trova nella cartella home dell'amministratore:

C:UsersAdministrator>cd rclone

Dopo la transizione, eseguiamo il comando per avviare Rclone dalla Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

dove “login” e “password” sono il login e la password specificati, ovviamente, senza virgolette.

All'esecuzione del comando, il terminale visualizza

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

e l'interfaccia web grafica Rclone si apre automaticamente nel browser.

Nonostante il fatto che la Web-GUI sia ancora in fase di versione di prova e non disponga ancora di tutte le funzionalità di gestione Rclone dell'interfaccia a riga di comando, le sue capacità sono abbastanza sufficienti per la migrazione dei dati. E anche un po' di più.

registrazione

Il passaggio successivo consiste nell'impostare le connessioni ai siti in cui si trovano o saranno posizionati i dati. E il primo della fila sarà il principale ricevitore di dati: Nextcloud.

1. Per fare ciò, vai alla sezione Config GUI Web. 

2. Avvio della creazione di una nuova configurazione - pulsante Nuova configurazione.

3. Imposta il nome del sito - campo Nome di questa unità (per riferimento): Nextcloud.

4. Selezione del tipo o del tipo di archiviazione Seleziona: Per Nextcloud e Owncloud, l'interfaccia principale di scambio dati è WebDAV.

5. Successivamente, fare clic su Passaggio 2: configurazione drive, aprire la lista dei parametri di connessione e compilarla. 

- 5.1. URL dell'host http per connettersi all'URL — collegamento ipertestuale dell'interfaccia WebDAV. In Nextcloud si trovano nelle impostazioni, nell'angolo in basso a sinistra dell'interfaccia.
- 5.2. Nome del sito/servizio/software Webdav che stai utilizzando — Nome dell'interfaccia WebDAV. Il campo è facoltativo, per te, in modo da non confonderti se ci sono molte connessioni di questo tipo.
- 5.3 nome utente — Nome utente per l'autorizzazione
- 5.4. Password — Password per l'autorizzazione
- 5.5. Gettone al portatore invece di utente/passaggio (ad esempio un amaretto) e comando di correre per ottenere un gettone al portatore nelle opzioni avanzate sono presenti parametri aggiuntivi e comandi di autorizzazione. Non vengono utilizzati nel mio Nextcloud.

6. Successivo clic Crea configurazione e per assicurarti che la configurazione venga creata, vai alla sezione Configurazione interfaccia web... Attraverso la stessa pagina è possibile eliminare o modificare la configurazione appena creata.

Per verificare la funzionalità del collegamento al sito accedere alla sezione Explorer... In campo Telecomandi inserire il nome del sito configurato e cliccare Apri. Se vedi un elenco di file e directory, la connessione al sito funziona.

Per essere più convincente, puoi creare/eliminare una cartella o scaricare/eliminare un file tramite l'interfaccia web.

La seconda piattaforma da connettere sarà il disco Yandex.

• I primi quattro passaggi sono simili al processo di connessione a Nextcloud.
• Successivamente lasciamo tutto così com'è, cioè i campi Passaggio 2: installazione dell'unità Li lasciamo vuoti e non cambiamo nulla nelle opzioni avanzate.
• ? Crea configurazione.
• La pagina di autorizzazione Yandex si apre nel browser, dopo di che riceverai un messaggio sulla connessione riuscita e un'offerta per tornare a Rclone.
• Quello che facciamo è controllare la sezione Config.

migrazione

Quando abbiamo due siti collegati, possiamo già migrare i dati tra di loro. Il processo stesso è simile al controllo della funzionalità della connessione a Nextcloud, che abbiamo eseguito in precedenza.

• Passiamo a Explorer.
• Scelta di un modello 2 affiancati.
• In ciascuno di Telecomandi indica il nome del tuo sito.
• ? Apri.
• Vediamo una directory di file e cartelle per ciascuno di essi.

Per avviare il processo di migrazione non resta che selezionare la cartella desiderata con i file nella directory di origine dei dati e trascinarla con il mouse nella directory di destinazione.

Il meccanismo per aggiungere i siti rimanenti e migrare i dati tra di essi è simile alle operazioni eseguite sopra. Se riscontri errori durante il tuo lavoro, puoi studiarne i dettagli nel terminale su cui è in esecuzione Rclone con Web-GUI.

In generale, la documentazione per Rclone è ampio e disponibile sul sito e su Internet e non dovrebbe causare alcuna difficoltà di utilizzo. Con questo considero completo il primo post su come trasferire file da un cloud all'altro, bypassando il PC.

PS Se non sei d'accordo con l'ultima affermazione, scrivi nei commenti: quale “argomento non è trattato” e in che senso vale la pena continuare.

Fonte: habr.com