La mort, el divorci i la mudança són tres de les situacions més estressants de la vida de qualsevol persona.
"American Horror Story".
- Andryukh, me'n vaig de casa, ajuda'm a moure'm, tot no encaixarà amb mi :(
- D'acord, quants n'hi ha?
— Tones* 7-8...
* Ton (jarg) - Terabyte.
Recentment, mentre navegava per Internet, em vaig adonar que malgrat la disponibilitat a Habré i recursos similars de molts materials sobre mètodes i models per migrar diversos tipus de dades, encara apareixen preguntes sobre aquest tema a Internet. Que, per alguna raó, no sempre reben respostes detallades. Aquest fet em va portar un dia a recollir notes sobre la implementació d'una solució similar i organitzar-les en forma de publicació independent.
En general, he de transferir dades d'un dispositiu, sistema i servei a un altre amb una freqüència molesta. El que, mitjançant assaig i error, em va permetre no només familiaritzar-me amb molts productes interessants, sinó també trobar un equilibri entre la funcionalitat i el cost de la solució de la qual vull parlar.
Disseny
Com va resultar com a resultat del treball de disseny i enquesta, la qualitat i l'eficiència del procés de migració depèn no només de les característiques tècniques dels "llocs" on es troben o s'ubicaran les dades, sinó també de la seva ubicació física.
El gestor de migració és un node informàtic sobre el qual funciona la "lògica" del procés —programari per gestionar la migració—.
És a dir, hi ha dos models per col·locar un "gestor de migració"
- Model A. Si només es pot accedir a almenys un dels llocs des de la xarxa local, val la pena col·locar un "gestor de migració" a la mateixa xarxa. Perquè el rendiment i el temps de migració encara estan limitats per la velocitat i el temps d'activitat del canal que connecta els llocs.
- Model B. Si tant la font com el receptor de les dades tenen accés fora de la xarxa local, llavors el "gestor de migració" hauria d'estar situat on la velocitat i el temps d'activitat del canal entre ells, òbviament, serà millor.
Per tal de descompondre d'alguna manera l'anterior, proposo tornar a les tasques a partir de la pregunta principal de l'article i formalitzar-les en especificacions tècniques.
Primer, he d'esbrinar si el programari que faig servir és compatible amb núvols: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
La resposta curta és: "SÍ!"
jo utilitzo .
Rclone - rsync per a l'emmagatzematge al núvol. Programari de codi obert dissenyat per sincronitzar fitxers i carpetes amb més de 45 tipus i tipus d'emmagatzematge.
A continuació, en detallem alguns:
- Sistema d'emmagatzematge d'objectes (OSS) Alibaba Cloud (Aliyun)
- Amazon S3
—Cef
—Espais DigitalOcean
- Dropbox
- Google Cloud Storage
- Google Drive
- Google Fotos
- HTTP
-IBM COS S3
— Mail.ru Cloud
—Mega
- Emmagatzematge de blobs de Microsoft Azure
- Microsoft OneDrive
—Minio
- Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Fitxers Rackspace Cloud
- rsync.net
- SFTP
- WebDAV
- Yandex Disk
Funcionalitat principal:
— Comprovació de la integritat dels fitxers mitjançant hash MD5/SHA1.
— Desar les marques de temps per crear/canviar fitxers.
- Admet la sincronització parcial.
— Copiant només fitxers nous.
— Sincronització (unidireccional).
— Comprovació de fitxers (per hash).
— Possibilitat de sincronitzar d'un compte al núvol a un altre.
- Suport de xifrat.
- Suport per a la memòria cau de fitxers locals.
— Possibilitat de muntar serveis al núvol mitjançant FUSE.
Afegiré pel meu compte que Rclone també m'ajuda a resoldre la part del lleó dels problemes relacionats amb l'automatització de la còpia de seguretat de dades a .
La següent tasca és seleccionar un model d'ubicació de "gestor de migració".
Totes les fonts de dades, que són diversos serveis públics al núvol, són accessibles a través d'Internet. Incloent a través de l'API. Dos de cada tres receptors fan el mateix. No està clar on es desplega Nextcloud i quin accés hi ha disponible?
Vaig comptar cinc opcions possibles:
- Al vostre propi servidor a la vostra xarxa domèstica/corporativa.
- Al vostre propi servidor en un bastidor llogat del centre de dades del proveïdor de serveis.
- En un servidor llogat a un proveïdor de serveis.
- En un servidor virtual (VDS/VPS) amb un proveïdor de serveis/allotjament
- Del proveïdor de serveis
Tenint en compte que Nextcloud continua sent programari per crear i utilitzar emmagatzematge al núvol, podem dir amb seguretat que l'accés a ell a través d'Internet està disponible en les cinc opcions. I en aquest cas, el model òptim per col·locar un "gestor de migració" serà: model B.
Segons el model escollit com a plataforma per al "gestor de migració", triaré una de les opcions òptimes, des del meu punt de vista, un servidor virtual en El punt d'intercanvi de trànsit d'Internet més gran de Rússia MSK-IX.
La tercera decisió que cal prendre és decidir sobre la configuració del servidor virtual.
Quan trieu els paràmetres de configuració de VDS, us heu de guiar pel rendiment requerit, que depèn de l'amplada dels canals entre els llocs, el nombre i la mida dels fitxers que es mouen, el nombre de fluxos de migració i la configuració. Pel que fa al sistema operatiu, Rclone és un programari multiplataforma que s'executa en diversos sistemes operatius, inclosos Windows i Linux.
Si teniu previst llançar diversos processos de migració, i fins i tot amb una freqüència determinada, val la pena considerar l'opció de llogar un VDS amb pagament per recursos.
creació
A partir de l'anterior, en crear el prototip d'aquest article, vaig triar VDS en la configuració següent.
costa 560 rubles/mes. inclòs 15% de descompte amb cupó SENSE ESTRÈS.
Aquesta elecció es deu al fet que un node sota el sistema operatiu Windows, per tal de complir amb les condicions de les nostres especificacions tècniques, és més fàcil de configurar que per a altres sistemes operatius disponibles per encàrrec.
Offtopic: Per cert, per a una major seguretat, aquest servidor virtual està assignat a un dels nodes . i l'accés a ella mitjançant RDP només es permet des d'allà...
Després de crear un VDS i accedir a l'escriptori mitjançant RDP, el primer que heu de fer és preparar l'entorn per a Rclone i Web-GUI. Aquells. instal·leu un nou navegador predeterminat, per exemple Chrome, ja que l'IE 11 instal·lat inicialment, malauradament, no sempre funciona correctament amb el programari utilitzat.
Després de preparar l'entorn, descarregueu l'arxiu amb el paquet de programari i desempaquetar-lo.
A continuació, en el mode de línia d'ordres de Windows, executeu l'ordre per anar a la carpeta amb els fitxers extrets. Per a mi es troba a la carpeta inicial de l'administrador:
C:UsersAdministrator>cd rclone
Després de la transició, executem l'ordre per llançar Rclone des de la GUI web:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
on "inici de sessió" i "contrasenya" són l'inici de sessió i la contrasenya que heu especificat, per descomptat, sense cometes.
En executar l'ordre, es mostra el terminal
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
i la interfície web gràfica Rclone s'obre automàticament al navegador.
Malgrat que la Web-GUI encara es troba en fase de versió de prova i encara no té totes les capacitats de gestió de Rclone que té la interfície de línia d'ordres, les seves capacitats són prou suficients per a la migració de dades. I fins i tot una mica més.
ajust
El següent pas és establir connexions als llocs on es troben o es trobaran les dades. I el primer de la línia serà el receptor de dades principal: Nextcloud.
1. Per fer-ho, aneu a la secció Configuracions Web-GUI.
2. Iniciant la creació d'una nova configuració - botó Nova configuració.
3. Establiu el camp del nom del lloc Nom d'aquesta unitat (per a la vostra referència): Nextcloud.
4. Selecció del tipus o tipus d'emmagatzematge seleccionar: Per a Nextcloud i Owncloud, la interfície principal d'intercanvi de dades és WebDAV.
5. A continuació, feu clic a Pas 2: configuració unitat, obriu la llista de paràmetres de connexió i ompliu-la.
- 5.1. URL de l'amfitrió http per connectar-se a l'URL — enllaç d'hipertext de la interfície WebDAV. A Nextcloud es troben a la configuració - cantonada inferior esquerra de la interfície.
- 5.2. Nom del lloc/servei/programari de Webdav que utilitzeu — Nom de la interfície WebDAV. El camp és opcional, per a tu mateix, per no confondre't si hi ha moltes connexions d'aquest tipus.
- 5.3 User name — Nom d'usuari per a l'autorització
- 5.4. Contrasenya — Contrasenya per a l'autorització
- 5.5. Fitxa de portador en lloc d'usuari/passe (per exemple, un Macaroon) i l'ordre d'execució per obtenir un testimoni de portador a les opcions avançades hi ha paràmetres addicionals i ordres d'autorització. No s'utilitzen al meu Nextcloud.
6. Feu clic a continuació Crea la configuració i per assegurar-vos que la configuració està creada, aneu a la secció Config interfície web... A través de la mateixa pàgina es pot esborrar o editar la configuració que s'acaba de crear.
Per comprovar la funcionalitat de la connexió al lloc, aneu a la secció Explora... En camp Comandaments remots introduïu el nom del lloc configurat i feu clic obert. Si veieu una llista de fitxers i directoris, la connexió amb el lloc està funcionant.
Per ser més convincent, podeu crear/suprimir una carpeta o descarregar/suprimir un fitxer a través de la interfície web.
La segona plataforma que es connectarà serà el disc Yandex.
- Els quatre primers passos són similars al procés de connexió Nextcloud.
- A continuació, ho deixem tot tal qual, és a dir, els camps a dins Pas 2: Configura la unitat Els deixem buits i no canviem res a les opcions avançades.
- Premem Crea la configuració.
- S'obre la pàgina d'autorització Yandex al navegador, després de la qual rebeu un missatge sobre la connexió correcta i una oferta per tornar a Rclone.
- El que fem és revisar la secció Config.
La migració
Quan tenim dos llocs connectats, ja podem migrar les dades entre ells. El procés en si és semblant a comprovar la funcionalitat de la connexió a Nextcloud, que vam dur a terme anteriorment.
- Anar a Explora.
- Selecció d'una plantilla 2 de costat a costat.
- En cadascuna de Comandaments remots indica el nom del teu lloc.
- Premem obert.
- Veiem un directori de fitxers i carpetes per a cadascun d'ells.
Per iniciar el procés de migració, només queda seleccionar la carpeta desitjada amb els fitxers del directori d'origen de dades i arrossegar-la amb el ratolí al directori de destinació.
El mecanisme per afegir els llocs restants i migrar dades entre ells és similar a les operacions realitzades anteriorment. Si trobeu errors durant el vostre treball, podeu estudiar-ne els detalls al terminal on s'està executant Rclone amb Web-GUI.
En general, la documentació per és extens i disponible al lloc web i a Internet, i no hauria de causar cap dificultat d'ús. Amb això, considero que la primera publicació sobre com transferir fitxers d'un núvol a un altre, sense passar pel vostre PC, està completa.
PS Si no esteu d'acord amb l'última afirmació, escriviu als comentaris: quin “tema no es tracta” i en quina línia val la pena continuar.
Font: www.habr.com