La muerte, el divorcio y la mudanza son tres de las situaciones más estresantes en la vida de cualquier persona.
"Historia de horror americana".
- Andryukh, me voy de casa, ayúdame a mudarme, no todo encaja conmigo :(
- Está bien, ¿cuántos son?
— Toneladas* 7-8...
*Ton (jerga) - Terabyte.
Recientemente, mientras navegaba por Internet, noté que a pesar de la disponibilidad en Habré y recursos similares de una gran cantidad de materiales sobre métodos y modelos para migrar varios tipos de datos, todavía aparecen preguntas sobre este tema en Internet. Los cuales, por alguna razón, no siempre reciben respuestas detalladas. Este hecho me impulsó un día a recopilar notas sobre la implementación de una solución similar y organizarlas en una publicación separada.
En general, tengo que transferir datos de un dispositivo, sistema y servicio a otro con cierta frecuencia molesta. Lo cual, mediante prueba y error, me permitió no solo familiarizarme con muchos productos interesantes, sino también encontrar un equilibrio entre la funcionalidad y el costo de la solución de la que quiero hablar.
diseño
Como resultó del trabajo de diseño y encuesta, la calidad y eficiencia del proceso de migración depende no solo de las características técnicas de los “sitios” donde se ubicarán o se ubicarán los datos, sino también de su ubicación física.
El administrador de migración es un nodo informático en el que funciona la “lógica” del proceso: el software para gestionar la migración.
Es decir, existen dos modelos para colocar un “gestor de migración”
- Modelo A. Si solo se puede acceder a al menos uno de los sitios desde la red local, entonces vale la pena colocar un "administrador de migración" en la misma red. Porque el rendimiento y el tiempo de migración aún están limitados por la velocidad y el tiempo de actividad del canal que conecta los sitios.
- Modelo B. Si tanto la fuente como el receptor de los datos tienen acceso fuera de la red local, entonces el "administrador de migración" debe ubicarse donde la velocidad y el tiempo de actividad del canal entre ellos sean obviamente mejores.
Para descomponer de alguna manera lo anterior, propongo volver a las tareas de la pregunta principal del artículo y formalizarlas en especificaciones técnicas.
Primero, necesito saber si el software que estoy usando admite nubes: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
¡La respuesta corta es sí!"
Yo uso .
Rclone: rsync para almacenamiento en la nube. Software de código abierto diseñado para sincronizar archivos y carpetas con más de 45 tipos y tipos de almacenamiento.
Estos son solo algunos de ellos:
— Sistema de almacenamiento de objetos (OSS) de Alibaba Cloud (Aliyun)
-Amazon S3
— Ceph
—Espacios oceánicos digitales
—Dropbox
- Almacenamiento en la nube de Google
- Google Drive
- Google Fotos
-HTTP
-IBM COS S3
— Nube Mail.ru
-Mega
- Almacenamiento de blobs de Microsoft Azure
-Microsoft OneDrive
— Minio
— Próxima nube
- Openstack Rápido
— Almacenamiento en la nube de Oracle
— propia nube
— Archivos en la nube de Rackspace
-rsync.net
- SFTP
-WebDAV
— Disco Yandex
La funcionalidad principal:
— Comprobación de la integridad de los archivos mediante hashes MD5/SHA1.
— Guardar marcas de tiempo para crear/cambiar archivos.
- Soporta sincronización parcial.
— Copiar sólo archivos nuevos.
— Sincronización (unidireccional).
— Comprobación de archivos (por hashes).
— Capacidad de sincronizar de una cuenta en la nube a otra.
- Soporte de cifrado.
- Soporte para almacenamiento en caché de archivos locales.
— Capacidad para montar servicios en la nube a través de FUSE.
Agregaré por mi cuenta que Rclone también me ayuda a resolver la mayor parte de los problemas relacionados con la automatización de la copia de seguridad de datos en .
La siguiente tarea es seleccionar un modelo de ubicación de “administrador de migración”.
Se puede acceder a todas las fuentes de datos, que son distintos servicios de nube pública, a través de Internet. Incluso a través de la API. Dos de cada tres receptores hacen lo mismo. ¿No está claro dónde está implementado Nextcloud y qué acceso tiene disponible?
Conté cinco opciones posibles:
- En su propio servidor en su red doméstica/corporativa.
- En su propio servidor en un rack alquilado del centro de datos del proveedor de servicios.
- En un servidor alquilado a un proveedor de servicios.
- En un servidor virtual (VDS/VPS) con un proveedor de servicios/hosting
- Del proveedor de servicios
Teniendo en cuenta que Nextcloud sigue siendo un software para crear y utilizar almacenamiento en la nube, podemos decir con seguridad que el acceso a él a través de Internet está disponible en las cinco opciones. Y en este caso, el modelo óptimo para colocar un "administrador de migración" será: modelo B.
Según el modelo elegido como plataforma para el "administrador de migración", elegiré una de las opciones óptimas, desde mi punto de vista: un servidor virtual en El punto de intercambio de tráfico de Internet más grande de Rusia, MSK-IX.
La tercera decisión que hay que tomar es decidir la configuración del servidor virtual.
Al elegir los parámetros de configuración de VDS, debe guiarse por el rendimiento requerido, que depende del ancho de los canales entre sitios, la cantidad y el tamaño de los archivos que se mueven, la cantidad de flujos de migración y la configuración. En cuanto al sistema operativo, Rclone es un software multiplataforma que se ejecuta en varios sistemas operativos, incluidos Windows y Linux.
Si planeas lanzar varios procesos de migración, e incluso con cierta frecuencia, entonces vale la pena considerar la opción de alquilar un VDS con pago por recursos.
creación
Con base en lo anterior, al crear el prototipo para este artículo, elegí VDS en la siguiente configuración.
cuesta 560 rublos/mes. incluyendo 15% de descuento usando cupón NUESTRA.
Esta elección se debe al hecho de que un nodo bajo el sistema operativo Windows, para cumplir con las condiciones de nuestras especificaciones técnicas, es más fácil de configurar que para otros sistemas operativos disponibles para su pedido.
Offtopic: Por cierto, para mayor seguridad, este servidor virtual está asignado a uno de los nodos. . y el acceso a él a través de RDP solo está permitido desde allí...
Después de crear un VDS y obtener acceso al escritorio a través de RDP, lo primero que debe hacer es preparar el entorno para Rclone y Web-GUI. Aquellos. instale un nuevo navegador predeterminado, por ejemplo Chrome, ya que, lamentablemente, el IE 11 instalado inicialmente no siempre funciona correctamente con el software utilizado.
Después de preparar el entorno, descargue el archivo con el paquete de software. y desembalarlo.
A continuación, en el modo de línea de comandos de Windows, ejecute el comando para ir a la carpeta con los archivos extraídos. Para mí está ubicado en la carpeta de inicio del administrador:
C:UsersAdministrator>cd rclone
Después de la transición, ejecutamos el comando para iniciar Rclone desde la Web-GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
donde “iniciar sesión” y “contraseña” son el nombre de usuario y la contraseña que usted especificó, por supuesto, sin comillas.
Al ejecutar el comando, la terminal muestra
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
y la interfaz web gráfica de Rclone se abre automáticamente en el navegador.
A pesar de que la Web-GUI aún se encuentra en la etapa de versión de prueba y aún no tiene todas las capacidades de administración de Rclone que tiene la interfaz de línea de comando, sus capacidades son suficientes para la migración de datos. E incluso un poquito más.
Ajuste
El siguiente paso es configurar conexiones a los sitios donde se ubicarán o se ubicarán los datos. Y el primero en la fila será el principal receptor de datos: Nextcloud.
1. Para ello dirígete a la sección Configuraciones GUI web.
2. Iniciando la creación de una nueva configuración - botón Nueva configuración.
3. Establecer el nombre del sitio - campo Nombre de esta unidad (para su referencia): Próxima nube.
4. Seleccionar el tipo o tipo de almacenamiento Seleccione: Para Nextcloud y Owncloud, la principal interfaz de intercambio de datos es WebDAV.
5. A continuación, haga clic en Paso 2: configuración unidad, abra la lista de parámetros de conexión y complete.
- 5.1. URL del host http para conectarse a la URL — enlace de hipertexto de la interfaz WebDAV. En Nextcloud, se encuentran en la configuración, esquina inferior izquierda de la interfaz.
- 5.2. Nombre del sitio/servicio/software de Webdav que está utilizando — Nombre de la interfaz WebDAV. El campo es opcional, para usted, para no confundirse si hay muchas conexiones de este tipo.
- 5.3 nombre de usuario — Nombre de usuario para autorización
- 5.4. Contraseña — Contraseña para autorización
- 5.5. Token de portador en lugar de usuario/contraseña (por ejemplo, un macarrón) y comando para ejecutar para obtener un token de portador en las opciones avanzadas hay parámetros adicionales y comandos de autorización. No se utilizan en mi Nextcloud.
6. Siguiente clic Crear configuración y para asegurarse de que la configuración está creada, vaya a la sección configuración interfaz web... A través de la misma página, la configuración recién creada se puede eliminar o editar.
Para comprobar la funcionalidad de la conexión al sitio, vaya a la sección Explorer... En campo Mandos a distancia ingrese el nombre del sitio configurado y haga clic Abierto. Si ve una lista de archivos y directorios, la conexión al sitio está funcionando.
Para ser más convincente, puede crear/eliminar una carpeta o descargar/eliminar un archivo a través de la interfaz web.
La segunda plataforma que se conectará será el disco Yandex.
- Los primeros cuatro pasos son similares al proceso de conexión de Nextcloud.
- A continuación dejamos todo como está, es decir, los campos en Paso 2: configurar la unidad Los dejamos vacíos y no cambiamos nada en las opciones avanzadas.
- presionamos Crear configuración.
- Se abre una página de autorización de Yandex en el navegador, después de lo cual aparece un mensaje sobre la conexión exitosa y una oferta para regresar a Rclone.
- Lo que hacemos es consultar la sección Config.
La migracion
Cuando tenemos dos sitios conectados, ya podemos migrar datos entre ellos. El proceso en sí es similar a comprobar la funcionalidad de la conexión a Nextcloud, que realizamos anteriormente.
- Pasamos a Explorer.
- Elegir una plantilla 2 lado a lado.
- En cada Mandos a distancia indique el nombre de su sitio.
- presionamos Abierto.
- Vemos un directorio de archivos y carpetas para cada uno de ellos.
Para iniciar el proceso de migración, solo queda seleccionar la carpeta deseada con archivos en el directorio de origen de datos y arrastrarla con el mouse al directorio de destino.
El mecanismo para agregar los sitios restantes y migrar datos entre ellos es similar a las operaciones realizadas anteriormente. Si encuentra errores durante su trabajo, puede estudiar los detalles sobre ellos en la terminal donde se ejecuta Rclone con Web-GUI.
En general, la documentación para es extenso y está disponible en el sitio web y en Internet, y no debería causar ninguna dificultad de uso. Con esto, doy por completo el primer post sobre cómo transferir archivos de una nube a otra, sin pasar por tu PC.
PS Si no está de acuerdo con la última afirmación, escriba en los comentarios: qué “tema no está tratado” y en qué sentido vale la pena continuar.
Fuente: habr.com