Como transferir arquivos de uma nuvem para outra sem passar pelo PC

Morte, divórcio e mudança são três das situações mais estressantes na vida de qualquer pessoa.
"História de horror americana".

- Andryukh, estou saindo de casa, me ajude a mudar, não cabe tudo comigo :(
- Ok, quantos são?
— Toneladas* 7-8...
*Ton (jarg) - Terabyte.

Recentemente, enquanto navegava na Internet, percebi que apesar da disponibilidade no Habré e recursos semelhantes de muitos materiais sobre métodos e modelos de migração de diversos tipos de dados, ainda aparecem dúvidas sobre esse tema na Internet. Que, por algum motivo, nem sempre recebem respostas detalhadas. Esse fato me levou a um dia coletar notas sobre a implementação de uma solução semelhante e organizá-las em uma postagem separada.

Em geral, tenho que transferir dados de um dispositivo, sistema e serviço para outro com alguma frequência irritante. O que, por tentativa e erro, me permitiu não só conhecer muitos produtos interessantes, mas também encontrar um equilíbrio entre funcionalidade e custo da solução sobre a qual quero falar

Projeto

Como se constatou como resultado do trabalho de concepção e levantamento, a qualidade e eficiência do processo de migração depende não só das características técnicas dos “sites” onde os dados estão ou estarão localizados, mas também da sua localização física.

O gerenciador de migração é um nó de computação no qual funciona a “lógica” do processo – software para gerenciar a migração.

Ou seja, existem dois modelos para colocar um “gerente de migração”

• Modelo A. Se pelo menos um dos sites só puder ser acessado dentro da rede local, então vale a pena colocar um “gerenciador de migração” na mesma rede. Porque o desempenho e o tempo de migração ainda são limitados pela velocidade e tempo de atividade do canal que conecta os sites.
• Modelo B. Se tanto a fonte quanto o receptor dos dados tiverem acesso fora da rede local, então o “gerenciador de migração” deverá estar localizado onde a velocidade e o tempo de atividade do canal entre eles serão obviamente melhores.

Para decompor de alguma forma o que foi dito acima, proponho retornar às tarefas da questão principal do artigo e formalizá-las em especificações técnicas.

Primeiro, preciso descobrir se o software que estou usando oferece suporte a nuvens: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

A resposta curta é sim!"

Eu uso Rclone.

Rclone - rsync para armazenamento em nuvem. Software de código aberto projetado para sincronizar arquivos e pastas com mais de 45 tipos e tipos de armazenamento.

Aqui estão apenas alguns deles:
- Sistema de armazenamento de objetos (OSS) Alibaba Cloud (Aliyun)
- Amazon S3
- Ceph
—Espaços DigitaisOceânicos
-Dropbox
- Armazenamento em nuvem do Google
- Google Drive
- Google Fotos
-HTTP
-IBM COS S3
— Nuvem Mail.ru
—Mega
- Armazenamento de Blobs do Microsoft Azure
-Microsoft OneDrive
— Minio
– Próxima nuvem
- Openstack Swift
— Armazenamento em nuvem Oracle
- ownCloud
– Arquivos em nuvem da Rackspace
-rsync.net
-SFTP
-WebDAV
- Disco Yandex

Funcionalidade principal:
— Verificando a integridade dos arquivos usando hashes MD5/SHA1.
— Salvando carimbos de data/hora para criação/alteração de arquivos.
- Suporta sincronização parcial.
— Copiando apenas arquivos novos.
— Sincronização (unidirecional).
— Verificando arquivos (por hashes).
— Capacidade de sincronizar de uma conta na nuvem para outra.
- Suporte à criptografia.
- Suporte para cache de arquivos locais.
— Capacidade de montar serviços em nuvem via FUSE.

Acrescentarei por conta própria que o Rclone também me ajuda a resolver a maior parte dos problemas relacionados à automação do backup de dados em projeto "Väinämöinen".

A próxima tarefa é selecionar um modelo de posicionamento de “gerente de migração”.

Todas as fontes de dados, que são vários serviços de nuvem pública, são acessíveis pela Internet. Inclusive por meio da API. Dois em cada três receptores fazem o mesmo. Não está claro onde o Nextcloud está implantado e qual acesso está disponível para ele?

Contei cinco opções possíveis:

1. No seu próprio servidor na sua rede doméstica/corporativa.
2. Em seu próprio servidor em um rack alugado do data center da operadora.
3. Em um servidor alugado de um provedor de serviços.
4. Em um servidor virtual (VDS/VPS) com um provedor de serviço/hospedagem 
5. Do provedor de serviços de acordo com o modelo SaaS

Considerando que o Nextcloud ainda é um software para criação e utilização de armazenamento em nuvem, podemos afirmar com segurança que o acesso a ele via Internet está disponível em todas as cinco opções. E neste caso, o modelo ideal para colocar um “gerente de migração” será - modelo B.

De acordo com o modelo escolhido como plataforma para o “gerente de migração”, escolherei uma das opções ideais, do meu ponto de vista - um servidor virtual em Centro de dados M9 O maior ponto de troca de tráfego de Internet da Rússia, MSK-IX.

A terceira decisão que precisa ser tomada é decidir sobre a configuração do servidor virtual. 

Ao escolher os parâmetros de configuração do VDS, você precisa se orientar pelo desempenho necessário, que depende da largura dos canais entre os sites, da quantidade e tamanho dos arquivos que estão sendo movidos, da quantidade de fluxos de migração e das configurações. Quanto ao sistema operacional, o Rclone é um software multiplataforma que roda em vários sistemas operacionais, incluindo Windows e Linux.

Se você pretende lançar diversos processos de migração, e até com certa frequência, vale a pena considerar a opção de alugar um VDS com pagamento de recursos.

criação

Com base no exposto, ao criar o protótipo deste artigo, escolhi VDS na seguinte configuração.

custando 560 rublos/mês. incluindo 15% de desconto usando cupom SEM STRESS.

Esta escolha deve-se ao facto de um nó sob SO Windows, para cumprir as condições das nossas especificações técnicas, ser mais fácil de configurar do que para outros SO disponíveis para encomenda.

Offtopic: Aliás, para maior segurança, este servidor virtual é atribuído a um dos nós rede virtual segura. e o acesso a ele via RDP é permitido somente a partir daí...

Após criar um VDS e obter acesso ao desktop via RDP, a primeira coisa que você precisa fazer é preparar o ambiente para Rclone e Web-GUI. Aqueles. instale um novo navegador padrão, por exemplo o Chrome, pois o IE 11 instalado inicialmente, infelizmente, nem sempre funciona corretamente com o software utilizado. 

Após preparar o ambiente, baixe o arquivo com o pacote de software Rclone para Windows e descompacte-o. 

A seguir, no modo de linha de comando do Windows, execute o comando para ir para a pasta com os arquivos extraídos. Para mim, está localizado na pasta pessoal do administrador:

C:UsersAdministrator>cd rclone

Após a transição, executamos o comando para iniciar o Rclone a partir da Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

onde “login” e “senha” são o login e a senha que você especificou, claro, sem aspas.

Após a execução do comando, o terminal exibe

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

e a interface gráfica da web do Rclone abre automaticamente no navegador.

Apesar de a Web-GUI ainda estar em fase de versão de teste e ainda não possuir todos os recursos de gerenciamento Rclone que a interface de linha de comando possui, seus recursos são suficientes para a migração de dados. E até um pouco mais.

Fixação

A próxima etapa é configurar conexões com os sites onde os dados estão ou estarão localizados. E o primeiro da fila será o principal receptor de dados - Nextcloud.

1. Para fazer isso, vá para a seção Configurações GUI da Web. 

2. Iniciando a criação de uma nova configuração - botão Nova configuração.

3. Defina o nome do site - campo Nome desta unidade (para sua referência): Próxima nuvem.

4. Selecionando o tipo ou tipo de armazenamento Selecionar: Para Nextcloud e Owncloud, a principal interface de troca de dados é WebDAV.

5. A seguir, clique em Etapa 2: configuração drive, abra a lista de parâmetros de conexão e preencha. 

- 5.1. URL do host http para conectar ao URL — link de hipertexto da interface WebDAV. No Nextcloud eles estão localizados nas configurações - canto inferior esquerdo da interface.
- 5.2. Nome do site/serviço/software Webdav que você está usando — Nome da interface WebDAV. O campo é opcional para você, para não se confundir se houver muitas dessas conexões.
- 5.3 nome de usuário — Nome de usuário para autorização
- 5.4. Senha — Senha para autorização
- 5.5. Token de portador em vez de usuário/senha (por exemplo, um Macaroon) e comando para executar para obter um token de portador nas opções avançadas existem parâmetros adicionais e comandos de autorização. Eles não são usados ​​no meu Nextcloud.

6. Próximo clique Criar configuração e para ter certeza de que a configuração foi criada, vá para a seção Configuração interface web... Através da mesma página, a configuração recém-criada pode ser excluída ou editada.

Para verificar a funcionalidade da conexão ao site, acesse a seção Explorer... Em campo Remotos digite o nome do site configurado e clique em Abra. Se você vir uma lista de arquivos e diretórios, a conexão com o site está funcionando.

Para ser mais convincente, você pode criar/excluir uma pasta ou baixar/excluir um arquivo através da interface web.

A segunda plataforma a ser conectada será o disco Yandex.

• As primeiras quatro etapas são semelhantes ao processo de conexão do Nextcloud.
• A seguir deixamos tudo como está, ou seja, os campos em Etapa 2: configurar a unidade Deixamo-los vazios e não alteramos nada nas opções avançadas.
• Nós pressionamos Criar configuração.
• A página de autorização do Yandex é aberta no navegador, após a qual você recebe uma mensagem sobre a conexão bem-sucedida e uma oferta para retornar ao Rclone.
• O que fazemos é verificar a seção Configuração.

A migração

Quando temos dois sites conectados, já podemos migrar dados entre eles. O processo em si é semelhante à verificação da funcionalidade da conexão ao Nextcloud, que realizamos anteriormente.

• Ir para Explorer.
• Escolhendo um modelo 2 lado a lado.
• Em cada um Remotos indique o nome do seu site.
• Nós pressionamos Abra.
• Vemos um diretório de arquivos e pastas para cada um deles.

Para iniciar o processo de migração, basta selecionar a pasta desejada com os arquivos no diretório de origem dos dados e arrastá-la com o mouse até o diretório de destino.

O mecanismo para adicionar os demais sites e migrar dados entre eles é semelhante às operações realizadas acima. Se você encontrar erros durante seu trabalho, você pode estudar detalhes sobre eles no terminal onde o Rclone com Web-GUI está sendo executado.

Em geral, a documentação para Rclone é extenso e está disponível no site e na Internet, não devendo causar dificuldades de utilização. Com isso, considero completo o primeiro post sobre como transferir arquivos de uma nuvem para outra, contornando o seu PC.

PS Se você não concorda com a última afirmação, escreva nos comentários: qual “tema não abordado” e em que sentido vale a pena continuar.

Fonte: habr.com